JP2011217010A - 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2011217010A
JP2011217010A JP2010081325A JP2010081325A JP2011217010A JP 2011217010 A JP2011217010 A JP 2011217010A JP 2010081325 A JP2010081325 A JP 2010081325A JP 2010081325 A JP2010081325 A JP 2010081325A JP 2011217010 A JP2011217010 A JP 2011217010A
Authority
JP
Japan
Prior art keywords
discrimination
pixel
value
image
regression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010081325A
Other languages
English (en)
Inventor
Takahiro Nagano
隆浩 永野
Noriaki Takahashi
紀晃 高橋
Keisuke Senda
圭祐 千田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010081325A priority Critical patent/JP2011217010A/ja
Priority to US13/069,489 priority patent/US20110243462A1/en
Priority to CN201110075616.1A priority patent/CN102209224A/zh
Publication of JP2011217010A publication Critical patent/JP2011217010A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】多様な入力信号に対して、その画質に応じて適応的に解像度感/鮮鋭感を向上させて高画質化することを、低コストで実現できるようにする。
【解決手段】回帰予測演算と判別予測演算において、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとして与える。このパラメータを入力画像の注目画素に対応する複数の画素の値から得られる５つの特徴量によって構成する。なお、回帰予測演算では、入力画像の注目画素に対応する複数の画素の値から得られる５つの特徴量のうち、２つの特徴量が用いられる。上述の５つの特徴量は、高域フィルタ演算値、低域フィルタ演算値、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値とされる。
【選択図】図３

Description

本発明は、係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、多様な入力信号に対して、その画質に応じて適応的に解像度感/鮮鋭感を向上させて高画質化することを、低コストで実現できるようにする係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
近年、映像信号が多様化しており、画像のフォーマットに関わらず様々な帯域が混在している。例えば、ＨＤサイズの画像であっても、実はもともとＳＤ画像がアップコンバートされた画像である場合がある。このような画像は、本来のＨＤ画像と異なり、画像の細部の帯域が小さいため、ディテール感に乏しい画像となる場合が多い。
また、画像に含まれるノイズも、さまざまなレベルのものが混入している。
ノイズなど劣化を含んだ入力画像からノイズのない画像を予測したり、ＳＤ信号を高解像度のＨＤ信号に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。
特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。
クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。
特開平７−７９４１８号公報
ところで、劣化を含んだ生徒（入力）画像から教師画像を予測する上で、全画面を生徒（入力）画像の線形和で表されるような1つのモデルで処理するには精度に問題がある。例えば、クラス分類適応処理によって、入力画像の解像度感/鮮鋭感を向上させた画像を予測する場合、多様な入力信号に対応しようとすると画像の帯域や種類（自然画像/人工画像）、ノイズ量に応じても処理を変える必要がある。
しかしながら、そのためには膨大なパターンを考慮する必要があり，全てのケースをカバーするのは難しい。そのため、予測処理を行った結果として得られた画像の解像度感/鮮鋭感が改善していないぼけたものになってしまうことや、逆に処理が強すぎてリンギング劣化やノイズを強調してしまう場合が多い。
本発明はこのような状況に鑑みてなされたものであり、多様な入力信号に対して、その画質に応じて適応的に解像度感/鮮鋭感を向上させて高画質化することを、低コストで実現できるようにするものである。
本発明の第１の側面は、第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置である。
前記回帰係数算出手段が前記判別クラス毎に算出した前記回帰係数により前記回帰予測値算出手段が前記判別クラス毎に算出した前記回帰予測値に基づいて、前記判別情報付与手段が判別情報を付与する処理、前記判別係数算出手段が前記判別係数を算出する処理、および前記判別予測値算出手段が前記判別予測値を算出する処理を繰り返し実行するようにすることができる。
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０未満である場合、前記注目画素は、第１の判別クラスに属する画素であると判別されるようにすることができる。
前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が予め設定された閾値以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が前記閾値未満である場合、前記注目画素は、第２の判別クラスに属する画素であると判別されるようにすることができる。
前記第１の信号の画像は、前記第２の信号の画像に対して画素値の変化量の周波数帯域が制限され、所定のノイズが付加された画像であるようにすることができる。
前記第２の信号の画像は、自然画像または人工画像であるようにすることができる。
前記判別タップに含まれる前記周辺画素の画素値に基づく複数の特徴量は、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値であるようにすることができる。
本発明の第１の側面は、回帰係数算出手段が、第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出し、回帰予測値算出手段が、前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値を算出し、判別情報付与手段が、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与し、判別係数算出手段が、前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出し、判別予測値算出手段が、前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値を算出し、分類手段が、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出されるステップを含む係数学習方法である。
本発明の第１の側面は、コンピュータを、第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置として機能させるプログラムである。
本発明の第１の側面においては、第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数が算出され、前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値が算出され、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報が付与され、前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップが取得され、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数が算出され、前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値が算出され、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類され、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出される。
本発明の第２の側面は、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える画像処理装置である。
前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の信号の画像の画素のそれぞれを、分類する処理を繰り返し実行するようにすることができる。
前記第１の信号の画像は、前記第２の信号の画像に対して画素値の変化量の周波数帯域が制限され、所定のノイズが付加された画像であるようにすることができる。
前記第２の信号の画像は、自然画像または人工画像であるようにすることができる。
前記判別タップに含まれる前記周辺画素の画素値に基づく複数の特徴量は、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値であるようにすることができる。
本発明の第２の側面は、判別予測手段が、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行い、分類手段が、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、回帰予測手段が、前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測するステップを含む画像処理方法である。
本発明の第２の側面は、コンピュータを、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える画像処理装置として機能させるプログラムである。
本発明の第２の側面においては、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップが取得され、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算が行われ、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれが、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類され、前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値が予測される。
本発明によれば、多様な入力信号に対して、その画質に応じて適応的に解像度感/鮮鋭感を向上させて高画質化することを、低コストで実現できる。
本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。 学習対生成装置の構成例を示すブロック図である。 特徴量を算出するために用いられる生徒画像の画素を説明する図である。 周辺画素値の水平方向差分絶対値を説明する図である。 周辺画素値の垂直方向差分絶対値を説明する図である。 周辺画素値の右斜め方向差分絶対値を説明する図である。 周辺画素値の左斜め方向差分絶対値を説明する図である。 図１のラベリング部の処理を説明するヒストグラムである。 反復して行われる判別係数の学習を説明する図である。 反復して行われる判別係数の学習を説明する図である。 入力画像をクラス分類する場合の例を、２分木構造を用いて説明する図である。 図１の学習装置に対応する画像処理装置の構成例を示すブロック図である。 図１の学習装置による判別係数回帰係数学習処理の例を説明するフローチャートである。 ラベリング処理の例を説明するフローチャートである。 回帰係数演算処理の例を説明するフローチャートである。 判別係数演算処理の例を説明するフローチャートである。 図１２の画像処理装置による判別回帰予測処理の例を説明するフローチャートである。 判別処理の例を説明するフローチャートである。 本発明の画像処理装置を搭載したテレビジョン受像機の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。
この学習装置１０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。
ここで、高画質化処理は、入力画像の解像度感/鮮鋭感を向上させた画像を生成する処理などとされ、例えば、帯域の小さい画像を帯域の大きい画像に変換したり、画像に含まれるノイズを除去したりする処理とされる。また、入力画像として、ＣＧ画像やテロップなどを含む画像（人工画像と称することにする）を入力画像とする場合、テロップなどを含まない画像（自然画像と称することにする）を入力画像とする場合がある。
学習装置１０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である回帰係数を学習するようになされている。詳細は後述するが、回帰係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、回帰係数は、後述するクラス番号毎に学習される。
また、学習装置１０は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量に基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置１０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するための判別係数を学習するようになされている。詳細は後述するが、判別係数は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとする線形一次式に用いられる係数とされる。
すなわち、学習装置１０により学習された判別係数を用いて、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとした線形一次式の演算を繰り返し実行することにより、高画質化処理のためのクラスが特定されるようになされている。そして、特定されたクラスに対応する回帰係数を用いて、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとした線形一次式の演算を実行することにより、高画質化された画像の画素値が演算されるようになされている。
学習装置１０においては、例えば、教師画像として帯域制限がなくノイズのない画像を入力され、生徒画像として教師画像に対して帯域制限を付加し、ノイズを付加した画像が入力される。教師画像と生徒画像は、１対（学習対と称することにする）ずつ入力されて学習装置１０により学習が行われる。
図２は学習対生成装置３０の構成例を示すブロック図である。同図に示されるように、学習対生成装置３０は、帯域制限部３１およびノイズ付加部３２を有する構成とされている。
この例では、自然画像または人工画像のＨＤ画像が学習対生成装置３０に入力され、入力画像がそのまま教師画像として出力されるようになされている。一方、入力画像に対して、帯域制限部３１およびノイズ付加部３２の処理が施された画像が生徒画像として出力されるようになされている。
帯域制限部３１は、主に入力画像の帯域を小さくするための帯域制限を行う機能ブロックとされる。例えば、帯域制限部３１の処理により、入力画像の細部の画素値の変化量が縮退され、ディテール感の乏しい画像が生成される。すなわち、画像の画素値の変化量の周波数帯域がより小さくなるような処理が施される。なお、帯域制限部３１は、例えば、「帯域制限なし」を含む９種類の帯域制限を付加できるようになされており、１つの入力画像に対して９通りの出力が得られることになる。
ノイズ付加部３２は、主に入力画像に各種のノイズを付加する機能ブロックとされる。例えば、ノイズ付加部３２の処理により、入力画像の一部にブロックノイズやモスキートノイズなどが付加された画像が生成される。なお、ノイズ付加部３２は、例えば、「ノイズなし」を含む１１種類のノイズを付加できるようになされており、帯域制限部３１から供給される１つの入力画像に対して１１通りの出力が得られることになる。
図２に示される学習対生成装置３０によって、例えば、１つの入力画像に対して９９（＝９×１１）通りの出力が得られることになる。しかし、そのうち１通りは、「帯域制限なし」かつ「ノイズなし」であって、入力画像と同じ画像になるから、１つの入力画像から、合計９８通りの学習対が学習対生成装置３０によって生成されることになる。
学習対生成装置３０には、例えば、自然画像、人工画像がそれぞれ複数供給され、上述したように学習対が生成されていく。そして、生成された学習対が、図１の学習装置１０に、生徒画像と教師画像として供給されることになる。
図１に戻って、生徒画像のデータは、回帰係数学習部２１、回帰予測部２３、判別係数学習部２５、および判別予測部２７に供給される。
回帰係数学習部２１は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰係数学習部２１は、生徒画像の注目画素とその周辺の画素値から、注目画素に対応する教師画像画素値を予測するための回帰予測演算式の係数を、例えば、最小二乗法を用いて学習する。
詳細は後述するが、本発明では、上述の回帰予測演算において、予測値は、学習装置１０によって学習した回帰係数を用いた線形モデルであると仮定する。この際、回帰予測演算において、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとして与えることになる。また、本発明では、上述の判別係数を用いた線形一次式の演算（判別予測演算）においても、入力画像の注目画素に対応する複数の画素の値から得られる特徴量をパラメータとして与えることになる。本発明では、このパラメータを入力画像の注目画素に対応する複数の画素の値から得られる５つの特徴量によって構成する。なお、後述するように、回帰予測演算では、入力画像の注目画素に対応する複数の画素の値から得られる５つの特徴量のうち、２つの特徴量が用いられる。
上述の５つの特徴量は、高域フィルタ演算値、低域フィルタ演算値、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値とされる。
図３は、上述した５つの特徴量を算出するために用いられる生徒画像の画素を説明する図である。この例では、ｘｙ平面上に並べられた５行９例（＝４５個）の円によって、生徒画像の画素が示され、各画素は、「ｘ」と「ｉｎ（ｎ＝１，２，・・・４５）」からなる符号が付されている。いま、画素値を予測すべき教師画像の画素の位相（座標）に対応する注目画素は、図中３行５列目の画素（「ｉ２３」の符号が付された円）であるものとする。なお、図中の円内に付された符号は、各画素を識別する符号であるとともに、各画素の画素値としても用いることとする。
上述した５つの特徴量のうちの第１番目と第２番目の特徴量である高域フィルタ演算値と低域フィルタ演算値は、注目画素およびその周辺の画素の画素値の変化量の周波数帯域に関する情報を抽出するものである。式（１）により演算される。
Figure 2011217010
式（１）により求められるｘi t1が高域フィルタ演算値とされ、式（１）により求められるｘi t2が低域フィルタ演算値とされる。なお、フィルタ係数は、予め設定されているものとする。
式（１）では、図３に示される５行９例の画素のうち、第３列目乃至第７列目までの画素からなる２５個（５行５列）の画素の画素値が演算に用いられている。ここで、注目画素に対する相対的位置が同一である複数の画素の画素値には同一のフィルタ係数が乗じられるようになされている。例えば、注目画素（「ｉ２３」の符号が付された円）からの相対的位置が同一である「ｉ１４」、「ｉ２２」、「ｉ２４」、および「ｉ３２」の符号が付された画素の画素値には同一のフィルタ係数ｖ2 t1が乗じられている。
式（１）に示されるように、同一のフィルタ係数を乗じる画素値を予め加算しておくこと（式中かっこ内の演算）により、フィルタ係数の数を縮退することができ、処理負荷を軽減することができる。
なお、ここでは、高域フィルタ演算値と低域フィルタ演算値を第１番目の特徴量としているが、第１番目の特徴量には、別のフィルタ演算値が含まれるようにしても構わない。
上述した５つの特徴量のうちの第３番目と第４番目の特徴量である周辺画素値の最大値、周辺画素値の最小値は、式（２）により演算される。
Figure 2011217010
式（２）により求められるｘi (max)が周辺画素値の最大値とされ、式（２）により求められるｘi (min)が周辺画素値の最小値とされる。
上述した５つの特徴量のうちの第５番目の特徴量である周辺画素値の差分絶対値の最大値は、次のようにして求める。最初に、周辺画素値の水平方向差分絶対値の最大値、周辺画素値の垂直方向差分絶対値の最大値、周辺画素値の右斜め方向差分絶対値の最大値、および周辺画素値の左斜め方向差分絶対値の最大値をそれぞれ求める。
図４は、周辺画素値の水平方向差分絶対値を説明する図である。同図に示されるように、図３に示される４５個の画素についてそれぞれ水平方向に隣接する画素値の差分絶対値を演算する。例えば、「ｉ１」の符号が付された画素の画素値と「ｉ２」の符号が付された画素の画素値の差分絶対値が｜ｘi1 (h)｜として算出される。
同様にして、周辺画素値の垂直方向差分絶対値は、図５に示されるようにして演算される。周辺画素値の右斜め方向差分絶対値および周辺画素値の左斜め方向差分絶対値は、それぞれ、図６および図７に示されるようにして演算される。
そして、図４乃至図７を参照して上述したように演算された水平方向差分絶対値、垂直方向差分絶対値、右斜め方向差分絶対値、および左斜め方向差分絶対値について、それぞれの最大値を式（３）により求める。
Figure 2011217010
式（３）の｜ｘi (h)｜(max)が、周辺画素値の水平方向差分絶対値の最大値とされる。式（３）の｜ｘi (v)｜(max)が、周辺画素値の垂直方向差分絶対値の最大値とされる。式（３）の｜ｘi (s1)｜(max)が、周辺画素値の右斜め方向差分絶対値の最大値とされる。式（３）の｜ｘi (s2)｜(max)が、周辺画素値の左斜め方向差分絶対値の最大値とされる。
さらに、式（３）により得られた４つの最大値のうち、最も大きい値が、式（４）によって求められる。
Figure 2011217010
式（４）の｜ｘi｜(max)が、第５番目の特徴量である周辺画素値の差分絶対値の最大値となる。
次に、上述した回帰係数の学習について説明する。上述した教師画像画素値を予測するための回帰予測演算式において、例えば、教師画像の画素値ti（i＝１，２，．．N）とし、予測値yi（i＝１，２，．．N）とおくと、式（５）が成立する。ここでNは、生徒画像の画素と教師画像の画素との全サンプル数を表すものとする。
Figure 2011217010
ここで、εi（i＝１，２，．．N）は、誤差項である。
予測値yiは、回帰係数w0を用いた線形モデルを仮定すると、生徒画像の画素値から求めた高域フィルタ演算値および低域フィルタ演算値をパラメータ（タップとも称する）として用いて、式（６）のように表現できる。
Figure 2011217010
回帰予測演算式の係数を、最小二乗法を用いて学習する場合、上述したように求められた予測値を式（５）に代入し、式（５）の誤差項の全サンプル分の自乗和を式（７）により演算する。
Figure 2011217010
そして、式（７）の誤差項の全サンプル分の自乗和Eが最小となるような、回帰係数w0を導出する。
なお、従来のクラス分類適応処理では、回帰予測演算に用いられる回帰係数が、タップの要素数と同じ要素数のベクトルによって構成されていた。例えば、入力画像から抽出される特徴量（パラメータ）が２つ（例えば、高域フィルタ演算値および低域フィルタ演算値）であれば、２つの係数からなる回帰係数を用いた回帰予測演算が行われていた。
これに対して、本願発明では、１つの係数w0のみからなる回帰係数を用いた回帰予測演算によって画素値を予測することができ、装置の処理負荷を軽減することが可能である。本発明では、後述するように判別係数を用いた判別予測式の演算を反復して実行することにより、注目画素をクラス分類するようにしたので、その分類結果に基づいて特定された回帰係数を用いた回帰予測演算を簡素なものとすることが可能となった。
図１に戻って、回帰係数学習部２１は、このようにして回帰係数を求める。回帰係数学習部２１により得られた回帰係数は、回帰予測によって、高画質化された画像の画素値を予測するための演算に用いられる係数とされる。
回帰係数学習部２１により得られた回帰係数は、回帰係数記憶部２２に記憶される。
回帰予測部２３は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、回帰予測部２３は、式（１）、式（２）、式（４）の演算によって上述したパラメータ（５つの特徴量）を算出する。
回帰予測部２３は、式（６）に高域フィルタ演算値および低域フィルタ演算値と回帰係数w0を代入して予測値yiを演算する。
ラベリング部２４は、回帰予測部２３により演算された予測値yiを、教師画像の画素値である真値tiと比較する。ラベリング部２４は、例えば、予測値yiが真値ti以上となった注目画素を判別クラスＡとしてラベリングし、予測値yiが真値ti未満となった注目画素を判別クラスＢとしてラベリングする。すなわち、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類するのである。
図８は、ラベリング部２４の処理を説明するヒストグラムである。同図の横軸は、予測値yiから真値tiを引いた差分値を表し、縦軸は、その差分値が得られたサンプル（教師画像の画素と生徒画像の画素との組み合わせ）の相対頻度を表している。
同図に示されるように、回帰予測部２３の演算により、予測値yiから真値tiを引いた差分値が０となったサンプルの頻度が最も高くなっている。差分値が０である場合、回帰予測部２３により正確な予測値（＝真値）が演算されたことになり、適切に高画質化の処理がなされたことになる。すなわち、回帰係数学習部２１により回帰係数が学習されたので、式（６）により正確な予測値が演算される可能性は高いといえる。
しかし、差分値が０以外のものについては、正確な回帰予測がなされたとはいえない。そうであれば、より適切な回帰係数を学習する余地があると考えられる。
本発明では、例えば、予測値yiが真値ti以上となった注目画素のみを対象として回帰係数を学習すれば、それらの注目画素に対してより適切な回帰係数を学習することができ、予測値yiが真値ti未満となった注目画素のみを対象として回帰係数を学習すれば、それらの注目画素に対してより適切な回帰係数を学習することができると仮定する。このため、ラベリング部２４は、回帰予測部２３の演算結果に基づいて、生徒画像の各画素を判別クラスＡと判別クラスＢに分類する。
そして、この後、判別係数学習部２５の処理によって、生徒画像の画素値に基づいて、各画素を判別クラスＡと判別クラスＢに分類するための予測演算に用いられる係数が学習されるのである。すなわち、本発明においては、真値が不明であっても、入力画像の画素値に基づいて各画素を判別クラスＡと判別クラスＢに分類できるようにするのである。
ここでは、ラベリング部２４が生徒画像の各画素をラベリングすると説明したが、ラベリングの単位は、正確には教師画像の画素値である真値tiに対応する生徒画像から得られたタップ（上述した５つの特徴量）毎に1個ずつラベリングされることになる。
なお、ここでは、高域フィルタ演算値、低域フィルタ演算値、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値を１組の「タップ」と呼んでいる。すなわち、タップは５次元の特徴量ベクトルということもできる。この１組のタップは、生徒画像の各画素を注目画素とし、それぞれの注目画素に対応して抽出されることになる。
なお、本発明の場合、判別予測値の演算に用いられるタップと、回帰予測値の演算に用いられるタップの要素数が異なっている。すなわち、式（６）に示されるように、回帰予測値の演算に用いられるタップの要素数は２つ（高域フィルタ演算値および低域フィルタ演算値）であるのに対し、判別予測値の演算に用いられるタップの要素数は５つである。以下、適宜、回帰予測値の演算に用いられるタップを回帰タップと称し、判別予測値の演算に用いられるタップを判別タップと称することにする。
また、ここでは、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする例について説明したが、他の方式でラベリングするようにしてもよい。例えば、予測値yiと真値tiの差分絶対値が予め設定された閾値未満の値となった注目画素を判別クラスＡとしてラベリングし、予測値yiと真値tiの差分絶対値が予め設定された閾値以上の値となった注目画素を判別クラスＢとしてラベリングするようにしてもよい。さらに、それ以外の方式で注目画素を判別クラスＡと判別クラスＢにラベリングしてもよい。以下では、予測値yiが真値ti以上となった注目画素と、予測値yiが真値ti未満となった注目画素とを判別してラベリングする場合の例について説明する。
図１に戻って、判別係数学習部２５は、生徒画像を構成する画素の中から所定の画素を注目画素として設定する。そして、判別係数学習部２５は、生徒画像の注目画素とその周辺の画素値から、判別クラスＡと判別クラスＢを判定するための予測値の演算に用いられる係数を学習する。
判別係数の学習においては、生徒画像の注目画素とその周辺の画素値から得られる特徴量に基づいて、判別クラスＡと判別クラスＢを判定するための予測値ｙiが式（８）により求められるものとする。
Figure 2011217010
なお、zTは、行列式として表されるzの転置行列を表している。zoは、バイアスパラメータであり、定数項である。なお、式（８）において定数項であるバイアスパラメータｚoは含まれないようにすることも可能である。
式（８）において、パラメータとして用いられるｘi、すなわち、上述した５つの特徴量からなるベクトルを、上述したようにタップ（判別タップ）と称している。
判別係数学習部２５は、式（８）の係数zおよびバイアスパラメータｚoを学習して、判別係数記憶部２６に記憶するようになされている。
判別予測式の係数は、例えば、判別分析によって導出される。または、最小二乗法を用いて学習するようにしてもよい。
このようにして得られる判別予測式の係数zは、上述したタップの要素数と同じ要素数（いまの場合、５個）のベクトルとなる。判別係数学習部２５により得られた係数zは、所定の注目画素が判別クラスＡまたは判別クラスＢのいずれに属するかを予測するための演算に用いられる係数であり、判別係数zと称することにする。なお、バイアスパラメータｚoも広義の判別係数であるものとし、必要に応じて判別係数zに対応付けられて記憶されるものとする。
このようにして学習された係数zを用いて判別予測部２７により予測値が演算されて生徒画像の注目画素が判別クラスＡに属するものであるか判別クラスＢに属するものであるかを判定することができる。判別予測部２７は、式（８）に判別タップと判別係数z（必要に応じてバイアスパラメータｚoも含む）を代入して予測値yiを演算する。
そして、判別予測部２７による演算の結果、予測値yiが０以上となった判別タップの注目画素は、判別クラスＡに属する画素であり、予測値yiが０未満となった判別タップの注目画素は、判別クラスＢに属する画素であるものと推定できる。
しかしながら、判別予測部２７による演算の結果に基づく推定が必ずしも真実であるとは限らない。すなわち、式（８）に判別タップと判別係数zを代入して演算された予測値yiは、教師画像の画素値（真値）に係らず、生徒画像の画素値から予測した結果であるから、実際には判別クラスＡに属する画素が判別クラスＢに属する画素として推定されてしまったり、実際には判別クラスＢに属する画素が判別クラスＡに属する画素として推定されてしまうことがある。
そこで、本発明においては、反復して判別係数を学習させることにより、より精度の高い予測を可能とする。
すなわち、クラス分割部２８が、判別予測部２７の予測結果に基づいて、生徒画像を構成する各画素を、判別クラスＡに属する画素と判別クラスＢに属する画素とに分割する。
そして、回帰係数学習部２１が、クラス分割部２８により判別クラスＡに属する画素のみを対象として、上述した場合と同様に回帰係数を学習して回帰係数記憶部２２に記憶する。回帰予測部２３は、クラス分割部２８により判別クラスＡに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＡに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
また、回帰係数学習部２１が、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰係数を学習する。回帰予測部２３は、クラス分割部２８により判別クラスＢに属するとされた画素のみを対象として、上述した場合と同様に回帰予測による予測値を演算する。
このようにして、得られた予測値と真値とを比較して、ラベリング部２４がクラス分割部２８により判別クラスＢに属するとされた画素を、さらに判別クラスＡと判別クラスＢにラベリングする。
つまり、生徒画像の画素が、４つの集合に分割されることになる。第１の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第２の集合は、クラス分割部２８により判別クラスＡに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。第３の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＡにラベリングされた画素の集合とされる。第４の集合は、クラス分割部２８により判別クラスＢに属するとされた画素であって、ラベリング部２４により判別クラスＢにラベリングされた画素の集合とされる。
この後、判別係数学習部２５は、上述した４つの集合のうち、第１の集合と第２の集合に基づいて、あらためて判別係数を、上述した場合と同様にして学習する。また、判別係数学習部２５は、上述した４つの集合のうち、第３の集合と第４の集合に基づいて、あらためて判別係数を、上述した場合と同様にして学習する。
図９と図１０は、反復して行われる判別係数の学習を説明する図である。
図９は、生徒画像から得られたタップ値であって、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップ（判別タップ）のそれぞれを表す空間を示した図である。すなわち、同図においては、説明を簡単にするために、仮想的にタップの要素数を２個として生徒画像において存在し得る全てのタップを２次元空間上に表している。従って、同図においては、タップが２個の要素からなるベクトルであるものと仮定する。
同図に示される円７１は、ラベリング部２４が最初に判別クラスＡとラベリングした画素に対応するタップの集合を表しており、円７２は、ラベリング部２４が最初に判別クラスＢとラベリングした画素に対応するタップの集合を表している。円７１に示される記号７３は、円７１に含まれるタップの要素の値の平均値の位置を表しており、円７１に示される記号７４は、円７２に含まれるタップの要素の値の平均値の位置を表している。
同図に示されるように、円７１と円７２は、互いに重なり合っているので、生徒画像から得られたタップの要素の値のみに基づいて、正確に判別クラスＡとラベリングした画素に対応するタップと判別クラスＢとラベリングした画素に対応するタップとを判別することはできなかったことになる。
しかしながら、記号７３と記号７４とに基づいて、おおよそ２つのクラスを判別するための境界線７５を特定することは可能である。ここで、境界線７５を特定する処理が、判別係数学習部２５により行われる第１回目の学習により得られた判別係数を用いた判別予測部２７の判別予測の処理に対応することになる。なお、境界線７５上に位置するタップが、式（８）により演算された予測値ｙiが０となったタップである。
境界線７５の図中右側に位置するタップの集合を識別するために、クラス分割部２８がそれらのタップに対応する画素にクラスコードビット１を付与する。また、境界線７５の図中左側に位置するタップの集合を識別するために、図１のクラス分割部２８がそれらのタップに対応する画素にクラスコードビット０を付与する。
なお、第１回目の学習により得られた判別係数は、第１回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。また、第１回目の判別予測の結果に基づいて、クラスコードビット１が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われる。同様に、第１回目の判別予測の結果に基づいて、クラスコードビット０が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われる。
そして、クラスコードビット１が付与された画素群と、クラスコードビット０が付与された画素群のそれぞれに基づいて判別係数の学習が繰り返される。その結果、クラスコードビット１が付与された画素群がさらに２つに分割され、クラスコードビット２が付与された画素群もさらに２つに分割されることになる。このときの分割は、判別係数学習部２５により行われる第２回目の学習により得られた判別係数を用いた判別予測部２７の判別予測によりなされることになる。
なお、第２回目の学習により得られた判別係数は、第２回目の判別予測に用いられる判別係数であることを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。第２回目の学習により得られる判別係数は、第１回目の判別予測によりクラスコードビット１が付与された画素群と、第１回目の判別予測によりクラスコードビット０が付与された画素群のそれぞれを対象として行われる判別予測に用いられるので、いずれの画素群を対象とする判別予測に用いられるものであるのかを表すコードなどに対応付けられて、図１の判別係数記憶部２６に記憶される。すなわち、第２回目の判別予測に用いられる判別係数は、２種類記憶されることになる。
また、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１１が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われることになる。同様に、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット１０が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われることになる。さらに、第１回目と第２回目の判別予測の結果に基づいて、クラスコードビット０１が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われ、クラスコードビット００が付与された画素のみに基づいて、あらためて回帰係数が学習されて回帰予測が行われることになる。
このような処理を繰り返すことにより、図９に示される空間が図１０に示されるように分割される。
図１０は、図９と同様に、タップ値１を横軸とし、タップ値２を縦軸として生徒画像のタップ（判別タップ）のそれぞれを表す空間を示した図である。同図では、判別係数学習部２５により３回反復して判別係数の学習が行われた場合の例が示されている。すなわち、第１回目の学習により得られた判別係数を用いた判別予測により境界線７５が特定され、第２回目の学習により得られた判別係数を用いた判別予測により境界線７６−１と境界線７６−２が特定される。第３回目の学習により得られた判別係数を用いた判別予測により境界線７７−１乃至境界線７７−４が特定される。
図１のクラス分割部２８は、境界線７５により分割されたタップの集合を識別するために、第１ビット目のクラスコードビットを付与し、境界線７６−１と境界線７６−２により分割されたタップの集合を識別するために、第２ビット目のクラスコードビットを付与し、境界線７７−１乃至境界線７７−４により分割されたタップの集合を識別するために、第３ビット目のクラスコードビットを付与する。
従って、図１０に示されるように、生徒画像から得られたタップのそれぞれは、３ビットのクラスコードに基づいて特定されるクラス番号Ｃ0乃至Ｃ7の８つのクラスに分割（分類）されることになる。
図１０に示されるようにクラス分類された場合、図１の判別係数記憶部２６に、第１回目の判別予測に用いられる判別係数が１種類記憶され、第２回目の判別予測に用いられる判別係数が２種類記憶され、第３回目の判別予測に用いられる判別係数が４種類記憶されていることになる。
また、図１０に示されるようにクラス分類された場合、図１の回帰係数記憶部２２に、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数が記憶されていることになる。ここで、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数は、第３回目の判別予測の結果、クラス番号Ｃ0乃至Ｃ7のそれぞれに分類された生徒画像の注目画素のタップ（回帰タップ）と、注目画素に対応する教師画像の画素値とをサンプルとし、それぞれのクラス番号毎にあらためて回帰係数の学習が行われて記憶される。
このように、生徒画像と教師画像を用いて予め判別係数を学習しておき、入力された画像について反復して判別予測を繰り返せば、入力画像の画素をクラス番号Ｃ0乃至Ｃ7の８つのクラスに分類することが可能となる。そして、８つのクラスに分類された画素に対応するタップと、それぞれのクラスに対応する回帰係数を用いて回帰予測を行えば、適切な高画質化処理を行うことが可能となる。
図１１は、入力画像を図１０のようにクラス分類する場合の例を、２分木構造を用いて説明する図である。入力画像の各画素が、第１回目の判別予測によって、第１ビットのクラスコードビット１または０が付与された画素に分類される。このとき、判別予測に用いられる判別係数は、反復コード１に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。
第１ビットのクラスコードビット１が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード２１に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。同様に、第１ビットのクラスコードビット０が付与された画素は、第２ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード２２に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。
第１ビットおよび第２ビットのクラスコードビット１１が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード３１に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。第１ビットおよび第２ビットのクラスコードビット１０が付与された画素は、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。このとき、判別予測に用いられる判別係数は、反復コード３２に対応する判別係数として図１の判別係数記憶部２６に記憶されているものとする。
同様に、第１ビットおよび第２ビットのクラスコードビット０１または００が付与された画素も、第３ビットのクラスコードビット１または０が付与された画素にさらに分類される。そして、反復コード３３または反復コード３４に対応する判別係数が図１の判別係数記憶部２６に記憶されているものとする。
このように、３回反復して判別を行うことにより、入力画像の画素のそれぞれに３ビットからなるクラスコードが設定され、クラス番号が特定される。そして特定されたクラス番号に対応する回帰係数も特定される。
この例では、クラスコードビットを反復回数順に、上位から下位ビットに繋げた値がクラス番号に対応している。従って、最終的なクラスコードに対応するクラス番号Ｃkは、例えば、式（９）のようにして特定される。
Figure 2011217010
また、図１１に示されるように，反復回数ｐと最終的なクラス数Ｎcとの関係は、式（１０）により表される。
Figure 2011217010
なお、最終的なクラス数Ｎcは、最終的に使用する回帰係数の総数Ｎmと等しくなる。
判別係数の総数Ｎdは、式（１１）により表される。
Figure 2011217010
なお、後述する画像処理装置を用いた高画質化処理における判別予測において、適応的に反復回数を減らすことで、処理のロバスト化や高速化を図ることも可能である。そのようにする場合には図１１の各分岐において用いられた回帰係数も必要になるので、回帰係数の総数Ｎmは式（１２）により表されるものとなる。
Figure 2011217010
ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数の演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
図１２は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置１００は、図１の学習装置１０に対応する画像処理装置とされる。すなわち、画像処理装置１００は、学習装置１０により学習された判別係数を用いて入力画像の各画素のそれぞれのクラスを判別する。そして、画像処理装置１００は、判別されたクラスに対応する回帰係数であって、学習装置１０により学習された回帰係数を用いて入力画像から得られるタップの回帰予測演算を行い、入力画像を高画質化する画像処理を行うようになされている。
すなわち、画像処理装置１００の判別係数記憶部１２２には、学習装置１０の判別係数記憶部２６に記憶されていた判別係数が予め記憶される。画像処理装置１００の回帰係数記憶部１２４には、学習装置１０の回帰係数記憶部２２に記憶されていた回帰係数が予め記憶される。
同図の判別予測部１２１は、入力画像において注目画素を設定し、注目画素に対応する判別タップ（５次元の特徴量ベクトル）を取得して式（８）を参照して予測した演算を行う。このとき、判別予測部１２１は、反復回数と判別予測の対象とする画素群に基づいて反復コードを特定し、判別係数記憶部１２２から反復コードに対応する判別係数を読み出すようになされている。
クラス分割部１２３は、判別予測部１２１の予測結果に基づいて、注目画素にクラスコードビットを付与していくことで、入力画像の画素を２つの集合に分割する。このとき、上述したように、例えば、式（８）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
クラス分割部１２３の処理を経て、判別予測部１２１は、反復して判別予測を行い、クラス分割部１２３によってさらなる分割がなされる。判別予測は、予め設定された回数だけ反復して行われる。例えば、判別予測が３回反復して行われる場合、例えば、図１０または図１１を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されることになる。
なお、画像処理装置１００における判別予測の反復回数は、学習装置１０による判別係数の学習の反復回数と同じとなるように設定される。
クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
回帰予測部１２５は、入力画像において注目画素を設定し、注目画素に対応する回帰タップ（２次元の特徴量ベクトル）を取得して式（６）を参照して予測した演算を行う。このとき、回帰予測部１２５は、注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数を、回帰係数記憶部１２４から読み出すようになされている。
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
このように、本発明によれば、入力画像に対して判別予測を行うことにより、入力画像を構成する各画素（実際には、注目画素に対応するタップ）を、高画質化処理に適したクラスに分類することができる。
例えば、従来のクラス分類適応処理によって、入力画像の解像度感/鮮鋭感を向上させた画像を予測する場合、多様な入力信号に対応しようとすると画像の帯域や種類（自然画像/人工画像）、ノイズ量に応じても処理を変える必要がある。
しかしながら、そのためには膨大なパターンを考慮する必要があり，全てのケースをカバーするのは難しい。そのため、予測処理を行った結果として得られた画像の解像度感/鮮鋭感が改善していないぼけたものになってしまうことや、逆に処理が強すぎてリンギング劣化やノイズを強調してしまう場合が多い。
これに対して、本発明では、画像の帯域や種類（自然画像/人工画像）、ノイズ量に応じて処理を変える必要がない。また、予測処理を行った結果として得られた画像の解像度感/鮮鋭感が改善していないぼけたものになってしまうことや、逆に処理が強すぎてリンギング劣化やノイズを強調してしまうこともない。
また、従来のクラス分類適応処理では、回帰予測演算に用いられる回帰係数が、タップ（回帰タップ）の要素数と同じ要素数のベクトルによって構成されていた。例えば、入力画像から抽出される特徴量が２つであれば、２つの係数からなる回帰係数を用いた回帰予測演算が行われていた。
これに対して、本願発明では、１つの係数のみからなる回帰係数を用いた回帰予測演算によって画素値を予測することができ、装置の処理負荷を軽減することが可能である。本発明では、上述のように判別係数を用いた判別予測式の演算を反復して実行することにより、注目画素をクラス分類するようにしたので、その分類結果に基づいて特定された回帰係数を用いた回帰予測演算を簡素なものとすることが可能である。
さらに、本発明では、反復して判別予測を行うことにより、より適切にクラス分類することが可能となる。また、反復して行われる判別予測の処理の途中において、入力画像の画素値などに処理を施した中間データなどを生成する必要がないので、処理を高速化することが可能である。すなわち、出力画像を予測する際に，どの画素に対しても高々（ｐ＋１）回の予測式の演算で、クラス分類と回帰予測を行うことができるので高速な処理が可能である。また、クラス分類と回帰予測を行う際に、タップの演算の中間データなどを用いることなく、常に入力に対する演算のみで完結しているために、実装においてパイプライン構造を利用することが可能となる。
次に、図１３のフローチャートを参照して、判別係数回帰係数学習処理の詳細について説明する。この処理は、図１の学習装置１０により実行される。
ステップＳ１０１において、判別係数学習部２５は、反復コードを特定する。いまの場合、第１回目の学習の処理であるから反復コードは１と特定される。
ステップＳ１０２において、回帰係数学習部２１乃至ラベリング部２４は、図１４を参照して後述するラベリング処理を実行する。ここで、図１４のフローチャートを参照して図１３のステップＳ１０２のラベリング処理の詳細な例について説明する。
ステップＳ１３１において、回帰係数学習部２１は、図１５を参照して後述する回帰係数学習処理を実行する。これにより、生徒画像の画素値に基づいて教師画像の画素値を予測するための演算に用いられる回帰係数が求められる。
ステップＳ１３２において、回帰予測部２３は、ステップＳ１３１の処理により求められた回帰係数を用いて回帰予測値を演算する。このとき、例えば、式（６）の演算が行われ、予測値ｙiが求められる。
ステップＳ１３３において、ラベリング部２４は、ステップＳ１３２の処理により得られた予測値yiを、教師画像の画素値である真値tiと比較する。
ステップＳ１３４において、ラベリング部２４は、ステップＳ１３３の比較結果に基づいて、注目画素（実際には、注目画素に対応するタップ）を判別クラスＡまたは判別クラスＢにラベリングする。これにより、例えば、図８を参照して上述したように、判別クラスＡまたは判別クラスＢのラベリングがなされる。
なお、ステップＳ１３２乃至ステップＳ１３４の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
このようにしてラベリング処理が実行される。
次に、図１５のフローチャートを参照して、図１４のステップＳ１３１の回帰係数演算処理の詳細な例について説明する。
ステップＳ１５１において、回帰係数学習部２１は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、その注目画素に対応する教師画像の画素との組み合わせを意味する。なお、回帰予測演算は、式（６）により表わされるものなので、ここでのタップ（回帰タップ）は、高域フィルタ演算値および低域フィルタ演算値の２つの要素からなるベクトルとなる。
例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
ステップＳ１５２において、回帰係数学習部２１は、ステップＳ１５１の処理で特定されたサンプルの足しこみを行う。このとき、例えば、式（５）にサンプルのタップと教師画像の画素値が足しこまれていく。
ステップＳ１５３において、回帰係数学習部２１は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１５２の処理が繰り返し実行される。
ステップＳ１５４において、回帰係数学習部２１は、例えば、式（７）の演算を行い、最小二乗法を用いて、回帰係数w0を導出する。
このようにして、回帰係数演算処理が実行される。
以上により図１３のステップＳ１０２のラベリング処理が終了し、処理は、図１３のステップＳ１０３の判別係数演算処理に進む。
ステップＳ１０３において、判別係数学習部２５は、図１６を参照して後述する判別係数演算処理を実行する。ここで、図１６のフローチャートを参照して、図１３のステップＳ１０３の判別係数演算処理の詳細な例について説明する。
ステップＳ１７１において、判別係数学習部２５は、ステップＳ１０１の処理で特定された反復コードに対応するサンプルを特定する。ここでの、サンプルは、生徒画像の注目画素に対応するタップと、注目画素についての判別クラスＡまたは判別クラスＢのラベリングの結果との組み合わせを意味する。なお、ここでのタップ（判別タップ）は、高域フィルタ演算値、低域フィルタ演算値、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値の５つの特徴量を要素とするベクトルとなる。
例えば、反復コードが１であれば、第１回目の学習の処理なので、生徒画像の全画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが２１であれば、第２回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定される。例えば、反復コードが３４であれば、第３回目の学習の処理の一部なので、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット０が付与され、２回目の学習の処理でクラスコードビット０が付与された画素のそれぞれを注目画素としてサンプルが特定される。
ステップＳ１７２において、判別係数学習部２５は、ステップＳ１７１の処理で特定されたサンプルの足しこみを行う。
ステップＳ１７３において、判別係数学習部２５は、全サンプルを足しこんだか否かを判定し、全サンプルを足しこんだと判定されるまで、ステップＳ１７２の処理が繰り返し実行される。
ステップＳ１７４において、判別係数学習部２５は、例えば、判別分析により（最小二乗法を用いてもよい）、判別係数を導出する。
このようにして、判別係数演算処理が実行される。
図１３に戻って、ステップＳ１０４において、判別予測部２７は、ステップＳ１０３の処理により求められた係数と、生徒画像から得られるタップを用いて、判別予測値を演算する。このとき、例えば、式（８）の演算が行われ、予測値ｙi（判別予測値）が求められる。
ステップＳ１０５において、クラス分割部２８は、ステップＳ１０４の処理により求められた判別予測値が０以上であるか否かを判定する。
ステップＳ１０５において、判別予測値が０以上であると判定された場合、処理は、ステップＳ１０６に進み、当該注目画素（実際にはタップ）にクラスコードビット１が設定される。一方、ステップＳ１０５において、判別予測値が０未満であると判定された場合、処理は、ステップＳ１０７に進み、当該注目画素（実際にはタップ）にクラスコードビット０が設定される。
なお、ステップＳ１０４乃至ステップＳ１０７の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
ステップＳ１０６、またはステップＳ１０７の処理の後、処理は、ステップＳ１０８に進み、判別係数記憶部２６は、ステップＳ１０３の処理で求められた判別係数を、ステップＳ１０１で特定された反復コードに対応付けて記憶する。
ステップＳ１０９において、学習装置１０は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１０１に戻る。
そして、ステップＳ１０１において、あらためて反復コードが特定される。いまの場合、第２回目の学習の最初の処理であるから、反復コードは２１と特定される。
そして、同様に、ステップＳ１０２乃至Ｓ１０８の処理が実行される。このとき、上述したように、ステップＳ１０２の処理と、ステップＳ１０３の処理では、生徒画像の画素のうち、１回目の学習の処理でクラスコードビット１が付与された画素のそれぞれを注目画素としてサンプルが特定されることになる。
そして、ステップＳ１０９で反復が終了したか否かが判定される。
このように、ステップＳ１０９において反復が終了したと判定されるまで、ステップＳ１０１乃至Ｓ１０８の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１０１で反復コードは３４であると特定された後、ステップＳ１０２乃至Ｓ１０８の処理が実行され、ステップＳ１０９において、反復は終了したと判定されることになる。
このように、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、７種類の判別係数が、それぞれ反復コードに対応付けられて判別係数記憶部２６に記憶されたことになる。
ステップＳ１０９において、反復は終了したと判定された場合、処理は、ステップＳ１１０に進む。
ステップＳ１１０において、回帰係数学習部２１は、回帰係数演算処理を実行する。この処理は、図１５のフローチャートを参照して上述した場合と同様なので、詳細な説明は省略するが、いまの場合、ステップＳ１５１では、反復コードに対応するサンプルが特定されるのではなく、各クラス番号に対応するサンプルがそれぞれ特定される。
すなわち、ステップＳ１０１乃至Ｓ１０９の処理が繰り返し実行されたことにより、図８を参照して上述したように、生徒画像の各画素は、クラス番号Ｃ0乃至Ｃ7のいずれかのクラスに分類されたことになる。従って、生徒画像のクラス番号Ｃ0の画素を、注目画素としてサンプルが特定されて、第１の回帰係数が導出される。また、生徒画像のクラス番号Ｃ１の画素を、注目画素としてサンプルが特定されて、第２の回帰係数が導出され、生徒画像のクラス番号Ｃ２の画素を、注目画素としてサンプルが特定されて、第３の回帰係数が導出され、・・・生徒画像のクラス番号Ｃ７の画素を、注目画素としてサンプルが特定されて、第８の回帰係数が導出される。
つまり、ステップＳ１１０の回帰係数演算処理においては、クラス番号Ｃ0乃至Ｃ7のそれぞれに対応する８種類の回帰係数が求められることになる。
ステップＳ１１１において、回帰係数記憶部２２は、ステップＳ１１０の処理により求められた８種類の回帰係数のそれぞれを、クラス番号に対応付けて記憶する。
このようにして、判別回帰係数学習処理が実行される。
なお、ここでは、主として、判別係数の学習が３回反復して行われる例について説明したが、反復回数は、１回であってもよい。すなわち、第１回目の判別係数の学習が終了した後、判別係数学習部２５による判別係数の演算、判別予測部２７による判別予測が繰り返し実行されないようにしてもよい。
次に、図１７のフローチャートを参照して、判別回帰予測処理の例について説明する。この処理は、図１２の画像処理装置１００により実行される。また、処理の実行に先立って、画像処理装置１００の判別係数記憶部１２２と回帰係数記憶部１２４には、それぞれ、図１３の判別回帰係数学習処理によって、判別係数記憶部２６に記憶された７種類の判別係数と、回帰係数記憶部２２に記憶された８種類の回帰係数とが記憶されているものとする。
ステップＳ１９１において、判別予測部１２１は、反復コードを特定する。いまの場合、第１回目の判別の処理であるから反復コードは１と特定される。
ステップＳ１９２において、判別予測部１２１は、図１８を参照して後述する判別処理を実行する。ここで、図１８のフローチャートを参照して、図１７のステップＳ１９２の判別処理の詳細な例について説明する。
ステップＳ２１１において、判別予測部１２１は、反復コードに対応する注目画素を設定する。例えば、反復コードが１であれば、第１回目の判別の処理なので、入力画像の全画素のそれぞれが注目画素として設定される。例えば、反復コードが２１であれば、第２回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定される。例えば、反復コードが３４であれば、第３回目の判別の処理の一部なので、入力画像の画素のうち、１回目の判別の処理でクラスコードビット０が付与され、２回目の判別の処理でクラスコードビット０が付与された画素のそれぞれが注目画素として設定される。
ステップＳ２１２において、判別予測部１２１は、ステップＳ２１１で設定された注目画素に対応する判別タップを取得する。
ステップＳ２１３において、判別予測部１２１は、ステップＳ２１１の処理で特定された反復コードに対応する判別係数を特定し、判別係数記憶部１２２から読み出す。
ステップＳ２１４において、判別予測部１２１は、判別予測値を演算する。このとき、例えば、上述した式（８）の演算が行われることになる。
ステップＳ２１５において、クラス分割部１２３は、ステップＳ２１４の処理で演算された判別予測値に基づいて、注目画素にクラスコードビットを設定（付与）する。このとき、上述したように、例えば、式（８）により演算された予測値yiと０との大小比較を行って、注目画素にクラスコードビットが付与される。
なお、ステップＳ２１１乃至ステップＳ２１５の処理は、反復コードに対応して定まる処理対象の画素のそれぞれを対象として行われる。
このようにして、判別処理が実行される。
図１７に戻って、ステップＳ１９２の処理の後、ステップＳ１９３において、判別予測部１２１は、反復が終了したか否かを判定する。例えば、３回反復して学習することが予め設定されている場合、まだ、反復が終了していないと判定され、処理は、ステップＳ１９１に戻る。
この後、ステップＳ１９１では反復コードが２１と特定され、同様に、ステップＳ１９２の処理が実行される。このとき、上述したように、ステップＳ１９２の処理では、入力画像の画素のうち、１回目の判別の処理でクラスコードビット１が付与された画素のそれぞれが注目画素として設定されることになる。
そして、ステップＳ１９３で反復が終了したか否かが判定される。
このように、ステップＳ１９３において反復が終了したと判定されるまで、ステップＳ１９１乃至Ｓ１９３の処理が繰り返し実行される。３回反復して学習することが予め設定されている場合、ステップＳ１９１で反復コードは３４であると特定された後、ステップＳ１９２の処理が実行され、ステップＳ１９３において、反復は終了したと判定されることになる。
ステップＳ１９３においては、反復が終了したと判定された場合、処理は、ステップＳ１９４に進む。なお、ここまでの処理により、図１０または図１１を参照して上述したように、入力画像が３ビットのクラスコードのクラス番号に対応する画素群に分類されていることになる。また、上述したように、クラス分割部１２３は、入力画像の各画素を特定する情報とその画素のクラス番号とを対応付けて回帰係数記憶部１２４に供給するようになされている。
ステップＳ１９４において、回帰予測部１２５は、入力画像において注目画素を設定する。
ステップＳ１９５において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素に対応する回帰タップを取得する。
ステップＳ１９６において、回帰予測部１２５は、ステップＳ１９４で設定された注目画素を特定する情報を回帰係数記憶部１２４に供給して、その注目画素のクラス番号に対応する回帰係数を特定し、回帰係数記憶部１２４から読み出す。
ステップＳ１９７において、回帰予測部１２５は、ステップＳ１９５で取得した回帰タップと、ステップＳ１９６で特定して読み出した回帰係数を用いて式（６）の演算を行い、回帰予測値を演算する。
なお、ステップＳ１９１乃至ステップＳ１９７の処理は、入力画像の各画素のそれぞれを対象として行われる。
そして、回帰予測部１２５の演算により得られた予測値を、注目画素に対応する画素の値とする出力画像が生成される。これにより、入力画像が高画質化された出力画像が得られることになる。
このようにして判別予測処理が実行される。このようにすることで、画像の高画質化処理を、より効率的で高速に行うことができる
図１２を参照して上述した画像処理装置は、例えば、高画質化回路としてテレビジョン受像機に搭載することも可能である。図１９は、図１２を参照して上述した画像処理装置を搭載したテレビジョン受像機５１１の構成例を示すブロック図である。
同図のテレビジョン受像機５１１は、被制御部５３１および制御部５３２から構成される。被制御部５３１は、制御部５３２の制御の下、テレビジョン受像機５１１の種々の機能を実現する。
被制御部５３１は、デジタルチューナ５５３、デマルチプレクサ（Demux）５５４、ＭＰＥＧ(Moving Picture Expert Group)デコーダ５５５、映像・グラフィック処理回路５５６、パネル駆動回路５５７、表示パネル５５８、音声処理回路５５９、音声増幅回路５６０、スピーカ５６１、および受信部５６２を備えている。また、制御部５３２は、ＣＰＵ（Central Processing Unit）５６３、フラッシュＲＯＭ５６４、ＤＲＡＭ（Dynamic Random Access Memory）５６５、および内部バス５６６を備えている。
デジタルチューナ５５３は、図示せぬアンテナ端子から入力されたテレビジョン放送信号を処理して、ユーザの選択したチャンネルに対応した所定のＴＳ（Transport Stream）を、デマルチプレクサ５５４に供給する。
デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ユーザの選択したチャンネルに対応した、パーシャルＴＳ（映像信号のＴＳパケット、音声信号のＴＳパケット）を抽出し、ＭＰＥＧデコーダ５５５に供給する。
また、デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ＰＳＩ／ＳＩ(Program Specific Information/Service Information)を取り出し、ＣＰＵ５６３に供給する。デジタルチューナ５５３から供給されたＴＳには、複数のチャンネルが多重化されている。デマルチプレクサ５５４がＴＳから任意のチャンネルのパーシャルＴＳを抽出する処理は、ＰＳＩ／ＳＩ（ＰＡＴ/ＰＭＴ）から任意のチャンネルのパケットＩＤ（ＰＩＤ）の情報を得ることで可能となる。
ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される映像信号のＴＳパケットにより構成される映像ＰＥＳ(Packetized Elementary Stream)パケットに対してデコード処理を行い、その結果得られる映像信号を、映像・グラフィック処理回路５５６に供給する。また、ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される音声信号のＴＳパケットにより構成される音声ＰＥＳパケットに対してデコード処理を行い、その結果得られる音声信号を、音声処理回路５５９に供給する。
映像・グラフィック処理回路５５６は、ＭＰＥＧデコーダ５５５から供給された映像信号に対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行い、パネル駆動回路５５７に供給する。
映像・グラフィック処理回路５５６には、高画質化回路５７０が接続されており、パネル駆動回路５５７に映像信号を供給するのに先立って、高画質化処理が実行される。
高画質化回路５７０は、図１２を参照して上述した画像処理装置と同様の構成とされ、ＭＰＥＧデコーダ５５５から供給された映像信号から得られた画像データに対して、図１７を参照して上述した判別回帰予測処理を高画質化処理として実行するようになされている。
パネル駆動回路５５７は、映像・グラフィック処理回路５５６から供給された映像信号に基づいて、表示パネル５５８を駆動し、映像を表示させる。表示パネル５５８は、例えば、ＬＣＤ(Liquid Crystal Display)またはＰＤＰ(Plasma Display Panel)等で構成されている。
音声処理回路５５９は、ＭＰＥＧデコーダ５５５から供給された音声信号に対してＤ/Ａ（Digital to Analog）変換等の必要な処理を行い、音声増幅回路５６０に供給する。
音声増幅回路５６０は、音声処理回路５５９から供給されるアナログ音声信号を増幅し、スピーカ５６１に供給する。スピーカ５６１は、音声増幅回路５６０からのアナログ音声信号に応じた音声を出力する。
受信部５６２は、リモートコントローラ５６７から送信された、例えば赤外線のリモートコントロール信号を受信し、ＣＰＵ５６３に供給する。ユーザは、リモートコントローラ５６７を操作することで、テレビジョン受像機５１１の操作を行うことができる。
ＣＰＵ５６３、フラッシュＲＯＭ５６４、およびＤＲＡＭ５６５は、内部バス５６６を介して接続されている。ＣＰＵ５６３は、テレビジョン受像機１１の各部の動作を制御する。フラッシュＲＯＭ５６４は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ５６５は、ＣＰＵ５６３のワークエリア等を構成する。すなわち、ＣＰＵ５６３は、フラッシュＲＯＭ５６４から読み出したソフトウェアやデータをＤＲＡＭ５６５上に展開してソフトウェアを起動し、テレビジョン受像機５１１の各部を制御する。
このように本発明をテレビジョン受像機に適用することができる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図２０において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１０ 学習装置， ２１ 回帰係数学習部， ２２ 回帰係数記憶部， ２３ 回帰予測部， ２４ ラベリング部， ２５ 判別係数学習部， ２６ 判別係数記憶部， ２７ 判別予測部， ２８ クラス分割部， １００ 画像処理装置， １２１ 判別予測部， １２２ 判別係数記憶部， １２３ クラス分割部， １２４ 回帰係数記憶部， １２５ 回帰予測部， ５１１ テレビジョン受像機， ５７０ 高画質化回路， ７０１ ＣＰＵ， ７０２ ＲＯＭ， ７１１ リムーバブルメディア

Claims (17)

  1. 第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
    前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
    前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
    前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
    前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
    前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
    前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する
    係数学習装置。
  2. 前記回帰係数算出手段が前記判別クラス毎に算出した前記回帰係数により前記回帰予測値算出手段が前記判別クラス毎に算出した前記回帰予測値に基づいて、前記判別情報付与手段が判別情報を付与する処理、前記判別係数算出手段が前記判別係数を算出する処理、および前記判別予測値算出手段が前記判別予測値を算出する処理を繰り返し実行する
    請求項１に記載の係数学習装置。
  3. 前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、
    前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分が０未満である場合、前記注目画素は、第１の判別クラスに属する画素であると判別される
    請求項１に記載の係数学習装置。
  4. 前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が予め設定された閾値以上である場合、前記注目画素は、第１の判別クラスに属する画素であると判別され、
    前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値と差分絶対値が前記閾値未満である場合、前記注目画素は、第２の判別クラスに属する画素であると判別される
    請求項１に記載の係数学習装置。
  5. 前記第１の信号の画像は、前記第２の信号の画像に対して画素値の変化量の周波数帯域が制限され、所定のノイズが付加された画像である
    請求項１に記載の係数学習装置。
  6. 前記第２の信号の画像は、自然画像または人工画像である
    請求項５に記載の係数学習装置。
  7. 前記判別タップに含まれる前記周辺画素の画素値に基づく複数の特徴量は、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値である
    請求項１に記載の係数学習装置。
  8. 回帰係数算出手段が、第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出し、
    回帰予測値算出手段が、前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値を算出し、
    判別情報付与手段が、前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与し、
    判別係数算出手段が、前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出し、
    判別予測値算出手段が、前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値を算出し、
    分類手段が、前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、
    前記第１の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出され、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数がさらに算出されるステップ
    を含む係数学習方法。
  9. コンピュータを、
    第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により第２の信号の画像における前記注目画素に対応する画素の値を求める回帰予測演算の前記回帰係数を算出する回帰係数算出手段と、
    前記算出された前記回帰係数と、前記第１の信号の画像から得られた回帰タップに基づいて前記回帰予測演算を行って回帰予測値を算出する回帰予測値算出手段と、
    前記算出された前記回帰予測値と、第２の信号の画像における前記注目画素に対応する画素の値との比較結果に基づいて、前記注目画素に第１の判別クラスに属する画素であるかまたは第２の判別クラスに属する画素であるかを判別するための判別情報を付与する判別情報付与手段と、
    前記付与された判別情報に基づいて、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算の前記判別係数を算出する判別係数算出手段と、
    前記算出された前記判別係数と、前記第１の信号の画像から得られた判別タップに基づいて前記判別予測演算を行って判別予測値を算出する判別予測値算出手段と、
    前記算出された前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段とを備え、
    前記回帰係数算出手段は、前記第１の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出し、前記第２の判別クラスに分類された画素のみを用いて前記回帰係数をさらに算出する係数学習装置として機能させる
    プログラム。
  10. 第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
    前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、
    前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える
    画像処理装置。
  11. 前記判別予測手段が前記判別予測演算を行う処理、および前記分類手段が前記第１の信号の画像の画素のそれぞれを、分類する処理を繰り返し実行する
    請求項１０に記載の画像処理装置。
  12. 前記第１の信号の画像は、前記第２の信号の画像に対して画素値の変化量の周波数帯域が制限され、所定のノイズが付加された画像である
    請求項１０に記載の画像処理装置。
  13. 前記第２の信号の画像は、自然画像または人工画像である
    請求項１２に記載の画像処理装置。
  14. 前記判別タップに含まれる前記周辺画素の画素値に基づく複数の特徴量は、周辺画素値の最大値、周辺画素値の最小値、および周辺画素値の差分絶対値の最大値である
    請求項１０に記載の画像処理装置。
  15. 判別予測手段が、第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行い、
    分類手段が、前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類し、
    回帰予測手段が、前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測するステップ
    を含む画像処理方法。
  16. コンピュータを、
    第１の信号の画像から注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値並びに前記周辺画素の画素値に基づく複数の特徴量を要素として構成される判別タップを取得して、前記判別タップの要素のそれぞれと判別係数との積和演算により前記注目画素が属する判別クラスを特定するための判別予測値を求める判別予測演算を行う判別予測手段と、
    前記判別予測値に基づいて、前記第１の信号の画像の画素のそれぞれを、前記第１の判別クラスと前記第２の判別クラスのいずれかに分類する分類手段と、
    前記第１の信号の画像から、注目画素および周辺画素の画素値の変化量の周波数帯域を抽出するための複数のフィルタ演算値として構成される回帰タップを取得して、前記回帰タップと回帰係数との演算により回帰予測値を演算することで、第２の信号の画像における前記注目画素に対応する画素の画素値を予測する回帰予測手段とを備える画像処理装置として機能させる
    プログラム。
  17. 請求項９または請求項１６に記載のプログラムが記録されている記録媒体。
JP2010081325A 2010-03-31 2010-03-31 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 Withdrawn JP2011217010A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010081325A JP2011217010A (ja) 2010-03-31 2010-03-31 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US13/069,489 US20110243462A1 (en) 2010-03-31 2011-03-23 Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
CN201110075616.1A CN102209224A (zh) 2010-03-31 2011-03-24 系数学习设备和方法以及图像处理设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010081325A JP2011217010A (ja) 2010-03-31 2010-03-31 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2011217010A true JP2011217010A (ja) 2011-10-27

Family

ID=44697861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010081325A Withdrawn JP2011217010A (ja) 2010-03-31 2010-03-31 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Country Status (3)

Country Link
US (1) US20110243462A1 (ja)
JP (1) JP2011217010A (ja)
CN (1) CN102209224A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043116A1 (ja) * 2022-08-24 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 学習装置、推論装置、学習方法、推論方法、符号化装置および復号化装置
JP7452149B2 (ja) 2020-03-20 2024-03-19 株式会社アイシン ブロックノイズ検出の為の学習装置及びコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013021636A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7452149B2 (ja) 2020-03-20 2024-03-19 株式会社アイシン ブロックノイズ検出の為の学習装置及びコンピュータプログラム
WO2024043116A1 (ja) * 2022-08-24 2024-02-29 ソニーセミコンダクタソリューションズ株式会社 学習装置、推論装置、学習方法、推論方法、符号化装置および復号化装置

Also Published As

Publication number Publication date
US20110243462A1 (en) 2011-10-06
CN102209224A (zh) 2011-10-05

Similar Documents

Publication Publication Date Title
US8346003B2 (en) Image processing for reducing blur
JP2013003892A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2010102696A (ja) 画像処理装置および係数学習装置。
CN101465943A (zh) 图像处理设备、图像处理方法、程序和学习设备
JP5347862B2 (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2008015824A (ja) フィルタ列生成装置、フィルタ列生成方法、コンピュータをフィルタ列生成装置として機能させるためのプログラム、および記録媒体
JP2011217010A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US7925019B2 (en) Method and apparatus for converting data, method and apparatus for inverse converting data, and recording medium
US20050111749A1 (en) Data converting apparatus, data converting method, learning apparatus, leaning method, program, and recording medium
JP2011211437A (ja) 画像処理装置および方法、並びにプログラム
JP2001084368A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2011217011A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4770711B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2021179891A (ja) 画像処理装置
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2000348019A (ja) データ処理装置およびデータ処理方法、並びに媒体
JP5029869B2 (ja) 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム
CN114731455B (en) Apparatus and method using AI metadata related to image quality
JP5050944B2 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
JP2009284207A (ja) 画像処理装置および方法、プログラム、並びに学習装置および方法
TWI406188B (zh) 影像處理方法與影像處理裝置
JP4349299B2 (ja) データ変換装置および方法、データ逆変換装置および方法、符号化装置および方法、復号装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2011217140A (ja) 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130604