JP2012244395A - 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2012244395A
JP2012244395A JP2011112311A JP2011112311A JP2012244395A JP 2012244395 A JP2012244395 A JP 2012244395A JP 2011112311 A JP2011112311 A JP 2011112311A JP 2011112311 A JP2011112311 A JP 2011112311A JP 2012244395 A JP2012244395 A JP 2012244395A
Authority
JP
Japan
Prior art keywords
image
resolution image
model
resolution
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011112311A
Other languages
English (en)
Inventor
Yasuhiro Matsuda
康宏 松田
Takahiro Nagano
隆浩 永野
Masashi Uchida
真史 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011112311A priority Critical patent/JP2012244395A/ja
Priority to US13/433,606 priority patent/US8913822B2/en
Priority to EP12167492A priority patent/EP2525320A1/en
Priority to CN201210145446.4A priority patent/CN102789632B/zh
Publication of JP2012244395A publication Critical patent/JP2012244395A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】より高精度の解像度補間をより高速に行うことができるようにする。
【解決手段】解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、入力された低解像度の画像である観測低解像度画像の所定の画素、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像、および予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算する。
【選択図】図１３

Description

本技術は、学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、より高精度の解像度補間をより高速に行うことができるようにする学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。
従来より画像の高画質化処理が実用化されている。例えば、入力信号の解像度が表示画面の解像度に満たない場合に、それを補うための解像度補間技術としての超解像技術が知られている。超解像技術を用いることにより、例えば、標準解像度のビデオソフトをフルＨＤの大画面テレビでみる場合に、足りない画素を補間してよりリアルな映像を楽しむことができる。
従来の超解像技術は、低解像度の画像から高解像度の画像の画素を繰り返し演算によって推定するものとされ、一般的には、次のような処理を行うものとされている。
まず、予めカメラモデル(劣化モデル)とカメラ動き(位置合わせ)を推定しておく。そして、高解像度画像から推定モデルを通して得られた推定低解像度画像と実際の観測された低解像度画像との誤差(差分)が小さくなるように、繰り返し演算によって徐々に高解像度画像を補正し、理想画像に近づける。
例えば、カメラモデル(劣化モデル)では、ぼけ(光学ぼけ、動きぼけ、PSF)や画素数変換(ダウンコンバート、プログレッシブ-インターレース変換)やノイズが考えられる。また、位置合わせでは、サブピクセル精度のカメラ動きや被写体動きの推定が用いられる。上記の、カメラモデル・位置合わせが正確に分かっている場合、エイリアシングのない高解像度画像を復元することが可能となる。
また、超解像処理器により求められたフィードバック値が、バッファに保持されている高解像度画像に加算され、そのような１回目の加算処理によって得られた高解像度画像が次の超解像処理器により求められたフィードバック値に加算され、ガウスザイデル法を用いた超解像処理によって高解像度画像が生成されるようにする技術も提案されている（例えば、特許文献１参照）。
特開２００８−１４００１２号公報
しかしながら、通常カメラモデルや位置合わせを完全に特定することは不可能であり、画面内を均一のモデルで記述できるものではない。このようなカメラモデルや位置合わせに推定誤差が生じ、適切な高解像度画像の補正ができないと、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。
これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている(再構成型超解像ＭＡＰ法とも称される)。しかし、これだけでは、画像の事前情報に性能が大きく依存し、エイリアシング性能、解像度感、オーバーシュートの抑制、ノイズの抑制について、全てを満たすのは難しい。
さらに、従来の技術は、例えば、繰り返し演算による処理負荷が大きく高速処理の実現が難しかった。
本技術はこのような状況に鑑みて開示するものであり、より高精度の解像度補間をより高速に行うことができるようにするものである。
本技術の第１の側面は、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置である。
前記予測演算部は、予め学習により生成された学習データベースに記憶されている前記パラメータを読み出し、前記予測演算を行うようにすることができる。
前記モデルベース処理部は、１フレーム前に出力された高解像度画像を動き補償する動き補償部と、前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、入力された低解像度の画像である観測低解像度画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラとを備えるようにすることができる。
前記モデルベース処理部は、１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、前記ボケ付加部により付加されたボケを除去するボケ除去部とを有するようにすることができる。
前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、前記予測演算部は、前記分類されたクラスに対応するパラメータとして予め記憶されている係数を用いた所定の演算を行って、出力すべき高解像度画像の画素値を予測演算するようにすることができる。
入力された低解像度の画像である観測低解像度画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部をさらに備え、前記予測演算部は、予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算するようにすることができる。
本発明の第１の側面は、モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、予測演算部が、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算するステップを含む画像処理方法である。
本発明の第１の側面は、コンピュータを、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置として機能させるプログラムである。
本発明の第１の側面においては、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理が実行され、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値が予測演算される
本発明の第２の側面は、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置である。
前記算出されたパラメータを記憶するデータベースをさらに備え、入力された低解像度画像を高解像度画像に変換する画像処理装置の画像処理に、前記データベースが用いられるようにすることができる。
前記モデルベース処理部は、１フレーム前に出力された高解像度画像を動き補償する動き補償部と、前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、生徒画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラとを備えるようにすることができる。
前記モデルベース処理部は、１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、前記ボケ付加部により付加されたボケを除去するボケ除去部とを有するようにすることができる。
前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、前記パラメータ算出部は、前記分類されたクラスに対応するパラメータとして、前記出力すべき高解像度画像の画素値を予測演算する際に前記タップに乗じる係数を算出するようにすることができる。
本発明の第２の側面は、モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、タップ抽出部が、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出し、サンプル蓄積部が、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積し、パラメータ算出部が、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するステップを含む学習方法である。
本発明の第２の側面は、コンピュータを、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置として機能させるプログラムである。
本技術の第２の側面においては、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理が実行され、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素がタップとして抽出され、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式がサンプルとして蓄積され、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータが算出される。
本技術によれば、より高精度の解像度補間をより高速に行うことができる。
１フレームの画面内の画素を用いる従来のアップコン技術により得られた画像の例を示す図である。 ＳＤｉ信号の画素と、ＨＤｐ信号の画素の位置を示す図である。 過去に生成された複数の画像の画素を用いる従来の超解像技術により得られた画像の例を示す図である。 ＳＤｉ信号の画素と、ＨＤｐ信号の画素の位置を示す図である。 １フレームの画面内の画素を用いた場合と、過去に生成された複数の画像の画素を用いた場合の超解像技術により得られる画像の例を示す図である。 図５とは別の画像の例を示す図である。 従来の超解像技術を説明する概念図である。 従来の超解像技術を採用した画像処理装置の構成例を示すブロック図である。 従来の画像処理装置による処理を極めて簡素化して表現した図である。 本技術を適用した画像処理装置による処理を極めて簡素化して表現した図である。 本技術における係数の学習を説明する概念図である。 本技術における高解像度画像の生成を説明する概念図である。 本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。 本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 係数学習処理の例を説明するフローチャートである。 モデルベース処理の例を説明するフローチャートである。 サンプル蓄積処理の例を説明するフローチャートである。 超解像処理の例を説明するフローチャートである。 予測処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
最初に従来の超解像技術について説明する。
図１は、従来のアップコン技術により高画質化された画像の例を示している。この例では、ＳＤ（Standard Definition）ｉ（interlace）信号の画像を、ＨＤ（High Definition）ｐ（（progressive）信号の画像に変換する例が示されている。同図に示される画像は、動画であり、この例では、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が表示されている。この例における高画質化処理は、１フレームの画面内の画素に基づいて行われるものとされ、例えば、複数のＳＤｉ信号の画素に基づいて、１つのＨＤｐ信号の画素が生成されるようになされている。すなわち、画像がアップコンバート（アップコン）される例を示している。
図１には、図中の最も上に理想画像として本来生成されるべきＨＤｐ信号の画像が示されている。そして、図１には、ＳＤｉ信号を高画質化処理されて得られた画像であって、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が図中上から下に順番に並べられて表示されている。
図２は、縦軸が垂直方向の画素位置とされ、横軸が時刻とされ、ＳＤｉ信号の画素と、超解像技術による高画質化処理により生成（補間）されたＨＤｐ信号の画素が図中の丸い図形により示されている。ＳＤｉ信号の画素は、比較的大きいハッチングされた丸によって示されており、ＨＤｐ信号の画素は、比較的小さい黒い丸によって示されている。
高画質化処理の対象とされた画像は、動きを有する画像であるため、図１において、×印により示される画素は、図中において垂直方向に移動している。すなわち、図２に示される円で囲まれた黒い丸が図１の×印により示される画素に対応している。
上述したように、この例における高画質化処理は、１フレームの画面内の画素に基づいて行われるものであるため、ＳＤｉ信号の画素の位置から離れた位置にあるＨＤｐ信号の画素により構成される画像の画素の補間精度が低いものになってしまうことが多い。
例えば、図２に示されるように、時刻ｔ＋２のフレームにおける図中の円で囲まれたＨＤｐ信号の画素は、ＳＤｉ信号の画素の位置から離れて位置している。このため、図１の時刻ｔ＋２の画像において、図中の×印で示される位置付近の画像の画素の補間精度が低い状態で表示されている。
これに対して、時間的に前（過去）に存在する複数の時刻のフレームの画像の画素を用いて高画質化処理を行う場合、ＳＤｉ信号の画素の位置から離れた位置にあるＨＤｐ信号の画素により構成される画像の画素の補間精度を高めることができる。
図３は、従来の超解像技術により高画質化された画像の例を示している。この例では、ＳＤｉ信号の画像を、ＨＤｐ信号の画像に変換する例が示されている。同図に示される画像は、動画であり、この例では、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が表示されている。この例における高画質化処理は、過去に生成された複数の画像の画素を用いて行われるものとされ、例えば、複数のＳＤｉ信号の画素に基づいて、１つのＨＤｐ信号の画素が生成されるようになされている。
図３には、図中の最も上に理想画像として本来生成されるべきＨＤｐ信号の画像が示されている。そして、図３には、ＳＤｉ信号を従来の超解像技術による高画質化処理が施されて得られた画像であって、時刻ｔ乃至時刻ｔ＋４の各フレームの画像が図中上から下に順番に並べられて表示されている。
図４は、縦軸が垂直方向の画素位置とされ、横軸が時刻とされ、ＳＤｉ信号の画素と、高画質化処理により生成（補間）されたＨＤｐ信号の画素が図中の丸い図形により示されている。ＳＤｉ信号の画素は、比較的大きいハッチングされた丸によって示されており、ＨＤｐ信号の画素は、比較的小さい黒い丸によって示されている。
図３に示される画像の場合、図１の場合と異なり、時刻が進むに従って、画像が鮮明に表示されている。例えば、時刻ｔ＋４に示される画像では、図１において見られたように、ＳＤｉ信号の画素の位置から離れた位置の画素が不鮮明に表示されるなどの問題も見られないし、画像中のエッジなどのディテール部分も鮮明に表示されている。
図５と図６は、１フレームの画面内の画素を用いた超解像技術により得られた画像と、過去に生成された複数の画像の画素を用いた超解像技術により得られた画像の別の例を示す図である。
図５Ｃと図６Ｃは、それぞれ理想画像とされ、実際の被写体に近い画像とされている。図５Ｃの場合、エッジを多く含む画像が表示されており、図６Ｃの場合、文字を多く含む画像が表示されている。
図５Ａは、１フレームの画面内の画素に基づいて行われる高画質化処理により得られた画像の例とされ、図５Ｂは、過去に生成された複数の画像の画素を用いて行われる高画質化処理により得られた画像の例とされる。例えば、図５Ａの場合、画面内のエッジとなる画像の付近に折り返し歪が発生している。一方で、図５Ｂの場合、より理想画像（図５Ｃ）に近い画像が得られている。図５Ｂの場合、複数の画像の画素を用いることにより、理想画像の画質に近づけることができるからである。
図６Ａは、１フレームの画面内の画素に基づいて行われる高画質化処理により得られた画像の例とされ、図６Ｂは、過去に生成された複数の画像の画素を用いて行われる高画質化処理により得られた画像の例とされる。例えば、図６Ａの場合、画面内の文字の画像が不鮮明に表示されている。一方で、図６Ｂの場合、より理想画像（図６Ｃ）に近い画像が得られている。図６Ｂの場合、後述する繰り返し演算により、理想画像の画質に近づけることができるからである。
このように、図５、図６いずれの場合であっても、過去に生成された複数の画像の画素を用いて高画質化処理を施すことにより、理想画像に近い画像を得ることができることが分かる。
図７と図８は従来の超解像技術を説明する図である。なお、この例における高画質化処理は、低解像度の画像を高解像度の画像に変換するものであって、過去に生成された複数の画像の画素を用いて行われるものとされる。
従来の超解像技術においては、例えば、図７に示されるように、カメラで被写体を撮影し、観測低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。
一方、１フレーム前の高解像度画像（例えば、ＨＤｐ信号の画像）に対して、被写体がカメラで撮影された場合のカメラモデル(劣化モデル)とカメラ動き(位置合わせ)が付加される。例えば、１フレーム前の高解像度画像に意図的にボケが付加され、動き補償がなされ、その後画像がダウンサンプルされるなどして低解像度の画像に変換される。その結果、推定低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。
さらに、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）が演算され、この誤差を小さくするように、高解像度画像が更新される。
上述のような処理を、例えば、１フレームにつき数回繰り返すことにより、都度、高解像度画像が更新されていくことになる。そして、高解像度画像の画質は、徐々に理想画像の画質に近づいていくことになる。このように、高解像度画像の画素値の更新を繰り返す処理を繰り返し演算と称することもある。
例えば、繰り返し演算を３回行った場合、通常、繰り返し演算を２回行った場合よりも、理想画像の画質に近づけることができる。このように、直近の演算処理によって更新された高解像度画像の画素を、繰り返し演算によりさらに更新することで、高解像度画像の画質は、徐々に理想画像の画質に近づいていく。
図８は、従来の超解像技術を採用した画像処理装置の構成例を示すブロック図である。同図に示される画像処理装置１０は、動き補償部（ＭＣ）２１、ボケ付加部（Ｂｌｕｒ）２２、ダウンサンプラ２３、加算器２４、アップサンプラ２５、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）２６、乗算器２７、および加算器２８により構成されている。
動き補償部２１は、直前に更新された高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。なお、動き補償部２１から出力された画像を、適宜、動き補償後の直前に更新された高解像度画像と称することにする。動き補償後の直前に更新された高解像度画像は、ボケ付加部２２に供給される。
ボケ付加部２２は、動き補償後の直前に更新された高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。すなわち、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成する。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。ボケが付加された動き補償後の直前に更新された高解像度画像は、ダウンサンプラ２３に供給される。
ダウンサンプラ２３は、ボケが付加された動き補償後の直前に更新された高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
加算器２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。この演算結果は、アップサンプラ２５に供給される。
アップサンプラ２５は、加算器２４による演算結果のデータについて画素を補間するなどして高解像度画像を生成し、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）２６に供給する。
ボケ除去部２６は、供給された高解像度画像のボケを除去する。すなわち、ボケ付加部２２により付加されるボケを除去するような処理が施される。
なお、ボケ付加部２２とボケ除去部２６が設けられないようにしてもよい。
乗算器２７は、ボケ除去部２６から出力された高解像度画像の各画素の画素値に所定のゲインを乗じ、加算器２８に出力する。
加算器２８は、動き補償後の直前に更新された高解像度画像の各画素と乗算器２７の演算結果と加算し、その加算結果を高解像度画像として出力する。
すなわち、従来の画像処理装置１０は、極めて簡素化して表現すると、例えば、図９に示されるように、低解像度画像と、フィードバックされた高解像度画像とをモデルベースで変換することで、高解像度画像を生成するものとされていた。つまり、動き補償やボケの付加または除去などは、カメラモデルとして提供されている画像変換モデル、位置合わせとして提供されている画像変換モデルに基づく処理と考えることができ、このような画像の変換をモデルベースの処理と称することにする。
なお、上述の例におけるフィードバックについては、直前に更新された高解像度画像がフィードバックされることになる。そして、直前に更新された高解像度画像がフィードバックされてさらに更新される。このようなフィードバックが、例えば、１フレームにつき複数回繰り返すことにより、都度、高解像度画像が更新されていく。
また、同図におけるモデルベースは、処理の概念を表すものであり、例えば、図８の動き補償部２１、ボケ付加部２２、ダウンサンプラ２３などの処理、またはそれらの逆変換の処理に対応するものとされる。
しかしながら、通常カメラモデルや位置合わせを完全に特定することは不可能であり、画面内を均一のモデルで記述できるものではない。つまり、図９に示されるモデルベースを適切に構築することは難しい。このようなカメラモデルや位置合わせに推定誤差が生じ、適切な高解像度画像の補正ができないと、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が発生し、さらには大きな画質破綻へと繋がる。
これらの弊害への対策として、画像の事前情報から画質破綻やノイズの強調を防止する技術が考えられている(再構成型超解像ＭＡＰ法とも称される)。しかし、これだけでは、画像の事前情報に性能が大きく依存し、エイリアシング性能、解像度感、オーバーシュートの抑制、ノイズの抑制について、全てを満たすのは難しい。
さらに、従来の技術は、例えば、上述したように１フレームにつき複数回行われる繰り返し演算による処理負荷が大きく高速処理の実現が難しかった。
そこで本技術においては、例えば、図１０に示されるように、モデルベースの処理に学習データベースを用いた処理を加えることにする。すなわち、高解像度画像を教師画像とし、教師画像を劣化させるなどして生成した低解像度画像を生徒画像として装置に入力し、生徒画像から高解像度画像を生成させる。そして、生成された高解像度画像と教師画像を比較することにより、高解像度画像の画素値を推定するためのパラメータなどを算出し（学習させ）、学習データベースに記憶させるのである。
例えば、図１１に示されるように、生徒画像として入力された低解像度画像（例えば、ＳＤｉ信号の画像）を、観測低解像度画像として取り扱う。
一方、１フレーム前の高解像度画像（例えば、ＨＤｐ信号の画像）に対して、被写体がカメラで撮影された場合のカメラモデル(劣化モデル)とカメラ動き(位置合わせ)が付加される。例えば、１フレーム前の高解像度画像に意図的にボケが付加され、動き補償がなされる。その結果、推定低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。
さらに、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）が演算され、高解像度画像を生成するために必要となる情報の学習を経て高解像度画像が更新される。
いまの場合、観測低解像度画像の画素と、動き補償後の１フレーム前の高解像度画像の画素に基づいて高解像度画像の画素を推定するための所定の係数が学習される。例えば、教師画像の画素値をｙtとし、生徒画像の画素値をｘiとし、動き補償後の１フレーム前の高解像度画像の画素値をｘjとし、式（１）に示されるような線形一次式を想定する。
Figure 2012244395
 ・・・（１）
ここで、式（１）における係数ｗiは、観測低解像度画像の画素値に乗じられる係数とされ、係数ｗjは、動き補償後の１フレーム前の高解像度画像の画素値に乗じられる係数とされる。また、式（１）におけるＮは、教師画像の画素値を算出するために用いられる生徒画像の画素数とされ、Ｍは、教師画像の画素値を算出するために用いられる動き補償後の１フレーム前の高解像度画像の画素数とされる。
また、例えば、注目画素について、生徒画像の画素値と推定低解像度画像の差分値を特徴量として所定のクラスにクラス分類する。なお、ここで注目画素は、高解像度画像において得るべき画素とされる。従って、実際の注目画素に対応する特徴量は、生徒画像の画素値と推定低解像度画像の差分のデータに対してアップサンプラによる画素補間がなされ、さらにボケ除去部によるボケ除去がなされたデータの画素値から得られることになる。
なお、これ以外の方式で注目画素がクラス分類されるようにしてもよい。例えば、ＡＤＲＣ(Adaptive Dynamic Range Coding)などを用いたクラス分類が行われるようにしてもよい。
上述のように注目画素をクラス分類した後、クラス毎に式（１）のサンプルを多数蓄積する。そして、最小二乗法を用いて、クラス毎に係数ｗiと係数ｗjを算出する。
このようにして算出された係数ｗiと係数ｗjが学習データベースに記憶される。
そして、実際に入力された画像に対して、高画質化する処理を実行する際に、学習データベースに記憶された係数ｗiと係数ｗjが用いられる。
すなわち、図１２に示されるように、観測低解像度画像を高解像度画像に変換するために、次のような処理が行われる。
カメラで被写体を撮影し、観測低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。
一方、１フレーム前の高解像度画像（例えば、ＨＤｐ信号の画像）に対して、被写体がカメラで撮影された場合のカメラモデル(劣化モデル)とカメラ動き(位置合わせ)が付加される。例えば、１フレーム前の高解像度画像に意図的にボケが付加され、動き補償がなされ、その後画像がダウンサンプルされるなどして低解像度の画像に変換される。その結果、推定低解像度画像（例えば、ＳＤｉ信号の画像）が得られる。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。
さらに、注目画素がクラス分類され、分類されたクラスに対応する係数を用いて高解像度画像の画素値が予測（演算）される。ここでは、学習時と同様に、例えば、注目画素について、生徒画像の画素値と推定低解像度画像の差分値を特徴量としてクラス分類される。そして、分類されたクラスに対応付けられて学習データベースに記憶されている係数ｗiと係数ｗjが読み出される。
例えば、予測すべき高解像度画像の画素値をｙとし、観測低解像度画像の画素値をｘiとし、動き補償後の１フレーム前の高解像度画像の画素値をｘjとし、式（２）の演算により、高解像度画像の画素値が予測（演算）される。
Figure 2012244395
 ・・・（２）
ここで、式（２）における係数ｗiは、観測低解像度画像の画素値に乗じられる係数とされ、係数ｗjは、動き補償後の１フレーム前の高解像度画像の画素値に乗じられる係数とされ、注目画素のクラスに応じて学習データベースから読み出される。また、式（２）におけるＮは、高解像度画像の画素値を算出するために用いられる観測低解像度画像の画素数とされ、Ｍは、高解像度画像の画素値を算出するために用いられる動き補償後の１フレーム前の高解像度画像の画素数とされ、それぞれ学習時と同様の画素数とされる。
高解像度画像の各画素値を式（２）により演算された画素値に置き換えることにより高解像度画像が更新される。
本技術によれば、例えば、図７を参照して上述した従来の超解像技術の場合とは異なり、１フレームにつき１回だけ式（２）の演算を行うことにより、理想画像に近い高解像度画像の画素が生成される。従って、繰り返し演算による処理負荷から解放され、高速処理の実現が容易になる。
また、本技術によれば、式（２）の演算に用いられる係数が予め学習されて記憶されている。従って、例えば、カメラモデルや位置合わせに推定誤差が生じたとしても、例えば、エッジやディテールの過強調、オーバーシュート、ノイズの強調などの弊害が抑制されるようにすることができる。カメラモデルや位置合わせに推定誤差が生じたとしても、その推定誤差を含んだ状態から理想画像に近い画像を生成するための係数を学習しているからである。
よって、本技術によれば、例えば、カメラモデルや位置合わせを必ずしも完璧に整える必要はないので、例えば、装置の構成を複雑化させることなく、処理精度の高度化を図ることができる。
図１３は、本技術の一実施の形態に係る学習装置の構成例を示すブロック図である。この学習装置１００では、高解像度画像が教師画像とされ、教師画像を劣化させるなどして生成した低解像度画像が生徒画像として入力され、生徒画像から高解像度画像が生成される。そして、生成された高解像度画像と教師画像を比較することにより、高解像度画像の画素値を推定するためのパラメータなどを算出し（学習させ）、学習データベースに記憶させるようになされている。
同図に示される学習装置１００は、モデルベース処理部１１１、学習処理部１１２、学習データベース１１３、加算器１２４、アップサンプラ１２５、およびボケ除去部（Ｉｎｖ Ｂｌｕｒ）１２６を有する構成とされている。また、モデルベース処理部１１１は、動き補償部（ＭＣ）１２１、ボケ付加部（Ｂｌｕｒ）１２２、およびダウンサンプラ１２３により構成されている。
すなわち、この学習装置１００は、従来の超解像技術におけるモデルベースの処理とともに、高解像度画像の生成に用いられる所定の係数を学習する構成とされている。
図１３において、動き補償部１２１は、１フレーム前の高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。動き補償後の１フレーム前の高解像度画像は、ボケ付加部１２２に供給される。
ボケ付加部１２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。ボケが付加された動き補償後の１フレーム前の高解像度画像は、ダウンサンプラ１２３に供給される。
ダウンサンプラ１２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
加算器１２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。この演算結果のデータは、アップサンプラ１２５に供給される。
アップサンプラ１２５は、加算器１２４による演算結果について画素を補間するなどして高解像度画像を生成し、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）１２６に供給する。
ボケ除去部１２６は、供給された高解像度画像のボケを除去する。すなわち、ボケ付加部１２２により付加されるボケを除去するような処理が施される。
なお、ボケ付加部１２２とボケ除去部１２６が設けられないようにしてもよい。
学習処理部１１２には、生徒画像と教師画像、ボケ除去部１２６から出力されるデータが供給される。学習処理部１１２は、生徒画像の画素と、動き補償後の１フレーム前の高解像度画像の画素に基づいて高解像度画像の画素を推定するための係数を、例えば、次のように学習する。
例えば、学習処理部１１２は、上述したように注目画素をクラス分類し、クラス毎に式（１）のサンプルを多数蓄積する。そして、最小二乗法を用いて、クラス毎に係数ｗiと係数ｗjを算出する。
このようにして算出された係数ｗiと係数ｗjが学習処理部１１２による処理結果としてクラス毎に学習データベース１１３に記憶される。
図１４は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。この画像処理装置２００は、図１３の学習装置１００に対応する画像処理装置であり、学習装置１００による学習結果を用いて、低解像度の入力画像を高解像度の出力画像に変換するようになされている。
同図に示される画像処理装置２００は、モデルベース処理部２１１、予測処理部２１２、学習データベース２１３、加算器２２４、アップサンプラ２２５、およびボケ除去部（Ｉｎｖ Ｂｌｕｒ）２２６を有する構成とされている。また、モデルベース処理部２１１は、動き補償部（ＭＣ）２２１、ボケ付加部（Ｂｌｕｒ）２２２、およびダウンサンプラ２２３により構成されている。
すなわち、この画像処理装置２００は、従来の超解像技術におけるモデルベースの処理に加えて、学習データベースを用いた予測処理を行う構成とされている。また、画像処理装置２００における学習データベース２１３は、学習データベース１１３に記憶されていた情報がコピーされるなどして生成されたものとされる。
図１４において、動き補償部２２１は、１フレーム前の高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。動き補償後の１フレーム前の高解像度画像は、ボケ付加部２２２に供給される。
ボケ付加部２２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。ボケが付加された動き補償後の１フレーム前の高解像度画像は、ダウンサンプラ２２３に供給される。
ダウンサンプラ２２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引くなどして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
加算器２２４は、推定低解像度画像の各画素と観測低解像度画像の各画素との差分値（誤差）を演算する。この演算結果は、アップサンプラ２２５に供給される。
アップサンプラ２２５は、加算器２２４による演算結果について画素を補間するなどして高解像度画像を生成し、ボケ除去部（Ｉｎｖ Ｂｌｕｒ）２２６に供給する。
ボケ除去部２２６は、供給された高解像度画像のボケを除去する。すなわち、ボケ付加部２２２により付加されるボケを除去するような処理が施される。
予測処理部２１２には、入力画像である低解像度画像、動き補償後の１フレーム前の高解像度画像、ボケ除去部２２６から出力されるデータが供給される。予測処理部２１２は、上述したように注目画素をクラス分類し、そのクラスに対応する係数ｗiと係数ｗjを、学習データベース２１３から読み出す。
そして、予測処理部２１２は、読み出した係数ｗiと係数ｗjを用いて式（２）の演算を行うことで、高解像度画像の画素値を予測する。高解像度画像の各画素値を式（２）により演算された画素値に置き換えることにより高解像度画像が更新される。
次に、図１５のフローチャートを参照して、図１３の学習装置１００による係数学習処理の例について説明する。
ステップＳ２１において、例えば、ユーザにより教師画像と生徒画像が入力される。
ステップＳ２２において、注目画素が設定される。なお、注目画素は、画素値の演算の対象となる高解像度画像の画素とされる。
ステップＳ２３において、モデルベース処理部１１１などが、図１６を参照して後述するモデルベース処理を実行する。
ここで、図１６のフローチャートを参照して、図１５のステップＳ２３のモデルベース処理の詳細な例について説明する。
ステップＳ４１において、動き補償部１２１は、１フレーム前の高解像度画像の供給を受けて、動きベクトルを算出するなどして動き補償する。
ステップＳ４２において、ボケ付加部１２２は、動き補償後の１フレーム前の高解像度画像にカメラで撮影された場合に生じるようなボケを付加する。なお、ここでは、所定の画像に基づいて、カメラのＰＳＦや光学ぼけなどを推定（模擬）して画像を生成することを、ボケを付加すると称している。
ステップＳ４３において、ダウンサンプラ１２３は、ボケが付加された動き補償後の１フレーム前の高解像度画像の画素を間引く（ダウンサンプルする）などして解像度の低い画像を生成する。これにより、推定低解像度画像が生成される。
ステップＳ４４において、加算器１２４は、推定低解像度画像の各画素と観測低解像度画像（いまの場合、生徒画像）の各画素との差分値を演算する。
ステップＳ４５において、アップサンプラ１２５は、ステップＳ４４における加算器１２４による演算結果について画素を補間する（アップサンプルする）などして高解像度画像を生成する。
ステップＳ４６において、ボケ除去部１２６は、供給された高解像度画像のボケを除去する。すなわち、ステップＳ４２の処理でボケ付加部１２２により付加されたボケを除去するような処理が施される。
このようにして、モデルベース処理が実行される。
図１５に戻って、ステップＳ２３の処理の後、ステップＳ２４において、学習処理部１１２は、図１７を参照して後述するサンプル蓄積処理を実行する。
ここで、図１７のフローチャートを参照して、図１５のステップＳ２４のサンプル蓄積処理の詳細な例について説明する。
ステップＳ６１において、学習処理部１１２は、注目画素について、例えば、生徒画像の画素値と推定低解像度画像の差分値を特徴量として取得する。なお、実際の注目画素に対応する特徴量は、生徒画像の画素値と推定低解像度画像の差分のデータに対してアップサンプラによる画素補間がなされ、さらにボケ除去部によるボケ除去がなされたデータの画素値から得られることになる。
また、これ以外の特徴量が取得されるようにしてもよい。
ステップＳ６２において、学習処理部１１２は、ステップＳ６１で取得した特徴量に基づいて、注目画素をクラス分類する。
ステップＳ６３において、学習処理部１１２は、タップを抽出する。このとき、例えば、生徒画像の中のＮ個の画素、および、動き補償後の１フレーム前の高解像度画像の中のＭ個の画素がタップとして抽出される。
ステップＳ６４において、学習処理部１１２は、ステップＳ６２の処理により分類されたクラスに対応付けて式（１）のサンプルを生成する。すなわち、式（１）のｙtに教師画像の画素値、ｘi、ｘjにそれぞれ、ステップＳ６３の処理で抽出したタップの値を代入してサンプルが生成される。
ステップＳ６５において、学習処理部１１２は、クラス毎にサンプルを蓄積する。
このようにして、サンプル蓄積処理が実行される。
図１５に戻って、ステップＳ２４の処理の後、処理は、ステップＳ２５に進み、次の注目画素があるか否かが判定される。ステップＳ２５において、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。
ステップＳ２５において、次の注目画素がないと判定された場合、処理は、ステップＳ２６に進む。
ステップＳ２６において、学習処理部１１２は、ステップＳ６５の処理で蓄積されたサンプルに基づいて、最小二乗法などにより係数ｗiと係数ｗjをクラス毎に算出する。
ステップＳ２７において、学習処理部１１２は、ステップＳ２６の処理で算出された係数ｗiと係数ｗjが、クラスに対応付けられて記憶された学習データベース１１３を生成する。
このようにして係数学習処理が実行される。
次に、図１８のフローチャートを参照して、図１４の画像処理装置２００による超解像処理の例について説明する。なお、この処理に先立って、画像処理装置２００における学習データベース２１３には、学習データベース１１３に記憶されていた情報がコピーなどされているものとする。
ステップＳ１０１において、例えば、ユーザにより観測低解像度画像が入力される。
ステップＳ１０２において、最初の高解像度画像が生成される（初期設定がなされる）。例えば、観測低解像度画像の第１番目のフレームの画像を、単にアップサンプルした画像が最初の高解像度画像として生成される。
ステップＳ１０３において、注目画素が設定される。なお、注目画素は、画素値の演算の対象となる高解像度画像の画素とされる。
ステップＳ１０４において、モデルベース処理部２１１などがモデルベース処理を実行する。なお、ステップＳ１０４において実行されるモデルベース処理は、図１６を参照して上述したものと同様なので、詳細な説明は省略する。
ステップＳ１０５において、予測処理部２１２は、図１９を参照して後述する予測処理を実行する。
ここで、図１９のフローチャートを参照して、図１８のステップＳ１０５の予測処理の詳細な例について説明する。
ステップＳ１２１において、予測処理部２１２は、注目画素について、例えば、観測低解像度画像の画素値と推定低解像度画像の差分値を特徴量として取得する。なお、実際の注目画素に対応する特徴量は、観測低解像度画像の画素値と推定低解像度画像の差分のデータに対してアップサンプラによる画素補間がなされ、さらにボケ除去部によるボケ除去がなされたデータの画素値から得られることになる。
また、これ以外の特徴量が取得されるようにしてもよい。
ステップＳ１２２において、予測処理部２１２は、ステップＳ１２１で取得した特徴量に基づいて、注目画素をクラス分類する。
ステップＳ１２３において、予測処理部２１２は、タップを抽出する。このとき、例えば、観測低解像度画像の中のＮ個の画素、および、動き補償後の１フレーム前の高解像度画像の中のＭ個の画素がタップとして抽出される。
ステップＳ１２４において、予測処理部２１２は、ステップＳ１２２の処理の結果分類されたクラスに対応する係数ｗiと係数ｗjを、学習データベース２１３から読み出す。
ステップＳ１２５において、予測処理部２１２は、予測演算を行う。すなわち、予測処理部２１２は、ステップＳ１２３の処理で抽出したタップと、ステップＳ１２４の処理で読み出した係数ｗiと係数ｗjを用いて式（２）の演算を行うことで、高解像度画像の画素値を予測する。
ステップＳ１２６において、予測処理部２１２は、高解像度画像の各画素値をステップＳ１２４の処理の結果得られた画素値に置き換える。
このようにして予測処理が実行される。
図１８に戻って、ステップＳ１０５の処理の後、処理は、ステップＳ１０６に進み、次の注目画素があるか否かが判定される。ステップＳ１０６において、次の注目画素があると判定された場合、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返し実行される。
一方、ステップＳ１０６において、次の注目画素がないと判定された場合、処理は、ステップＳ１０７に進む。
ステップＳ１０７において、出力画像としての高解像度画像が表示される。
このようにして、超解像処理が実行される。
なお、以上においては、学習装置１００において、注目画素をクラス分類し、高解像度画像の画素を生成するために必要な係数が最小二乗法によりクラス毎に算出される学習アルゴリズムについて説明したが、これとは異なる学習アルゴリズムが採用されるようにしてもよい。
例えば、学習アルゴリズムに、ニューラルネットワークやサポートベクタマシン(ＳＶＭ)などが採用されるようにしてもよい。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図２０において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図２０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１） １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部と
を備える画像処理装置。
（２） 前記予測演算部は、
予め学習により生成された学習データベースに記憶されている前記パラメータを読み出し、前記予測演算を行う
（１）に記載の画像処理装置。
（３） 前記モデルベース処理部は、
１フレーム前に出力された高解像度画像を動き補償する動き補償部と、
前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
入力された低解像度の画像である観測低解像度画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
を備える（１）または（２）に記載の画像処理装置。
（４） 前記モデルベース処理部は、
１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
前記ボケ付加部により付加されたボケを除去するボケ除去部と
を有する（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
前記予測演算部は、
前記分類されたクラスに対応するパラメータとして予め記憶されている係数を用いた所定の演算を行って、出力すべき高解像度画像の画素値を予測演算する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 入力された低解像度の画像である観測低解像度画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部をさらに備え、
前記予測演算部は、
予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
予測演算部が、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算するステップ
を含む画像処理方法。
（８） コンピュータを、
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置として機能させる
プログラム。
（９） （８）に記載のプログラムが記録されている記録媒体。
（１０） １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部と
を備える学習装置。
（１１） 前記算出されたパラメータを記憶するデータベースをさらに備え、
入力された低解像度画像を高解像度画像に変換する画像処理装置の画像処理に、前記データベースが用いられる
（１０）に記載の学習装置。
（１２）
前記モデルベース処理部は、
１フレーム前に出力された高解像度画像を動き補償する動き補償部と、
前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
生徒画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
を備える（１０）または（１１）に記載の学習装置。
（１３） 前記モデルベース処理部は、
１フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
前記ボケ付加部により付加されたボケを除去するボケ除去部と
を有する（１０）乃至（１２）のいずれかに記載の学習装置。
（１４） 前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
前記パラメータ算出部は、
前記分類されたクラスに対応するパラメータとして、前記出力すべき高解像度画像の画素値を予測演算する際に前記タップに乗じる係数を算出する
（１０）乃至（１３）のいずれかに記載の学習装置。
（１５） モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
タップ抽出部が、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出し、
サンプル蓄積部が、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積し、
パラメータ算出部が、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するステップ
を含む学習方法。
（１６） コンピュータを、
１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置として機能させる
プログラム。
（１７） （１６）に記載のプログラムが記録されている記録媒体。
１００ 学習装置， １１１ モデルベース処理部， １１２ 学習処理部， １１３ 学習データベース， １２１ 動き補償部， １２２ ボケ付加部， １２３ ダウンサンプラ， １２４ 加算器， １２５ アップサンプラ， １２６ ボケ除去部， ２００ 画像処理装置， ２１１ モデルベース処理部， ２１２ 予測処理部， ２１３ 学習データベース， ２２１ 動き補償部， ２２２ ボケ付加部， ２２３ ダウンサンプラ， ２２４ 加算器， ２２５ アップサンプラ， ２２６ ボケ除去部

Claims (17)

  1. １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
    予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部と
    を備える画像処理装置。
  2. 前記予測演算部は、
    予め学習により生成された学習データベースに記憶されている前記パラメータを読み出し、前記予測演算を行う
    請求項１に記載の画像処理装置。
  3. 前記モデルベース処理部は、
    １フレーム前に出力された高解像度画像を動き補償する動き補償部と、
    前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
    入力された低解像度の画像である観測低解像度画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
    前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
    を備える請求項１に記載の画像処理装置。
  4. 前記モデルベース処理部は、
    １フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
    前記ボケ付加部により付加されたボケを除去するボケ除去部と
    を有する請求項１に記載の画像処理装置。
  5. 前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
    前記予測演算部は、
    前記分類されたクラスに対応するパラメータとして予め記憶されている係数を用いた所定の演算を行って、出力すべき高解像度画像の画素値を予測演算する
    請求項１に記載の画像処理装置。
  6. 入力された低解像度の画像である観測低解像度画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部をさらに備え、
    前記予測演算部は、
    予め記憶されているパラメータに基づいて、前記タップに係る所定の演算を行うことで、出力すべき高解像度画像の画素値を予測演算する
    請求項１に記載の画像処理装置。
  7. モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
    予測演算部が、予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算するステップ
    を含む画像処理方法。
  8. コンピュータを、
    １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
    予め記憶されているパラメータ、入力された低解像度の画像である観測低解像度画像、および前記モデルベース処理が実行されることで得られた画像に基づいて、出力すべき高解像度画像の画素値を予測演算する予測演算部とを備える画像処理装置として機能させる
    プログラム。
  9. 請求項８に記載のプログラムが記録されている記録媒体。
  10. １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
    高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
    前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
    前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部と
    を備える学習装置。
  11. 前記算出されたパラメータを記憶するデータベースをさらに備え、
    入力された低解像度画像を高解像度画像に変換する画像処理装置の画像処理に、前記データベースが用いられる
    請求項１０に記載の学習装置。
  12. 前記モデルベース処理部は、
    １フレーム前に出力された高解像度画像を動き補償する動き補償部と、
    前記動き補償された前記１フレーム前に出力された高解像度画像を、前記カメラモデルに応じて帯域制限して画素を間引くことで、推定低解像度画像を生成するダウンサンプラと、
    生徒画像と、前記推定低解像度画像との差分を演算して差分画像データを生成する差分演算部と、
    前記差分画像データの画素を補間することで、高解像度画像を生成するアップサンプラと
    を備える請求項１０に記載の学習装置。
  13. 前記モデルベース処理部は、
    １フレーム前に出力された高解像度画像に対してボケを付加するボケ付加部と、
    前記ボケ付加部により付加されたボケを除去するボケ除去部と
    を有する請求項１０に記載の学習装置。
  14. 前記モデルベース処理の過程で算出された特徴量に基づいて、注目画素をクラス分類するクラス分類部をさらに備え、
    前記パラメータ算出部は、
    前記分類されたクラスに対応するパラメータとして、前記出力すべき高解像度画像の画素値を予測演算する際に前記タップに乗じる係数を算出する
    請求項１０に記載の学習装置。
  15. モデルベース処理部が、１フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行し、
    タップ抽出部が、高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出し、
    サンプル蓄積部が、前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積し、
    パラメータ算出部が、前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するステップ
    を含む学習方法。
  16. コンピュータを、
    １フレーム前に出力された高解像度画像に対して、解像度を変換するとともにカメラモデルおよび位置合わせを有する所定のモデルに基づいて画像を変換するモデルベース処理を実行するモデルベース処理部と、
    高解像度の教師画像の解像度を変換して得られた低解像度の生徒画像の所定の画素、および、前記１フレーム前に出力された高解像度画像に対して前記モデルベース処理が実行されることで得られた画像の所定の画素をタップとして抽出するタップ抽出部と、
    前記タップ、所定のパラメータ、および前記教師画像の画素値からなる方程式をサンプルとして蓄積するサンプル蓄積部と、
    前記蓄積されたサンプルに基づいて、出力すべき高解像度画像の画素値の予測演算に用いられる前記所定のパラメータを算出するパラメータ算出部とを備える学習装置として機能させる
    プログラム。
  17. 請求項１６に記載のプログラムが記録されている記録媒体。
JP2011112311A 2011-05-19 2011-05-19 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 Withdrawn JP2012244395A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011112311A JP2012244395A (ja) 2011-05-19 2011-05-19 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US13/433,606 US8913822B2 (en) 2011-05-19 2012-03-29 Learning apparatus and method, image processing apparatus and method, program, and recording medium
EP12167492A EP2525320A1 (en) 2011-05-19 2012-05-10 Learning apparatus and method, image processing apparatus and method, program, and recording medium
CN201210145446.4A CN102789632B (zh) 2011-05-19 2012-05-11 学习装置和方法、图像处理装置和方法、程序和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011112311A JP2012244395A (ja) 2011-05-19 2011-05-19 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2012244395A true JP2012244395A (ja) 2012-12-10

Family

ID=46456310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011112311A Withdrawn JP2012244395A (ja) 2011-05-19 2011-05-19 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体

Country Status (4)

Country Link
US (1) US8913822B2 (ja)
EP (1) EP2525320A1 (ja)
JP (1) JP2012244395A (ja)
CN (1) CN102789632B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022771A1 (ja) * 2013-08-15 2015-02-19 日本電気株式会社 画像処理を実行する情報処理装置及び画像処理方法
WO2018012094A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像処理装置及び画像処理方法
KR20190126517A (ko) * 2018-05-02 2019-11-12 한국항공대학교산학협력단 프레임율 변환 장치 및 방법
JP2020501262A (ja) * 2016-12-01 2020-01-16 アルマレンス，インコーポレイティド 光学系収差のデジタル補正

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063757B2 (en) 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
US20140307950A1 (en) * 2013-04-13 2014-10-16 Microsoft Corporation Image deblurring
EP3014568B1 (en) * 2013-06-24 2018-09-19 Nintendo European Research And Development Brightness-compensating safe pixel art upscaler
CN104135637A (zh) * 2014-07-01 2014-11-05 宁波摩米创新工场电子科技有限公司 低分辨率转换成高分辨率的图像处理方法及装置
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
IN2015CH02866A (ja) * 2015-06-09 2015-07-17 Wipro Ltd
US9799102B2 (en) * 2015-12-02 2017-10-24 Adobe Systems Incorporated Smoothing images using machine learning
CN110352592B (zh) * 2017-03-08 2021-08-17 索尼公司 成像设备和成像方法
US11557022B2 (en) 2017-07-27 2023-01-17 Nvidia Corporation Neural network system with temporal feedback for denoising of rendered sequences
US11861811B2 (en) 2017-07-27 2024-01-02 Nvidia Corporation Neural network system with temporal feedback for denoising of rendered sequences
US11475542B2 (en) 2017-07-27 2022-10-18 Nvidia Corporation Neural network system with temporal feedback for adaptive sampling and denoising of rendered sequences
JP6923159B2 (ja) * 2017-09-26 2021-08-18 株式会社エクォス・リサーチ 情報処理装置
US10783611B2 (en) * 2018-01-02 2020-09-22 Google Llc Frame-recurrent video super-resolution
WO2020093287A1 (zh) * 2018-11-07 2020-05-14 深圳配天智能技术研究院有限公司 超分辨率图像的获取方法及超分辨率图像的获取装置
CN111641831B (zh) * 2019-03-01 2023-09-01 杭州海康威视数字技术股份有限公司 帧内预测方法、装置、设备及存储介质
JP6737997B1 (ja) * 2019-03-14 2020-08-12 Ｎａｖｉｅｒ株式会社 画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システム
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2021044750A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
WO2021090469A1 (ja) * 2019-11-08 2021-05-14 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
KR20210078218A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 전자장치 및 그 제어방법
CN111681166B (zh) * 2020-06-02 2023-04-18 重庆理工大学 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN113411425B (zh) * 2021-06-21 2023-11-07 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US6330344B1 (en) 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image
EP1197946B1 (en) * 2000-02-10 2007-04-04 Sony Corporation Image processing device and method, and recording medium
US7337065B2 (en) * 2001-01-23 2008-02-26 Spectral Sciences, Inc. Methods for atmospheric correction of solar-wavelength hyperspectral imagery over land
JP4265237B2 (ja) * 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP4646146B2 (ja) 2006-11-30 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5152559B2 (ja) * 2007-07-19 2013-02-27 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009037460A (ja) * 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
WO2009141770A1 (en) * 2008-05-21 2009-11-26 Koninklijke Philips Electronics N.V. Image resolution enhancement
JP4548520B2 (ja) * 2008-07-02 2010-09-22 ソニー株式会社 係数生成装置および方法、画像生成装置および方法、並びにプログラム
CN101674478B (zh) * 2009-10-19 2012-09-19 浙江大学 基于压缩域的视频超分辨率方法
JP5287685B2 (ja) 2009-11-30 2013-09-11 ダイキン工業株式会社 空調室外機
JP2011180798A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011237997A (ja) * 2010-05-10 2011-11-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9361667B2 (en) * 2010-08-27 2016-06-07 Sony Corporation Image processing apparatus and method
JP2013003892A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
US20130028538A1 (en) * 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling
US8687923B2 (en) * 2011-08-05 2014-04-01 Adobe Systems Incorporated Robust patch regression based on in-place self-similarity for image upscaling

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022771A1 (ja) * 2013-08-15 2015-02-19 日本電気株式会社 画像処理を実行する情報処理装置及び画像処理方法
JPWO2015022771A1 (ja) * 2013-08-15 2017-03-02 日本電気株式会社 画像処理を実行する情報処理装置及び画像処理方法
US9875532B2 (en) 2013-08-15 2018-01-23 Nec Corporation Information processing device that implements image processing, and image processing method
WO2018012094A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像処理装置及び画像処理方法
US10750084B2 (en) 2016-07-13 2020-08-18 Sony Corporation Image processing apparatus and image processing method
JP2020501262A (ja) * 2016-12-01 2020-01-16 アルマレンス，インコーポレイティド 光学系収差のデジタル補正
KR20190126517A (ko) * 2018-05-02 2019-11-12 한국항공대학교산학협력단 프레임율 변환 장치 및 방법
KR102160698B1 (ko) 2018-05-02 2020-09-28 한국항공대학교산학협력단 프레임율 변환 장치 및 방법

Also Published As

Publication number Publication date
CN102789632A (zh) 2012-11-21
CN102789632B (zh) 2017-05-10
US20120294512A1 (en) 2012-11-22
US8913822B2 (en) 2014-12-16
EP2525320A1 (en) 2012-11-21

Similar Documents

Publication Publication Date Title
JP2012244395A (ja) 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2013021635A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5452116B2 (ja) 高解像度映像取得装置およびその方法
KR101756841B1 (ko) 블록 기반 영상의 해상도 변환 방법 및 장치
KR20070119879A (ko) 영상의 해상도 변환 방법 및 그 장치
JP6236259B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2011180798A (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101756842B1 (ko) 영상 프레임의 보간 방법 및 장치
JP2000244851A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
WO2011018878A1 (ja) 画像処理システム、画像処理方法および画像処理用プログラム
JP2021184594A (ja) ビデオフレームの補間装置及び方法
JP4714038B2 (ja) 画像の高解像度化方法及び装置
WO2013073355A1 (ja) 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム
JP4470898B2 (ja) 画像処理装置および方法、並びに、プログラム
JP5587322B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2010118940A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2000354244A (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
US8493416B2 (en) Image processing apparatus, image processing method, and computer readable medium
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4470282B2 (ja) 画像処理装置および画像処理方法
JP5131534B2 (ja) 情報処理装置および方法、並びにプログラム
Jaiswal et al. An efficient two phase image interpolation algorithm based upon error feedback mechanism
JP2013021509A (ja) 画像処理装置およびその方法
JP2000138904A (ja) 画像情報変換装置および変換方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140805