JP2009152820A - 学習装置および方法、画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】従来よりも高精度のボケ除去処理を実現できるようにする。
【解決手段】学習部１１において、生徒画像生成部２１が、教師画像から劣化モデルにより生徒画像を生成する。クラス分類部２２が、生徒画像の特徴よりクラス分類する。主に拘束式重み算出部２６が、クラス毎に劣化モデルでの教師画像の画素位置それぞれの隣接画素差分を積算し、その積算値に応じて教師画像の画素位置それぞれに対応する拘束条件式の重み付けを行う。そして、拘束式行列生成部２７乃至処理係数算出部２９が、劣化モデルによる劣化の種類、クラス毎に、生徒から教師を求める予測係数、即ち、処理係数を演算する。本発明は、ボケ処理除去の画像処理装置に適用可能である。
【選択図】図３

Description

本発明は、学習装置および方法、画像処理装置および方法、並びにプログラムに関し、特に、従来よりも高精度のボケ除去処理を実現できるようになった、学習装置および方法、画像処理装置および方法、並びにプログラムに関する。

従来、ぼけ除去処理（例えば特許文献１参照）では、次のステップＳａ乃至Ｓｃによる工程が採用されている。

即ち、ステップＳａとは、混合の条件式、例えば動きボケやピンボケ等の条件式を立てる工程である。

ステップＳｂとは、拘束条件をたてる工程、例えば画像の隣接画素差分絶対値和最小等の条件を立てる工程である。

ステップＳｃとは、ステップＳａ，Ｓｂを満たす画素値を求める工程である。

特開２００５−０１８５３４号公報

しかしながら、従来のボケ除去処理において、ステップＳｂにおいて立式する拘束条件が、ボケる前の自然画像における隣接画素の関係から乖離した式になると、その拘束条件式を用いたボケ除去処理が施された画像において、リンギング劣化等の破綻や、ぼけ除去性能自体の低下を招く、といった問題が生じていた。

本発明は、このような状況に鑑みてなされたものであり、従来よりも高精度のボケ除去処理を実現できるようにするものである。

本発明の一側面の学習装置は、教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成する生徒画像生成手段と、前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成するクラス分類手段と、前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出する重み算出手段と、前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、前記生徒画像内の複数の画素の画素値との演算により前記教師画像内の注目画素の画素値を予測するための予測係数を生成する処理係数生成手段とを備える。

前記重み算出手段は、前記積算値が大きい程、その積算値に対応する前記拘束条件式の重みを小さくする。

前記生徒画像生成手段は、前記教師画像に対してボケを付加して前記生徒画像を生成する。

前記生徒画像生成手段は、前記教師画像を縮小して生徒画像を生成する。

本発明の一側面の学習方法およびプログラムは、上述した本発明の一側面の学習装置に対応する方法およびプログラムである。

本発明の一側面の学習装置および方法、並びにプログラムにおいては、教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成され、前記教師画像内の画素が順に注目画素として設定され、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスが生成され、前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量が、前記クラス毎に積算され、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みが算出され、前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、前記生徒画像内の複数の画素の画素値との演算により前記教師画像内の注目画素の画素値を予測するための予測係数が生成される。

本発明の一側面の画像処理装置は、入力画像からより高質な出力画像を生成する画像処理装置であって、前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出するクラス画素抽出手段と、前記クラス画素抽出手段により抽出された画素の画素値に応じてクラスを設定するクラス設定手段と、前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出する予測画素抽出手段と、 劣化の種類を設定する設定手段と、前記設定された劣化の種類及び前記クラス毎に応じて選択された予測係数と、前記予測画素抽出手段により抽出された前期複数画素の画素値との演算により前記注目画素の画素値を予測する予測処理手段とを備え、前記予測係数は、教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、生成される。

前記予測係数が生成される際、前記積算値が大きい程、その積算値に対応する前記拘束条件式の重みが小さくされる。

前記予測係数が生成される際、前記教師画像に対してボケを付加して前記生徒画像が生成される。

前記予測係数が生成される際、前記教師画像を縮小して生徒画像が生成される。

本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、入力画像からより高質な出力画像が次のようにして生成される。即ち、前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素が抽出され、抽出された画素の画素値に応じてクラスが設定され、前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素が抽出され、劣化の種類が設定され、前記設定された劣化の種類及び前記クラス毎に応じて選択された予測係数と、抽出された前期複数画素の画素値との演算により前記注目画素の画素値が予測される。この場合、前記予測係数は、教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、生成される。

以上のごとく、本発明によれば、従来よりも高精度のボケ除去処理を実現できるようになる。

以下、図面を参照して、本発明の実施の形態について説明する。

はじめに、本発明をぼけ除去処理に適用した場合の実施の形態について説明していく。即ち、後述するように、本発明は、劣化された画像を復元（予測）する処理全体に適用できるが、ここでは説明の簡略条、そのような処理の一例として、ボケ除去処理を採用したに過ぎない点留意すべきである。

さらに、以下、説明の簡略上、処理領域幅l=10, 水平動き量v=4 の動きボケ処理の例について説明してく。なお、ここでいう動き量とは「シャッタ時間内に物体が移動する画素数」であるとする。

本発明が適用されるぼけ除去処理では、［背景］の欄で上述した従来のステップＳａ乃至Ｓｃによる工程の代わりに、次のようなステップＳＡ乃至ＳＣによる工程が採用されている。

即ち、ステップＳＡとは、混合の条件式を立てる工程である。

具体的には例えば、図１に示されるように、撮影対象物体Obが静止している場合に、カメラの撮像素子等の各画素P₀乃至P₉のそれぞれについて、シャッタ時間内に観測される各画素値がF₀乃至 F₉のそれぞれであるとする。

この撮影対象物体Obが、例えば図２に示されるように、シャッタ時間内に水平動き量v=4で動いた場合、各画素P₀乃至P₉のそれぞれについて、シャッタ時間内に観測される各画素値がM₀乃至 M₉のそれぞれであるとする。この場合、画素値M₃乃至 M₉のそれぞれは、画素値F₀乃至 F₉と水平動き量vを用いて、次の式（１）によって表すことができる。即ち、本実施の形態では、ステップＳＡにおいて、次の式（１）が立てられることになる。

・・・（１）

ステップＳＢとは、拘束条件式を立てる工程である。

即ち、ステップＳＡにおいて立てられた混合の条件式の中には、変数の数が式の数より多いものがある。よって、かかる混合の条件式の問題を解くためには、拘束条件式を導入する必要がある。そこで、かかる拘束条件式を立てる工程として、ステップＳＢが存在する。

本実施の形態では例えば、「隣接画素差分＝0」という拘束式、即ち、次の式（２）が、ステップＳＢで立てられるとする。

・・・（２）

なお、拘束条件式としては、式（２）のような「隣接画素差分=0」という式に限定されず、その他例えば、「なだらかに画素値が変化している」という条件式、即ち、例えば次の式（３）なども採用することができる。

・・・（３）

ステップＳＣとは、画素値推定処理を実行する工程である。

上述の式（１）と式（２）にそれぞれの式で発生する誤差項および拘束条件式に対する重みW₀ 乃至W₈を加えた式として、次の式（４）が得られる。

・・・（４）

ここで、左辺の左側の行列をＡと記述し、左辺の右側の行列（列ベクトル）をｙと記述し、右辺の第１項目（＋の左側）の行列（列ベクトル）をxと記述し、右辺の第２項目（＋の右側）の行列（列ベクトル）をeと記述する。すると、式（４）は、次の式（５）のように表すことができる。

・・・（５）

この場合、次の式（６）の自乗誤差の総和を最小とするy(=F_i)は、次の式（７）によって求めることができる。

・・・（６）

・・・（７）

なお、式（６），式（７）において、Ａ^Tは、行列Ａの転置行列を示している。

ここで、次の式（８）を予め求めておくことで、 線形一次予測の処理係数ｗを生成することができる。

・・・（８）

即ち、式（７）において、左辺のyは、図１における撮影対象物体Obが静止している場合の各画素P₀乃至P₉の各画素値F₀乃至F₉を、即ち、ボケが付加されていない（除去された）理想的な各画素値F₀乃至F₉を示している。一方、式（７）の右辺のxは、図２における撮影対象物体Obが動いた場合（ただし、シャッタ時間内に水平動き量v=4で動いた場合）の各画素P₃乃至P₉の各画素値M₃乃至M₉、即ち、実際に観測される各画素値M₃乃至M₉から生成できる行列（列ベクトル）である。

よって、式（８）の処理係数ｗが予め生成されていれば、この処理係数wと、実際に観測された各画素値M₀乃至M₉とを、式（７）に代入して演算することで、ボケが付加されていない（除去された）理想的な各画素値F₀乃至F₉を予測演算することができる。即ち、式（７）が、画素値推定のための予測式であると把握することができ、その結果、式（７）の演算処理が、画素値推定処理に対応することになる。

以上のことから、ステップＳＣの画素値推定処理を実行するためには、処理係数ｗを予め算出して保持しておく必要がある。図３は、この処理係数wを学習により算出する学習部１１と、処理係数記憶部１２とから構成される情報処理システムの機能的構成例を示す機能ブロック図である。

なお、図３の情報処理システムと、後述する図９の情報処理システムとは、同一のシステムとして構築することもできるし、それぞれ別々の独立したシステムとして構築することもできる。

式（８）に示されるように、処理係数wは行列Ａから生成可能である。そして、行列Ａは、式（４）に示されるように、水平動き量vと、拘束条件式に対する重みW₀ 乃至W₈とから生成可能である。水平動き量vは、既知であるとする。この場合、拘束条件式に対する重みW_iが設定（算出）されることは、処理係数ｗが算出可能であることと等価になる。よって、本実施の形態は、拘束条件式に対する重みW_iを学習により設定すべく、生徒画像生成部２１乃至処理係数算出部２９を含むように構成されている学習部１１が、情報処理システムの一構成要素として設けらているのである。

学習部１１には、静止物体の撮影画像に相当する教師画像が入力され、生徒画像生成部２１と拘束式誤差算出タップ抽出部２４に提供される。

生徒画像生成部２１は、教師画像から、ぼけモデルを適用した生徒画像、即ち、強制的に教師画像にボケを付加した生徒画像を生成し、クラスタップ抽出部２２に提供する。即ち、生徒画像生成部２１において、教師生徒対が生成されることになる。

クラスタップ抽出部２２は、生徒画像からクラスタップを抽出し、クラス分類部２３に提供する。例えば、生徒画像を構成する各画素（タップ）のうち、処理の対象として注目すべき画素（以下、適宜注目画素と称する）が設定された場合、教師画像の注目画素の画素値を予測演算するために必要な画素群、即ち、注目画素とその付近に配置される画素からなる画素群が、クラスタップとして抽出されて、クラス分類部２３に提供される。

クラス分類部２３は、クラスタップの特徴量等に基づいてクラス分類を行うことで、クラスタップに含まれる注目画素のクラスを特定する。

なお、クラス分類の手法自体は、特に限定されず、例えば、ADRC(Adaptive Dynamic Range Coding)クラス分類の手法を採用してもよいし、隣接画素差分ADRC等の手法を採用してもよい。なお、本実施の形態では、ADRCクラス分類の手法が採用されているとする。

即ち、本実施の形態のクラス分類部２３においては、クラスタップに対してADRC処理が施され、その結果得られるADRCコードに従って、注目画素のクラスが決定される。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素群の中から画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素群の各画素値がKビットに再量子化される。即ち、クラスタップを構成する画素群の各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの画素群の各画素値を、所定の順番で並べたビット列が、ADRCコード（クラスコード）として出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する画素群の各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコード（クラスコード）として出力される。

一方、拘束式誤差算出タップ抽出部２４は、教師画像から、拘束式誤差算出タップを抽出し、拘束式誤差足しこみ部２５に提供する。例えば、教師画像を構成する各画素（タップ）のうち、注目画素とその付近に配置される画素からなる画素群が、拘束式誤差算出タップとして抽出されて、拘束式誤差足し込み部２５に提供される。即ち、拘束式誤差算出タップとは、例えば図１における画素値F₀乃至F₉を有する各画素P₀乃至P₉含む画素群をいう。なお、この場合の注目画素は、画素P₀乃至P₉のうちの何れかの画素、例えば中央付近の画素となる。

このようにして、拘束式誤差足し込み部２５には、拘束式誤差算出タップが拘束式誤差算出タップ抽出部２４から提供されるとともに、クラス分類部２３によってクラス分類されたクラスタップも提供される。換言すると、クラス毎に、クラスタップと、それに対応する拘束式誤差算出タップがそれぞれ提供される。

そこで、拘束式誤差足し込み部２５は、クラス毎に、次の式（９）に従って、教師画像の注目画素付近での拘束式誤差e_b0 乃至 e_b8をそれぞれ算出し、その算出結果を拘束式重み算出部２６に提供する。

・・・（９）

具体的には例えば、教師画像内のとある注目画素（Ｐ₆）付近の画素の画素値の波形、即ち、拘束式誤差算出タップの画素値F₀乃至F₉の波形が、図４に示される通りであるとする。図４において、横軸が、画素P_iを示している。また、縦軸が画素値Ｆ_iを示している。なお、この横軸の前提事項については、後述する図５乃至図７についても同様に当てはまるとする。この場合、式（９）に従って算出された拘束式誤差e_b0 乃至 e_b8は、図５に示されるようになる。

拘束式重み算出部２６は、クラス毎に、例えば次の式（１０）に拘束式誤差e_b0乃至e_b8を代入して演算することで、拘束条件式の重みW_iをそれぞれ算出し、その算出結果を拘束式行列生成部２７に提供する。

・・・（１０）

具体的には例えば、図５に示される拘束式誤差e_b0 乃至 e_b8が、上述の式（１０）に代入された結果得られる拘束条件式の重みW_iは、図６の実線に示される通りとなる。なお、点線は、注目画素（Ｐ₆）が分類されるクラス（実線）との対比を示すために描画された線であって、モノクラスの場合の拘束条件式の重みW_iを示している。

このとき、拘束式の自乗誤差項E_b0乃至E_b8は、次の式（１１）に示されるように、全て等しくなり、統計的にみて、誤差を全体に拡散する処理となる。

・・・（１１）

なお、拘束式重み算出部２６に適用される「拘束条件式の重みW_iの算出手法」は、上式（１０）に従った手法に特に限定されず、e_biの絶対値が増加したときにW_iが減少する傾向がある手法であれば足りる。具体的には例えば次の式（１２）に従った手法を採用することもできる。

・・・（１２）

ここで、上述した式（５）の行列Ａが、式（４）に示されるように、点線上部のブロック行列と点線下部のブロック行列とに区分された場合において、点線下部のブロック行列を拘束行列と称し、点線上部のブロック行列を混合式行列と称するとする。

拘束式行列生成部２７は、クラス毎に、拘束条件式の重みW_iを用いて拘束式行列をそれぞれ生成し、処理係数算出部２９に提供する。

一方、混合式行列生成部２８は、混合式行列を生成し、処理係数算出部２９に提供する。なお、水平動き量vは、生徒画像生成部２１によって生徒画像が生成された場合に適用されたぼけモデルに基づいて決定されるとする。よって、混合式行列自体は、１組の教師生徒対に対して、１つの混合式行列が得られることになる。即ち、クラスにかかわらず、同一の混合式行列が採用されることになる。

処理係数算出部２９は、クラス毎に、拘束式行列と混合式行列とを用いて行列Ａをそれぞれ生成し、上述した式（８）に従って、処理係数wをそれぞれ算出する。クラス毎に生成された処理係数wは、処理係数記憶部１２に記憶される。

具体的には例えば、図６に示される拘束条件式の重みW_iが用いられて算出された処理係数wの各要素は、図７の実線に示される通りとなる。なお、点線は、注目画素（Ｐ₆）が分類されるクラス（実線）との対比を示すために描画された線であって、モノクラスの場合の処理係数wの各要素を示している。

図８は、このような図３の機能的構成を有する学習部１１が実行する処理（以下、処理係数生成処理と称する）の一例を説明するフローチャートである。

ステップＳ１において、生徒画像生成部２１は、ボケ量を設定する。

ステップＳ２において、生後画像生成部２１は、生徒画像を生成する。

このようにして、生徒画像が生成されると、生徒画像を構成する各画素が順次注目画素に設定されて、注目画素について、次のようなステップＳ３乃至Ｓ７の処理が実行される。

ステップＳ３において、クラスタップ抽出部２２は、生徒画像から、注目画素についてのクラスタップを抽出する。

ステップＳ４において、クラス分類部２３は、注目画素のクラスコードを決定する。

ステップＳ５において、拘束式誤差算出タップ抽出部２４は、教師画像から、注目画素についての拘束式誤差算出タップを抽出する。

ステップＳ６において、拘束式誤差足し込み部２５は、拘束式誤差足し込みを行う。即ち、ステップＳ６の処理で、注目画素付近での拘束式誤差e_b0 乃至 e_b8がそれぞれ算出されることになる。

ステップＳ７において、学習部１１は、全画素処理をしたか否かについて判定する。ステップＳ７の処理でＮＯであると判定されると、処理はステップＳ３に戻され、それ以降の処理が繰り返される。

即ち、ステップＳ２の処理で生成された生徒画像を構成する各画素が順次注目画素に設定されて、ステップＳ３乃至Ｓ７のループ処理が繰り返し実行されて、最後の画素が注目画素に設定されて、ステップＳ６の処理が終了すると、ステップＳ７の処理でＹＥＳであると判定されて、処理はステップＳ８に進む。

すると、クラス毎に次のステップＳ８乃至Ｓ１１のループ処理が繰り返し実行される。

ステップＳ８において、拘束式重み算出部２６は、処理対象のクラスの拘束式の重みW_iを算出する。

ステップＳ９において、拘束式行列生成部２７、混合式行列生成部２８、および処理係数算出部２９は、処理対象のクラスの行列Ａを作成する。そして、ステップＳ１０において、処理係数算出部２９は、処理対象のクラスの処理係数wを作成する。

ステップＳ１１において、学習部１１は、全クラス処理をしたか否かについて判定する。ステップＳ１１の処理でＮＯであると判定されると、処理はステップＳ８に戻され、それ以降の処理が繰り返される。

即ち、クラス毎に、ステップＳ８乃至Ｓ１１のループ処理が繰り返し実行されて、最後のクラスコードについてのステップＳ１０の処理が終了すると、ステップＳ１１の処理でＹＥＳであると判定されて、処理係数生成処理は終了となる。

図９は、画像処理部１３の機能的構成例を示す機能ブロック図である。

画像処理部１３は、上述した図３の学習部１１によりクラス毎に生成されて処理係数記憶部１２に記憶された処理係数wを用いて、入力画像に対して画像処理を施す。具体的には本実施の形態では、画像処理として、入力画像からボケ除去を行うボケ除去処理が採用されている。このため、図９の例では、画像処理部１３は、カッコ書きとしてボケ除去部と記載されているのである。

画像処理部１３は、予測タップ抽出部３１乃至ボケ量設定部３６を含むように構成されている。

予測タップ抽出部３１は、入力画像を構成する画素を順次注目画素とし、その注目画素の画素値を予測するのに用いる画素群、即ち注目画素周辺の画素群を、予測タップとして抽出する。なお、予測タップとして抽出される画素数は、ボケ量設定部３６により設定されたボケ量によって異なる場合がある。

クラスタップ抽出部３２は、注目画素をクラス分類する際に用いる画素群、即ち注目画素周辺の画素群を、クラスタップとして抽出する。なお、クラスタップとして抽出される画素数は、ボケ量設定部３６により設定されたボケ量によって異なる場合がある。

なお、ここでは、説明を簡単にするために、予測タップとクラスタップは、同一のタップ構造を有するものとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。

クラス分類部３３は、クラスタップ抽出部３２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、処理係数決定部３４に通知する。なお、クラス分類に用いられるクラスコードは、ボケ量設定部３６により設定されたボケ量によって異なる場合がある。

ここで、クラス分類を行う手法としては、特に限定されないが、図３の学習部１１のクラス分類部２３に採用された手法と同一である方が好適である。よって、本実施の形態では、クラス分類部２３に適用されているADRCクラス分類の手法が、クラス分類部３３にも適用されているとする。

処理係数決定部３４は、クラス分類部３３から通知されるクラスコードについての処理係数wを処理係数記憶部１２から検索して、予測処理に使用する処理係数wとして決定して読み出し、予測処理部３５に提供する。ただし、上述のように、クラス分類に用いられるクラスコードは、ボケ量設定部３６により設定されたボケ量によって異なる場合があるので、処理係数決定部３４も、その設定されたボケ量を参照した上で、処理係数wを決定する。

予測処理部３５は、予測タップ抽出部３１からの予測タップと、処理係数決定部３４からの処理係数wとを用いて、注目画素の真値（ボケが生じていない画素値）の予測値を求める所定の予測演算を行う。即ち、本実施の形態では、上述した式（７）に従った予測演算が行われる。

ボケ量設定部３６は、入力画像における注目画素のボケ量を設定する。ここで、設定とは、入力画像のボケ量が予め既知である場合にその既知のボケ量を設定することの他、入力画像を解析する等してボケ量を検出し、その検出結果を設定することまで含む広義な概念である。そう言った意味で、注目画素のボケ量を判定するという表現も以下適宜使用する。

図１０は、このような図９の機能的構成を有する画像処理部１３が実行するボケ除去処理の一例を説明するフローチャートである。

入力画像を構成する各画素が順次注目画素に設定されて、注目画素について、次のようなステップＳ２１乃至Ｓ２６の処理が実行される。

ステップＳ２１において、ボケ量設定部３６は、入力画像のうちの注目画素のボケ量を判定する。

ステップＳ２２において、クラスタップ抽出部３２は、入力画像から、注目画素についてのクラスタップを抽出する。

ステップＳ２３において、クラス分類部３３は、注目画素のクラスコードを決定する。

ステップＳ２４において、処理係数決定部３４は、注目画素の処理係数wを決定する。

ステップＳ２５において、予測処理部３５は、注目画素の予測処理、即ち、注目画素P_iのボケ除去後の画素値F_iを予測演算する処理を行う。

ステップＳ２６において、画像処理部１３は、全画素処理をしたか否かについて判定する。ステップＳ２６の処理でＮＯであると判定されると、処理はステップＳ２１に戻され、それ以降の処理が繰り返される。

即ち、入力画像を構成する各画素が順次注目画素に設定されて、ステップＳ２１乃至Ｓ２６のループ処理が繰り返し実行されて、各画素について予測処理が実行され、最後の画素が注目画素に設定されて、ステップＳ２５の予測処理が終了すると、ステップＳ２６の処理でＹＥＳであると判定されて、処理はステップＳ２７に進む。

ステップＳ２７において、予測処理部３５は、統合処理を実行する。即ち、予測処理後の各画素から構成される画像、即ち、入力画像からボケが除去された画像が生成され、それが出力画像として出力される。

これにより、ボケ除去処理が終了となる。

以上、説明したように、図３、図９の情報処理システムは、拘束条件を用いるボケ除去処理として、従来とは異なる処理を実行できる。即ち、図３，図９の情報処理システムは、拘束条件に対する重みW_iとして、事前の学習処理により統計的に求めた値を設定し、かかる拘束条件を用いたボケ除去処理を実行できる。その結果、従来よりも破綻の少ないボケ除去処理画像を得ることができるようになる。

具体的には例えば、図１１は、とある入力画像に対して、拘束条件式の重みW_iを全て同一の値にした平均的な拘束条件を用いるボケ除去処理を施した後の画像であって、その処理後の画像を構成する画素のうちの、所定の一ラインの左から725番目乃至766番目の画素の各画素値を示している。744番目の画素近辺がエッジとなっており、エッジの前後の画素（丸印内の画素）の画素値がばらついていること、即ち、ボケ除去が充分になされていないことがわかる。

これに対して、図１２は、図１１と同一の入力画像に対して、図３、図９の情報処理システムがボケ除去処理を施した後の画像、即ち、本発明が適用される拘束条件を用いるボケ除去処理を施した後の画像であって、その処理後の画像を構成する画素のうちの、所定の一ラインの左から725番目乃至766番目の画素の各画素値を示している。744番目の画素近辺がエッジとなっており、エッジの前後の画素（丸印内の画素）の画素値のばらつき度合が、図１１と比較して少なくなっていること、即ち、平坦になっておりボケ除去が適切に行われていることがわかる。即ち、人間の目には、図１１の画像と比較して、図１２の画像の方が、自然画像に近い良好な見た目の画像であると映ることになる。

以上、本発明をぼけ除去処理に適用した場合について説明してきた。しかしながら、上述したように、本発明は、ボケ除去処理のみならず、様々な処理に適用することができる。そこで、以下、その一例として、本発明を４倍密処理に適用した場合の実施の形態について説明していく。

４倍密処理とは、入力画像の空間解像度を４倍に向上する処理である。即ち、入力画像の解像度を標準解像度とした場合、入力画像を、その４倍の高解像度の画像である予測画像に変換する処理が、4倍密処理である。

なお、以下、標準解像度の画像を、適宜、ＳＤ(Standard Definition)画像と称する。また、ＳＤ画像を構成する画素を、適宜、ＳＤ画素と称する。具体的には例えば、図１３に示される画素M₀乃至M₈がＳＤ画素であるとして、以下説明をしていく。

これに対して、以下、高解像度の画像を、適宜、ＨＤ(High Definition)画像と称する。また、ＨＤ画像を構成する画素を、適宜、ＨＤ画素と称する。具体的には例えば、図１４に示される画素F_0A乃至F_8DがＨＤ画素であるとして、以下説明をしていく。即ち、以下、図１３に示されるＳＤ画素群から、図１４に示されるＨＤ画素群が予測演算される4倍密処理について説明していく。換言すると、説明の簡易化のため、ＨＤ画像からＳＤ画像への射影過程を４画素平均のモデルで扱った場合の4倍密処理として説明していく。

本発明が適用される4倍密処理では、次のステップＳα乃至Ｓγによる工程が採用されている。

即ち、ステップＳαとは、射影の条件式を立てる工程である。

具体的には例えば、図１３のＳＤ度画像の画素値M₀ 乃至 M₈と、図１４のＨＤ画像の画素値F_0A乃至F_8Dをとを用いて、次の式（１３）を立てる工程がステップＳαである。

・・・（１３）

ステップＳβとは、拘束条件式を立てる工程である。

本実施の形態では例えば、次の式（１４）が、ステップＳβで立てられるとする。

・・・（１４）

式（１４）において、左側の拘束条件式が、横方向の拘束（図１４の実線の矢印）の式を示している。一方、右側の拘束条件式が、縦方向の拘束（図１４の点線の矢印）の式を示している。

なお、拘束条件式としては、式（１４）のような縦横独立の式に限定されず、その他例えば二次元的な拘束条件式、具体的には例えば、次の式（１５）なども採用することができる。

・・・（１５）

ステップＳγとは、画素値推定処理を実行する工程である。

上述の式（１４） と式（１５）にそれぞれの式で発生する誤差項および拘束条件式に対する重みW_0A-oB 乃至W_8B-8Dを加えた式として、次の式（１６）が得られる。

・・・（１６）

ここで、左辺の左側の行列をＡと記述し、左辺の右側の行列（列ベクトル）をｙと記述し、右辺の第１項目（＋の左側）の行列（列ベクトル）をxと記述し、右辺の第２項目（＋の右側）の行列（列ベクトル）をeと記述する。すると、式（１６）は、上述した次の式（５）のように表すことができる。このことは、上述したボケ除去処理用の処理係数wを算出したのと全く同様にして、４倍密処理用の処理係数wを算出することができることを意味している。即ち、４倍密処理用の処理係数wを算出するための学習部も、教師画像としてＨＤ画像を用いて、生徒画像としてＳＤ画像を用いる以外は、図３の学習部１１と基本的に同様に構成できる。また、予測処理を行う画像処理側も、入力画像としてＳＤ画像を用いる以外は、図９の画像処理部１３と基本的に同様に構成できる。

ところで、図２のボケが加わった画像を、図１のボケが加わっていない画像の劣化画像と把握することができるし、また、図１３のＳＤ画像を、図１４のＨＤ画像の劣化画像と把握することができる。このように把握した場合、処理係数wを生成するための学習において、生徒画像とは、教師画像から所定の劣化モデルに基づいて生成された画像であるといえる。即ち、上述した各種実施の形態は、ボケや、縮小といった劣化モデルの種類に適した処理係数wをそれぞれ生成することができる各実施形態であったといえる。

してみると、結局、本発明が適用される学習装置とは、教師画像から劣化モデルにより生徒画像を生成し、生徒画像の特徴よりクラス分類し、クラス毎に劣化モデルでの教師画像の画素位置それぞれの隣接画素差分を積算し、その積算値に応じて教師画像の画素位置それぞれに対応する拘束条件式の重み付けを行って、劣化モデルによる劣化の種類、クラス毎に、生徒から教師を求める予測係数を演算する学習装置であれば足り、どのような構成を取っても構わない。そして、本発明が適用される画像処理装置は、そのような学習装置により学習された予測係数を利用した画像処理を実行する画像処理装置であれば足り、どのような構成を取っても構わない。

このように本発明を把握した場合、本発明は、例えば次のような特徴を有する。

即ち、例えば、本発明は、混合モデルに基づく条件式を、拘束条件に基づいて条件式を解くことによりボケ改善された画素値を求めるボケ除去処理に適用できる、という特徴を有する。

また例えば、本発明は、拘束条件を、ボケ前の画像から統計的に学習することができる、という特徴を有する。

また例えば、本発明は、生徒の画像特徴量からクラス分類し、クラス毎に対応する劣化モデル式での教師の画素位置それぞれのに応じた隣接画素差分を積算し、それに基づき誤差分布を検出し、その積算値誤差分布に応じてその教師の画素位置それぞれに対応する拘束条件式の重み付けを行って、生徒と教師の関係を学習し、生徒から教師を求める予測係数を求めるといった処理に適用できる、という特徴を有する。

また例えば、本発明は、正規方程式による学習処理にも適用できる可能性がある、という特徴を有する。

また例えば、本発明は、モデルベースでありながら、統計的手法で学習される教師画像の誤差分布を考慮することができるという効果があ、という特徴を有する。

また例えば、［背景］の欄で上述した特許文献１に記載の技術（以下、先行技術と称する）と比較するに、先行技術では、入力画像の隣接画素差分（先行技術でいう［数１５９］や［数１６０］）により拘束式を重み付けしている。これは学習をして重みを求めているものではない。これに対して、本発明は、学習により、教師の隣接画素差分に応じて拘束式の重み付けをクラス毎に求めることもでき、この場合、入力画像に元々の劣化前画像の特徴がなくなってしまっているものでも劣化を除去できる、という特徴を有している。先行技術の場合は入力画像の劣化が激しい場合、劣化の除去の性能が落ちてしまう可能性がある点留意すべきである。

なお、劣化モデルとしては、上述した例では、ボケと縮小とは別々に取り扱われたが、一の学習装置や一の画像処理装置によって両者が取り扱われるようにしてもよい。即ち、ボケ除去用の処理係数ｗとズーム用の処理係数ｗとを同時に持つような場合にも本発明は適用可能である。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、上述した情報処理システムの少なくとも一部として、例えば、図１５に示されるパーソナルコンピュータを採用してもよい。

図１５において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。換言すると、図３や図９の情報処理システムは、例えば、図１５のパーソナルコンピュータ等、１台の装置として構成しても乃至はそのように捉えても構わない。

物体が静止している場合の画素値の例を示す図である。 物体が動いた場合に観測される画素値の例を示す図である。 本発明が適用される学習部を含む情報処理システムの機能的構成例を示す機能ブロック図である。 教師画像内にある注目画素付近の波形をプロットした例を示す図である。 図４に対する拘束式誤差をプロットした例を示す図である。 図４に対する拘束条件式の重みをプロットした例を示す図である。 図４に対する処理係数をプロットした例を示す図である。 図３の学習部が実行する処理係数生成処理の一例を説明するフローチャートである。 本発明が適用される画像処理部を含む情報処理システムの機能的構成例を示す機能ブロック図である。 図９の画像処理部が実行数ボケ除去処理の一例を説明するフローチャートである。 とある入力画像に対して、拘束条件式の重みを全て同一の値にした平均的な拘束条件を用いるボケ除去処理を施した後の画像の画素値をプロットした例を示す図である。 図３、図９の情報処理システムがボケ除去処理を施した後の画像、即ち、本発明が適用される拘束条件を用いるボケ除去処理を施した後の画像の画素値をプロットした例を示す図である。 ＳＤ画像の画素値の例を示す図である。 ＨＤ画像の画素値の例を示す図である。 本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１１ 学習部， １２ 処理係数記憶部， １３ 画像処理部， ２１ 生徒画像生成部， ２２ クラスタップ抽出部， ２３ クラス分類部， ２４ 拘束式誤差算出タップ抽出部， ２５ 拘束式足し込み部， ２６ 拘束式重み算出部， ２７ 拘束式行列生成部， ２８ 混合式行列生成部， ２９ 処理係数算出部， ３１ 予測タップ抽出部， ３２ クラスタップ抽出部， ３３ クラス分類部， ３４ 処理係数決定部， ３５ 予測処理部， ３６ ボケ量設定部， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １１１ リムーバブルメディア

Claims (12)

1. 教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成する生徒画像生成手段と、
   前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成するクラス分類手段と、
   前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出する重み算出手段と、
   前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、前記生徒画像内の複数の画素の画素値との演算により前記教師画像内の注目画素の画素値を予測するための予測係数を生成する処理係数生成手段と
   を備える学習装置。
2. 前記重み算出手段は、前記積算値が大きい程、その積算値に対応する前記拘束条件式の重みを小さくする
   請求項１に記載の学習装置。
3. 前記生徒画像生成手段は、前記教師画像に対してボケを付加して前記生徒画像を生成する
   請求項１に記載の学習装置。
4. 前記生徒画像生成手段は、前記教師画像を縮小して生徒画像を生成する
   請求項１に記載の学習装置。
5. 学習装置が実行するステップとして、
   教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、
   前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、
   前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、
   前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、前記生徒画像内の複数の画素の画素値との演算により前記教師画像内の注目画素の画素値を予測するための予測係数を生成する
   ステップを含む学習方法。
6. コンピュータが実行するステップとして、
   教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、
   前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、
   前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、
   前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、前記生徒画像内の複数の画素の画素値との演算により前記教師画像内の注目画素の画素値を予測するための予測係数を生成する
   ステップを含むプログラム。
7. 入力画像からより高質な出力画像を生成する画像処理装置において、
   前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出するクラス画素抽出手段と、
   前記クラス画素抽出手段により抽出された画素の画素値に応じてクラスを設定するクラス設定手段と、
   前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出する予測画素抽出手段と、
   劣化の種類を設定する設定手段と、
   前記設定された劣化の種類及び前記クラス毎に応じて選択された予測係数と、前記予測画素抽出手段により抽出された前期複数画素の画素値との演算により前記注目画素の画素値を予測する予測処理手段とを備え、
   前記予測係数は、
   教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、
   前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、
   前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、
   前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、生成される
   画像処理装置。
8. 前記予測係数が生成される際、前記積算値が大きい程、その積算値に対応する前記拘束条件式の重みが小さくされる
   請求項７に記載の画像処理装置。
9. 前記予測係数が生成される際、前記教師画像に対してボケを付加して前記生徒画像が生成される
   請求項７に記載の画像処理装置。
10. 前記予測係数が生成される際、前記教師画像を縮小して生徒画像が生成される
    請求項７に記載の画像処理装置。
11. 入力画像からより高質な出力画像を生成する画像処理装置が実行するステップとして、
    前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出し、
    抽出された画素の画素値に応じてクラスを設定し、
    前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出し、
    劣化の種類を設定し、
    前記設定された劣化の種類及び前記クラス毎に応じて選択された予測係数と、抽出された前期複数画素の画素値との演算により前記注目画素の画素値を予測する
    ステップを含み、
    前記予測係数は、
    教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、
    前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、
    前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、
    前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、生成される
    画像処理方法。
12. 入力画像からより高質な出力画像を生成する制御を処理するコンピュータに実行させるステップとして、
    前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出し、
    抽出された画素の画素値に応じてクラスを設定し、
    前記出力画像内の注目画素位置およびその周辺に配される前記入力画像内の複数画素を抽出し、
    劣化の種類を設定し、
    前記設定された劣化の種類及び前記クラス毎に応じて選択された予測係数と、抽出された前期複数画素の画素値との演算により前記注目画素の画素値を予測する
    ステップを含み、
    前記予測係数は、
    教師画像から、複数の劣化の種類に対応する複数の劣化モデル式により生徒画像を生成し、
    前記教師画像内の画素を順に注目画素として設定し、当該注目画素位置およびその周辺に配される前記生徒画像内の画素の画素値よりクラスを生成し、
    前記注目画素およびその周辺に配される複数の画素の画素値から前記生徒画像内の複数の画素の画素値を求める劣化モデル式における、前記教師画像内の複数の画素の少なくとも一部と隣接する画素との関係を表す特徴量を、前記クラス毎に積算し、その積算値に応じて前記教師画像内の複数の画素の少なくとも一部に対応する拘束条件式の重みを算出し、
    前記劣化モデル式と重み付けされた前記拘束条件式を含む行列式に基づき、前記劣化の種類、及び、前記クラス毎に、生成される
    プログラム。

Images