JP2015148979A - 画像処理方法、画像処理プログラムおよび画像処理装置 - Google Patents

Abstract

【課題】既知の第１の画像を未知の第２の画像に高精度に変換する。
【解決手段】画像処理方法は、第１の画像を第２の画像に変換する。該方法は、辞書学習により生成された複数の第１の辞書および該複数の第１の辞書のそれぞれに対応する複数の第２の辞書を用意し（Ｓ２０１）、第１の画像を第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を複数の第１の辞書のそれぞれについて行って複数の線形結合係数を求め（Ｓ２０６）、該複数の線形結合係数のそれぞれに対して、絶対値が最大の係数要素と２番目に大きな係数要素との比を算出して、該比が最大となる特定線形結合係数を選択し（Ｓ２０７）、複数の第２の辞書のうち、特定線形結合係数が生成された第１の辞書に対応する特定辞書を選択し（Ｓ２０８）、特定線形結合係数と特定辞書の要素との線形結合を用いて第２の画像を生成する（Ｓ２０９〜Ｓ２１１）。
【選択図】図２

Description

本発明は、与えられた既知の画像を未知の画像に高精度に変換する画像処理技術に関する。

既知の画像を未知の画像に変換する画像処理方法として、非特許文献１には、高解像度画像から画素を間引く等の劣化処理により生成された低解像度画像から、劣化処理前の高解像度画像を求める、いわゆる超解像処理が開示されている。具体的には、まず低解像度画像にニアレストネイバー法等の補間処理を行い、高解像度の中間画像を生成する。この中間画像は、補間処理の影響で平滑化されているため、次に中間画像から任意に抽出した小領域を、生成したい高解像度画像における平滑化されていない対応小領域に変換する。このような処理を中間画像の全域で行うことで高解像度画像（超解像画像）が得られる。

また、非特許文献２には、ノイズを含む劣化画像から、ノイズが加わる前の原画像を求める、いわゆるノイズ除去処理が開示されている。具体的には、まず劣化画像から任意に抽出された小領域から、生成したい原画像におけるノイズを含まない対応小領域に変換する。このような処理を劣化画像の全域で行うことでノイズが除去された原画像が得られる。

このように、従来は、劣化した画像から抽出した小領域を劣化前の画像の対応小領域へと変換する処理を行うことで、高解像度画像やノイズ除去画像を得ている。

非特許文献１および非特許文献２にて開示された画像処理方法では、劣化前の訓練画像もしくは劣化前後の訓練画像の組から抽出した複数の小領域から、辞書学習により予め生成した辞書を用いている。このような画像処理方法は、スパース表現に基づく画像処理方法もしくは以下の説明で用いるスパースコーディングと呼ばれている。なお、辞書とは、辞書学習の結果として生成される複数の小領域を要素とする集合である。また、訓練画像とは、辞書学習により辞書を生成するための画像を意味である。

Jianchao Yang, Zhaowen Wang, Zhe Lin, Scott Cohen, Thomas Huang著 「Coupled Dictionary Training for Image Super-Resolution」,Transactions on Image Processing,アメリカ合衆国,IEEE,2012,Vol.21,Issue8,p.3467-3478 Michael Elad、Michal Aharon著,「Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries」,Transactions on Image Processing,アメリカ合衆国,IEEE,2006,Vol.15,Issue12,p.3736-3745

しかしながら、非特許文献１，２にて開示された画像処理方法では、既知の任意の画像（以下、第１の画像という）を未知の任意の画像（以下、第２の画像）に高精度に変換することができない。非特許文献２にて開示された画像処理方法では、劣化画像から抽出した小領域を原画像における対応小領域に変換することはできるが、任意の第１の画像を任意の第２の画像に変換することは原理的にできない。また、非特許文献１にて開示された画像処理方法では、任意の第１の画像を任意の第２の画像に変換することはできるものの、高精度な変換を行うことができない。

本発明は、既知の第１の画像を未知の第２の画像に高精度に変換することができる画像処理方法、画像処理プログラムおよび画像処理装置を提供する。

本発明の一側面としての画像処理方法は、第１の画像を第２の画像に変換する。該画像処理方法は、辞書学習により生成された複数の第１の辞書および該複数の第１の辞書のそれぞれに対応する複数の第２の辞書を用意し、第１の画像を第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を複数の第１の辞書のそれぞれについて行って複数の線形結合係数を求め、該複数の線形結合係数のそれぞれに対して、絶対値が最大の係数要素と２番目に大きな係数要素との比を算出して、該比が最大となる特定線形結合係数を選択し、複数の第２の辞書のうち、特定線形結合係数が生成された第１の辞書に対応する特定辞書を選択し、特定線形結合係数と特定辞書の要素との線形結合を用いて第２の画像を生成することを特徴とする。

なお、上記画像処理方法をコンピュータに実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理装置は、第１の画像を第２の画像に変換する画像処理を行う。該画像処理装置は、辞書学習により生成された複数の第１の辞書および該複数の第１の辞書のそれぞれに対応する複数の第２の辞書を用意する用意手段と、第１の画像を第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を複数の第１の辞書のそれぞれについて行って複数の線形結合係数を求める係数算出手段と、複数の線形結合係数のそれぞれに対して、絶対値が最大の係数要素と２番目に大きな係数要素との比を算出して、該比が最大となる特定線形結合係数を選択する係数選択手段と、複数の第２の辞書のうち、特定線形結合係数が生成された第１の辞書に対応する特定辞書を選択する辞書選択手段と、特定線形結合係数と特定辞書の要素との線形結合を用いて第２の画像を生成する画像生成手段とを有することを特徴とする。

本発明によれば、既知の第１の画像から高精度に変換した未知の第２の画像を生成することができる。

本発明の実施例１である画像処理システムの構成を示すブロック図。 実施例１において行われる画像処理の手順を示すフローチャート。 本発明の実施例２において行われる画像処理の手順を示すフローチャート。 実施例２で用いたベクトルデータを示す図。 実施例２で生成された分類ベクトルの１つを示す図。 実施例２の画像処理を用いて画像分類を行った結果を示す図。 従来の画像処理方法を用いて画像分類を行う手順を示すフローチャート。 従来の画像処理方法を用いて画像分類を行った結果を示す図。 本発明の実施例３において行われる画像処理により画像分類を行った結果を示す図。 従来の画像処理方法により画像分類を行った結果を示す図。

以下、本発明の実施例について図面を参照して説明する。

図１には、本発明の実施例１としての画像処理装置の構成を示している。画像処理装置１０１は、画像入力部１０２および画像出力部１０３とともに画像処理システム１００を構成し、画像入力部１０２および画像出力部１０３とバス配線１０４で接続されている。

画像入力部１０２は、デジタルカメラやスライドスキャナ等の撮像装置で構成され、撮像により生成された画像（以下、入力画像という）を画像処理装置１０１に入力する。スライドスキャナは、病理診断のための病理標本を撮像して画像を取得する装置である。なお、画像入力部１０２は、ＵＳＢメモリやＤＶＤ、ＣＤ−ＲＯＭ等の記憶媒体から入力画像を読み出すＵＳＢインターフェースや光学ドライブ等のインターフェース装置で構成されてもよい。また、これらの装置を複数含むように画像入力部１０２を構成してもよい。

本実施例で扱う入力画像は、輝度値の２次元配列データを持つモノクローム画像もしくはＲＧＢの色ごとに輝度値の２次元配列データを持つカラー画像である。カラー画像を表す色空間はＲＧＢに限らず、ＹＣｂＣｒやＨＳＶ等の他の色空間でもよい。

画像出力部１０３は、液晶ディスプレイ等の表示装置で構成され、画像処理装置１０１にて生成された画像（以下、出力画像という）を出力する。また、ＵＳＢインターフェースや光学ドライブ等のインターフェース装置で画像出力部１０３を構成し、出力画像をＵＳＢメモリやＤＶＤ等の記憶媒体に書き出してもよい。また、ＨＤＤ等の記憶装置で画像出力部１０３を構成し、出力画像を記憶してもよい。さらに、これらの装置を複数含むように画像出力部１０３を構成してもよい。また、画像処理装置１０１に画像入力部１０２と画像出力部１０３を内蔵することで、画像処理装置１０１をデジタルカメラ等の撮像装置として構成してもよい。

なお、図１には示していないが、画像処理システム１００は、ＣＰＵ等により構成される制御部や、ＲＡＭ等で構成される一時記憶部や、キーボード等で構成される入力デバイスを含む。

次に、本実施例の画像処理装置１０１が行う画像処理（画像処理方法）について、図２に示すフローチャートを用いて説明する。画像処理装置１０１は、コンピュータにより構成され、既知の入力画像（以下、第１の画像という）を未知の出力画像（以下、第２の画像）に変換する画像処理を、コンピュータプログラムである画像処理プログラムに従って実行する。なお、画像処理装置１０１は、用意手段、係数算出手段、係数選択手段、辞書選択手段および画像生成手段として機能する。

以下の説明において、第１の画像と第２の画像は同じサイズを有する、すなわち縦方向の画素数をｐとして横方向の画素数をｑとするときのｐ×ｑが同じであるとする。また、本実施例では第１の画像がモノクローム画像である場合について説明するが、本実施例の画像処理は第１の画像がカラー画像である場合も適用可能である。

まずステップＳ２０１では、画像処理装置１０１は、第１の訓練画像と第２の訓練画像を用意（準備）する。第１の訓練画像は画像処理対象である第１の画像と類似する画像であり、第２の訓練画像は画像処理の結果となる第２の画像と類似する画像である。例えば、花の画像である第１の画像を人の画像である第２の画像に変換する場合には、第１の訓練画像として花の画像を、第２の訓練画像として人の画像を用意する。

次に、ステップＳ２０２では、画像処理装置１０１は、第１の訓練画像におけるランダムに決定した複数の場所から複数の第１の訓練部分画像としての複数の小領域（以下、第１の訓練小領域という）を抽出する。また、第２の訓練画像における上記複数の第１の訓練小領域に対応する（同じ）場所から複数の第２の訓練部分画像としての複数の小領域（以下、第２の訓練小領域という）を抽出する。なお、第１の訓練画像から抽出される複数の第１の訓練小領域（場所）は互いに部分的に重複してもよいが、完全に重複してはならない。また、複数の第１の訓練小領域のサイズは互いに同じであり、それぞれの第１の訓練小領域のサイズは第１の訓練画像より小さく、かつ一辺が２画素以上でなければならない。第１および第２の訓練小領域のサイズも、縦方向の画素数をｐとし、横方向の画素数をｑとするとき、ｐ×ｑとする。

次に、ステップＳ２０３では、画像処理装置１０１は、第１の訓練画像から抽出した各第１の訓練小領域の画素値分布からその第１の訓練小領域の画素値の平均値（ＤＣ成分という）を減算した成分であるＡＣ成分（第１のＡＣ成分）を求める。また、第２の訓練画像から抽出した各第２の訓練小領域についても、同様にＡＣ成分（第２のＡＣ成分）を求める。

そして、画像処理装置１０１は、互いに対応する（同じ場所の）第１および第２の訓練小領域のＡＣ成分をそれぞれベクトルに変換してＡＣベクトルを生成し、該ＡＣベクトル同士を上下に連結して訓練ベクトルを生成する。この処理を、互いに対応する複数の第１および第２の訓練小領域の全てに対して行い、複数の訓練ベクトルを生成する。

次に、ステップＳ２０４では、画像処理装置１０１は、生成した複数の訓練ベクトルに対して、クラスタリングと呼ばれる処理を行い、類似の訓練ベクトルを集めたクラスタと呼ばれるベクトルの集合を複数生成する。

ここで、クラスタリングについて説明する。クラスタリングとは、データの集合を、類似したデータからなる複数の部分集合であるクラスタに分類する処理である。クラスタリングアルゴリズムとしては、k-means法が代表的である。k-means法では、簡単には、各クラスタの代表値（重心）とクラスタ内の他データとの距離が最小となるように重心を更新することでクラスタリングを行う。本実施例では、クラスタリングアルゴリズムとして、k-means法を用いるが、他のアルゴリズムを用いてもよい。本実施例において、クラスタリングの結果生成されるクラスタは、具体的には、ステップＳ２０３で生成した複数の訓練ベクトルのうち互いに類似する訓練ベクトルを横に連結した行列であり、この行列（クラスタ）を以下の説明では、訓練行列という。

次に、ステップＳ２０５では、画像処理装置１０１は、各クラスタに対して辞書学習と呼ばれる処理を行い、クラスタごとに第１の辞書と第２の辞書を生成（用意）する。クラスタをＭ（複数）個生成した場合には、Ｍ（同じ複数）組の第１および第２の辞書を生成する。

ここで、辞書学習について説明する。辞書学習とは、訓練行列から、第１および第２の辞書を生成する処理である。辞書学習アルゴリズムとしては、例えば非特許文献１で開示されたjoint sparse codingとcoupled dictionary trainingの２つがある。

joint sparse codingでは、まず訓練行列から、Ｋ−ＳＶＤ法等により、１つの辞書行列を生成する。Ｋ−ＳＶＤ法とは、訓練行列から辞書行列を生成するアルゴリズムの１つで、スパースコーディングにおいて最も一般的に用いられている。本実施例では、辞書学習においてＫ−ＳＶＤ法を用いるが、他のアルゴリズムを用いてもよい。

joint sparse codingにおいて生成された辞書行列のうち、上半分が第１の訓練画像に対応し、下半分が第２の訓練画像に対応する。次に、joint sparse codingでは、生成された辞書行列の上半分を取り出し、取り出した行列の列ベクトルをそれぞれ小領域に変換し、得られた小領域の集合を第１の辞書と呼ぶ。また、生成された辞書行列の下半分を取り出して、同様の処理を行い、得られた小領域の集合を第２の辞書と呼ぶ。ここでの小領域のサイズは、ステップＳ２０２で定めた小領域のサイズと同じであるとする。また、辞書の要素である小領域の数は、予めユーザが指定する。

なお、これまでに説明した処理は、第１および第２の訓練画像から抽出する第１および第２の訓練小領域のサイズが互いに同じであることを前提としている。第１および第２の訓練小領域のサイズが互いに異なる場合は、以下の説明においてその都度処理の相違点を述べることとする。また、辞書行列の対応する部分を取り出し、取り出した行列の列ベクトルをそれぞれ小領域に変換する処理は必ずしも行う必要はない。目的に応じて、列ベクトルをそれぞれ小領域に変換する処理を行わず、列ベクトルの集合を辞書として扱ってもよい。

coupled dictionary trainingはjoint sparse codingとは異なる方法で学習を行うが、本実施例ではjoint sparse codingを用いることとし、coupled dictionary trainingの説明は省略する。なお、joint sparse codingとcoupled dictionary trainingのいずれを用いても、同様の効果を期待できる辞書を生成できる。

また、以上のステップＳ２０１からステップＳ２０５の処理は、画像処理装置１０１が常に行う必要はなく、予めユーザが行っておき、生成した複数の第１および第２の辞書の組を画像処理装置１０１に記憶させてもよい。そして、画像処理装置１０１は、記憶された複数の第１および第２の辞書の組を用いて、ステップＳ２０６以降の処理を行えばよい。

ステップＳ２０６では、画像処理装置１０１は、第１の画像の任意の場所から小領域（第１の小領域：以下、入力小領域という）を抽出する。そして、抽出した入力小領域のＡＣ成分を、複数の第１の辞書の要素の線形結合により近似して複数の線形結合係数を求める。すなわち、第１の辞書がＭ個ある場合には、線形結合係数はＭ個求められる。

ここで、線形結合により近似するとは、抽出した入力小領域のＡＣ成分を、第１の辞書の要素である小領域の重み付きの和で表現することである。そして、この重みが線形結合係数である。第１の辞書の小領域のサイズは、ステップ２０２で定めた小領域のサイズと同じであるとする。線形結合近似を数式で表すと、以下の（１）式のようになる。

ただし、ａ_ｉｊ（ｊ＝１〜ｎ）は複数ある第１の辞書のうちｉ番目の辞書のｊ番目の要素を示す。また、α_ｉｊ（ｊ＝１〜ｎ）は要素ａ_ｉｊに対する重み（線形結合係数）を示す。さらに、ｂは第１の画像から抽出した入力小領域のＡＣ成分を示し、ｎは第１の辞書の全要素数を示す。なお、画像から抽出した小領域を、辞書の要素の線形結合で近似するためのアルゴリズムとしては、非特許文献２で開示されたorthogonal matching pursuit（ＯＭＰ）等がある。本実施例では、抽出した小領域を辞書の要素の線形結合で近似する場合はＯＭＰを用いるが、他のアルゴリズムを用いてもよい。

次に、ステップＳ２０７では、画像処理装置１０１は、複数の線形結合係数のうち、線形結合係数の比が最大となる１つの線形結合係数（特定線形結合係数）を選択する。線形結合係数の比とは、その線形結合係数の要素（係数要素）のうち絶対値が最大の要素と２番目に大きな要素との比（絶対値）である。線形結合係数の比が最大となる線形結合係数が複数存在する場合は、そのうち１つを任意に選択する。線形結合係数の比を数式で表すと、以下の（２）式のようになる。

ただし、ｒ_ｉは複数の線形結合係数のうちｉ番目の線形結合係数の比であり、α_ｉ＿１はｉ番目の線形結合係数の要素（係数要素）のうち絶対値が最大の要素を示し、α_ｉ＿２はｉ番目の線形結合係数の要素のうち絶対値が２番目に大きい要素を示す。

ステップＳ２０８では、画像処理装置１０１は、ステップＳ２０７において選択した線形結合係数が生成された第１の辞書と、これに対応する第２の辞書（特定辞書）を選択する。すなわち、ｉ番目の線形結合係数を選択した場合には、この線形結合係数を生成したのはｉ番目の第１の辞書であるので、これに対応するｉ番目の第２の辞書を選択する。

ステップＳ２０９では、画像処理装置１０１は、選択した線形結合係数（特定線形結合係数）と選択した第２の辞書（特定辞書）の要素との線形結合により、第２の画像のうち入力小領域に対応する場所の小領域（第２の小領域：以下、出力小領域という）のＡＣ成分を生成する。そして、この生成した出力小領域のＡＣ成分を、第１の画像における該出力小領域に対応する入力小領域のＤＣ成分を加えたうえで、該出力小領域の画素値に加える。なお、第１の画像における入力小領域のＤＣ成分を加える処理は、目的に応じて省略したり変更したりしてもよい。また、第２の画像は第１の画像と同サイズであり、該第２の画像（出力小領域）の画素値の初期値はゼロであるとする。選択した線形結合係数と選択した第２の辞書の要素との線形結合を、数式で表すと以下の（３）式のようになる。

ただし、ａ′_ｊ（ｊ＝１〜ｎ）は選択した第２の辞書のｊ番目の要素を示し、α_ｊ（ｊ＝１〜ｎ）は選択した線形結合係数のｊ番目の要素を示す。また、ｃは第２の画像における入力小領域に対応する場所における出力小領域のＡＣ成分を示し、ｎは選択した第２の辞書の全要素数を示す。

次に、ステップＳ２１０では、画像処理装置１０１は、第１の画像から抽出した全ての入力小領域に対するステップＳ２０６からステップＳ２０９の処理が終了したか否かを判定する。まだ全ての入力小領域に対する処理が終了していない場合はステップＳ２０６に戻り、次の入力小領域に対するステップＳ２０６からステップＳ２０９の処理を行う。全ての入力小領域に対する処理が終了した場合は、ステップＳ２１１に進む。なお、第１の画像からの入力小領域を抽出する際には入力小領域同士が部分的に重複してもよいが、第１の画像の全域を隙間なく覆うように抽出する必要がある。

ステップＳ２１１では、画像処理装置１０１は、ステップＳ２０９において第２の画像にて出力小領域が重複して足し合わされている場所の画素値を、その重複数で除算する。

以上の手順により、既知の第１の画像を未知の第２の画像に高精度に変換することができる。

以下、本実施例の画像処理方法の応用について説明する。

実施例２では、画像処理装置１０１は、図３に示すフローチャートに従って、第１の画像に対して画像分類を行い、該画像分類の結果に応じて第１の画像を第２の画像に変換する。画像分類とは、第１の画像中に存在する複数の物体像（撮像により生成された被写体像）を予め定めた種類のうちいずれかに分類し、その分類結果を第２の画像（分類画像）として示す技術である。例えば、画像分類では、物体像として人の画像（以下、単に人ともいう）と花の画像（以下、単に花ともいう）が存在する第１の画像を、人の領域と花の領域とに分け、人の領域は赤色に、花の領域は青色に塗り分けた第２の画像を生成する。もちろん、分類する物体像は人や花の画像に限らない。また、分類結果を示す方法は赤色と青色に塗り分けることに限らない。本実施例では、第１の画像を人（顔）の領域と花の領域に分類し、分類結果を第２の画像として示す方法について説明する。

まず、ステップＳ３０１では、画像処理装置１０１は、第１の訓練画像と第２の訓練画像を用意する。画像分類において、第１の訓練画像は分類する複数種類の物体像を含む画像である。本実施例では、人と花を分類するので、第１の訓練画像として、人の画像と花の画像を用意する。また、画像分類において、第２の訓練画像はベクトルデータである。具体的には、人の画像に対応する第１のベクトルデータと花の画像に対応する第２のベクトルデータをそれぞれ第２の訓練画像として用意する。

これら第１のベクトルデータと第２のベクトルデータは、区別できさえすれば任意のベクトルデータでよいが、同じ長さでのデータである必要がある。すなわち、本実施例にいう画像分類は、ある画像をそれに対応するベクトルデータに変換することである。具体的には、人（顔）の画像を第１のベクトルデータに変換し、花の画像を第２のベクトルデータに変換する。本実施例では、第１のベクトルデータと第２のベクトルデータとして、図４に示すような１７次元のベクトルを用いる。図４（ａ）が第１のベクトルデータを示し、図４（ｂ）は第２のベクトルデータを示す。また、ベクトルデータの長さは１７次元に限らず、２次元以上であればよい。

次に、ステップＳ３０２では、画像処理装置１０１は、第１の訓練画像から複数の訓練部分画像である複数の訓練小領域を抽出する。ここで、各訓練小領域のサイズは、実施例１でも述べたように、第１の画像のサイズより小さければよいが、その一辺が２画素以上でなければならない。本実施例では、例として、各訓練小領域のサイズを８×８画素とした。また、訓練小領域の抽出ルールは、実施例１のステップＳ２０２にて説明した第１の訓練小領域の抽出ルールと同じである。

次に、ステップＳ３０３では、画像処理装置１０１は、実施例１のステップＳ２０３と同様の方法により、第１の訓練画像から抽出した複数の訓練小領域のそれぞれのＡＣ成分を求める。さらに、画像処理装置１０１は、各訓練小領域のＡＣ成分を変換してＡＣベクトルを求める。そして、各訓練小領域のＡＣベクトルと該訓練小領域を抽出した物体像に対応する第２の訓練画像である第１または第２のベクトルデータとを上下に連結して訓練ベクトルを生成する。すなわち、第１の訓練画像のうち人の画像から抽出した訓練小領域のＡＣ成分を変換して得られたＡＣベクトルに対しては、第１のベクトルデータを連結して訓練ベクトルを生成する。また、花の画像から抽出した訓練小領域のＡＣ成分を変換して得られたＡＣベクトルに対しては、第２のベクトルデータを連結して訓練ベクトルを生成する。

ステップＳ３０４では、画像処理装置１０１は、実施例１のステップＳ２０４にて説明した方法によって、複数の訓練ベクトルに対してクラスタリングを行い、類似の訓練ベクトルからなる複数のクラスタを生成する。

ステップＳ３０５では、画像処理装置１０１は、実施例のステップＳ２０５にて説明した方法によって、各クラスタに対して辞書学習を行い、クラスタごとに第１および第２の辞書を生成する。実施例１でも説明したように、クラスタをＭ個生成した場合にはＭ組の第１および第２の辞書を生成する。本実施例では、例として１０個のクラスタを生成する。第１および第２の辞書の全要素数が多いほど画像処理精度は高くなることは知られている。しかし、全要素数が多いほどそれらを生成するための計算時間が必要となり、処理が遅くなる。このため、本実施例においては、例として、第１および第２の辞書の全要素数をそれぞれ１０２４個とする。

なお、実施例１のステップＳ２０５では、第１および第２の訓練画像から抽出する第１および第２の訓練小領域のサイズは同じであるとして辞書学習の方法を説明したので、辞書学習の結果として生成される第１および第２の辞書のサイズ（要素のサイズおよび要素数）も同じである。

これに対して、ステップＳ３０５では、第１の訓練画像から抽出する訓練小領域のサイズは８×８画素であり、第２の訓練画像（第１および第２のベクトルデータ）のサイズは１７×１画素である。このため、辞書学習の結果として生成される第１および第２の辞書のサイズが異なる。具体的には、第１の辞書は８×８画素の要素を１０２４個含み、第２の辞書は１７×１画素の要素を１０２４個含む。

また、クラスタに対して辞書学習を行った結果として生成される辞書行列から第１および第２の辞書を生成する処理も、ステップＳ２０５とステップＳ３０５では異なる。具体的には、実施例１のステップＳ２０５では、訓練行列の上半分が第１の辞書に対応し、下半分が第２の辞書に対応するとして第１および第２の辞書を生成した。これに対して、ステップＳ３０５では、訓練行列の１行目から６４行目が第１の辞書に対応し、６５行目から８１行目が第２の辞書に対応するとして第１および第２の辞書を生成する。このように、訓練画像から抽出する小領域のサイズが異なると、それに応じて辞書学習における処理も若干異なる。

なお、実施例１と同様に、以上説明したステップＳ３０１からステップＳ３０５の処理は、画像処理装置１０１が常に行う必要はなく、予めユーザが行っておき、生成した第１および第２の辞書の組を画像処理装置１０１に記憶させてもよい。そして、画像処理装置１０１は、記憶された第１および第２の辞書の組を用いて、ステップＳ３０６以降の処理を行えばよい。

ステップＳ３０６では、画像処理装置１０１は、第１の画像の任意の場所から部分画像としての入力小領域を抽出し、抽出した入力小領域のＡＣ成分を複数の第１の辞書の要素の線形結合で近似して複数の線形結合係数を求める。このとき、第１の辞書がＭ個ある場合には、Ｍ個の線形結合係数が求められる。なお、線形結合近似の方法は、実施例１のステップＳ２０６にて説明した方法と同じである。また、抽出する入力小領域のサイズは、ステップＳ３０２で定めた訓練小領域のサイズと同じとする。

次に、ステップＳ３０７では、画像処理装置１０１は、複数の線形結合係数のうち線形結合係数の比が最大の線形結合係数（特定線形結像係数）を選択する。線形結合係数の比の算出方法は、実施例１のステップＳ２０７にて説明した方法と同じである。

次に、ステップＳ３０８では、画像処理装置１０１は、選択した線形結合係数を生成した第１の辞書とこれに対応する第２の辞書（特定辞書）を選択する。

次に、ステップＳ３０９では、画像処理装置１０１は、選択した線形結合係数（特定線形結像係数）と選択した第２の辞書（特定辞書）の要素との線形結合によって分類ベクトルを生成する。なお、線形結合の方法は、実施例１のステップＳ２０９にて説明した方法と同じである。分類ベクトルとは、第１の画像から抽出した入力小領域を分類するために用いるベクトルである。図５に生成された分類ベクトルの例を示す。

さらに、画像処理装置１０１は、分類ベクトルと第１のベクトルデータおよび第２のベクトルデータとを比較して、入力小領域の物体像の種類を判別する。具体的には、分類ベクトルと第１のベクトルデータとが類似していれば（第１および第２のベクトルデータのうち第１のベクトルデータに対する類似度が最も高ければ）、入力小領域を人に分類する。また、分類ベクトルと第２のベクトルデータとが類似していれば（第１および第２のベクトルデータのうち第２のベクトルデータに対する類似度が最も高ければ）、入力小領域を花に分類する。分類ベクトルと第１および第２のベクトルデータとの比較方法（類似度の判別方法）としては、ベクトルの非ゼロ要素の位置に着目する方法や分類ベクトルと各ベクトルデータとの差分に着目する方法等がある。本実施例では、ベクトルの非ゼロ要素の位置に着目して、分類ベクトルと各ベクトルデータとを比較した。なお、比較方法はこれに限らず、ベクトルの類似度が判断できる方法であればどのような方法を用いてもよい。

さらに、画像処理装置１０１は、第１の画像から抽出した入力小領域を人に分類した場合は、該入力小領域と同サイズで画素値が全て−１の部分画像としての分類小領域（出力小領域）を、第２の画像における該入力小領域に対応する場所の画素値に加える。一方、第１の画像から抽出した入力小領域を花に分類した場合は、該入力小領域と同サイズで、かつ画素値が全て＋１の分類小領域を、第２の画像における該入力小領域に対応する場所の画素値に加える。なお、実施例１でも述べたように、第２の画像は第１の画像と同サイズであり、該第２の画像（分類小領域）の画素値の初期値はゼロである。また、第２の画像に加える分類小領域の画素値は−１と＋１に限らない。第１の画像から部分的に重複して入力小領域を抽出した場合でも第２の画像における対応する場所での分類が分かるような画素値であればどのような値でもよい。例えば、虚数ｉを用いて＋ｉ，−ｉとしてもよい。

次に、ステップＳ３１０では、第１の画像から抽出した全ての入力小領域に対するステップＳ３０６からステップＳ３０９の処理が終了したか否かを判定する。まだ全ての入力小領域に対する処理が終了していない場合はステップＳ３０６に戻り、次の入力小領域に対するステップＳ３０６からステップＳ３０９の処理を行う。全ての入力小領域に対する処理が終了した場合は、ステップＳ３１１に進む。ここでも、実施例１で述べたように、第１の画像からの入力小領域を抽出する際には入力小領域同士が部分的に重複してもよいが、第１の画像の全域を隙間なく覆うように抽出する必要がある。

ステップＳ３１１では、画像処理装置１０１は、ステップＳ３０９において第２の画像にて分類小領域が重複して足し合わされている場所の画素値を、その重複数で除算する。さらに、画像処理装置１０１は、第２の画像において画素値が正である領域を花に、画素値が負の領域を人に分類する。ここで、領域の画素値が正か負かを判断する際に、分類小領域が重複して足し合わされている場所では多数決によってその分類を決定する。

そして、画像処理装置１０１は、例えば人を赤色で、花を青色でというように、分類結果を色の違いとして示す。なお、分類結果の示し方は色の違いに限らず、どのような示した方でもよい。

以上の手順により、第１の画像に対して画像分類を行い、その分類結果を示した第２の画像に変換する。

図６には、本実施例の画像処理方法を用いて画像分類を行った例を示す。図６（ａ）は、左半分が人、右半分が花である第１の画像（入力画像）示す。図６（ｂ）は、該第１の画像での画像分類の結果を示す第２の画像（分類画像）である。第２の画像では、分類結果が人であれば黒色で、花であれば白色で表している。

また、図６（ｃ）には、真の分類画像を示す。図６（ｄ）には、第１の辞書の１つを示す。図６（ｅ）には、第２の辞書の１つを示す。なお、全ての画像はそれぞれの画素値の最大値が１となり、最小値が０となるように規格化されている。また、全ての画像のサイズは１８５×２４６画素である。さらに、図６（ｄ）に示す第１の辞書は、８×８画素の要素を縦方向に３２個、横方向に３２個配置したものである。また、図６（ｅ）に示す第２の辞書は、１７×１画素の要素の最初の５０個を横方向に配置したものである。

図６（ｃ）の真の分類画像と図６（ｂ）に示した画像処理装置１０１によって生成された分類画像とを実際に比較して誤分類率を求めたところ、１１．２％であった。このことから、本実施例の画像処理方法によれば、高精度で画像分類を行えることが確認できた。

次に、本実施例の画像処理方法の従来の画像処理方法に対する優位さを検証した結果について説明する。まず、第１の画像に対して画像分類を行い、第２の画像に変換する従来の画像処理方法を、図７に示したフローチャートを用いて説明する。

ステップＳ７０１では、従来の画像処理装置は、ステップＳ３０１と同様に、第１および第２の訓練画像を用意する。具体的には、第１の訓練画像として人と花の画像を、第２の訓練画像として人と花のそれぞれに対応する第１のベクトルデータと第２のベクトルデータを用意する。なお、正確な比較を行うため、第１および第２の訓練画像はステップＳ３０１で用いるものと同じものを用いた。

次に、ステップＳ７０２では、画像処理装置は、ステップＳ３０２と同様に、第１の訓練画像から複数の第１の訓練小領域を抽出する。なお、ここで抽出する第１の訓練小領域のサイズもステップＳ３０２で抽出した入力小領域のサイズと同じである。

次に、ステップＳ７０３では、画像処理装置は、ステップＳ３０３と同様に、第１の訓練画像から抽出した複数の第１の訓練小領域のそれぞれのＡＣ成分を求める。次に、画像処理装置は、各第１の訓練小領域のＡＣ成分を変換したベクトルと、該第１の訓練小領域を抽出した物体像に対応する第２の訓練画像（第１または第２のベクトルデータ）とを上下に連結した訓練ベクトルを生成する。

次に、ステップＳ７０４では、画像処理装置は、訓練ベクトルを横に連結した訓練行列を生成し、訓練行列に対して辞書学習を行って第１および第２の辞書を生成する。ここでの第１および第２の辞書の全要素数はそれぞれ、５２９個とした。

次に、ステップＳ７０５では、画像処理装置は、第１の画像の任意の場所から入力小領域を抽出し、抽出した入力小領域のＡＣ成分を第１の辞書の要素の線形結合で近似して複数の線形結合係数を求める。線形結合近似の方法は実施例１のステップＳ２０６にて説明した方法と同じである。また、抽出する入力小領域のサイズは、ステップＳ７０２で定めた第１の訓練小領域のサイズと同じである。

次に、ステップＳ７０６では、画像処理装置は、線形結合係数と第２の辞書の要素の線形結合により分類ベクトルを生成する。なお、線形結合の方法は、実施例１のステップＳ２０９で説明した方法と同じである。また、生成した分類ベクトルから入力小領域を分類して第２の画像を生成する方法は、ステップＳ３０９にて説明した方法と同じである。

次に、ステップＳ７０７では、画像処理装置は、第１の画像から抽出した全ての入力小領域に対するステップＳ７０５およびステップＳ７０６の処理が終了したか否かを判定する。まだ全ての入力小領域に対する処理が終了していない場合はステップＳ７０５に戻り、次の入力小領域に対するステップＳ７０５およびステップＳ７０６の処理を行う。全ての入力小領域に対する処理が終了した場合は、ステップＳ７０８に進む。ここでも、第１の画像からの入力小領域を抽出する際には入力小領域同士が部分的に重複してもよいが、第１の画像の全域を隙間なく覆うように抽出する。

ステップＳ７０８では、画像処理装置は、ステップＳ７０６において第２の画像にて分類小領域が重複して足し合わされている場所の画素値を、その重複数で除算する。

図８には、図７に示した画像処理方法によって第１の画像（入力画像）の画像分類を行い、第２の画像（分類画像）に変換した例を示す。図８（ａ）には、図７（ａ）と同様に、左半分が人で、右半分が花である入力画像を示す。図８（ｂ）には、図７（ｂ）と同様に、分類結果が人であれば黒色で、花であれば白色で表された分類画像を示している。

図８（ｃ）には真の分類画像を、図８（ｄ）には第１の辞書を、図８（ｅ）には第２の辞書をそれぞれ示している。なお、全ての画像はそれぞれの画素値の最大値が１となり、最小値が０となるように規格化している。さらに、全ての画像のサイズは１８５×２４６画素である。また、図８（ｄ）に示す第１の辞書は、８×８画素の要素を縦方向に２３個、横方向に２３個配置したものである。また、図８（ｅ）に示す第２の辞書は、１７×１画素の要素の最初の５０個を横に配置したものを示している。

図８（ｃ）の真の分類画像と図８（ｂ）に示した従来の画像像処理装置によって生成された分類画像とを実際に比較して誤分類率を求めたところ、２０％であった。このことから、本実施例の画像処理方法の従来の画像処理方法に対する画像分類での優位さを確認することができた。

本発明の実施例３として、人と花以外の被写体を含む第１の画像に対しても画像分類ができることを示す。具体的には、第１の画像をシマウマとマスカットのいずれかに分類し、分類結果を第２の画像として出力する。なお、画像分類方法は、実施例２において図３のフローチャートを用いて説明した方法と同じである。

図９には、本実施例にて画像分類を行った例を示す。図９（ａ）には、左半分がシマウマで、右半分がマスカットである第１の画像（入力画像）を示している。図９（ｂ）には、画像分類の結果を示す第２の画像（分類画像）を示している。この分類画像では、分類結果がシマウマであれば黒色で、マスカットであれば白色で表している。

図９（ｃ）には真の分類画像を、図９（ｄ）には第１の辞書の１つを、図９（ｅ）には第２の辞書の１つをそれぞれ示している。本実施例でも、全ての画像はそれぞれの画素値の最大値が１となり、最小値が０となるように規格化している。また、全ての画像のサイズは１７８×２２０画素である。さらに、図９（ｄ）に示す第１の辞書は、８×８画素の要素を縦方向に３２個、横方向に３２個配置したものである。また、図９（ｅ）に示す第２の辞書は、１７×１画素の要素の最初の５０個を横方向に配置したものである。

図９（ｃ）の真の分類画像と図９（ｂ）に示した本実施例にて生成された分類画像とを実際に比較して誤分類率を求めたところ、１４．７％であった。

図１０には、本実施例との比較のために、従来の画像処理方法を用いて画像分類を行った例を示す。図１０（ａ）には、図９（ａ）と同様に、左半分がシマウマで、右半分がマスカットである入力画像を示す。図１０（ｂ）には、従来の画像処理方法により生成された分類画像を示す。この分類画像でも、図９（ｂ）と同様に、分類結果がシマウマであれば黒色で、マスカットであれば白色で表している。

図１０（ｃ）には真の分類画像を、図１０（ｄ）には第１の辞書を、図１０（ｅ）には第２の辞書をそれぞれ示している。全ての画像はそれぞれの画素値の最大値が１となり、最小値が０となるように規格化している。また、全ての画像のサイズは１７８×２２０画素である。さらに、図１０（ｄ）に示す第１の辞書は、８×８画素の要素を縦方向に３２個、横方向に３２個配置したものである。また、図１０（ｅ）に示す第２の辞書は、１７×１画素の要素の最初の５０個を横方向に配置したものである。

図１０（ｃ）の真の分類画像と図１０（ｂ）に示した従来の画像処理方法により生成された分類画像とを実際に比較して誤分類率を求めたところ、２１．１％であった。このことから、本実施例の画像処理方法の従来の画像処理方法に対する画像分類での優位さとその一般性を確認することができた。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

デジタルカメラやスライドスキャナ等の撮像装置により取得した画像から各種判定や医療診断等に用いる画像を生成する技術に応用することができる。

１０１ 画像処理装置

Claims (9)

1. 第１の画像を第２の画像に変換する画像処理方法であって、
   辞書学習により生成された複数の第１の辞書および該複数の第１の辞書のそれぞれに対応する複数の第２の辞書を用意し、
   前記第１の画像を前記第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を前記複数の第１の辞書のそれぞれについて行って複数の線形結合係数を求め、
   前記複数の線形結合係数のそれぞれに対して、絶対値が最大の係数要素と２番目に大きな係数要素との比を算出して、該比が最大となる特定線形結合係数を選択し、
   前記複数の第２の辞書のうち、前記特定線形結合係数が生成された前記第１の辞書に対応する特定辞書を選択し、
   前記特定線形結合係数と前記特定辞書の要素との線形結合を用いて前記第２の画像を生成することを特徴とする画像処理方法。
2. 前記第１および第２の辞書を用意するために、
   前記第１の画像と前記第２の画像のそれぞれに応じた訓練画像である第１の訓練画像と第２の訓練画像を用意し、
   前記第１の訓練画像から複数の第１の訓練部分画像を抽出し、
   前記第２の訓練画像のうち、前記複数の第１の訓練部分画像のそれぞれに対応する複数の場所から複数の第２の訓練部分画像を抽出し、
   前記複数の第１および第２の訓練部分画像のそれぞれの画素値の分布から該画素値の平均値を減算してＡＣ成分を生成し、
   前記各第１の訓練部分画像の前記ＡＣ成分および前記各第２の訓練部分画像の前記ＡＣ成分をそれぞれベクトルに変換してＡＣベクトルを生成し、
   互いに対応する前記第１および第２の訓練部分画像の前記ＡＣベクトル同士を連結して訓練ベクトルを生成する処理を前記複数の第１および第２の訓練部分画像に対して行って複数の訓練ベクトルを生成し、
   前記複数の訓練ベクトルをクラスタリングして、それぞれ類似の訓練ベクトルを含む複数のクラスタを生成し、
   前記クラスタから辞書学習アルゴリズムによって辞書行列を生成する処理を前記複数のクラスタに対して行って複数の辞書行列を生成し、
   前記複数の辞書行列のそれぞれから前記第１および第２の辞書を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記第２の画像は、前記第１の画像に含まれる複数種類の物体像を分類した結果を示す画像であり、
   前記第１の画像に対応する第１の訓練画像と前記複数の物体像のそれぞれの種類を表す第２の訓練画像としての複数のベクトルデータとを用いた辞書学習により生成された前記複数の第１および第２の辞書を用意し、
   前記複数の線形結合係数を、前記第１の画像から抽出した部分画像を前記第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を前記複数の第１の辞書のそれぞれについて行うことにより求め、該複数の線形結合係数から前記特定線形結合係数を選択し、
   前記特定線形結合係数と前記特定辞書の要素との線形結合を用いて分類ベクトルを生成して、該分類ベクトルを用いて前記部分画像における物体像の種類を判別し、
   前記特定線形結合係数の選択および前記分類ベクトルと前記複数のベクトルデータとを用いた前記物体像の種類の判別を前記第１の画像の全域から抽出した複数の前記部分画像のそれぞれに対して行い、
   前記複数の部分画像において判別された前記物体像の種類に応じて前記第２の画像を生成することを特徴とする請求項１に記載の画像処理方法。
4. 前記物体像の種類の判別において、前記複数のベクトルデータのうち前記分類ベクトルの類似度が最も高いベクトルデータが表す種類と判別することを特徴とする請求項３に記載の画像処理方法。
5. 前記第１および第２の辞書を用意するために、
   前記第１の訓練画像から複数の訓練部分画像を抽出し、
   前記複数の訓練部分画像のそれぞれの画素値の分布から該画素値の平均値を減算した成分であるＡＣ成分を生成し、
   前記各訓練部分画像のＡＣ成分をベクトルに変換してＡＣベクトルを生成し、
   前記ＡＣベクトルと該ＡＣベクトルを生成した前記訓練部分画像の前記物体像の種類を示す前記ベクトルデータとを連結して訓練ベクトルを生成する処理を前記複数の訓練部分画像に対して行って複数の訓練ベクトルを生成し、
   前記複数の訓練ベクトルをクラスタリングして、それぞれ類似の訓練ベクトルを含む複数のクラスタを生成し、
   前記クラスタから辞書学習アルゴリズムによって辞書行列を生成する処理を前記複数のクラスタに対して行って複数の辞書行列を生成し、
   前記複数の辞書行列のそれぞれから前記第１および第２の辞書を生成することを特徴とする請求項３または４に記載の画像処理方法。
6. コンピュータに、第１の画像を第２の画像に変換する画像処理を実行させるコンピュータプログラムとしての画像処理プログラムであって、
   前記画像処理は、
   辞書学習により生成された複数の第１の辞書および該複数の第１の辞書のそれぞれに対応する複数の第２の辞書を用意し、
   前記第１の画像を前記第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を前記複数の第１の辞書のそれぞれについて行って複数の線形結合係数を求め、
   前記複数の線形結合係数のそれぞれに対して、絶対値が最大の係数要素と２番目に大きな係数要素との比を算出して、該比が最大となる特定線形結合係数を選択し、
   前記複数の第２の辞書のうち、前記特定線形結合係数が生成された前記第１の辞書に対応する特定辞書を選択し、
   前記特定線形結合係数と前記特定辞書の要素との線形結合を用いて前記第２の画像を生成する処理であることを特徴とする画像処理プログラム。
7. 前記第２の画像は、前記第１の画像に含まれる複数種類の物体像を分類した結果を示す画像であり、
   前記画像処理は、
   前記第１の画像に対応する第１の訓練画像と前記複数の物体像のそれぞれの種類を表す第２の訓練画像としての複数のベクトルデータとを用いた辞書学習により生成された前記複数の第１および第２の辞書を用意し、
   前記複数の線形結合係数を、前記第１の画像から抽出した部分画像を前記第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を前記複数の第１の辞書のそれぞれについて行うことにより求め、該複数の線形結合係数から前記特定線形結合係数を選択し、
   前記特定線形結合係数と前記特定辞書の要素との線形結合を用いて分類ベクトルを生成して、該分類ベクトルを用いて前記部分画像における物体像の種類を判別し、
   前記特定線形結合係数の選択および前記分類ベクトルと前記複数のベクトルデータとを用いた前記物体像の種類の判別を前記第１の画像の全域から抽出した複数の前記部分画像のそれぞれに対して行い、
   前記複数の部分画像において判別された前記物体像の種類に応じて前記第２の画像を生成する処理であることを特徴とする請求項６に記載の画像処理プログラム。
8. 第１の画像を第２の画像に変換する画像処理を行う画像処理装置であって、
   辞書学習により生成された複数の第１の辞書および該複数の第１の辞書のそれぞれに対応する複数の第２の辞書を用意する用意手段と、
   前記第１の画像を前記第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を前記複数の第１の辞書のそれぞれについて行って複数の線形結合係数を求める係数算出手段と、
   前記複数の線形結合係数のそれぞれに対して、絶対値が最大の係数要素と２番目に大きな係数要素との比を算出して、該比が最大となる特定線形結合係数を選択する係数選択手段と、
   前記複数の第２の辞書のうち、前記特定線形結合係数が生成された前記第１の辞書に対応する特定辞書を選択する辞書選択手段と、
   前記特定線形結合係数と前記特定辞書の要素との線形結合を用いて前記第２の画像を生成する画像生成手段とを有することを特徴とする画像処理装置。
9. 前記第２の画像は、前記第１の画像に含まれる複数種類の物体像を分類した結果を示す画像であり、
   前記用意手段は、前記第１の画像に対応する第１の訓練画像と前記複数の物体像のそれぞれの種類を表す第２の訓練画像としての複数のベクトルデータとを用いた辞書学習により生成された前記複数の第１および第２の辞書を用意し、
   前記係数算出手段は、前記複数の線形結合係数を、前記第１の画像から抽出した部分画像を前記第１の辞書の要素の線形結合により近似して線形結合係数を生成する処理を前記複数の第１の辞書のそれぞれについて行うことにより求め、
   前記画像生成手段は、
   前記特定線形結合係数と前記特定辞書の要素との線形結合を用いて分類ベクトルを生成して、該分類ベクトルを用いて前記部分画像における物体像の種類を判別し、
   前記特定線形結合係数の選択および前記分類ベクトルと前記複数のベクトルデータとを用いた前記物体像の種類の判別を前記第１の画像の全域から抽出した複数の前記部分画像のそれぞれに対して行い、
   前記複数の部分画像において判別された前記物体像の種類に応じて前記第２の画像を生成することを特徴とする請求項８に記載の画像処理装置。