JP2014016746A

JP2014016746A - 画像処理装置および画像処理方法

Info

Publication number: JP2014016746A
Application number: JP2012152989A
Authority: JP
Inventors: Masaaki Oka; 正昭岡
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2012-07-06
Filing date: 2012-07-06
Publication date: 2014-01-30
Also published as: CN103530631B; US9213914B2; US20140010460A1; CN103530631A

Abstract

【課題】主成分分析を利用した画像生成を容易に実現する。
【解決手段】画像処理装置１０の画像解析部２０において、画素集合形成部２２は解析対象の原画像から画素集合を形成し、主成分分析部２４は画素集合ごとに主成分分析を実施する。統合部２６は画素集合ごとの分析結果を統合し、原画像のサイズの固有ベクトルの画像を生成する。画像生成部３２は固有ベクトルの画像を表示し、それを用いて生成された画像のデータを作成画像データ記憶部３４に格納する。
【選択図】図１

Description

本発明は取得した画像の解析、加工を行う画像処理装置、および当該装置で用いる画像処理方法に関する。

顔など被写体のパターン認識、データ圧縮などの目的で、主成分分析を用いた画像解析技術が提案されている（例えば特許文献１参照）。主成分分析は多変量解析の一手法であり、多次元ベクトルの相関行列または分散共分散行列から固有値の大きい固有ベクトルを求めることにより、分布の解釈として支配的な要因を導出できる。画像解析に用いる場合は、画像の画素値を入力データとし、算出された固有ベクトルの線形結合により、少ないデータ量で元の画像を復元したり、画像間の類似性を求めたりすることができる。

特開２００４−７２７４号公報

画像処理分野における主成分分析は、本来、人が一見して把握できる画像の全体的な特徴を機械的に把握できるという意味で非常に有効な手段である。しかし画素値を入力データとするため、一般的な情報解析と比較してパラメータが膨大になる。そのため、処理対象の画像が高解像度になるほど、装置の処理能力やリソースなどの制約から、適用できる範囲が限られてくる、という問題があった。

本発明はこのような課題に鑑みてなされたものであり、その目的は、画像の解像度や装置のリソースなどによらず安定的に主成分分析を行ったり、その結果を利用したりすることのできる画像処理技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、複数の原画像を主成分分析する主成分分析部と、主成分分析の結果得られた主成分の固有ベクトルを画像として表示する表示部と、固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力する画像生成部と、を備えたことを特徴とする。

本発明の別の態様も画像処理装置に関する。この画像処理装置は、複数の原画像を主成分分析した結果得られた固有ベクトルのデータを記憶装置から読み出す固有ベクトル読み出し部と、固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力する画像生成部と、を備えたことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、画像処理装置が、複数の原画像のデータを記憶装置または入力装置から読み出し主成分分析するステップと、主成分分析の結果得られた主成分の固有ベクトルを画像として表示装置に表示するステップと、固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、主成分分析の画像処理への適用範囲を広げることができる。

本実施の形態における画像処理システムの構成を示す図である。本実施の形態において画像をブロックに分割し、当該ブロックごとに画素集合を形成する手法を模式的に示す図である。本実施の形態において主成分析で用いる入力データの単位と、それによって得られる固有ベクトルの、画像における位置関係を説明するための図である。本実施の形態において画像をブロックに分割して主成分分析を行った結果得られた固有ベクトルを用いて復元した画像の例を示す図である。図４の復元画像の生成に用いられた固有ベクトルの画像を示す図である。本実施の形態において原画像から等間隔に画素を抽出する手法を模式的に示す図である。本実施の形態において原画像から等間隔で抽出した画素に対し主成分分析を行った結果得られた固有ベクトルを用いて復元した画像の例を示す図である。図７の復元画像の生成に用いられた固有ベクトルの画像を示す図である。本実施の形態において画像からランダムに画素を抽出する手法を模式的に示す図である。本実施の形態において原画像からランダムに抽出した画素に対し主成分分析を行った結果得られた固有ベクトルを用いて復元した画像の例を示す図である。図１０の復元画像の生成に用いられた固有ベクトルの画像を示す図である。本実施の形態において固有ベクトルの画像を用いて画像を生成する機能を有する画像処理システムの構成を示す図である。

本実施の形態では、複数の原画像全体を主成分分析し、主成分を表す固有ベクトルを画像として確認できるようにする。解析対象の原画像がＮ枚であるとすると、主成分分析はおよそ次のような手順により実行される。まず解析対象の原画像ごとの入力データＩ_１〜Ｉ_Ｎを次のように生成する。

ここでｐ_ｎ（ｉ）は、ｎ番目の画像において入力データとする画素の画素値の各成分を所定の画素順に羅列したときのｉ番目の値を示している。すなわちｉの最大値ｍは、入力データとする画素の数に各画素の成分の個数、ＲＧＢ画像であれば「３」を乗算した値となる。このような入力データＩ_１〜Ｉ_Ｎから相関行列が次のように生成される。

ここでａ（ｉ）は、各画像のｉ番目の画素値の、平均値からの差分を要素とするベクトルであり、当該平均値をａｖｅ（ｉ）とすると次のように表される。

上記相関行列を固有値分解し、固有値および固有ベクトルを求める。そのうち最大固有値に対応する固有ベクトルから順に第１主成分ｅ１、第２主成分ｅ２、第３主成分ｅ３、・・・とする。一般的に固有値が１以上の固有ベクトルを主成分として抽出する。固有ベクトルはｍ次元のベクトルであるため、原画像を入力データＩとしてｍ次元のベクトルにしたのと逆の処理で画素の配列を復元すると、それぞれが画像を構成することになる。

固有ベクトルｅ１、ｅ２、ｅ３、・・・、ひいてはそれから得られた画像を次のように線形結合させることにより、元の画像を復元したり、特定の成分を強調したり、中間的な画像を生成したりすることができる。
G(x, y) = ave(x, y) + K1×e1(x, y)+ K2×e2(x, y)+ K3×e3(x, y)＋・・・
ここでＧ（ｘ，ｙ）は生成した画像、ave(x, y)は平均画像、e1(x, y)、e2(x, y)、e3(x, y)、・・・は固有ベクトルの画像における、位置座標(x, y)の画素値である。線形結合の係数Ｋ１、Ｋ２、Ｋ３、・・・を変化させることにより、画像を様々に変化させることが可能となる。

画像全体を一度に主成分分析すると、固有ベクトルの画像が原画像と対応するかたちで得られるため、強調したい画像の成分などをユーザが目で見て選択することができる。結果として、所望の画像を自由かつ容易に生成することが可能になる、という利点がある。一方、近年、一般的となっている高解像度の画像を考慮すると次のような問題もある。すなわち１つの画像に対応する入力データＩの次元数ｍは、画像の水平解像度×垂直解像度×画素値の成分数である。そのようなｍ次元の入力データの相関行列はｍ行ｍ列、すなわち（水平解像度×垂直解像度×画素値の成分数）^２個の要素をもつ。

例えば１０２４×７６８画素のＲＧＢ画像の場合、相関行列のデータサイズは、
（１０２４×７６８×３）×（１０２４×７６８×３）×４＝約２２ＴＢ
にもなる。固有ベクトルを求めるためには相関行列を一旦、メモリに展開する必要があるが、一般的なメモリで上記のようなサイズのデータを格納することは難しい。そこで本実施の形態では、原画像から所定数ずつ画素を抽出してなる画素集合を形成していくことにより、１つの画像を複数の画素集合に分割し、当該画素集合を入力データの単位とする。

図１は本実施の形態における画像処理システムの構成を示している。図１および後述する図１２において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Porcessing Unit)、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理や各種演算を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理システム２は、ユーザから画像処理に係る指示を受け付ける入力装置１２、主成分分析による画像解析を行い必要なデータを生成する画像処理装置１０、および、入力受付画面や生成した画像を表示する表示装置１４を含む。画像処理装置１０は、主成分分析を行い固有ベクトルを求める画像解析部２０、固有ベクトルを利用してユーザの要求に従う画像データを生成する画像生成部３２、解析対象の原画像のデータを格納した原画像データ記憶部２８、固有ベクトルを格納する固有ベクトル記憶部３０、固有ベクトルを用いて作成した画像のデータを格納する作成画像データ記憶部３４を含む。

なお画像解析部２０が行う処理と画像生成部３２が行う処理は独立して実施可能であるため、同じ装置内に双方を設けず、それぞれの機能を有する個別の装置としてもよい。また画像処理装置１０には、固有ベクトルを利用して生成した画像を組み入れたゲーム、コンテンツ表示、各種情報処理の機能を含めてよい。また原画像のデータは、別の装置で取得したものを記録媒体を介して取得したり、サーバからネットワークを介して取得したりして原画像データ記憶部２８に格納する。あるいはカメラなど撮像装置の内部に画像処理装置１０を設け、撮影した画像を即時、原画像データ記憶部２８に格納してもよい。または原画像データ記憶部２８を介さず、他の装置から直接、画像解析部２０に原画像のデータを入力するようにしてもよい。

入力装置１２は、画像解析の開始、解析対象の画像選択などの指示入力をユーザより受け付け、画像解析部２０へ通知する。さらに、固有ベクトルの画像など表示させたい画像の指定やそれを用いた新たな画像の生成に係る入力をユーザより受け付け、画像生成部３２に通知する。入力装置１２はマウス、キーボード、コントローラ、ジョイスティックなど一般的な入力装置のいずれかでよく、表示装置１４の画面に搭載したタッチパネルなどでもよい。表示装置１４は、液晶ディスプレイやプラズマディスプレイなど単体で画像を表示する表示装置でもよいし、画像を投影するプロジェクターとスクリーンとの組み合わせなどでもよい。

画像解析部２０は、解析対象の原画像から画素集合を形成する画素集合形成部２２、画素集合ごとに主成分分析を実施する主成分分析部２４、および、画素集合ごとの分析結果を統合する統合部２６を含む。画素集合形成部２２は、入力装置１２が受け付けたユーザからの画像解析指示に従い、指定された複数の画像のデータを原画像データ記憶部２８から読み出す。そしてそれらの画像を構成する画素を所定数ずつの画素の集合に分割する。

１つの集合に属する画素は、元の画像を分割したブロック単位の画素でもよいし、数画素おきなど所定の規則で抽出した画素でもよい。またランダムに抽出した画素でもよい。いずれにしろ、解析対象の複数の画像において同じ位置の画素を抽出していく。１つの画素集合に含まれる画素の数は、主成分分析部２４が相関関数の展開に用いるメモリ（図示せず）の容量を考慮してあらかじめ設定する。主成分分析部２４は、１つの画素集合に属する画素の画素値を要素とするベクトルを画像ごとに生成し、それを上記入力データＩ_１〜Ｉ_Ｎとして主成分分析を行う。そして複数の原画像に対する主成分の固有ベクトルｅ１、ｅ２、ｅ３、・・・を画素集合ごとに導出する。

統合部２６は、画素集合ごとに求められた固有ベクトルを元の画素配置を考慮して統合する。これにより原画像のサイズで主成分の固有ベクトルの画像が得られる。そのようにして生成した固有ベクトルの画像データは固有ベクトル記憶部３０に格納する。画像生成部３２は、ユーザからの指示などに従い、固有ベクトル記憶部３０から読み出した固有ベクトルを画像として描画し、表示装置１４に表示させる。画像生成部３２はさらに、当該固有ベクトルを線形結合して生成される画像を表示装置１４に表示させたうえ、その調整をユーザより受け付ける。すなわち強調したい固有ベクトル、影響を小さくしたい固有ベクトルの指定を受け付けたり、係数の調整を受け付けたりする。そのようにして生成された画像のデータは、表示装置１４に出力して表示させたり、作成画像データ記憶部３４に格納したりする。

次に画素集合形成部２２が画像から画素集合を形成するときの画素の抽出手法について説明する。図２は画像をブロックに分割し、当該ブロックごとに画素集合を形成する手法を模式的に示している。この手法では、解析対象の原画像５０ａ、５０ｂ、５０ｃ、５０ｄ、・・・を所定サイズに分割してなるブロックごとに画素集合（例えば画素集合５２ａ、５２ｂ、５２ｃ、５２ｄ、・・・）を形成する。例えば原画像を縦横双方向に１６分割すると、１つの原画像あたり２５６個の画素集合が形成される。

そして解析対象のＮ枚の原画像における同じ位置のブロックから形成したＮ個の画素集合の画素値を、主成分分析の入力データＩ_１〜Ｉ_Ｎとする。例えば１０２４×７６８画素のＲＧＢ画像を縦横双方向に１６分割した場合、入力データは６４×４８×３次元となり、相関行列のデータサイズは、
（６４×４８×３）×（６４×４８×３）×４＝約３４０ＭＢ
となる。このようにすることで相関行列を一般的なメモリに展開することが十分可能になる。

主成分分析部２４は、原画像の全領域について、分割したブロックごとに主成分分析を繰り返す。縦横双方向に１６分割した場合は主成分分析を２５６回実施する。これにより、各ブロックに対し、主成分の固有ベクトルが得られる。図３は主成分析で用いる入力データの単位と、それによって得られる固有ベクトルの、画像における位置関係を説明するための図である。

まず上述のように、解析対象の複数の原画像５４を所定サイズのブロックに分割する。同図ではそのようにしてなるブロックのうち２つを、ブロックＡ、ブロックＢとして代表的に表しているが、以後の説明はその他のブロックも同様である。そして各原画像から、ブロックＡ、ブロックＢ、・・・を構成する画素を抽出することにより、画素集合のセット５６ａ、５６ｂ、・・・をブロックごとに形成する。当該画素集合のセット５６ａ、５６ｂ、・・・をそれぞれ１単位の入力データとして主成分分析する。

その結果、ブロックごとに主成分の固有ベクトルが得られる。同図では、ブロックＡに対し固有ベクトルｅ１_Ａ、ｅ２_Ａ、ｅ３_Ａ、・・・からなる固有ベクトルセット５８ａ、ブロックＢに対し固有ベクトルｅ１_Ｂ、ｅ２_Ｂ、ｅ３_Ｂ、・・・からなる固有ベクトルセット５８ｂが得られている。上述のとおり固有ベクトルは対応する固有値の大きさによって順序が定まっている。

統合部２６は、このようにして得られた固有ベクトルから、原画像の画像平面に対応する大きさの、固有ベクトルの画像を再構成する。具体的には各固有ベクトルを、元のブロックの画像平面に配列し直すことにより、固有ベクトルのブロック画像を生成する。さらに同じ順位のブロック画像を、原画像におけるブロックの配置順に、縦方向、横方向に接続する。これにより、原画像に対応する第１主成分の画像６０ａ、第２主成分の画像６０ｂ、第３主成分の画像６０ｃ、・・・が得られる。

図４は画像をブロックに分割して主成分分析を行った結果得られた固有ベクトルを用いて復元した画像の例を示している。復元画像７０は、上述のように得られた第１主成分の画像６０ａ、第２主成分の画像６０ｂ、第３主成分の画像６０ｃを適当な係数によって線形結合して得られた画像であり、ペン立てを中心とした空間を撮影した原画像が復元されている。しかし詳細に見ると、矢印で示した方向などにブロックの境界が視認される。

これはブロックごとに主成分分析を行った結果得られた固有ベクトルの順位が、ブロック間でずれていたことに起因する。ブロックごとに、固有値の大きさに基づき固有ベクトルに順位をつけていくと、画素値に含まれるノイズや計算誤差などにより、同じ成分を表す固有ベクトルの順位がブロック間で逆転する可能性がある。このようにして順位がずれた状態で、同じ順位の固有ベクトルの画像をつなげると、１つの画像に複数の成分が混在してしまう。これによって発生するブロックノイズが境界線として表れる。

図５は図４の復元画像７０の生成に用いられた固有ベクトルの画像を示している。第１主成分の画像７２ａ、第２主成分の画像７２ｂ、第３主成分の画像７２ｃをみると、その順でブロックノイズが顕著になっていく。結果として、このような画像を線形結合して生成した画像は、画像の内容によっては復元画像７０のようにブロックの境界が視認されやすくなる。

図６は画素集合を形成するときの画素の抽出手法の別の例として、原画像から等間隔に画素を抽出する手法を模式的に示している。この手法では、解析対象の原画像８０ａ、８０ｂ、８０ｃ、８０ｄ、・・・からそれぞれ、縦方向、横方向に所定の間隔おきに画素（例えば同図の黒丸）を抽出し、それを画素集合８２ａ、８２ｂ、８２ｃ、８２ｄ、・・・とする。原画像８０ａ、８０ｂ、８０ｃ、８０ｄ、・・・のうち、未抽出の画素を順次、同じ間隔で抽出していく（例えば同図の白丸）ことにより、画像全体を画素集合に分割する。

そして解析対象のＮ枚の画像における同じ位置から抽出したＮ個の画素集合の画素値を、主成分分析の入力データＩ_１〜Ｉ_Ｎとする。例えば１０２４×７６８画素のＲＧＢ画像から縦横双方向に１５画素おきに画素を抽出すると、図２で説明した、縦横双方向に１６分割したブロックごとに画素集合を形成するのと同じデータサイズとなる。主成分分析部２４は、原画像から分割した全画素集合のセットに対し主成分分析を繰り返す。画素集合８２ａ、８２ｂ、８２ｃ、８２ｄ、・・・をブロックに置き換えれば、その後の処理はブロック分割する場合と同様となる。

ただし１回の主成分分析で得られる固有ベクトルの各要素は、原画像における離散的な位置の画素に対応している。したがって統合部２６は、各画素集合のセットに対し得られた固有ベクトルの各要素を、対応する画素の抽出前の位置に戻すことにより、原画像に対応する第１主成分の画像、第２主成分の画像、第３主成分の画像、・・・を再構成する。

図７は原画像から等間隔で抽出した画素に対し主成分分析を行った結果得られた固有ベクトルを用いて復元した画像の例を示している。原画像は図４の場合と同じである。復元画像８４は、上述のように生成した主成分の固有ベクトルの画像を適当な係数によって線形結合して得られた画像である。図４の復元画像７０と比較すると、大きな単位での境界線のようなノイズはないが、詳細に見ると、主に縦方向に、縞模様のノイズが確認される。

これは、上述のブロックノイズと同様、画素集合のセットごとに主成分分析を行った結果得られた固有ベクトルの順位が、画素集合のセット間でずれた結果、１つの固有ベクトルの画像に複数の成分が混在したことに起因する。図８はこのときの固有ベクトルの画像を示している。第１主成分の画像８６ａ、第２主成分の画像８６ｂ、第３主成分の画像８６ｃを詳細に見ると、第２主成分の画像８６ｂなどでは特に、画素に近い単位での縦縞、横縞のような詳細なノイズが表れていることがわかる。

図９は画素集合を形成するときの画素の抽出手法の別の例として、原画像からランダム（不規則）に画素を抽出する手法を模式的に示している。この手法では、解析対象の原画像９０ａ、９０ｂ、９０ｃ、９０ｄ、・・・からそれぞれ、ランダムに画素（例えば同図の黒丸）を抽出し、それを画素集合９２ａ、９２ｂ、９２ｃ、９２ｄ、・・・とする。原画像９０ａ、９０ｂ、９０ｃ、９０ｄ、・・・のうち、未抽出の画素を順次、同様に抽出していく（例えば同図の白丸）ことにより、画像全体を画素集合に分割する。１つの画素集合を形成する画素はなるべく偏りのない位置から抽出することが望ましい。そのため例えば、画素の位置座標に対し乱数や疑似乱数を発生させることにより抽出対象を決定する。

そして解析対象のＮ枚の画像における同じ位置から抽出したＮ個の画素集合の画素値を、主成分分析の入力データＩ_１〜Ｉ_Ｎとする。例えば１０２４×７６８画素のＲＧＢ画像から６４×４８＝３０７２個ずつ抽出すると、図２で説明した、縦横双方向に１６分割したブロックごとに画素集合を形成するのと同じデータサイズとなる。主成分分析部２４は、原画像から分割した全画素集合のセットに対し主成分分析を繰り返す。画素集合９２ａ、９２ｂ、９２ｃ、９２ｄ、・・・をブロックに置き換えれば、その後の処理はブロック分割する場合と同様となる。

ただし等間隔で画素を抽出する手法と同様、１回の主成分分析で得られる固有ベクトルの各要素は、原画像における離散的な位置の画素に対応している。したがって統合部２６は、各画素集合のセットに対し得られた固有ベクトルの各要素を、対応する画素の抽出前の位置に戻すことにより、原画像に対応する第１主成分の画像、第２主成分の画像、第３主成分の画像、・・・を再構成する。

図１０は原画像からランダムに抽出した画素に対し主成分分析を行った結果得られた固有ベクトルを用いて復元した画像の例を示している。原画像は図４の場合と同じである。復元画像９４は、上述のように生成した主成分の固有ベクトルの画像を適当な係数によって線形結合して得られた画像である。図４の復元画像７０や図７の復元画像８４と比較すると、境界線や縞模様のようなノイズが視認されない。これは画素集合のセットごとに主成分分析を行った結果得られた固有ベクトルの順位が画素集合のセット間でずれてしまっても、画像平面における対応する画素の位置がランダムであることにより、固有ベクトルの各要素が画面内で分散するためである。

なおこの態様における「ランダム」、すなわち「不規則」な抽出は、一度に抽出する画素の相対位置に完全に関連性がない、厳密な意味での「不規則」でなくてもよい。すなわち抽出する画素の相対位置に規則が存在しても、抽出対象の画素が視認できる長さで連続したり線や矩形など何らかの形状を形成したりしない範囲で分散していれば、それも広義の「不規則」とする。この範囲においては、あらかじめ複数の抽出パターンを用意しておいても「不規則」とする。このような広義の「不規則」な抽出手法のいずれによっても、図１０で示したように境界線や縞模様のようなノイズは視認されなくなる。

図１１はこのときの第１主成分の画像９６ａ、第２主成分の画像９６ｂ、第３主成分の画像９６ｃを示している。上述のように画素集合を構成する画素が分散しているため、どの画像においても画素を分割したことによるノイズは認められない。以上述べたように、画素集合を形成するための画素の抽出には複数の手法が考えられる。上述のようにノイズの発生に鑑みた場合、画素をランダムに抽出する手法が最も有効であると考えられる。一方、抽出時および画像の再構成時の処理の負荷は、ブロック分割のように単純な手法ほど有効となる。そのような利点を考慮すると、例えば原画像自体が高周波数成分を多く含むなどノイズが視認されにくい状況においては、ブロック分割手法や等間隔の抽出手法を選択した方がよい場合もある。

そのため画素集合形成部２２は、原画像に対し、周波数解析などの画像解析を施し、その結果に基づき抽出手法を適応的に選択するようにしてもよい。さらに原画像内の領域ごとに異なる手法で画素を抽出してもよい。これらのように抽出手法を適応的に変化させる場合は、周波数帯域などの画像解析結果と適切な抽出手法とを対応づけたテーブルを準備しておき、画素集合形成部２２が参照できるようにする。画素集合形成部２２は、選択した手法、画素集合を構成する画素の画像平面での位置に係る情報などを統合部２６に通知する。統合部２６は通知された情報に基づき、固有ベクトルの画像を再構成する。

画像生成部３２はこれまで述べたように生成された固有ベクトルの画像データを固有ベクトル記憶部３０から読み出して表示装置１４に表示する。そしてユーザの操作にしたがって係数を変化させたり、選択された固有ベクトルを強調したり削除したりしてユーザが要求する最終的な画像のデータを生成し、作成画像データ記憶部３４に格納する。ここで最終的な画像のデータとは、線形結合に用いる固有ベクトルの画像のデータとそれにかかる係数を含むデータセットである。

上述したように、画像生成部３２の機能を、主成分分析により固有ベクトルを生成する機能と分け、別の装置としてもよい。図１２は固有ベクトルの画像を用いて画像を生成する機能を有する画像処理システムの構成を示している。画像処理システム１０２は、ユーザから画像生成に係る指示を受け付ける入力装置１２、ユーザからの指示に従い画像データを生成する画像処理装置１１０、および必要なデータを表示する表示装置１１４を含む。入力装置１１２および表示装置１１４は、図１の入力装置１２および表示装置１４と同様に構成する。

画像処理装置１１０は、固有ベクトルを格納した固有ベクトル記憶部１３０、処理対象の固有ベクトルを読み出す固有ベクトル読み出し部１３２、ユーザが要求するように係数等を操作し、作成する画像を調整する画像調整部１３４、および作成した画像のデータを格納する作成画像データ記憶部１３６を含む。固有ベクトル記憶部１３０および作成画像データ記憶部１３６は、図１の固有ベクトル記憶部３０および作成画像データ記憶部３４と同様に構成する。

固有ベクトル読み出し部１３２および画像調整部１３４は、図１の画像生成部３２に対応する。したがって以下に述べる動作は、画像生成部３２が同様に行ってよい。固有ベクトル記憶部１３０には、ネットワークや記録媒体などを介して、１セットの画像データとして入手した固有ベクトルの画像を格納しておく。固有ベクトルの画像は適宜圧縮符号化されていてよい。固有ベクトル読み出し部１３２は、ユーザが指定した画像データ名などを入力装置１１２を介して取得し、対応する固有ベクトルの画像データを固有ベクトル記憶部１３０から読み出す。固有ベクトルのデータは入力装置１１２から取得してもよい。読み出した画像は表示装置１１４に表示させるとともに画像調整部１３４に供給する。

表示装置１１４には、例えば全ての固有ベクトルの画像の配列を、図５などで示したように表示させる。それとともに、それらを線形結合させて生成される画像も表示する。さらに各固有ベクトルにかかる係数を、調整可能に表示する。つまり係数値を直接入力するウィンドウやスライダーのＧＵＩを表示させ、係数を増減させる入力を受け付ける。画像調整部１３４は、ユーザが入力装置１２を介して入力した係数値や係数の増減に係る情報、固有ベクトルの画像の選択にかかる情報を取得し、それに応じて線形結合の結果を算出し直す。そして、その結果として生成される画像の表示を更新する。ユーザが画像を確定させる指示入力を行ったら、画像調整部１３４は当該画像の表示に用いる固有ベクトルのデータと係数の組をまとめ、作成された画像のデータとして作成画像データ記憶部１３６に格納する。

なお本実施の形態における処理対象の原画像は、静止画でもよいし、動画の各フレームでもよい。動画の場合、複数のフレームに対しまとめて係数を設定できるようにしてもよい。固有ベクトルを画像として確認できるようにすることにより、例えば影や光の表出の度合いを高めたり低くしたり、ある対象物の動きのみを強調したりすることができる。また光源の方向を複数に変化させて撮影した静止画を原画像として、係数を時間変化させることにより、光源の方向が徐々に変化する動画を作成することもできる。人の表情や動作、物の変化などでも同様に、固有ベクトルの画像からなる小さいサイズのデータで、連続的に変化させた動画を容易に作成できる。

以上述べた本実施の形態によれば、原画像全体を処理対象として主成分分析し、固有ベクトルの画像を全領域に対して生成する。このようにすることで、固有ベクトルであってもユーザが見て意味のある画像を表示でき、その中から所望の画像を選択したり係数を調整したりすることが容易にできる。結果として意図した画像を容易に生成することができる。

主成分分析に当たっては、原画像から画素を抽出して画素集合を形成し、その単位で分析を行う。これにより、高解像度の画像を処理対象としても、メモリ容量が足りずに相関行列を展開することができない、といった不具合の発生を防止できる。結果として、画像処理装置のリソースや画像の解像度などによらず同様に安定した処理が可能となる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

２画像処理システム、１０画像処理装置、１２入力装置、１４表示装置、２０画像解析部、２２画素集合形成部、２４主成分分析部、２６統合部、２８原画像データ記憶部、３０固有ベクトル記憶部、３２画像生成部、３４作成画像データ記憶部、１０２画像処理システム、１１０画像処理装置、１１２入力装置、１１４表示装置、１３０固有ベクトル記憶部、１３２固有ベクトル読み出し部、１３４画像調整部、１３６作成画像データ記憶部。

Claims

複数の原画像を主成分分析する主成分分析部と、
主成分分析の結果得られた主成分の固有ベクトルを画像として表示する表示部と、
前記固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力する画像生成部と、
を備えたことを特徴とする画像処理装置。
前記主成分分析部は、前記複数の原画像における同じ位置から所定数の画素を抽出してなる画素集合の単位で主成分分析を行い、
前記画素集合ごとに得られた固有ベクトルの要素を、対応する画素の位置に戻すことにより、固有ベクトルを統合し原画像のサイズとする統合部をさらに含むことを特徴とする請求項１に記載の画像処理装置。
前記主成分分析部は、前記原画像の画像平面における不規則な位置から画素を抽出して前記画素集合を形成することを特徴とする請求項２に記載の画像処理装置。
前記主成分分析部は、前記原画像の画像平面において所定の間隔ごとに画素を抽出して前記画素集合を形成することを特徴とする請求項２に記載の画像処理装置。
前記主成分分析部は、前記原画像の画像平面を所定サイズのブロックに分割し、ブロックごとに前記画素集合を形成することを特徴とする請求項２に記載の画像処理装置。
前記主成分分析部は、前記原画像を周波数解析した結果に基づき、前記画素集合を形成するための画素の抽出規則を切り替えることを特徴とする請求項２に記載の画像処理装置。
複数の原画像を主成分分析した結果得られた固有ベクトルのデータを記憶装置から読み出す固有ベクトル読み出し部と、
前記固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力する画像生成部と、
を備えたことを特徴とする画像処理装置。
前記固有ベクトル読み出し部がデータを読み出した固有ベクトルを画像として表示する表示部をさらに備え、
前記画像生成部は、前記表示部が表示する固有ベクトルの画像を確認しながらユーザが入力した画像の調整に係る入力を受け付けることを特徴とする請求項７に記載の画像処理装置。
画像処理装置が、
複数の原画像のデータを記憶装置または入力装置から読み出し主成分分析するステップと、
主成分分析の結果得られた主成分の固有ベクトルを画像として表示装置に表示するステップと、
前記固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力するステップと、
を含むことを特徴とする画像処理方法。
複数の原画像のデータを記憶装置または入力装置から読み出し主成分分析する機能と、
主成分分析の結果得られた主成分の固有ベクトルを画像として表示装置に表示する機能と、
前記固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
複数の原画像のデータを記憶装置または入力装置から読み出し主成分分析する機能と、
主成分分析の結果得られた主成分の固有ベクトルを画像として表示装置に表示する機能と、
前記固有ベクトルの画像を用いて生成される画像の調整に係る入力をユーザから受け付け、その結果生成された画像のデータを記憶装置に格納する、あるいは表示装置に出力する機能と、
をコンピュータに実現させるコンピュータプログラムを記録した、コンピュータにて読み取り可能な記録媒体。