JP2011227704A

JP2011227704A - 情報処理装置および方法ならびにプログラム

Info

Publication number: JP2011227704A
Application number: JP2010096855A
Authority: JP
Inventors: Sukekazu Kameyama; 祐和亀山; Koji Yamaguchi; 幸二山口
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-04-20
Filing date: 2010-04-20
Publication date: 2011-11-10
Anticipated expiration: 2030-04-20
Also published as: JP5524692B2; US9129149B2; US20110255802A1

Abstract

【課題】精度良く効率的に入力データのモダリティを検出する。
【解決手段】入力データを複数の各変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）を用いて複数の射影データＰ_１０を生成し、生成した複数の射影データＰ_１０に対し変換行列の逆射影を行うことにより逆射影データＰ_２０を生成し、入力データＰ_１と逆射影データＰ_２０との相関を変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）毎に算出し、算出した相関が最も高い変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）が示すモダリティを入力データのモダリティとして識別する。
【選択図】図１

Description

本発明は、情報処理の方法および装置ならびにプログラムに関し、特に、入力データのモダリティの識別に関するものである。

従来から主成分分析（ＰＣＡ）や特異値分解（ＳＶＤ、ＨＯＳＶＤ）を用いて画像内から顔等の特定のオブジェクトを検出することが提案されている（たとえば特許文献１−４参照）。特許文献１、２には、各オブジェクト毎に標本データを用いて主成分分析により学習された射影行列によって複数の部分空間を用意しておき、未知の画像が入力された際にいずれの部分空間に属するかを判断することによりオブジェクトを識別することが開示されている。

特許文献３には、主成分分析によるオブジェクトを部分空間に射影してオブジェクトを検出するとともに、オブジェクトに対する撮影方向や照明の方向等のオブジェクトのパラメータを推定する手法が開示されている。特許文献４には、顔の位置が所定位置にある標本データとともに当該所定位置からずらした標本データとを用いて射影行列によって射影される複数の部分空間を用意しておき、全体画像の一部を切り出した領域と当該領域に対して位置をずらして切り出した領域とについていずれの領域が正しいかを判断することが開示されている。

特開２００６−９２１５１号公報特開２００９−１３４４６６号公報特開２００５−１３３８１３号公報特開２００５−２５０８６３号公報

特許文献１−４に示す従来の検出方法においては画像を特徴ベクトル空間に写像し、特徴ベクトル空間において各クラスの部分空間との距離等から顔等を検出している。しかし、上述した検出方法では顔等の個体差により検出の精度が落ちてしまうという問題がある。

そこで、本発明は、精度良く効率的に入力データのモダリティを識別することができる情報処理装置および方法ならびにプログラムを提供することを目的とするものである。

本発明の情報処理装置は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理装置であって、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影する第１射影手段と、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成する第２射影手段と、第１射影手段および第２射影手段により生成された空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出する相関算出手段と、相関算出手段により算出された相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する識別手段とを備えたことを特徴とするものである。

本発明の情報処理装置は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理装置であって、入力データを複数の各変換行列を用いて複数の射影データを生成する第１射影手段と、第１射影手段により生成された複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成する第２射影手段と、入力データと第２射影手段により生成された逆射影データとの相関を変換行列毎に算出する相関算出手段と、相関算出手段により算出された相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する識別手段とを備えたことを特徴とするものである。

本発明の情報処理方法は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理方法であって、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影するとともに、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成し、生成した空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することを特徴とするものである。

本発明の情報処理方法は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する情報処理方法であって、入力データを複数の各変換行列を用いて複数の射影データを生成し、生成した複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成し、入力データと逆射影データとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することを特徴とするものである。

本発明の情報処理プログラムは、コンピュータに、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別することを実行させるための情報処理プログラムであって、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影するとともに、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成する手順と、生成した空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出する手順と、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する手順とを実行させることを特徴とするものである。

本発明の情報処理プログラムは、コンピュータに、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別することを実行させるための情報処理プログラムであって、入力データを複数の各変換行列を用いて複数の射影データを生成する手順と、生成した複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成する手順と、入力データと逆射影データとの相関を変換行列毎に算出する手順と、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別する手順とを実行させることを特徴とするものである。

ここで、入力データは、たとえば顔、文字、図形、記号、テクスチャ、ビルやタイル、枝、肺、血管等の所定のオブジェクトを有する画像のような２次元情報であってもよいし、音声、脈拍、血圧、地震等の１次元情報からなるものであってもよい。

なお、モダリティとは、統計的偏りを有する所定の特徴を備えたものであって、たとえば画像内の顔の向き・大きさ・位置や照明条件、人種、年齢、性別等の被写体の種別だけでなく、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物が着用している着用物（めがね、サングラス、マスク、帽子など）等の被写体像の属性、また音声の単語、異常脈拍、震源、音源等が挙げられる。

また、変換行列は第１射影行列および第２射影行列を含む複数の空間変換行列からなる多重線形変換行列であることが好ましい。

さらに、情報処理装置は、入力データに対し補間処理を行う前処理手段をさらに備えたものであってもよい。このとき、前処理手段は、識別手段における検出精度に応じてサンプリング周波数を決定するものであってもよい。

本発明の情報処理装置および方法ならびにプログラムによれば、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する際に、入力データを複数の第１射影行列を用いて複数の空間ベクトルに射影するとともに、入力データを複数の変換行列群を用いて複数の射影データを生成し、さらにモダリティ毎に射影データに対し第２変換行列の逆射影を行うことにより逆空間ベクトルを生成し、生成した空間ベクトルと逆空間ベクトルとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することにより、空間ベクトルと逆空間ベクトルとは完全ではないが高精度に元に戻る性質を利用し、自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。

同様に、本発明の情報処理装置および方法ならびにプログラムによれば、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なるモダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と空間ベクトルを空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、入力データのモダリティを識別する際に、入力データを複数の各変換行列を用いて複数の射影データを生成し、生成した複数の射影データに対し変換行列の逆射影を行うことにより逆射影データを生成し、入力データと逆射影データとの相関を変換行列毎に算出し、算出した相関が最も高い変換行列が示すモダリティを入力データのモダリティとして識別することにより、入力データと逆射影データとは完全ではないが高精度に元に戻る性質を利用し、入力データと逆射影データとの自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。

なお、入力データに対し補間処理を行う前処理手段をさらに備え、前処理手段が、識別手段における検出精度に応じてサンプリング周波数を決定するものであれば、サンプリング方向に感度が高い性質を利用し、検出の精度を高く設定することが可能になる。

本発明の情報処理装置の好ましい実施形態を示すブロック図識別するモダリティが顔の位置である場合に位置を識別する変換行列の学習に用いられる複数の標本データの一例を示す模式図識別するモダリティが顔の向きである場合に向きを識別する変換行列の学習に用いられる複数の標本データの一例を示す模式図識別するモダリティが顔の大きさである場合に向きを識別する変換行列の学習に用いられる複数の標本データの一例を示す模式図高次特異値分解（ＨＯＳＶＤ）による変換の一例を示す概念図図５の高次特異値分解（ＨＯＳＶＤ）を応用した変換の一例を示す概念図本発明の情報処理方法の好ましい実施形態を示すフローチャート本発明の情報処理装置の別の実施形態を示すブロック図本発明の情報処理装置を用いて画像処理装置の一例を示すブロック図

以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明の情報処理装置１の好ましい実施形態を示すブロック図である。なお、図１のような情報処理装置１の構成は、補助記憶装置に読み込まれた情報処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この情報処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

情報処理装置１はたとえば入力データである画像について、所定のオブジェクト（たとえば顔等）の位置、大きさ、向き等のモダリティ（状態）を識別するものであって、前処理手段１０、空間変換ユニット３０_ｎ、相関算出手段４０、識別手段５０を備えている。前処理手段１０は、入力画像をオブジェクト検出手段において検出処理が可能な規準画像サイズに合わせるため拡大または縮小するものである。ここで、拡大縮小する手法としてたとえばバイキュービック、Ｂスプライン、バイリニア、ニアレストネイバー等の公知の技術を用いることができる。また、前処理手段１０は、識別手段における検出精度に応じてサンプリング周波数を決定する機能を有していてもよい。これにより、後述するモダリティの識別の感度がサンプリング方向に対し感度が高いことを利用し、補間された入力データ内の微小な差を検出することができるようになるため、識別精度を高く設定することが可能になる。

各空間変換ユニット３０_ｎは第１射影行列Ｕ_１と第２射影行列（Σ_１２Ｕ_２ ^Ｔ）とを備えた変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）を用いて変換処理を行うものである。この変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）は、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより学習されたものである。たとえば、モダリティとしてオブジェクト（顔）の位置を識別したい場合、図２に示すように、顔の位置のみが異なる複数の標本データ毎にそれぞれ変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）が用意される。

より具体的には、顔を上下左右方向に１画素だけずれた位置毎にモダリティを識別する場合には、たとえば顔が中央の位置にある標本データにより学習された変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）、顔が１画素だけ右にずれた位置にある標本データにより変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）というように、合計９×９個の変換行列（複数の空間変換ユニット３０_１〜３０_８１）が用意される。同様に図３に示すように、モダリティとしてオブジェクト（顔）の向きを識別したい場合、各顔の向き毎の複数の標本データを用いてそれぞれ変換行列が生成される。また、図４に示すように、モダリティとしてオブジェクト（顔）の向きを識別したい場合、各顔の大きさ毎の複数の標本データを用いてそれぞれ変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）が生成される。

上述した実空間データである入力データＰ_１と固有空間ベクトル（空間ベクトル）間の変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）は、標本データ（図２−図４参照）を用いて特異値分解（ＳＶＤ、ＨＯＳＶＤ）等の公知の手法により予め学習される。たとえば図５に示すように、データ列Ｍ_１が多重線形行列Ｍ_１＝Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）で表せるものとし、これに予め正規化済の画像群からなる複数の学習画像セットが与えられる。そして、第１射影行列Ｕ_１および第２変換行列Ｕ_２ ^Ｔが主成分分析（ＰＣＡ）、特異値分解（ＳＶＤ）等により求められる。次に、第１射影行列Ｕ_１と行列Ｕ_２ ^Ｔとに基づいて、異なる次元数の空間の間でも変換を可能にする（テンソル）行列Σ_１２が求められる。なお、ＳＶＤまたはＨＯＳＶＤにより変換行列が学習された場合について例示しているが、直交ＬＰＰ（Neighborhood Preserving Embedding,Isomap,Locally Linear Embedding,Laplacian Eigenmaps）等の公知の手法により求めてもよい。

図１の各空間変換ユニット３０_ｎは、第１射影手段３１、第２射影手段３２を備えている。第１射影手段３１は、前処理済みの入力データＰ_１に第１射影行列Ｕ_１を用いて射影し入力データＰ_１をｐ次元の空間ベクトルＢ_１に変換するものである。第２射影手段３２は、第１射影手段３１により変換された空間ベクトルＢ_１を第２変換行列Σ_１２Ｕ_２ ^Ｔを用いて空間ベクトルＢ_１よりも次元数の少ないｑ次元（ｑ＜ｐ）の射影データＰ_１０を複数生成し、さらに射影データＰ_１０に対し第２変換行列（Σ_１２Ｕ_２ ^Ｔ）の逆射影を行うことにより逆空間ベクトルＢ_１０を生成するものである。

相関算出手段４０は、空間ベクトルＢ_１と逆空間ベクトルＢ_１０の相関を算出するものである。ここで、相関算出手段４０は、空間ベクトルＢ_１と逆空間ベクトルＢ_１０との２つのベクトルの同一次元間の差の２乗累積和もしくは差の絶対値の累積和等を相関値として算出する。識別手段５０は、相関算出手段４０により複数の空間変換ユニット３０_ｎ毎に算出された相関のうち、最も相関の高い空間変換ユニット３０_ｎが示すモダリティを入力データＰ_１のモダリティであると識別するものである。

ここで、空間ベクトルＢ_１と逆空間ベクトルＢ_１０との相関は、変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）の学習に用いられた標本データとの示すモダリティと入力データのモダリティとが近ければ近いほど高くなる。つまり、図６に示すように、標本データにより学習された変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）においては、標本データについて第１射影行列Ｕ_１を用いた空間ベクトルＢ_１と、変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）を用いて第２空間に一度射影し、さらに第１空間への逆射影した逆空間ベクトルＢ_１０とは完全に同一にはならないが極めて近似したベクトルになる性質を有している。これは、入力データＰ_１が標本データのモダリティが近ければ近いほど相関算出手段４０により算出される相関が高くなることを意味する。この性質を利用して、空間ベクトルＢ_１と逆空間ベクトルＢ_１０との相関を指標として、入力データＰ_１のモダリティが標本データのモダリティにどの程度一致するのかを識別する。

これにより、入力データＰ_１の個体差を排除して精度良く入力データＰ_１のモダリティを識別することができる。すなわち、従来のように入力データＰ_１を空間に写像して空間における分類クラスとの距離等に基づいてモダリティを検出する場合、入力データの個体差により空間ベクトルは変化し、精度の高いモダリティ検出を行うことできない。一方、テンソル変換を用いた変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）に標本データを入力した際には空間ベクトルＢ_１と逆空間ベクトルＢ_１０とは同一のものにはならないが、極めて近似したものになることを利用し、入力データＰ_１と逆射影画像Ｐ_２０との相関に基づいてモダリティを検出することで、入力データＰ_１の個体差を排除した検出を行うことができる。

さらに、標本データ群空間内における入力の位置関係スコアが求められることは自明であるが、標本データ群との位置関係を用いずに入力のみの単一対象から高精度な自己相関的スコアを求めることは困難である。一方、主成分分析（ＰＣＡ）等のように全標本データと入力との総当りで特徴位置関係を求めて最も相関の高い標本データとの残差を指標とする検出方式と比べ大幅な高速化を図ることができる。また、空間ベクトルＢ_１、Ｂ_１０は入力データＰ_１の空間に比べて次元が削減されているため、ノイズ等のオブジェクト検出への寄与率の少ない情報を削除し検出の高速化を行うことができる。

図７は本発明の情報処理方法の好ましい実施形態を示すフローチャートであり、図１から図７を参照して情報処理方法について説明する。まず、入力データＰが入力されると、前処理手段１０による前処理が行われる（ステップＳＴ１）。そして、前処理済みの入力データＰ_１に対して各空間変換ユニット３０_ｎ毎に空間ベクトルＢ_１および逆空間ベクトルＢ_１０が生成される（ステップＳＴ２、ＳＴ３）。

その後、相関算出手段４０により空間ベクトルＢ_１および逆空間ベクトルＢ_１０との相関が算出され（ステップＳＴ４）、識別手段５０において複数の相関のうち最も相関の高い空間変換ユニット３０_ｎの示すモダリティを入力データＰ_１として識別する（ステップＳＴ５）。このように、空間ベクトルＢ_１および逆空間ベクトルＢ_１０との相関を用いてモダリティを検出することにより、入力データＰ_１の個体差を排除した精度の良いモダリティ検出を行うことができる。

図８は本発明の情報処理装置の別の実施形態を示すブロック図であり、図８を参照して情報処理装置１００について説明する。なお、図８において図１の情報処理装置と同一の構成を有する部位には同一の符号を付してその説明を省略する。図８の情報処理装置１００が図１の情報処理装置１と異なる点は、実空間データ間における相関が算出され識別される点である。

すなわち、各空間変換ユニット１３０_ｎにおける第１射影手段１３１は変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）による変換を行い射影データＰ_１０を生成する。一方、第２射影手段１３２は、射影データＰ_１０に対し第２変換行列Σ_１２Ｕ_２ ^Ｔおよび第１射影行列Ｕ_１の順に逆射影を行うことにより逆射影画像Ｐ_２０を生成する（図５、図６参照）。そして、相関算出手段１４０は入力データＰ_１と逆射影データＰ_２０との相関を算出し、識別手段５０は相関の高い空間変換ユニット３０_ｎの示すモダリティを入力データＰ_１のモダリティであると識別する。このように、実空間上において相関を算出する場合であっても、図１の空間ベクトルの相関を算出する場合と同様、オブジェクトの個体差による検出精度の劣化を防止することができる。

ところで、上述した情報処理装置１、１００は、モダリティの検出を目的とする装置に適用することができることは勿論、モダリティの検出結果に基づいて低解像度画像から高解像度画像を復元するデータ変換装置に用いることができる。図９はオブジェクト検出装置を用いた超解像度化するための画像処理装置２００の一例を示すブロック図であり、図９を参照して画像処理装置２００について説明する。画像処理装置２００は、前処理手段２１０、画像分割手段２２０、射影手段２３０、画像調整手段２４０等を有している。

前処理手段２１０は、入力された低解像画像に対し前処理を施すものであって、たとえばサイズ拡大処理と高域通過処理を行う。サイズ拡大処理は、低解像画像を高解像画像と同サイズに拡大するものであって、たとえばバイキュービック、Bスプライン、バイリニア、ニアレストネイバー等の公知の技術を用いることができる。高域通過処理は、入力された低解像画像Ｐ_Ｌに低域を抑制するフィルター処理を行うものであって、たとえばアンシャープマスク、ラプラシアン、グラジエント等の公知の技術が用いられる。これにより、低周波域に存在する照明変動を抑制することができ照明変動に対するロバスト性を向上させることができる。また、変換の対象を周波数全域から高周波成分に限定することで、学習で使用できる空間全てが高周波成分に割り当てられるようになる。

画像分割手段２２０は、全体画像Ｐ_Ｌを格子状に分割し複数の部分画像を生成するものである。これにより、高解像度化処理の対象を画像の局所に限定して変換対象を低次元で扱えるようにしたため、高品質かつ個人差の変化に対してロバスト化することができる。

射影手段２３０は、標本低解像度画像と標本高解像度画像のペアからなる複数のペア標本データに基づいて学習された下記式（１）に示す変換行列を用いて各部分画像に対する高解像画像を生成するものである。
Ｐ_Ｈ＝{Ｓ_１ ^−１・(Σ_１２ＨＳ_２ ^Ｔ )・(Σ_１２ＬＳ_２ ^Ｔ)^−１・Ｓ_１}・Ｐ_Ｌ・・・（１）
あるいは、図５、図６において説明した高次特異値分解のように、各ペア標本データにおいて、第１射影行列Ｍ_Ｌを用いて標本変換前データを空間上に射影した第１空間上のベクトルと、第２射影行列Ｍ_Ｈを用いて標本変換後データを空間上に射影した第２空間上のベクトルとが略同一になる前提において、下記式（２）により高解像画像Ｐ_Ｈを生成するようにしてもよい。
Ｐ_Ｈ＝｛（Ｍ_Ｈ）・（Ｍ_Ｌ）^−１｝・Ｐ_Ｌ・・・（２）

ここで、フィルタデータベースＤＢにはオブジェクトの位置、大きさ、回転、向き情報に応じて異なる変換行列が記憶されており、フィルタ選択手段２４０は情報処理装置１において検出されたオブジェクトの位置、大きさ、回転、向き情報に基づいてフィルタデータベースＤＢから上述した変換行列を選択する。そして、射影手段２３０は、フィルタ選択手段２４０によりフィルタデータベースＤＢの中から選択された変換行列を用いて上記式（１）または式（２）により画像の復元を行う。これにより、オブジェクトのモダリティに適したフィルタ係数を用いて高解像度化処理を行うことができる。

画像調整手段２５０は、各オブジェクトのモダリティ毎に生成された高解像度画像の和を出力するものである。なお、係数ベクトル補正が大きい場合から求められた高解像画像の影響が小さくなるように重み付け加算してもよい。

上記実施の形態によれば、入力データＰ_１を複数の第１射影行列Ｕ_１を用いて複数の空間ベクトルＢ_１に射影するとともに、入力データＰ_１を複数の変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）群を用いて複数の射影データＰ_１０を生成し、さらにモダリティ毎に射影データＰ_１０に対し第２変換行列（Σ_１２Ｕ_２ ^Ｔ）の逆射影を行うことにより逆空間ベクトルＢ_１０を生成し、生成した空間ベクトルＢ_１と逆空間ベクトルＢ_１０との相関を変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）毎に算出し、算出した相関が最も高い変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）が示すモダリティを入力データのモダリティとして識別することにより、空間ベクトルＢ_１と逆空間ベクトルＢ_１０とは完全ではないが高精度に元に戻る性質を利用し、自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。

同様に、図８に示す情報処理装置１００および方法ならびにプログラムによれば、入力データＰ_１を複数の各変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）を用いて複数の射影データＰ_１０を生成し、生成した複数の射影データＰ_１０に対し変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）の逆射影を行うことにより逆射影データＰ_２０を生成し、入力データＰ_１と逆射影データＰ_２０との相関を変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）毎に算出し、算出した相関が最も高い変換行列Ｕ_１・（Σ_１２Ｕ_２ ^Ｔ）が示すモダリティを入力データのモダリティとして識別することにより、入力データＰ_１と逆射影データＰ_２０とは完全ではないが高精度に元に戻る性質を利用し、自己相関的スコアを検出の指標として検出を行うため、入力データに含まれる個体差成分を大幅に取り除き高精度にオブジェクトの検出を行うことができる。

なお、入力データに対し補間処理を行う前処理手段１０をさらに備え、前処理手段１０が、識別手段５０における検出精度に応じてサンプリング周波数を決定するものであれば、サンプリング方向に感度が高い性質を利用し、検出の精度を高く設定することが可能になる。

本発明の実施形態は上記実施形態に限定されない。たとえば、オブジェクトとして顔の場合について例示しているが、顔の他に頭部または人物の手等の人体の一部の部位、あるいは人体以外の生体の少なくとも一部の部位を含む領域であってもよい。さらには、生体の内部に存在する血管、特定の組織、生体内部の腫瘍組織、細胞、タンパク質、DNA、RNA等の高分子、低分子であってもよい。他にも、薬等の化合物やタンパク質、貨幣、キャッシュカード等のカード、車輌、あるいは車両のナンバープレート、複写機等のスキャナ機器によりスキャニングされたドキュメントの文字、図面、表、写真などであってもよい。さらに、外界における特定の事象をオブジェクトの例として挙げているが、統計的偏りのある群であればよく、例えば所定のテクスチャを有する領域をオブジェクトとして検出するものであってもよい。

また、オブジェクトのモダリティとして顔の向き・大きさ・位置や照明条件について例示しているが、人種、年齢、性別等の被写体の種別をオブジェクトのモダリティとしてもよいし、撮像された人物の表情、撮像された人物のしぐさ、撮像された人物の姿勢、撮像された人物が着用している着用物（めがね、サングラス、マスク、帽子など）等の被写体像の属性をオブジェクトのモダリティとして用いてもよい。

さらに、オブジェクト検出手段による検出結果を用いて超解像化を行う場合について例示しているが、折り返し成分を低減した縮小、多色数化、多階調数化、ノイズ低減化、ブロックノイズおよびモスキートノイズなどのアーチファクトを低減するアーチファクト低減化、ボケ低減化、シャープネス化、高フレームレート化、広ダイナミックレンジ化、色階調補正、歪み収差補正、符号化などの変換処理に用いてもよい。

１、１００情報処理装置
１０前処理手段
３０空間変換ユニット
３１、１３１第１射影手段
３２、１３２第２射影手段
４０、１４０相関算出手段
５０識別手段
Ｂ_１空間ベクトル
Ｂ_１０逆空間ベクトル
Ｐ_１入力データ
Ｐ_１０射影データ
Ｐ_２０逆射影データ
Ｐ_２０逆射影画像

Claims

識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なる前記モダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と該空間ベクトルを該空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、前記入力データのモダリティを識別する情報処理装置であって、
前記入力データを複数の前記第１射影行列を用いて複数の前記空間ベクトルに射影する第１射影手段と、
前記入力データを前記複数の変換行列群を用いて複数の射影データを生成し、さらに該射影データに対し前記第２変換行列の逆射影を行うことにより逆空間ベクトルを生成する第２射影手段と、
前記第１射影手段により生成された前記空間ベクトルと、前記第２射影手段により生成された前記逆空間ベクトルとの相関を前記変換行列毎に算出する相関算出手段と、
該相関算出手段により算出された前記相関が最も高い前記変換行列が示す前記モダリティを前記入力データのモダリティとして識別する識別手段と
を備えたことを特徴とする情報処理装置。
識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なる前記モダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と該空間ベクトルを該空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、前記入力データのモダリティを識別する情報処理装置であって、
前記入力データを複数の前記各変換行列を用いて複数の前記射影データを生成する第１射影手段と、
該第１射影手段により生成された前記複数の射影データに対しそれぞれ前記変換行列の逆射影を行うことにより複数の逆射影データを生成する第２射影手段と、
前記入力データと前記第２射影手段により生成された前記逆射影データとの相関を前記変換行列毎に算出する相関算出手段と、
該相関算出手段により算出された前記相関が最も高い前記変換行列が示す前記モダリティを前記入力データのモダリティとして識別する識別手段と
を備えたことを特徴とする情報処理装置。
前記各変換行列が前記第１射影行列および前記第２射影行列を含む複数の空間変換行列からなる多重線形変換行列であることを特徴とする請求項１または２記載の情報処理装置。
前記入力データに対し補間処理を行う前処理手段をさらに備え、該前処理手段が、前記識別手段における検出精度に応じてサンプリング周波数を決定するものであることを特徴とする請求項１から３のいずれか１項記載の情報処理装置。
識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なる前記モダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と該空間ベクトルを該空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、前記入力データのモダリティを識別する情報処理方法であって、
前記入力データを複数の前記第１射影行列を用いて複数の前記空間ベクトルに射影するとともに、前記入力データを前記複数の変換行列群を用いて複数の射影データを生成し、さらに該射影データに対し前記第２変換行列の逆射影を行うことにより逆空間ベクトルを生成し、
生成した前記空間ベクトルと前記逆空間ベクトルとの相関を前記変換行列毎に算出し、
算出した前記相関が最も高い前記変換行列が示す前記モダリティを前記入力データのモダリティとして識別する
を備えたことを特徴とする情報処理方法。
識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なる前記モダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と該空間ベクトルを該空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、前記入力データのモダリティを識別する情報処理方法であって、
前記入力データを複数の前記各変換行列を用いて複数の射影データを生成し、
生成した前記複数の射影データに対し前記変換行列の逆射影を行うことにより逆射影データを生成し、
前記入力データと前記逆射影データとの相関を前記変換行列毎に算出し、
算出した前記相関が最も高い前記変換行列が示す前記モダリティを前記入力データのモダリティとして識別する
ことを特徴とする情報処理方法。
コンピュータに、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なる前記モダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と該空間ベクトルを該空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、前記入力データのモダリティを識別することを実行させるための情報処理プログラムであって、
前記入力データを複数の前記第１射影行列を用いて複数の空間ベクトルに射影するとともに、前記入力データを前記複数の変換行列群を用いて複数の射影データを生成し、さらに該射影データに対し前記第２変換行列の逆射影を行うことにより逆空間ベクトルを生成する手順と、
生成した前記空間ベクトルと前記逆空間ベクトルとの相関を前記変換行列毎に算出する手順と、
算出した前記相関が最も高い前記変換行列が示す前記モダリティを前記入力データのモダリティとして識別する手順と
を実行させるための情報処理プログラム。
コンピュータに、識別対象ではないモダリティは同一であって識別対象であるモダリティが異なる複数の標本データにより異なる前記モダリティ毎にそれぞれ学習された、入力データを空間ベクトルに射影する第１射影行列と該空間ベクトルを該空間ベクトルよりも次元数の少ない射影データに射影する第２射影行列とを備えた複数の変換行列群を用いて、前記入力データのモダリティを識別することを実行させるための情報処理プログラムであって、
前記入力データを複数の前記各変換行列を用いて複数の射影データを生成する手順と、
生成した前記複数の射影データに対し前記変換行列の逆射影を行うことにより逆射影データを生成する手順と、
前記入力データと前記逆射影データとの相関を前記変換行列毎に算出する手順と、
算出した前記相関が最も高い前記変換行列が示す前記モダリティを前記入力データのモダリティとして識別する手順と
を実行させるための情報処理プログラム。