JP2017519291A - 画像特性推定方法およびデバイス - Google Patents

Abstract

本発明は、画像特性推定方法およびデバイスを開示する。この方法の内容は：入力画像データの少なくとも２つの固有値を抽出すること；抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ること、を実行すること；抽出された各固有値に対応する第１の行列ベクトルが得られたときに、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得ること；および、第２の行列ベクトルに従って推定を用いて画像データ中の画像特性のステータスを得ること、を含む。このようにして、推定の精度が効果的に改善される。

Description

本発明は、画像処理技術の分野に関し、詳細には、画像特性推定方法およびデバイスに関する。

現代社会の発展に伴い、ビデオカメラを使用したビデオ撮影、およびスマートフォンを使用した写真撮影などの応用技術が徐々に一般化しており、このことは、処理に必要とされるピクチャのデータ量が増加傾向にあることを意味する。手動技術に依拠してピクチャデータを処理することには多くのコストがかかり、また処理プロセスにおけるエラーの確率が比較的高い。したがって、コンピュータを使用してピクチャデータを処理することが開発傾向になり、コンピュータビジョン技術が、開発されるべき重要な技術になる。

コンピュータビジョン技術は、機械を使用してどのように「見る」かが研究される技術を指し、さらに人間の眼の代わりにカメラおよびコンピュータを使用して、ターゲットに対する認識、追跡、および測定を実施し、さらに画像処理を実施して、それにより、コンピュータによって処理された画像が、人間の眼で見るのにより適した画像、または検出のために装置に転送されるのにより適した画像になるようにすることなどの、機械ビジョン技術を指す。

しかし、コンピュータを使用して、収集された画像データ中の特性に対する推定を実施すること、例えば、コンピュータビジョン技術において複雑な環境における画像データ中の人間の姿勢の推定を実施することは、コンピュータビジョン技術における技術的ホットスポットおよび技術的困難になる。

例えば、セキュリティ監視の分野で、ある機会における人物が長い時間期間中に監視されるとき、この時間期間のビデオ画像を収集して、この時間期間に収集されたビデオ画像を処理することによって、監視される人物の異常な挙動に対する推定が実施されることがある。このプロセスは、人間の姿勢の推定に属する。

しかし、画像データ中の特性に対して推定（例えば、人間の姿勢の推定）を実施する現在の方式において、ある方式は、特化された撮影装置を使用して深度情報の要件を満たす画像データを取り込み、画像データおよび深度情報を使用して画像データ中の特性（例えば、人体の各部分の位置）を決定し、それにより、画像データ中の特性に対する推定を実施するという目的を達成する。しかし、この方式は、撮影装置のハードウェア性能に対する比較的高い要件を有し、また、撮影対象と撮影装置との間の距離に対する比較的厳密な要件も有し、実際の応用では、様々な実際のニーズにフレキシブルに適用可能となることができない。したがって、得られた推定結果の精度が保証されることができない。

別の方式は、エッジ検出や画像ヒストグラムなどの方式で、得られた画像データ中の特性に対する分析を実施している。しかし、この方式は、静的な画像データに対して推定を実施する方式である。現実生活でリアルタイムに収集された画像データの場合、特性推定のエラーレートが比較的高いという問題がある。

このことに鑑みて、本発明の実施形態は、特性推定の精度が低いという現存の問題を解決するのに使用される画像特性推定方法およびデバイスを提供する。

本発明の第１の態様によれば、画像特性推定方法が提供され、この方法は、
入力画像データの少なくとも２つの固有値を抽出するステップであって、固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む、ステップと、
抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、
固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることを実行するステップと、
抽出された各固有値に対応する第１の行列ベクトルが得られたときに、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るステップと、
第２の行列ベクトルに従って推定を用いて画像データ中の画像特性のステータスを得るステップと
を含む。

本発明の第１の態様の可能な実装方式に関して、第１の可能な実装方式では、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得るステップは、
固有値を選択し、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得るステップと、
事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得るステップと、
類推によって、事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得るステップであって、Ｎは自然数である、ステップと
を含む。

本発明の第１の態様の第１の可能な実装方式に関して、第２の可能な実装方式では、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得るステップは、
以下のようにして、固有値に対応する第１の部分行列ベクトルを得るステップを含み、
ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
上式で、
ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、ｉ番目の固有値の転置行列であり、Ｗ^1,iは、行列パラメータ中のｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、ｉ番目の固有値に対する第１のオフセットである。

本発明の第１の態様の第２の可能な実装方式に関して、第３の可能な実装方式では、事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得るステップは、
以下のようにして、固有値に対応する第２の部分行列ベクトルを得るステップを含み、
ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
上式で、
ｈ^2,iは、抽出されたｉ番目の固有値に対応する第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、ｉ番目の固有値の第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、行列パラメータ中のｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、ｉ番目の固有値に対する第２のオフセットである。

本発明の第１の態様の可能な実装方式に関して、または本発明の第１の態様の第１の可能な実装方式に関して、または本発明の第１の態様の第２の可能な実装方式に関して、または本発明の第１の態様の第３の可能な実装方式に関して、第４の可能な実装方式では、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るステップは、
以下のようにして、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るステップを含み、
ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
上式で、
ｈⁿ⁺¹は、抽出された少なくとも２つの固有値に対しており、かつ畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数である。ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットである。

本発明の第１の態様の可能な実装方式に関して、または本発明の第１の態様の第１の可能な実装方式に関して、または本発明の第１の態様の第２の可能な実装方式に関して、または本発明の第１の態様の第３の可能な実装方式に関して、または本発明の第１の態様の第４の可能な実装方式に関して、第５の可能な実装方式では、画像データ中の画像特性のステータスは、画像データ中の画像特性の位置情報を含み、
第２の行列ベクトルに従って推定を用いて画像データ中の画像特性のステータスを得るステップは、
以下のようにして、推定を用いて画像データ中の画像特性のステータスを得るステップを含み、

上式で、

は、推定を用いて得られる、画像データ中の画像特性のステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、

は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tである。

本発明の第１の態様の可能な実装方式に関して、または本発明の第１の態様の第１の可能な実装方式に関して、または本発明の第１の態様の第２の可能な実装方式に関して、または本発明の第１の態様の第３の可能な実装方式に関して、または本発明の第１の態様の第４の可能な実装方式に関して、または本発明の第１の態様の第５の可能な実装方式に関して、第６の可能な実装方式では、この方法は、
第２の行列ベクトルに従って、得られた推定されたステータスの信頼性を決定するステップをさらに含む。

本発明の第１の態様の第６の可能な実装方式に関して、第７の可能な実装方式では、第２の行列ベクトルに従って、得られた推定されたステータスの信頼性の程度を決定するステップは、
以下のようにして、得られた推定されたステータスの信頼性を決定するステップを含み、

上式で、

は、得られた推定されたステータスの決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットである。

本発明の第２の態様によれば、画像特性推定デバイスが提供され、このデバイスは、
入力画像データの少なくとも２つの固有値を抽出するように構成された抽出モジュールであって、固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む、抽出モジュールと、
抽出された固有値に対する実行が完了するまで、抽出モジュールによって抽出された各固有値について、以下の動作、すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることを実行するように構成された第１の行列ベクトル計算モジュールと、
抽出された各固有値に対応し、かつ第１の行列ベクトル計算モジュールによって計算を用いて得られる第１の行列ベクトルが得られたときに、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るように構成された第２の行列ベクトル計算モジュールと、
第２の行列ベクトル計算モジュールによって計算を用いて得られた第２の行列ベクトルに従って推定を用いて画像データ中の画像特性のステータスを得るように構成された推定モジュールと
を備える。

本発明の第２の態様の可能な実装方式に関して、第１の可能な実装方式では、第１の行列ベクトル計算モジュールは、
固有値を選択し、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得ること、
事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得ること、および、
類推によって、事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得ることであり、Ｎは自然数であること
を行うように、特に構成される。

本発明の第２の態様の第１の可能な実装方式に関して、第２の可能な実装方式では、第１の行列ベクトル計算モジュールは、以下のようにして、固有値に対応する第１の部分行列ベクトルを得るように特に構成され、
ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
上式で、
ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、ｉ番目の固有値の転置行列であり、Ｗ^1,iは、行列パラメータ中のｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、ｉ番目の固有値に対する第１のオフセットである。

本発明の第２の態様の第２の可能な実装方式に関して、第３の可能な実装方式では、第１の行列ベクトル計算モジュールは、以下のようにして、固有値に対応する第２の部分行列ベクトルを得るように特に構成され、
ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
上式で、
ｈ^2,iは、抽出されたｉ番目の固有値に対応する第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、ｉ番目の固有値の第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、行列パラメータ中のｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、ｉ番目の固有値に対する第２のオフセットである。

本発明の第２の態様の可能な実装方式に関して、または本発明の第２の態様の第１の可能な実装方式に関して、または本発明の第２の態様の第２の可能な実装方式に関して、または本発明の第２の態様の第３の可能な実装方式に関して、第４の可能な実装方式では、第２の行列ベクトル計算モジュールは、以下のようにして、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るように特に構成され、
ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
上式で、
ｈⁿ⁺¹は、抽出された少なくとも２つの固有値に対しており、かつ畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数であり、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットである。

本発明の第２の態様の可能な実装方式に関して、または本発明の第２の態様の第１の可能な実装方式に関して、または本発明の第２の態様の第２の可能な実装方式に関して、または本発明の第２の態様の第３の可能な実装方式に関して、または本発明の第２の態様の第４の可能な実装方式に関して、第５の可能な実装方式では、画像データ中の画像特性のステータスは、画像データ中の画像特性の位置情報を含み、
推定モジュールは、以下のようにして、推定を用いて画像データ中の画像特性のステータスを得るように特に構成され、

上式で、

は、推定を用いて得られる、画像データ中の画像特性のステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、

は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tである。

本発明の第２の態様の可能な実装方式に関して、または本発明の第２の態様の第１の可能な実装方式に関して、または本発明の第２の態様の第２の可能な実装方式に関して、または本発明の第２の態様の第３の可能な実装方式に関して、または本発明の第２の態様の第４の可能な実装方式に関して、または本発明の第２の態様の第５の可能な実装方式に関して、第６の可能な実装方式では、デバイスは、
第２の行列ベクトル計算モジュールによって計算を用いて得られた第２の行列ベクトルに従って、得られた推定されたステータスの信頼性を決定するように構成された信頼性計算モジュールをさらに備える。

本発明の第２の態様の第６の可能な実装方式に関して、第７の可能な実装方式では、信頼性計算モジュールは、以下のようにして、得られた推定されたステータスの信頼性を決定するように特に構成され、

上式で、

は、得られた推定されたステータスの決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットである。

本発明の第３の態様によれば、画像特性推定デバイスが提供され、このデバイスは、少なくとも１つのプロセッサと、通信バスと、メモリと、少なくとも１つの通信インタフェースとを備え、
通信バスは、少なくとも１つのプロセッサとメモリと少なくとも１つの通信インタフェースとの間で情報を転送するように構成され、
メモリは、アプリケーションプログラムコードを記憶するように構成され、
プロセッサは、メモリに記憶されたアプリケーションプログラムコードを実行するように構成され、これは、
入力画像データの少なくとも２つの固有値を抽出するステップであって、固有値は、各特性と対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む、抽出するステップと、
抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、
固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることを実行するステップと、
抽出された各固有値に対応する第１の行列ベクトルが得られたときに、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るステップと、
第２の行列ベクトルに従って推定を用いて画像データ中の画像特性のステータスを得るステップと
を特に含む。

本発明の第３の態様の可能な実装方式に関して、第１の可能な実装方式では、プロセッサは、
固有値を選択し、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得るステップと、
事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得るステップと、
類推によって、事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得るステップであって、Ｎは自然数である、ステップと
を特に実行する。

本発明の第３の態様の第１の可能な実装方式に関して、第２の可能な実装方式では、プロセッサは、
以下のようにして、固有値に対応する第１の部分行列ベクトルを得るステップを特に実行し、
ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
上式で、
ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、ｉ番目の固有値の転置行列であり、Ｗ^1,iは、行列パラメータ中のｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、ｉ番目の固有値に対する第１のオフセットである。

本発明の第３の態様の第２の可能な実装方式に関して、第３の可能な実装方式では、プロセッサは、
以下のようにして、固有値に対応する第２の部分行列ベクトルを得るステップを特に実行し、
ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
上式で、
ｈ^2,iは、抽出されたｉ番目の固有値に対応する第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、ｉ番目の固有値の第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、行列パラメータ中のｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、ｉ番目の固有値に対する第２のオフセットである。

本発明の第３の態様の可能な実装方式に関して、または本発明の第３の態様の第１の可能な実装方式に関して、または本発明の第３の態様の第２の可能な実装方式に関して、または本発明の第３の態様の第３の可能な実装方式に関して、第４の可能な実装方式では、プロセッサは、
以下のようにして、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るステップを特に実行し、
ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
上式で、
ｈⁿ⁺¹は、抽出された少なくとも２つの固有値に対する、畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数であり、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットである。

本発明の第３の態様の可能な実装方式に関して、または本発明の第３の態様の第１の可能な実装方式に関して、または本発明の第３の態様の第２の可能な実装方式に関して、または本発明の第３の態様の第３の可能な実装方式に関して、または本発明の第３の態様の第４の可能な実装方式に関して、第５の可能な実装方式では、画像データ中の画像特性のステータスは、画像データ中の画像特性の位置情報を含み、
プロセッサは、
以下のようにして、推定を用いて画像データ中の画像特性のステータスを得るステップを特に実行し、

上式で、

は、推定を用いて得られる、画像データ中の画像特性のステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、

は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tである。

本発明の第３の態様の可能な実装方式に関して、または本発明の第３の態様の第１の可能な実装方式に関して、または本発明の第３の態様の第２の可能な実装方式に関して、または本発明の第３の態様の第３の可能な実装方式に関して、または本発明の第３の態様の第４の可能な実装方式に関して、または本発明の第３の態様の第５の可能な実装方式に関して、第６の可能な実装方式では、プロセッサは、
第２の行列ベクトルに従って、得られた推定されたステータスの信頼性を決定するステップを特に実行する。

本発明の第３の態様の第６の可能な実装方式に関して、第７の可能な実装方式では、プロセッサは、
以下のようにして、得られた推定されたステータスの信頼性を決定するステップを特に実行し、

上式で、

は、得られた推定されたステータスの決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットである。

本発明の実施形態では、入力画像データの少なくとも２つの固有値が抽出され、ここで、固有値は、各特性と対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値と、を少なくとも含む。抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることが実行される。抽出された各固有値に対応する第１の行列ベクトルが得られたとき、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルが得られる。第２の行列ベクトルに従って推定を用いて、画像データ中の画像特性のステータスが得られる。このようにして、抽出を用いて得られた複数の異なる固有値について、各固有値に対して複数の行列変換が実施され、各固有値の変換後に得られた行列ベクトルに対する畳み込みネットワーク計算の方式で結合ベクトルが得られる。最後に、完全接続された信念ネットワーク計算方式で画像データ中の画像特性に対して推定が実施され、これは推定の精度を効果的に改善する。

本発明の実施形態における技術的解決法についてより明確に述べるために、実施形態の記述に必要とされる添付図面について以下に簡単に述べる。明らかに、以下の記述における添付図面は、本発明のいくつかの実施形態のみを示し、当業者はこれらの添付図面から創意工夫なしに他の図面をなお導出し得る。
本発明による画像特性推定方法の概略フローチャートである。 本発明による画像特性推定デバイスの概略構造図である。 本発明による画像特性推定デバイスの概略構造図である。

本発明の目的を達成するために、本発明の実施形態は、画像特性推定方法およびデバイスを提供する。入力画像データの少なくとも２つの固有値が抽出され、ここで、固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含み、抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、固有値を選択すること、および事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることが実行され、抽出された各固有値に対応する第１の行列ベクトルが得られたとき、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルが得られ、第２の行列ベクトルに従って推定を用いて、画像データ中の画像特性のステータスが得られる。このようにして、抽出を用いて得られた複数の異なる固有値について、各固有値に対して複数の行列変換が実施され、各固有値の変換後に得られた行列ベクトルに対する畳み込みネットワーク計算の方式で結合ベクトルが得られ、最後に、完全接続された信念ネットワーク計算方式で画像データ中の画像特性に対して推定が実施され、これは推定の精度を効果的に改善する。

以下ではさらに、添付図面を参照しながら本発明について詳細に述べる。明らかに、記述される実施形態は、本発明の実施形態のすべてではなくいくつかに過ぎない。本発明の実施形態に基づいて当業者によって創意工夫なしに得られる他のすべての実施形態は、本発明の保護範囲内に入るものとする。

図１に示されるように、図１は、本発明による画像特性推定方法の概略フローチャートである。この方法は、以下のように記述され得る。

ステップ１０１：入力画像データの、少なくとも２つの固有値を抽出する。

固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む。

ステップ１０１では、入力画像データが受け取られ、ここで、画像データは、ピクチャデータであってよく、あるいはビデオデータであってよく、またはピクチャデータとビデオデータとの組合せであってよく、これは本明細書では限定されない。

受け取られた画像データは、画像データ特性検出の方式で処理される必要があり、したがって、処理される画像データは、比較的小さい範囲に絞られる。画像データ中の画像特性が、比較的小さい範囲に絞られ、これは、後続のステップのための基礎を築く。

受け取られた画像データの、少なくとも２つの固有値が抽出され、ここで、抽出を用いて得られる固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む。

各特性と、対応するテンプレート特性との間のマッチングの程度は、特性と、特性に対応するテンプレート特性との間のマッチングの程度を指し、以下のようにして得られてよい。

上式で、
Ｓは、各特性と、対応するテンプレート特性との間のマッチングの程度を指し、Ｓ（Ｉ，ｔ，ｚ）はマッチング度関数であり、

であり、Ｉは、受け取られた画像データであり、ｔ_pは、ｐ番目の特性のアピアランス混合型（appearance mixture type）であり、ｚ_pは、ｐ番目の特性の位置であり、

は、理論上のパラメータであり、ｆ（Ｉ，ｚ_p）は、画像データＩ中の、その位置がｚ_pを満たす固有値を計算するための関数であり、ここで、ｐおよびｑは、特性の量である。

例えば、受け取られた画像データが、人体特性を含む画像データであり、特性が人間の眼であると仮定される。受け取られた、人間の眼特性が抽出される。この場合、画像データ中の眼の位置の画像特性と、眼特性ライブラリ中の眼のテンプレート特性との間でマッチングが実施されて、受け取られた画像データ中の眼特性の固有値が決定される。

画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値は、任意の２つの特性が同時に同じ位置に現れる確率を指し、これは、事前に訓練された異なる特性が同時に現れる可能性を計算するための公式を使用することによる計算を用いて得られる。

特に、事前に訓練された異なる特性が同時に現れる可能性を計算するための公式は、以下のとおりである。

上式で、
ｔは、異なる特性が同時に現れる確率であり、Ｓ_c（ｔ）は、確率を計算するための関数を表し、

は、

のアピアランス混合型において現れるｐ番目の特性のスコアを表し、

は、

のアピアランス混合型において同時に現れる複数の特性のスコアの合計を表し、

は、同時に現れるｐ番目の特性およびｑ番目の特性のスコアを表し、

は、同時に現れる複数の特性のスコアの合計を表す。

例えば、受け取られた画像データが、人体特性を含む画像データであり、特性が人間の眼および人間の眉であると仮定され、受け取られた、人間の眼特性および人間の眉特性が抽出され、人間の眼特性と人間の眉特性とが同じ位置に現れる確率の値が計算される。

関連関係を有する２つの特性間の距離の変化のスコアの値は、関連関係を有する２つの特性間の距離の変化のスコアの固有の値を指す。画像データ中の画像特性をさらに推定するには、関連関係を有する２つの特性間の距離の変化は固有の変化範囲内に入るので、関連関係を有する２つの特性間の距離が変化するかと、変化ステータスとが抽出される必要がある。

特に、関連関係を有する２つの特性間の距離の変化のスコアの値の方式は、限定されないが以下の方式を含む。

上式で、

は行列パラメータであり、ｄ（ｚ_p−ｚ_q）＝［ｄｘ，ｄｙ，ｄｘ²，ｄｙ²］^Tであり、ｄｘ＝Ｘ_p−Ｘ_qは、ｐ番目の特性とｑ番目の特性との間の、Ｘ方向の差を表し、ｄｙ＝ｙ_p−ｙ_qは、ｐ番目の特性とｑ番目の特性との間の、ｙ方向の差を表す。

例えば、受け取られた画像データが、人体特性を含む画像データであり、特性が人間の眼および人間の眉であると仮定され、受け取られた、人間の眼特性および人間の眉特性が抽出され、人間の眼特性と人間の眉特性との間の距離の変化のスコアの値が計算される。スコアの値に従って、現在の人物の表情の変化が決定され得る。例えば、比較的小さい距離スコアは、表情のわずかに小さい変化を示し、比較的大きい距離スコアは、表情の大きい変化を示し、この大きい変化は喜びと悲しみのいずれかを示す、などである。

ステップ１０２：抽出された固有値に対する実行が完了するまで、抽出された各固有値につき、以下の動作を実行する。すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得る。

ステップ１０２では、複数の固有値がステップ１０１で得られたとき、得られた各固有値につき、得られた各固有値が定められた計算シーケンスに従って処理される。

特に、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることは、
固有値を選択し、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得ること、
事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得ること、および、
類推によって、事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得ることであり、Ｎは自然数であること
を含む。

特に、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得ることは、
以下のようにして、固有値に対応する第１の部分行列ベクトルを得ることを含み、
ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
上式で、
ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、ｉ番目の固有値の転置行列であり、Ｗ^1,iは、行列パラメータ中のｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、ｉ番目の固有値に対する第１のオフセットである。

事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得ることは、
以下のようにして、固有値に対応する第２の部分行列ベクトルを得ることを含み、
ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
上式で、
ｈ^2,iは、抽出されたｉ番目の固有値に対応する第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、ｉ番目の固有値の第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、行列パラメータ中のｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、ｉ番目の固有値に対する第２のオフセットである。

事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得ることは、
以下のようにして、固有値に対応する第１の行列ベクトルを得ることを含み、
ｈ^n,i＝ａ（（ｈ^n-1,i）^T＊Ｗ^n,i＋ｂ^n,i）
上式で、
ｈ^n,iは、抽出されたｉ番目の固有値に対応する第１の行列ベクトルを表し、ａは活性化関数であり、（ｈ^n-1,i）^Tは、ｉ番目の固有値の（Ｎ−１）番目の部分行列ベクトルの転置行列であり、Ｗ^n,iは、行列パラメータ中のｉ番目の固有値に対するＮ番目の行列であり、ｂ^n,iは、ｉ番目の固有値に対するＮ番目のオフセットである。

抽出された固有値が３つあり、これらがそれぞれ、固有値１（ｓで示される）、固有値２（ｄで示される）、および固有値３（ｔで示される）であると仮定される。２つの行列変換の後、固有値１の第１の行列ベクトル、固有値２の第１の行列ベクトル、および固有値３の第１の行列ベクトルがそれぞれ得られる。

固有値１については、第１の行列変換の後、ｈ^1,1＝ａ（ｓ^T＊Ｗ^1,1＋ｂ^1,1）が得られ、第２の行列変換の後、ｈ^2,1＝ａ（（ｈ^1,1）^T＊Ｗ^2,1＋（ｂ^2,1）^T）が得られ、すなわち、固有値１の第１の行列ベクトルが得られる。

固有値２については、第１の行列変換の後、ｈ^1,2＝ａ（ｄ^T＊Ｗ^1,2＋ｂ^1,2）が得られ、第２の行列変換の後、ｈ^2,2＝ａ（（ｈ^1,2）^T＊Ｗ^2,2＋（ｂ^2,2）^T）が得られ、すなわち、特性２の第１の行列ベクトルが得られる。

固有値３については、第１の行列変換の後、ｈ^1,3＝ａ（ｔ^T＊Ｗ^1,3＋ｂ^1,3）が得られ、第２の行列変換の後、ｈ^2,3＝ａ（（ｈ^1,3）^T＊Ｗ^2,3＋（ｂ^2,3）^T）が得られ、すなわち、固有値３の第１の行列ベクトルが得られる。

ステップ１０３：抽出された各固有値に対応する第１の行列ベクトルが得られたとき、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得る。

ステップ１０３では、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得ることは、
以下のようにして、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得ることを含み、
ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
上式で、
ｈⁿ⁺¹は、抽出された少なくとも２つの固有値に対しており、かつ畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数であり、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットである。

留意されたいが、ａは活性化関数であり、活性化しきい値が３．５のとき、ａ（［２，３，４］）＝［０，０，１］であり、ここで、シグモイド関数の使用が推奨される。

抽出された固有値が３つあり、これらがそれぞれ、固有値１（ｓで示される）、固有値２（ｄで示される）、および固有値３（ｔで示される）であると仮定される。２つの行列変換の後、固有値１の第１の行列ベクトル、固有値２の第１の行列ベクトル、および固有値３の第１の行列ベクトルがそれぞれ得られる。固有値１の得られた第１の行列ベクトル、固有値２の得られた第１の行列ベクトル、および固有値３の得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルが以下のように得られる。

ｈ³＝ａ（（ｈ²）^T＊Ｗ³＋ｂ³）
上式で、
ｈ³は、抽出された少なくとも２つの固有値に対しており、かつ畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数であり、ｈ²＝［ｈ^2,1，ｈ^2,2，ｈ^2,3］^Tであり、Ｗ³は、行列パラメータ中の第３の行列であり、ｂ³は、第３のオフセットである。

ステップ１０４：第２の行列ベクトルに従って、推定を用いて画像データ中の画像特性のステータスを得る。

ステップ１０４では、第２の行列ベクトルが得られた後、画像データ中の画像特性のステータスが、第２の行列ベクトルに従って推定を用いて得られ、ここで、画像データ中の画像特性のステータスは、画像データ中の画像特性の位置情報を含む。

特に、画像データ中の画像特性のステータスは、以下のようにして推定を用いて得られ、

上式で、

は、推定を用いて得られる、画像データ中の画像特性のステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、

は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tである。

本発明の別の実施形態では、この方法はさらに、
第２の行列ベクトルに従って、得られた推定されたステータスの信頼性を決定することを含む。

特に、得られた推定されたステータスの信頼性は、以下のようにして決定され、

上式で、

は、得られた推定されたステータスの決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットである。

得られた推定されたステータスの信頼性が計算されると、計算を用いて得られた信頼性は定められた信頼性しきい値と比較されて、推定結果の精度がさらに決定される。

さらに、第２の行列ベクトルが得られた後、推定されたステータス、および推定されたステータスの信頼性は、完全接続された信念ネットワークを使用することによる計算を用いて得られてよく、これは推定結果の精度をさらに改善する。

留意されたいが、本発明のこの実施形態は、Ｗ行列パラメータに関連するＷ型行列（Ｗ^*として示される）と、ｂオフセットパラメータに関連するｂ型オフセット（ｂ^*として示される）とを伴い、これらは、訓練方式で得られてよく、または実際のニーズに従って設定されてよく、これは本明細書では限定されない。

Ｗ^*、ｂ^*、Ｗ^cls、およびｂ^clsを訓練方式で得る方法は、以下のように記述され得る。

第１のステップで、正のサンプル画像データと負のサンプル画像データとが入力され、ｋ平均法を使用してｋ個のグループにクラスタ化される。ここで、ｋは所定の整数である。

第２のステップで、周知の技術におけるＲＢＭ訓練方法を使用して、Ｗ^*、ｂ^*、Ｗ^cls、およびｂ^clsの値が得られる。

第３のステップで、周知の技術におけるターゲット関数およびＢＰアルゴリズムを使用することによる計算を用いて、Ｗ^*、ｂ^*、Ｗ^cls、およびｂ^clsの値が再び得られる。

ターゲット関数は以下とし得る。すなわち、

上式で、

、

、
および

であり、ここで、ｎは整数であり、ｎの値は訓練サンプルの量である。

は、ｎ番目の訓練サンプルの画像特性の、定められた推定された信頼性であり、

は、計算を用いて得られた、ｎ番目の訓練サンプルの推定された信頼性であり、

は、ｎ番目の訓練サンプルの画像特性の、定められた推定されたステータスであり、

は、計算を用いて得られた、ｎ番目の訓練サンプルの推定されたステータスであり、ｗ_i,j ^*は、第２のステップで計算を用いて得られるＷ^*中のｉ番目の行およびｊ番目の列の値であり、

は、第２のステップで計算を用いて得られるＷ^cls中のｉ番目の値である。

留意されたいが、第３のステップは勾配降下を用いて解かれ、第２のステップで得られるＷ^*、ｂ^*、Ｗ^cls、およびｂ^clsの値が、第３のステップにおける勾配降下のための初期ポイントとして使用され、次いで、第３のステップで勾配降下法を使用してＷ^*、ｂ^*、Ｗ^cls、およびｂ^clsの新しい値が得られる。

本発明の実施形態１における解決法によれば、入力画像データの少なくとも２つの固有値が抽出され、ここで、固有値は、各特性と対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含み、抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることが実行され、抽出された各固有値に対応する第１の行列ベクトルが得られたとき、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルが得られ、第２の行列ベクトルに従って推定を用いて、画像データ中の画像特性のステータスが得られる。このようにして、抽出を用いて得られた複数の異なる固有値について、各固有値に対して複数の行列変換が実施され、各固有値の変換後に得られた行列ベクトルに対する畳み込みネットワーク計算の方式で結合ベクトルが得られ、最後に、完全接続された信念ネットワーク計算方式で画像データ中の画像特性に対して推定が実施され、これは推定の精度を効果的に改善する。

以下では、実験データのグループを使用して前述の実施形態について述べる。

入力画像データの３つの抽出された固有値があり、これらがそれぞれ、各特性と対応するテンプレート特性との間のマッチングの程度ｓと、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値ｔと、関連関係を有する２つの特性間の距離の変化のスコアの値ｄとであると仮定される。

２６個の特性が実験に含まれ、各特性が７つの混合型（mixture type）に対応すると仮定され、そして、対応するｓは、２６＊７＝１８２次元を有し、対応するｔは、２６＊７＝１８２次元を有し、対応するｄは、２６＊６＝１５６次元を有する。

ある特性と他の３つの特性との間で相対的な変位が生成されるので、また各変位が２次元データを使用して表されるので、他の３つの特性は６次元データを含むことに留意されたい。この場合、２６個の特性について、対応するｄは、２６＊６＝１５６次元を有する。

実験で得られるｓの２つのタイプがあり、ここで、一方のタイプは視覚的マッチングスコア（アピアランススコア）に属し、他方のタイプは変形マッチングスコア（変形スコア）に属すると仮定される。

ｓが視覚マッチングスコアのものであり、ｓが０．２のスコアを得るときであって、特性１に対応する混合型が２である場合、特性１の得られる７次元ベクトルは［０ ０．２ ０ ０ ０ ０ ０］である。

ｓが変形マッチングスコアのものであるときであって、特性１に対応する混合型が２であり、ｓが０．４のスコアを得る場合、特性１の得られる７次元ベクトルは［０ ０．４ ０ ０ ０ ０ ０］である。

さらに、特性１に対応する混合型が２である場合、それに対応して、ｓ（視覚マッチングスコア）の得られる７次元ベクトルは［０ ０．２ ０ ０ ０ ０ ０］であり、また、それに対応して、ｔの得られる７次元ベクトルは［０ １ ０ ０ ０ ０ ０］である。

このようにして、計算のためにコンピュータに入力されるデータは、（１８２＋１８２＋１８２＋１５６）次元データ、すなわち７０２次元データを含む。第１の行列変換が実施された後、ｓの第１の部分行列ベクトルは１４０次元データに対応し、ｄの第１の部分行列ベクトルは３０次元データに対応し、ｔの第１の部分行列ベクトルは３０次元データに対応する。第２の行列変換が実施された後、ｓの第２の部分行列ベクトルは１２０次元データに対応し、ｄの第２の部分行列ベクトルは１５次元データに対応し、ｔの第２の部分行列ベクトルは１５次元データに対応する。次いで、畳み込みネットワーク計算方法を使用して、１００次元データに対応する第２の行列ベクトルが得られる。

行列変換の量が増加するにつれて、計算のためのデータ量は低減されることが分かり得る。このことは、計算の複雑さを変えるだけでなく、計算の精度を効果的に改善することもでき、それにより推定結果の精度を改善することができる。

図２に示されるように、図２は、本発明の実施形態による画像特性推定デバイスの概略構造図である。このデバイスは、抽出モジュール２１と、第１の行列ベクトル計算モジュール２２と、第２の行列ベクトル計算モジュール２３と、推定モジュール２４とを備える。

抽出モジュール２１は、入力画像データの少なくとも２つの固有値を抽出するように構成され、ここで、固有値は、各特性と対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む。

第１の行列ベクトル計算モジュール２２は、抽出された固有値に対する実行が完了するまで、抽出モジュール２１によって抽出された各固有値について、以下の動作を実行するように構成される。すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得る。

第２の行列ベクトル計算モジュール２３は、抽出された各固有値に対応する、第１の行列ベクトル計算モジュール２２によって計算を用いて得られる第１の行列ベクトルが得られたときに、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るように構成される。

推定モジュール２４は、第２の行列ベクトル計算モジュール２３による計算を用いて得られた第２の行列ベクトルに従って、推定を用いて画像データ中の画像特性のステータスを得るように構成される。

特に、第１の行列ベクトル計算モジュール２２は、
固有値を選択し、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得ること、
事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得ること、および、
類推によって、事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得ることであって、Ｎは自然数であること
を行うように、特に構成される。

第１の行列ベクトル計算モジュール２２は、以下のようにして、固有値に対応する第１の部分行列ベクトルを得るように特に構成され、
ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
上式で、
ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、ｉ番目の固有値の転置行列であり、Ｗ^1,iは、行列パラメータ中のｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、ｉ番目の固有値に対する第１のオフセットである。

第１の行列ベクトル計算モジュール２２は、以下のようにして、固有値に対応する第２の部分行列ベクトルを得るように特に構成され、
ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
上式で、
ｈ^2,iは、抽出されたｉ番目の固有値に対応する第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、ｉ番目の固有値の第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、行列パラメータ中のｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、ｉ番目の固有値に対する第２のオフセットである。

第２の行列ベクトル計算モジュール２３は、以下のようにして、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るように特に構成され、
ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
上式で、
ｈⁿ⁺¹は、抽出された少なくとも２つの固有値に対しており、かつ畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数であり、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットである。

本発明の別の実施形態では、画像データ中の画像特性のステータスは、画像データ中の画像特性の位置情報を含み、推定モジュール２４は、以下のようにして、推定を用いて画像データ中の画像特性のステータスを得るように特に構成され、

上式で、

は、推定を用いて得られる、画像データ中の画像特性のステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、

は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tである。

本発明の別の実施形態では、デバイスは、信頼性計算モジュール２５をさらに備え、
信頼性計算モジュール２５は、第２の行列ベクトル計算モジュールによって計算を用いて得られた第２の行列ベクトルに従って、得られた推定されたステータスの信頼性を決定するように構成される。

特に、信頼性計算モジュールは、以下のようにして、得られた推定されたステータスの信頼性を決定するように特に構成され、

上式で、

は、得られた推定されたステータスの決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットである。

本発明のこの実施形態で提供されるデバイスは、ハードウェアを使用して実装されてよく、またはソフトウェア方式で実装されてよく、これは本明細書では限定されないことに留意されたい。

図３に示されるように、図３は、本発明の実施形態３による画像特性推定デバイスの概略構造図である。このデバイスは、前述の実施形態を実行する機能を有する。このデバイスは、一般的なコンピュータシステムの構造を使用することがあり、コンピュータシステムは特に、プロセッサベースのコンピュータであってよい。このデバイスのエンティティは、少なくとも１つのプロセッサ３１と、通信バス３２と、メモリ３３と、少なくとも１つの通信インタフェース３４とを備える。

プロセッサ３１は、本発明の解決法のプログラム実行を制御するように構成された、一般的な中央処理装置（ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、または、１もしくは複数の集積回路であってよい。

通信バス３２はチャネルを備えてよく、このチャネルを介して、前述のコンポーネント間で情報が転送される。通信インタフェース３４は、送受信機タイプの任意の装置を使用して、別のデバイス、またはイーサネット、無線アクセスネットワーク（ＲＡＮ）、もしくはワイヤレスローカルエリアネットワーク（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ、ＷＬＡＮ）などの通信ネットワークと通信する。

コンピュータシステムは、１または複数のメモリ３３を備え、メモリ３３は、静的な情報および命令を記憶できる、読取専用メモリ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）または別のタイプの静的ストレージデバイス、情報および命令を記憶できる、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）または別のタイプの動的ストレージデバイスであってよいし、命令またはディジタル構造の形であってコンピュータによってアクセスできる予期されるプログラムコードを保持または記憶するのに使用できる、電気的に消去可能プログラム可能な読取専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭ）、コンパクトディスク読取専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、他のコンパクトディスクストレージ、光ディスク（コンパクトディスク、レーザディスク、光ディスク、ディジタル多用途ディスク、およびブルーレイディスクなどを含む）ストレージ、ならびに、ディスクストレージ媒体、別のディスクストレージデバイス、または他の任意の媒体であってもよい。しかし、これは本明細書では限定されない。これらのメモリは、バスを使用してプロセッサに接続する。

メモリ３３は、本発明の解決法を実行するアプリケーションプログラムコードを記憶するように構成され、ここで、本発明の解決法を実行するアプリケーションプログラムコードは、メモリに保存され、その実行はプロセッサによって制御される。プロセッサ３１は、メモリ３３に記憶されたアプリケーションプログラムコードを実行するように構成される。

可能な実装方式では、前述のアプリケーションプログラムコードがプロセッサ３１によって実行されるとき、プロセッサ３１は以下の機能を実装するように構成される。すなわち、
入力画像データの少なくとも２つの固有値を抽出する機能であって、固有値は、各特性と対応するテンプレート特性との間のマッチングの程度と、画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む、機能と、
抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、
固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を固有値に対して実施して、固有値に対応する第１の行列ベクトルを得ることを実行する機能と、
抽出された各固有値に対応する第１の行列ベクトルが得られたときに、各固有値に対応する得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得る機能と、
第２の行列ベクトルに従って推定を用いて画像データ中の画像特性のステータスを得る機能と
である。

本発明の別の実施形態では、プロセッサ３１は、
固有値を選択し、事前取得済みの行列パラメータを使用して第１の行列変換を固有値に対して実施して、固有値に対応する第１の部分行列ベクトルを得ること、
事前取得済みの行列パラメータを使用して第２の行列変換を第１の部分行列ベクトルに対して実施して、固有値に対応する第２の部分行列ベクトルを得ること、および、
類推によって、事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、固有値に対応する第１の行列ベクトルを得ることであり、Ｎは自然数であること
を特に実行する。

本発明の別の実施形態では、プロセッサ３１は、
以下のようにして、固有値に対応する第１の部分行列ベクトルを得ることを特に実行し、
ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
上式で、
ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、ｉ番目の固有値の転置行列であり、Ｗ^1,iは、行列パラメータ中のｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、ｉ番目の固有値に対する第１のオフセットである。

本発明の別の実施形態では、プロセッサ３１は、
以下のようにして、固有値に対応する第２の部分行列ベクトルを得ることを特に実行し、
ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
上式で、
ｈ^2,iは、抽出されたｉ番目の固有値に対応する第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、ｉ番目の固有値の第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、行列パラメータ中のｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、ｉ番目の固有値に対する第２のオフセットである。

本発明の別の実施形態では、プロセッサ３１は、
以下のようにして、畳み込みネットワーク計算方法を使用して、抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得ることを特に実行し、
ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
上式で、
ｈⁿ⁺¹は、抽出された少なくとも２つの固有値に対する、畳み込みネットワーク計算方法を使用して得られる第２の行列ベクトルであり、ａは活性化関数である。ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットである。

本発明の別の実施形態では、画像データ中の画像特性のステータスは、画像データ中の画像特性の位置情報を含み、プロセッサ３１は、
以下のようにして、推定を用いて画像データ中の画像特性のステータスを得ることを特に実行し、

上式で、

は、推定を用いて得られる、画像データ中の画像特性のステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、

は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tである。

本発明の別の実施形態では、プロセッサ３１は、
第２の行列ベクトルに従って、得られた推定されたステータスの信頼性を決定することを実行するように、さらに構成される。

本発明の別の実施形態では、プロセッサ３１は、
以下のようにして、得られた推定されたステータスの信頼性を決定することを特に実行し、

上式で、

は、得られた推定されたステータスの決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットである。

この実施形態では、アプリケーションプログラムコードがプロセッサによって実行されるときの、展開デバイスの処理、およびデバイスと別のネットワーク要素との間の対話の方法については、前述の方法実施形態を参照されたい。詳細については本明細書では記述されない。

この実施形態で提供されるデバイスは、画像特性に対して推定が実施されるときに推定精度が低いという従来技術に存在する問題を解決し得る。

本発明の実施形態が、方法、装置（デバイス）、またはコンピュータプログラム製品として提供され得ることを、当業者は理解されたい。したがって、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアの組合せによる実施形態の形を使用し得る。さらに、本発明は、１または複数のコンピュータ使用可能ストレージ媒体（限定されないがディスクメモリ、ＣＤ−ＲＯＭ、光学メモリなどを含む）上で実装されるコンピュータプログラム製品の形を使用することもあり得る。

本発明は、本発明の実施形態による方法、装置（デバイス）、およびコンピュータプログラム製品の、フローチャートおよび／またはブロック図に関して記述される。コンピュータプログラム命令は、フローチャート中および／またはブロック図中の各プロセスおよび／または各ブロック、ならびにフローチャート中および／またはブロック図中のプロセスおよび／またはブロックの組合せを実装するために使用され得ることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組込みプロセッサ、または他の任意のプログラム可能データ処理デバイスのプロセッサに提供して、機械を生成することができ、したがって、コンピュータ、または他の任意のプログラム可能データ処理デバイスのプロセッサによって実行される命令は、フローチャート中の１もしくは複数のプロセス中の特定の機能を実装するための装置、および／または、ブロック図中の１もしくは複数のブロック中の特定の機能を実装するための装置を生成する。

これらのコンピュータプログラム命令はまた、コンピュータまたは他の任意のプログラム可能データ処理デバイスに、特定の方式で動作するよう指令することができるコンピュータ可読メモリに記憶されてもよく、したがって、コンピュータ可読メモリに記憶された命令は、命令装置を含む人工物を生成する。命令装置は、フローチャート中の１もしくは複数のプロセス中の特定の機能、および／または、ブロック図中の１もしくは複数のブロック中の特定の機能を実装する。

これらのコンピュータプログラム命令はまた、コンピュータまたは別のプログラム可能データ処理デバイスにロードされてもよく、したがって、コンピュータまたは別のプログラム可能デバイス上で一連の動作およびステップが実行されて、それによりコンピュータ実装処理が生成される。したがって、コンピュータまたは別のプログラム可能デバイス上で実行される命令は、フローチャート中の１もしくは複数のプロセス中の特定の機能を実装するためのステップ、および／または、ブロック図中の１もしくは複数のブロック中の特定の機能を実装するためのステップを提供する。

本発明のいくつかの好ましい実施形態について記述されたが、当業者は、基本的な発明概念をいったん知れば、これらの実施形態に変更および修正を加えることができる。したがって、後記特許請求の範囲は、これらの例示的な実施形態と、本発明の範囲内に入るすべての変更および修正とをカバーするように理解されることが意図される。

明らかに、当業者は、本発明の趣旨および範囲を逸脱することなく本発明に様々な修正および変形を加えることができる。本発明は、後記特許請求の範囲およびそれらの等価な技術によって定義される保護範囲内にこれらの修正および変形が入るという条件で、これらの修正および変形をカバーすることが意図される。

Claims (16)

1. 入力画像データの少なくとも２つの固有値を抽出するステップであって、前記固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、前記画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む、ステップと、
   前記抽出された固有値に対する実行が完了するまで、抽出された各固有値について、以下の動作、すなわち、
   固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を前記固有値に対して実施して、前記固有値に対応する第１の行列ベクトルを得るステップと、
   抽出された各固有値に対応する第１の行列ベクトルが得られたときに、各固有値に対応する前記得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、前記抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るステップと、
   前記第２の行列ベクトルに従って推定を用いて前記画像データ中の画像特性のステータスを得るステップと
   を含むことを特徴とする画像特性推定方法。
2. 固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を前記固有値に対して実施して、前記固有値に対応する第１の行列ベクトルを得る前記ステップは、
   固有値を選択し、前記事前取得済みの行列パラメータを使用して第１の行列変換を前記固有値に対して実施して、前記固有値に対応する第１の部分行列ベクトルを得るステップと、
   前記事前取得済みの行列パラメータを使用して第２の行列変換を前記第１の部分行列ベクトルに対して実施して、前記固有値に対応する第２の部分行列ベクトルを得るステップと、
   類推によって、前記事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、前記固有値に対応する前記第１の行列ベクトルを得るステップであって、Ｎは自然数である、ステップと
   を含むことを特徴とする請求項１に記載の方法。
3. 前記事前取得済みの行列パラメータを使用して第１の行列変換を前記固有値に対して実施して、前記固有値に対応する第１の部分行列ベクトルを得る前記ステップは、
   以下のようにして、前記固有値に対応する前記第１の部分行列ベクトルを得るステップを含み、
   ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
   上式で、
   ｈ^1,iは、抽出されたｉ番目の固有値に対応する前記第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、前記ｉ番目の固有値の転置行列であり、Ｗ^1,iは、前記行列パラメータ中の前記ｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、前記ｉ番目の固有値に対する第１のオフセットであることを特徴とする請求項２に記載の方法。
4. 前記事前取得済みの行列パラメータを使用して第２の行列変換を前記第１の部分行列ベクトルに対して実施して、前記固有値に対応する第２の部分行列ベクトルを得る前記ステップは、
   以下のようにして、前記固有値に対応する前記第２の部分行列ベクトルを得るステップを含み、
   ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
   上式で、
   ｈ^2,iは、抽出されたｉ番目の固有値に対応する前記第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、前記ｉ番目の固有値の前記第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、前記行列パラメータ中の前記ｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、前記ｉ番目の固有値に対する第２のオフセットであることを特徴とする請求項３に記載の方法。
5. 各固有値に対応する前記得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、前記抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得る前記ステップは、
   以下のようにして、前記畳み込みネットワーク計算方法を使用して、前記抽出された少なくとも２つの固有値に対する前記第２の行列ベクトルを得るステップを含み、
   ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
   上式で、
   ｈⁿ⁺¹は、前記抽出された少なくとも２つの固有値に対しており、かつ前記畳み込みネットワーク計算方法を使用して得られる前記第２の行列ベクトルであり、ａは活性化関数であり、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、前記行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットであることを特徴とする請求項１乃至４のいずれか一項に記載の方法。
6. 前記画像データ中の前記画像特性のステータスは、前記画像データ中の前記画像特性の位置情報を含み、
   前記第２の行列ベクトルに従って推定を用いて前記画像データ中の画像特性のステータスを得る前記ステップは、
   以下のようにして、推定を用いて前記画像データ中の前記画像特性の前記ステータスを得るステップを含み、
   

   

   上式で、
   

   

   は、推定を用いて得られる、前記画像データ中の前記画像特性の前記ステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、
   

   

   は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであることを特徴とする請求項１乃至５のいずれか一項に記載の方法。
7. 前記第２の行列ベクトルに従って、前記得られた推定されたステータスの信頼性を決定するステップをさらに含むことを特徴とする請求項１乃至６のいずれか一項に記載の方法。
8. 前記第２の行列ベクトルに従って、前記得られた推定されたステータスの信頼性を決定する前記ステップは、
   以下のようにして、前記得られた推定されたステータスの前記信頼性を決定するステップを含み、
   

   

   上式で、
   

   

   は、前記得られた推定されたステータスの前記決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットであることを特徴とする請求項７に記載の方法。
9. 入力画像データの少なくとも２つの固有値を抽出するように構成された抽出モジュールであって、前記固有値は、各特性と、対応するテンプレート特性との間のマッチングの程度と、前記画像データ中の任意の２つの特性が同時に同じ位置に現れる確率の値と、関連関係を有する２つの特性間の距離の変化のスコアの値とを少なくとも含む、抽出モジュールと、
   前記抽出された固有値に対する実行が完了するまで、前記抽出モジュールによって抽出された各固有値について、以下の動作、すなわち、固有値を選択し、事前取得済みの行列パラメータを使用して少なくとも２つの行列変換を前記固有値に対して実施して、前記固有値に対応する第１の行列ベクトルを得るように構成された第１の行列ベクトル計算モジュールと、
   抽出された各固有値に対応し、かつ前記第１の行列ベクトル計算モジュールによって計算を用いて得られる前記第１の行列ベクトルが得られたときに、各固有値に対応する前記得られた第１の行列ベクトルに従って、畳み込みネットワーク計算方法を使用して、前記抽出された少なくとも２つの固有値に対する第２の行列ベクトルを得るように構成された第２の行列ベクトル計算モジュールと、
   前記第２の行列ベクトル計算モジュールによって計算を用いて得られた前記第２の行列ベクトルに従って推定を用いて前記画像データ中の画像特性のステータスを得るように構成された推定モジュールと
   を備えることを特徴とする画像特性推定デバイス。
10. 第１の行列ベクトル計算モジュールは、
    固有値を選択し、前記事前取得済みの行列パラメータを使用して第１の行列変換を前記固有値に対して実施して、前記固有値に対応する第１の部分行列ベクトルを得ること、
    前記事前取得済みの行列パラメータを使用して第２の行列変換を前記第１の部分行列ベクトルに対して実施して、前記固有値に対応する第２の部分行列ベクトルを得ること、および、
    類推によって、前記事前取得済みの行列パラメータを使用してＮ番目の行列変換を（Ｎ−１）番目の部分行列ベクトルに対して実施して、前記固有値に対応する前記第１の行列ベクトルを得ることであり、Ｎは自然数であること
    を行うように特に構成されたことを特徴とする請求項９に記載のデバイス。
11. 前記第１の行列ベクトル計算モジュールは、以下のようにして、前記固有値に対応する前記第１の部分行列ベクトルを得るように特に構成され、
    ｈ^1,i＝ａ（ｉ^T＊Ｗ^1,i＋ｂ^1,i）
    上式で、
    ｈ^1,iは、抽出されたｉ番目の固有値に対応する第１の部分行列ベクトルを表し、ａは活性化関数であり、ｉ^Tは、前記ｉ番目の固有値の転置行列であり、Ｗ^1,iは、前記行列パラメータ中の前記ｉ番目の固有値に対する第１の行列であり、ｂ^1,iは、前記ｉ番目の固有値に対する第１のオフセットであることを特徴とする請求項１０に記載のデバイス。
12. 前記第１の行列ベクトル計算モジュールは、以下のようにして、前記固有値に対応する前記第２の部分行列ベクトルを得るように特に構成され、
    ｈ^2,i＝ａ（（ｈ^1,i）^T＊Ｗ^2,i＋（ｂ^2,i）^T）
    上式で、
    ｈ^2,iは、前記抽出されたｉ番目の固有値に対応する前記第２の部分行列ベクトルを表し、ａは活性化関数であり、（ｈ^1,i）^Tは、前記ｉ番目の固有値の前記第１の部分行列ベクトルの転置行列であり、Ｗ^2,iは、前記行列パラメータ中の前記ｉ番目の固有値に対する第２の行列であり、（ｂ^2,i）^Tは、前記ｉ番目の固有値に対する第２のオフセットであることを特徴とする請求項１１に記載のデバイス。
13. 前記第２の行列ベクトル計算モジュールは、以下のようにして、前記畳み込みネットワーク計算方法を使用して、前記抽出された少なくとも２つの固有値に対する前記第２の行列ベクトルを得るように特に構成され、
    ｈⁿ⁺¹＝ａ（（ｈⁿ）^T＊Ｗⁿ⁺¹＋ｂⁿ⁺¹）
    上式で、
    ｈⁿ⁺¹は、前記抽出された少なくとも２つの固有値に対しており、前記畳み込みネットワーク計算方法を使用して得られる前記第２の行列ベクトルであり、ａは活性化関数であり、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであり、ｈ^n,nは、ｎ番目の固有値のものであってｎ番目の行列変換が実施される第１の行列ベクトルであり、Ｗⁿ⁺¹は、前記行列パラメータ中の（ｎ＋１）番目の行列であり、ｂⁿ⁺¹は、（ｎ＋１）番目のオフセットであることを特徴とする請求項９乃至１２のいずれか一項に記載のデバイス。
14. 前記画像データ中の前記画像特性の前記ステータスは、前記画像データ中の前記画像特性の位置情報を含み、
    前記推定モジュールは、以下のようにして、推定を用いて前記画像データ中の前記画像特性の前記ステータスを得るように特に構成され、
    

    

    上式で、
    

    

    は、推定を用いて得られる、前記画像データ中の前記画像特性の前記ステータスであり、Ｗ^pstは、理論上の行列パラメータであり、ｂ^pstは、理論上のオフセットであり、
    

    

    は、ｈⁿに従って得られ、ｈⁿ＝［ｈ^n,1，ｈ^n,2，．．．，ｈ^n,i，．．．，ｈ^n,n］^Tであることを特徴とする請求項９乃至１３のいずれか一項に記載のデバイス。
15. 前記第２の行列ベクトル計算モジュールによって計算を用いて得られた前記第２の行列ベクトルに従って、前記得られた推定されたステータスの信頼性を決定するように構成された信頼性計算モジュールをさらに備えることを特徴とする請求項９乃至１４のいずれか一項に記載のデバイス。
16. 前記信頼性計算モジュールは、以下のようにして、前記得られた推定されたステータスの前記信頼性を決定するように特に構成され、
    

    

    上式で、
    

    

    は、前記得られた推定されたステータスの前記決定された信頼性であり、σは関数であり、σ（ｘ）＝（１＋ｅｘｐ（−ｘ））^-1であり、Ｗ^clsは、理論上の行列パラメータであり、ｂ^clsは、理論上のオフセットであることを特徴とする請求項１５に記載のデバイス。

Images