JP2008097607A - 入力イメージを自動的に分類する方法 - Google Patents
入力イメージを自動的に分類する方法 Download PDFInfo
- Publication number
- JP2008097607A JP2008097607A JP2007262997A JP2007262997A JP2008097607A JP 2008097607 A JP2008097607 A JP 2008097607A JP 2007262997 A JP2007262997 A JP 2007262997A JP 2007262997 A JP2007262997 A JP 2007262997A JP 2008097607 A JP2008097607 A JP 2008097607A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vector
- input image
- classifier
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】イメージの分類を自動的に行うための方法および装置。
【解決手段】入力イメージを自動的に分類化するこの方法は、入力イメージの特徴を抽出
するステップおよび入力イメージを表している特徴ベクトルを生成するステップを含む。
特徴ベクトルは複数の異なる分類器を用いてプロセスされ、その複数の異なる分類器の組
み合わせ出力に基づいて入力イメージを分類する。
【選択図】図２
【解決手段】入力イメージを自動的に分類化するこの方法は、入力イメージの特徴を抽出
するステップおよび入力イメージを表している特徴ベクトルを生成するステップを含む。
特徴ベクトルは複数の異なる分類器を用いてプロセスされ、その複数の異なる分類器の組
み合わせ出力に基づいて入力イメージを分類する。
【選択図】図２
Description
本発明はイメージ処理に関し、より具体的にはイメージを自動的に分類するための方法
、装置およびそのためのコンピュータプログラムを実装したコンピュータ可読媒体に関す
る発明である。
、装置およびそのためのコンピュータプログラムを実装したコンピュータ可読媒体に関す
る発明である。
大型の媒体管理システムにおいては、格納されているイメージを効率よく且つ有効に取
り出せるように、大まかなセマンティックの類似性を有するイメージを分類するのが望ま
しい。イメージを手作業で分類するのは時間がかかり現実的でない。特に、多数のイメー
ジを分類している際にはそうである。そのためにイメージを自動的に分類する技術が望ま
れる。
り出せるように、大まかなセマンティックの類似性を有するイメージを分類するのが望ま
しい。イメージを手作業で分類するのは時間がかかり現実的でない。特に、多数のイメー
ジを分類している際にはそうである。そのためにイメージを自動的に分類する技術が望ま
れる。
イメージを自動的に分類するための技術が考慮されてきている。例えば、Normile et a
lに付与された米国特許第５８７２８６５号明細書はイメージおよびビデオシーケンスを
自動的に分類するためのシステムを公開している。このシステムは、あるカテゴリーを定
義する固有値および固有ベクトルを決めるために初期カテゴリー集合を使った分類アプリ
ケーションを実行する。次に、イメージの属性、画素ドメインでの直交分解、およびニュ
ーラルネットベースの分類を用いる直交分解のうちの一つを使って入力ビデオシーケンス
の分類が行われる。平均のビンカラーヒストグラム、輝度（intensity）に対する平均の
ルミナンス、平均の動きベクトルおよびテキスチャーパラメータに基づく基本属性（prim
itive attributes）の集合がビデオシーケンスのフレーム毎に生成される。ビデオシーケ
ンスのフレームは、固定ベクトルによって定義された標準空間（canonical space）に変
換されて、カテゴリーを定義する固定値および固定ベクトルを基本属性と比較できるよう
になり、それによってフレームの分類が可能になる。
lに付与された米国特許第５８７２８６５号明細書はイメージおよびビデオシーケンスを
自動的に分類するためのシステムを公開している。このシステムは、あるカテゴリーを定
義する固有値および固有ベクトルを決めるために初期カテゴリー集合を使った分類アプリ
ケーションを実行する。次に、イメージの属性、画素ドメインでの直交分解、およびニュ
ーラルネットベースの分類を用いる直交分解のうちの一つを使って入力ビデオシーケンス
の分類が行われる。平均のビンカラーヒストグラム、輝度（intensity）に対する平均の
ルミナンス、平均の動きベクトルおよびテキスチャーパラメータに基づく基本属性（prim
itive attributes）の集合がビデオシーケンスのフレーム毎に生成される。ビデオシーケ
ンスのフレームは、固定ベクトルによって定義された標準空間（canonical space）に変
換されて、カテゴリーを定義する固定値および固定ベクトルを基本属性と比較できるよう
になり、それによってフレームの分類が可能になる。
Kimmelに付与された米国特許第６０３１９３５号明細書は、変形可能な輪郭（deformab
le contours）を用いてイメージをセグメント化するための方法および装置を開示してい
る。セグメント化の対象となるターゲットオブジェクト（例えば、ボーダー）に関する事
前情報（a priori information）が入力される。ターゲットオブジェクトを訓練用イメー
ジ（training images）でトレースすることによって手作業でセグメント化して装置を訓
練する。次に検索イメージを選択し、最も近い近傍の訓練用イメージを選択する。検索輪
郭を形成するために訓練用イメージにおいてトレースした輪郭が次に検索イメージに転送
される。事前情報および訓練情報に基づいて高度に類似していると考えられるターゲット
オブジェクトの領域にくっ付くように検索輪郭の形が変わる。そうして検索輪郭の最終の
セグメント化が完了する。
le contours）を用いてイメージをセグメント化するための方法および装置を開示してい
る。セグメント化の対象となるターゲットオブジェクト（例えば、ボーダー）に関する事
前情報（a priori information）が入力される。ターゲットオブジェクトを訓練用イメー
ジ（training images）でトレースすることによって手作業でセグメント化して装置を訓
練する。次に検索イメージを選択し、最も近い近傍の訓練用イメージを選択する。検索輪
郭を形成するために訓練用イメージにおいてトレースした輪郭が次に検索イメージに転送
される。事前情報および訓練情報に基づいて高度に類似していると考えられるターゲット
オブジェクトの領域にくっ付くように検索輪郭の形が変わる。そうして検索輪郭の最終の
セグメント化が完了する。
Burmanに付与された米国特許第６０７５８９１号明細書は、ハイパースペクトル画像を
利用するためのリテラルでないパターン認識の方法およびシステムを開示している。空間
でないスペクトル情報および電磁気スペクトルバンドデータを含むオブジェクトのオプテ
ィカル特性を定義するイメージの集合を生成するためにオブジェクトをスキャンする。次
に、イメージ集合の中の単一の画素からスペクトルシグネチャが抽出される。そして、感
知したデータに関するカテゴリーを識別するためにスペクトルシグネチャがフィルタされ
、正規化され、マテリアル分類システム（material categorization system）に送られる
。入力スペクトルシグネチャをなす構成マテリアルの量を検出および推定するために制約
付きのミキシング方程式を解く遺伝的アルゴリズム（genetic algorithm）を採用する。
利用するためのリテラルでないパターン認識の方法およびシステムを開示している。空間
でないスペクトル情報および電磁気スペクトルバンドデータを含むオブジェクトのオプテ
ィカル特性を定義するイメージの集合を生成するためにオブジェクトをスキャンする。次
に、イメージ集合の中の単一の画素からスペクトルシグネチャが抽出される。そして、感
知したデータに関するカテゴリーを識別するためにスペクトルシグネチャがフィルタされ
、正規化され、マテリアル分類システム（material categorization system）に送られる
。入力スペクトルシグネチャをなす構成マテリアルの量を検出および推定するために制約
付きのミキシング方程式を解く遺伝的アルゴリズム（genetic algorithm）を採用する。
Krumm et al.に付与された米国特許第６４７７２７２号明細書は、検索イメージの中の
モデル化したオブジェクトの場所を識別するためのシステムおよびプロセスを開示してい
る。検索イメージの中で場所を識別しようとしているオブジェクトのモデルイメージがキ
ャプチャされる。一連の画素カラー範囲の同じ組み合わせ内に入るカラーを示すとともに
同じ一連の距離範囲内に入る距離で分離された全ての画素対の数を生成することによって
各モデルイメージを計算する。次に、モデルイメージ毎に同時発生ヒストグラム（co-occ
urrence histogram）が計算される。検索イメージのオーバーラップする部分から一連の
検索ウィンドウが生成される。モデルイメージ用に確立された画素のカラー範囲および距
離範囲を用いて検索ウィンドウ毎に同時発生ヒストグラムも計算される。類似性を評価（
assess）するために各モデルイメージと各検索ウィンドウとの間の比較が行われる。そし
て、モデルイメージおよび検索イメージウィンドウからのそれぞれの同時発生ヒストグラ
ムが類似性値を生み出すために比較される。類似性値がしきい値を超えていれば、オブジ
ェクトは検索ウィンドウ内にあると考える。
モデル化したオブジェクトの場所を識別するためのシステムおよびプロセスを開示してい
る。検索イメージの中で場所を識別しようとしているオブジェクトのモデルイメージがキ
ャプチャされる。一連の画素カラー範囲の同じ組み合わせ内に入るカラーを示すとともに
同じ一連の距離範囲内に入る距離で分離された全ての画素対の数を生成することによって
各モデルイメージを計算する。次に、モデルイメージ毎に同時発生ヒストグラム（co-occ
urrence histogram）が計算される。検索イメージのオーバーラップする部分から一連の
検索ウィンドウが生成される。モデルイメージ用に確立された画素のカラー範囲および距
離範囲を用いて検索ウィンドウ毎に同時発生ヒストグラムも計算される。類似性を評価（
assess）するために各モデルイメージと各検索ウィンドウとの間の比較が行われる。そし
て、モデルイメージおよび検索イメージウィンドウからのそれぞれの同時発生ヒストグラ
ムが類似性値を生み出すために比較される。類似性値がしきい値を超えていれば、オブジ
ェクトは検索ウィンドウ内にあると考える。
Krummに付与された米国特許第６６１１６２２号明細書は、シーンのイメージの中に描
かれた人物およびオブジェクトを識別するオブジェクト認識システムおよびプロセスを開
示している。イメージの中で識別の対象となる人物およびオブジェクトのモデルヒストグ
ラムが作られる。識別している人物およびオブジェクトに一致しそうな領域を抽出するた
めにイメージがセグメント化される。抽出した領域毎にヒストグラムを計算し、抽出した
各領域のヒストグラムとモデルヒストグラムそれぞれとの間の類似性の程度を評価する。
モデルヒストグラムのうちの一つとの類似性の程度を示す、つまり規定のしきい値を超え
るヒストグラムをもつ抽出領域がモデルヒストグラムと対応付いている人物またはオブジ
ェクトに一致するとして指定される。
かれた人物およびオブジェクトを識別するオブジェクト認識システムおよびプロセスを開
示している。イメージの中で識別の対象となる人物およびオブジェクトのモデルヒストグ
ラムが作られる。識別している人物およびオブジェクトに一致しそうな領域を抽出するた
めにイメージがセグメント化される。抽出した領域毎にヒストグラムを計算し、抽出した
各領域のヒストグラムとモデルヒストグラムそれぞれとの間の類似性の程度を評価する。
モデルヒストグラムのうちの一つとの類似性の程度を示す、つまり規定のしきい値を超え
るヒストグラムをもつ抽出領域がモデルヒストグラムと対応付いている人物またはオブジ
ェクトに一致するとして指定される。
Minamiに付与された米国特許第６６６８０８４号明細書は、ターゲットオブジェクトの
形状およびルミナンス分布を識別する検索モデルを作るイメージ認識方法を開示している
。オブジェクトの相関性を示すフィット具合（goodness-of-fit）を検索モデルのそれぞ
れ毎に計算し、計算したフィット具合に基づいて検索モデルが並べ替えられる。オブジェ
クトの形状をポリゴンとしてモデル化し、ルミナンス値をポリゴンの内側境界と考える。
形状およびルミナンス分布を識別する検索モデルを作るイメージ認識方法を開示している
。オブジェクトの相関性を示すフィット具合（goodness-of-fit）を検索モデルのそれぞ
れ毎に計算し、計算したフィット具合に基づいて検索モデルが並べ替えられる。オブジェ
クトの形状をポリゴンとしてモデル化し、ルミナンス値をポリゴンの内側境界と考える。
Andersonの米国特許出願公開第２００１／００１２０６２号明細書は、イメージを分析
および分類するためのシステムおよび方法を開示している。分析モジュールは選択した判
定基準に対してキャプチャしたイメージファイルを審査して、望ましいカテゴリーのイメ
ージを自動的にアクセスできるようにしかるべきカテゴリータグを生成してそれらをイメ
ージと一緒に格納する。カテゴリータグを生成するために一つの分析モジュールは、赤、
緑、青（ＲＧＢ）の遷移点でのイメージの最後のラインを分析する。もう一つの分析モジ
ュールがイメージデータをＹＣＣフォーマットに変換するためにガンマ補正およびカラー
空間変換を行ってから、カテゴリータグを生成するためにイメージデータの最後のライン
をＹＹＣ遷移点で分析する。
および分類するためのシステムおよび方法を開示している。分析モジュールは選択した判
定基準に対してキャプチャしたイメージファイルを審査して、望ましいカテゴリーのイメ
ージを自動的にアクセスできるようにしかるべきカテゴリータグを生成してそれらをイメ
ージと一緒に格納する。カテゴリータグを生成するために一つの分析モジュールは、赤、
緑、青（ＲＧＢ）の遷移点でのイメージの最後のラインを分析する。もう一つの分析モジ
ュールがイメージデータをＹＣＣフォーマットに変換するためにガンマ補正およびカラー
空間変換を行ってから、カテゴリータグを生成するためにイメージデータの最後のライン
をＹＹＣ遷移点で分析する。
Luo et al.の米国特許出願公開第２００３／００５３６８６号明細書は、カラーイメー
ジの中の内容領域（subject matter region）を検出するための方法を開示している。イ
メージの中の各画素にはカラーおよびテクスチャに基づいて内容領域に属するとして確信
値（belief value）が指定される。確信値のしきい値化によって空間的に連続した候補の
内容領域が形成される。そして、領域が望ましい内容に属する確率を判定するためにこの
形成された空間に連続した内容領域が分析される。検出した内容領域および対応付けられ
た確率のマップが生成される。
ジの中の内容領域（subject matter region）を検出するための方法を開示している。イ
メージの中の各画素にはカラーおよびテクスチャに基づいて内容領域に属するとして確信
値（belief value）が指定される。確信値のしきい値化によって空間的に連続した候補の
内容領域が形成される。そして、領域が望ましい内容に属する確率を判定するためにこの
形成された空間に連続した内容領域が分析される。検出した内容領域および対応付けられ
た確率のマップが生成される。
Luo et al.の米国特許出願公開第２００２／０１３１６４１号明細書は、イメージの類
似性を決めるためのシステムおよび方法を開示している。対象となるイメージの主体（ma
in subject）またはバックグラウンドの知覚的に有意義な特徴を決定する。こうした特徴
にはカラーテクスチャおよび／または形状が含まれる。主体は連続して値をつけられた確
信マップ（belief map）で示される。次に、対象となるイメージが格納されているイメー
ジのどれかに類似しているかどうか決定するために、決定された知覚的に有意義な特徴を
データベースに格納されたイメージの知覚的に有意義な特徴と比較される。
似性を決めるためのシステムおよび方法を開示している。対象となるイメージの主体（ma
in subject）またはバックグラウンドの知覚的に有意義な特徴を決定する。こうした特徴
にはカラーテクスチャおよび／または形状が含まれる。主体は連続して値をつけられた確
信マップ（belief map）で示される。次に、対象となるイメージが格納されているイメー
ジのどれかに類似しているかどうか決定するために、決定された知覚的に有意義な特徴を
データベースに格納されたイメージの知覚的に有意義な特徴と比較される。
Deng et al.の米国特許出願公開第２００２／０１８３９８４号明細書は、デジタルイ
メージを分類するためのシステム並びに方法を開示している。各イメージを、シーケンシ
ャルに進行して一連の分類タスクにかけることで、キャプチャしたイメージを選択された
クラスに基づいて分類する。分類タスクは、イメージをクラスを指定するべきかどうか決
めるためのアルゴリズムを要するノードである。イメージ内で、ある特定のクラスを識別
できるかどうかを決めるためにノード毎にコントラストベースの分析および／またはメタ
データの分析を採用する。
メージを分類するためのシステム並びに方法を開示している。各イメージを、シーケンシ
ャルに進行して一連の分類タスクにかけることで、キャプチャしたイメージを選択された
クラスに基づいて分類する。分類タスクは、イメージをクラスを指定するべきかどうか決
めるためのアルゴリズムを要するノードである。イメージ内で、ある特定のクラスを識別
できるかどうかを決めるためにノード毎にコントラストベースの分析および／またはメタ
データの分析を採用する。
Schneidermanの米国特許出願公開第２００４／００６６９６６号明細書は、オブジェク
ト検出プログラムにおいてサブ分類器（sub-classifiers）の集合を決めるためのシステ
ムおよび方法を開示している。候補としての係数サブセットを作成するモジュールは複数
の係数候補サブセットを作成する。係数は２次元のデジタル化されたイメージに対して行
われた変換操作（transform operation）の結果であり、空間、周波数およびオリエンテ
ーションのローカライズがなされたデジタル化されたイメージに基づいた対応するビジュ
アル情報を表している。訓練用のモジュールは複数の係数候補サブセットそれぞれのサブ
分類器を訓練する。サブ分類器選択モジュールはいくつかのサブ分類器を選択する。選択
されたサブ分類器は、オブジェクトがイメージのウィンドウ内に入っているかどうか決定
するために、各入力イメージを調べる。オブジェクトの見た目が変わることを考慮に入れ
るために統計モデル化を使う。
ト検出プログラムにおいてサブ分類器（sub-classifiers）の集合を決めるためのシステ
ムおよび方法を開示している。候補としての係数サブセットを作成するモジュールは複数
の係数候補サブセットを作成する。係数は２次元のデジタル化されたイメージに対して行
われた変換操作（transform operation）の結果であり、空間、周波数およびオリエンテ
ーションのローカライズがなされたデジタル化されたイメージに基づいた対応するビジュ
アル情報を表している。訓練用のモジュールは複数の係数候補サブセットそれぞれのサブ
分類器を訓練する。サブ分類器選択モジュールはいくつかのサブ分類器を選択する。選択
されたサブ分類器は、オブジェクトがイメージのウィンドウ内に入っているかどうか決定
するために、各入力イメージを調べる。オブジェクトの見た目が変わることを考慮に入れ
るために統計モデル化を使う。
Crandall et al.の米国特許出願公開第２００４／０１７０３１８号明細書は、デジタ
ルイメージの中のカラーイメージを検出するための方法を開示している。ターゲットオブ
ジェクトを含んだモデルイメージおよび潜在的にターゲットオブジェクトを含む検索イメ
ージに対してカラー量子化を行う。複数の検索ウィンドウが生成され、各モデルイメージ
および検索イメージ毎の空間カラージョイント確率関数が計算される。空間カラージョイ
ント確率関数としてカラー同時発生エッジヒストグラムを選ぶ。ターゲットオブジェクト
を含んだ検索ウィンドウを指定できるようにモデルイメージに対する各検索ウィンドウの
類似性が評価される。
ルイメージの中のカラーイメージを検出するための方法を開示している。ターゲットオブ
ジェクトを含んだモデルイメージおよび潜在的にターゲットオブジェクトを含む検索イメ
ージに対してカラー量子化を行う。複数の検索ウィンドウが生成され、各モデルイメージ
および検索イメージ毎の空間カラージョイント確率関数が計算される。空間カラージョイ
ント確率関数としてカラー同時発生エッジヒストグラムを選ぶ。ターゲットオブジェクト
を含んだ検索ウィンドウを指定できるようにモデルイメージに対する各検索ウィンドウの
類似性が評価される。
上記の引例はイメージを分類するためのテクニックを開示しているけれども、改善が望
まれる。そこで、本発明の目的はイメージを自動的に分類するための新規の方法、装置お
よびそのためのコンピュータプログラムを実装したコンピュータ可読媒体を提供すること
である。
まれる。そこで、本発明の目的はイメージを自動的に分類するための新規の方法、装置お
よびそのためのコンピュータプログラムを実装したコンピュータ可読媒体を提供すること
である。
従って、一つの態様においては、入力イメージを自動的に分類する方法を提供しており
、この方法は次の工程を含んでいる：
前記入力イメージの特徴を抽出して、前記抽出された特徴に基づいて前記入力イメー
ジを表す特徴ベクトルを生成し、
分類器を用いて特徴ベクトルを分類して前記分類器の出力の組み合わせに基づいて前
記入力イメージを分類する。
一つの実施例において、分類工程には複数の分類器を用いて重み付き出力を生成して、
入力イメージを分類するためにその重み付き出力を評価（evaluate）することが含まれる
。抽出した特徴は、入力イメージにおけるカラーの同調性（coherence）、エッジのオリ
エンテーション、テキスチャの同時生起を表している。複数の分類器は、Ｋ中間近接近傍
分類器（K-mean-nearest neighbor classifiers）と、知覚分類器、およびバックプロバ
ゲーションニューラルネットワーク分類器のうち少なくとも二つを含む。
、この方法は次の工程を含んでいる：
前記入力イメージの特徴を抽出して、前記抽出された特徴に基づいて前記入力イメー
ジを表す特徴ベクトルを生成し、
分類器を用いて特徴ベクトルを分類して前記分類器の出力の組み合わせに基づいて前
記入力イメージを分類する。
一つの実施例において、分類工程には複数の分類器を用いて重み付き出力を生成して、
入力イメージを分類するためにその重み付き出力を評価（evaluate）することが含まれる
。抽出した特徴は、入力イメージにおけるカラーの同調性（coherence）、エッジのオリ
エンテーション、テキスチャの同時生起を表している。複数の分類器は、Ｋ中間近接近傍
分類器（K-mean-nearest neighbor classifiers）と、知覚分類器、およびバックプロバ
ゲーションニューラルネットワーク分類器のうち少なくとも二つを含む。
一つの実施例においては、特徴抽出工程の前に、入力イメージをプリプロセシングする
ステップをさらに含むものでもよい。このプリプロセシング工程はノイズの除去（フィル
タリング）、入力イメージの正規化のうち少なくとも一つを含むものでよい。
ステップをさらに含むものでもよい。このプリプロセシング工程はノイズの除去（フィル
タリング）、入力イメージの正規化のうち少なくとも一つを含むものでよい。
こうした方法、装置およびイメージを自動的に分類するためのコンピュータプログラム
を実装したコンピュータ可読媒体はフレキシブルであるとともにロバストで、しかも公知
のイメージ分類テクニックと比べて精度が向上している。
を実装したコンピュータ可読媒体はフレキシブルであるとともにロバストで、しかも公知
のイメージ分類テクニックと比べて精度が向上している。
以下、本発明の実施形態を図面に基づいて説明する。
以下の説明において、入力イメージを自動的に分類するための方法およびシステムの一
つの実施例を提供している。イメージの分類時に、入力イメージの特徴が抽出され、その
抽出した特徴に基づいて入力イメージを表す特徴ベクトルが生成される。（特徴ベクトル
はシグネチャベクトルまたはフューチャベクトルと呼ばれることがある。）この特徴ベク
トルは分類器（分類子ともいう）を用いて処理され、その分類器の組み合わせ出力に基づ
いて入力イメージにはクラスが割り当てられる。
つの実施例を提供している。イメージの分類時に、入力イメージの特徴が抽出され、その
抽出した特徴に基づいて入力イメージを表す特徴ベクトルが生成される。（特徴ベクトル
はシグネチャベクトルまたはフューチャベクトルと呼ばれることがある。）この特徴ベク
トルは分類器（分類子ともいう）を用いて処理され、その分類器の組み合わせ出力に基づ
いて入力イメージにはクラスが割り当てられる。
図１は、イメージを自動的に分類するための分類化システム１４０の概略図である。表
示されているように、分類化システム１４０はノイズを取り除き、分類の対象となる各入
力イメージを正規化するためのプリプロセッサ１４２を含んでいる。特徴ベクトルジェネ
レータ１４４はプリプロセッサ１４２によってフィルタおよび正規化されたイメージ出力
それぞれを受け取り、イメージを分類するために使用するイメージの特徴ｎを表す特徴ベ
クトルを生成する。木のような階層構造１４６に配列された一連の分類化ノード（入力イ
メージをクラスおよびサブクラスに分類することを担当している）は特徴ベクトルジェネ
レータ１４４と通信する。階層構造１４６のトップとしてのノード１５２は入力イメージ
毎に生成された特徴ベクトルを受け取り、入力イメージが分類されることになるクラスに
基づいて基礎行（underlying row）のノード１５４に特徴ベクトル出力を提供する。
示されているように、分類化システム１４０はノイズを取り除き、分類の対象となる各入
力イメージを正規化するためのプリプロセッサ１４２を含んでいる。特徴ベクトルジェネ
レータ１４４はプリプロセッサ１４２によってフィルタおよび正規化されたイメージ出力
それぞれを受け取り、イメージを分類するために使用するイメージの特徴ｎを表す特徴ベ
クトルを生成する。木のような階層構造１４６に配列された一連の分類化ノード（入力イ
メージをクラスおよびサブクラスに分類することを担当している）は特徴ベクトルジェネ
レータ１４４と通信する。階層構造１４６のトップとしてのノード１５２は入力イメージ
毎に生成された特徴ベクトルを受け取り、入力イメージが分類されることになるクラスに
基づいて基礎行（underlying row）のノード１５４に特徴ベクトル出力を提供する。
この実施例において、ノード１５２，１５４はそれぞれ入力は一つで出力は複数である
。各出力はそのノードで分類されたクラスまたはサブクラスを表す。例えば、図に示すよ
うに、ノード１５２は各入力イメージを一つの「ランドスケープ」、「ビルディング」お
よび「人物」のうちの一つのクラスに分類する。基礎行の左側のノード１５４はノード１
５２で「ランドスケープ」クラスが割り当てられた各入力イメージの特徴ベクトルを受け
取り、その入力イメージをさらに「山」、「野原」、「砂漠」といったサブクラスに分類
する。基礎行の真ん中にあるノード１５４はノード１５２で「ビルディング」のクラスが
割り当てられた各入力イメージの特徴ベクトルを受け取り、その入力イメージをさらに「
教会」、「家」、「塔」といったサブクラスに分類する。基礎行の右側のノード１５４は
ノード１５２で「人物」クラスが割り当てられた各入力イメージの特徴ベクトルを受け取
り、その入力イメージをさらに「男性」および「女性」といったサブクラスに分類する。
表示している分類化システム１４０は３つのノードからなる一列の基礎行のノード１５４
しか含んでいないけれども、当業者ならばこれは例証を簡単にするためであることを理解
するだろう。普通、多数の基礎行のノードが提供され、それらの各基礎行は多数のノード
１５４をもち、入力イメージをうまく定義した詳細なサブクラスに分類できるようになっ
ている。
。各出力はそのノードで分類されたクラスまたはサブクラスを表す。例えば、図に示すよ
うに、ノード１５２は各入力イメージを一つの「ランドスケープ」、「ビルディング」お
よび「人物」のうちの一つのクラスに分類する。基礎行の左側のノード１５４はノード１
５２で「ランドスケープ」クラスが割り当てられた各入力イメージの特徴ベクトルを受け
取り、その入力イメージをさらに「山」、「野原」、「砂漠」といったサブクラスに分類
する。基礎行の真ん中にあるノード１５４はノード１５２で「ビルディング」のクラスが
割り当てられた各入力イメージの特徴ベクトルを受け取り、その入力イメージをさらに「
教会」、「家」、「塔」といったサブクラスに分類する。基礎行の右側のノード１５４は
ノード１５２で「人物」クラスが割り当てられた各入力イメージの特徴ベクトルを受け取
り、その入力イメージをさらに「男性」および「女性」といったサブクラスに分類する。
表示している分類化システム１４０は３つのノードからなる一列の基礎行のノード１５４
しか含んでいないけれども、当業者ならばこれは例証を簡単にするためであることを理解
するだろう。普通、多数の基礎行のノードが提供され、それらの各基礎行は多数のノード
１５４をもち、入力イメージをうまく定義した詳細なサブクラスに分類できるようになっ
ている。
図２は、図１のイメージ分類システムの一部を形成する分類化ノードの概略図である。
分類化するノード１５２，１５４はそれぞれ、３つのＫ平均最近傍分類器１６０，１６２
，１６４と、１セットのＮ個のバイナリ知覚リニア分類器１６６と、一つのＮクラスのバ
ックプロパゲーションニューラルネットワーク分類器（以降、ＢＰＮＮ分類器という）１
６８とを含んで構成され、ここでＮは図２に表示したノードで分類されているクラスまた
はサブクラスの数である。わかるように、各分類化ノードは多数の複数の異なる分類器を
含んでおり、各複数の異なる分類器は違う範囲に強い（area of strength）。
分類化するノード１５２，１５４はそれぞれ、３つのＫ平均最近傍分類器１６０，１６２
，１６４と、１セットのＮ個のバイナリ知覚リニア分類器１６６と、一つのＮクラスのバ
ックプロパゲーションニューラルネットワーク分類器（以降、ＢＰＮＮ分類器という）１
６８とを含んで構成され、ここでＮは図２に表示したノードで分類されているクラスまた
はサブクラスの数である。わかるように、各分類化ノードは多数の複数の異なる分類器を
含んでおり、各複数の異なる分類器は違う範囲に強い（area of strength）。
Ｋ平均最近傍分類器１６０は、入力イメージのために生成された特徴ベクトルの色相成
分に基づいて各入力イメージを分類することを担当している。Ｋ平均最近傍分類器１６２
は、特徴ベクトルのエッジオリエンテーション成分に基づいて各入力イメージを分類する
ことを担当している。Ｋ平均最近傍分類器１６４は、特徴ベクトルのテキスチャ同時発生
成分に基づいて各入力イメージを分類することを担当している。
分に基づいて各入力イメージを分類することを担当している。Ｋ平均最近傍分類器１６２
は、特徴ベクトルのエッジオリエンテーション成分に基づいて各入力イメージを分類する
ことを担当している。Ｋ平均最近傍分類器１６４は、特徴ベクトルのテキスチャ同時発生
成分に基づいて各入力イメージを分類することを担当している。
図３は、図２の分類化ノードの一部を形成する知覚リニア分類器の概略図である。図３
に表示しているように、各バイナリ知覚リニア分類器１６６は、特徴ベクトル入力１７０
と、ウェイト１７２、加算関数１７４、しきい値素子１７６、および出力１７８を含んで
いる。しきい値素子１７６は、加算関数１７４によって生成された総和に基づいて出力を
管理する設定を有する。総和がしきい値素子１７６の設定以下の場合には、バイナリ知覚
リニア分類器１６６はマイナス１（−１）値を出力する。総和がしきい値素子１７６の設
定以上の場合には、バイナリ知覚リニア分類器１６６は１値を出力する。
に表示しているように、各バイナリ知覚リニア分類器１６６は、特徴ベクトル入力１７０
と、ウェイト１７２、加算関数１７４、しきい値素子１７６、および出力１７８を含んで
いる。しきい値素子１７６は、加算関数１７４によって生成された総和に基づいて出力を
管理する設定を有する。総和がしきい値素子１７６の設定以下の場合には、バイナリ知覚
リニア分類器１６６はマイナス１（−１）値を出力する。総和がしきい値素子１７６の設
定以上の場合には、バイナリ知覚リニア分類器１６６は１値を出力する。
図４は、図２の分類化ノードの一部を形成するバックプロパゲーション人工ニューラル
ネットワーク分類器の概略図である。ＢＰＮＮ分類器１６８は、４４４個の入力ノード１
８２と、ウェイトを介して入力ノード１８２に連結した２０個の隠れたノード１８４から
なる隠れたレイヤー、および隠れたノード１８４に連結したＮ個の出力ノード１８６より
少なくともなる出力レイヤーを含んだ入力レイヤーを含み、ここでＮは図３に示した分類
化ノードによって処理されるサブクラス数である。
ネットワーク分類器の概略図である。ＢＰＮＮ分類器１６８は、４４４個の入力ノード１
８２と、ウェイトを介して入力ノード１８２に連結した２０個の隠れたノード１８４から
なる隠れたレイヤー、および隠れたノード１８４に連結したＮ個の出力ノード１８６より
少なくともなる出力レイヤーを含んだ入力レイヤーを含み、ここでＮは図３に示した分類
化ノードによって処理されるサブクラス数である。
よく知られているように、ＢＰＮＮ分類器１６８はバイナリ知覚リニア分類器１６６よ
りもパワフルである。入力ノード１８２でのアクティビティいかんにより、隠れたノード
１８４のレイヤー全体でのエラーにかかる量でウェイトは変わる。入力特徴ベクトルを分
類している最中に、隠れたノード１８４は出力し、隠れたノード１８４でのエラーが計算
される。訓練を実施している最中に、隠れたノード１８４のレイヤー全体でのエラーが隠
れたレイヤーを通ってバックプロパゲートされ、隠れたノード１８４にかかるウェイトが
調整される。
りもパワフルである。入力ノード１８２でのアクティビティいかんにより、隠れたノード
１８４のレイヤー全体でのエラーにかかる量でウェイトは変わる。入力特徴ベクトルを分
類している最中に、隠れたノード１８４は出力し、隠れたノード１８４でのエラーが計算
される。訓練を実施している最中に、隠れたノード１８４のレイヤー全体でのエラーが隠
れたレイヤーを通ってバックプロパゲートされ、隠れたノード１８４にかかるウェイトが
調整される。
図５は、自動イメージ分類時に分類化システム１４０が行う大まかなステップを表示す
るフローチャートである。最初、入力イメージを自動的に分類しようとするとき、ノイズ
を取り除いてからそのイメージを正規化するためにプリプロセッサ１４２（図１参照）が
入力イメージをフィルタする（ステップＳ２０２）。入力イメージが一旦フィルタされ正
規化されたら、特徴ベクトルジェネレータ１４４（図１参照）が入力イメージの特徴抽出
を行って入力イメージを分類するために使用しようとしている入力イメージの特徴ｎを表
す特徴ベクトルを生み出す（ステップＳ２０４）。この実施例では、特徴ベクトルは４４
４個のビンを有し、カラーの同調性と、エッジオリエンテーションの同調性、およびテク
スチャの同時発生に基づいている。特徴ベクトルは次に階層構造１４６（図１参照）に供
給され、そこで特徴ベクトルは複数の異なる分類器、具体的にはＫ平均最近傍分類器１６
０〜１６４と、バイナリ知覚リニア分類器１６６、およびＢＰＮＮ分類器１６８によって
処理されることでイメージを分類する（ステップＳ２０６）。
るフローチャートである。最初、入力イメージを自動的に分類しようとするとき、ノイズ
を取り除いてからそのイメージを正規化するためにプリプロセッサ１４２（図１参照）が
入力イメージをフィルタする（ステップＳ２０２）。入力イメージが一旦フィルタされ正
規化されたら、特徴ベクトルジェネレータ１４４（図１参照）が入力イメージの特徴抽出
を行って入力イメージを分類するために使用しようとしている入力イメージの特徴ｎを表
す特徴ベクトルを生み出す（ステップＳ２０４）。この実施例では、特徴ベクトルは４４
４個のビンを有し、カラーの同調性と、エッジオリエンテーションの同調性、およびテク
スチャの同時発生に基づいている。特徴ベクトルは次に階層構造１４６（図１参照）に供
給され、そこで特徴ベクトルは複数の異なる分類器、具体的にはＫ平均最近傍分類器１６
０〜１６４と、バイナリ知覚リニア分類器１６６、およびＢＰＮＮ分類器１６８によって
処理されることでイメージを分類する（ステップＳ２０６）。
ステップＳ２０２で入力イメージがプリプロセッサ１４２（図１参照）によって処理さ
れているときに、入力イメージはノイズを取り除くために３×３のボックスフィルタを通
され、６４０×４８０の色相、彩度、輝度のイメージ（「ＨＳＩ」）を形成するために正
規化される。
れているときに、入力イメージはノイズを取り除くために３×３のボックスフィルタを通
され、６４０×４８０の色相、彩度、輝度のイメージ（「ＨＳＩ」）を形成するために正
規化される。
ステップＳ２０４での特徴抽出時に、入力ＨＳＩイメージのための４４４ビン特徴ベク
トルが構築される。この特徴ベクトルは入力ＨＳＩイメージから抽出した特徴数に基づい
ている。最初に、ＨＳＩイメージにおける各画素のカラーの同調性／非同調性を調べるこ
とによって、図６に示すＨＳＩカラー空間における４８×２のローカライズされたカラー
同調性ベクトル（ＬＣＣＶ）マトリックスがポピュレートされる。マトリックスの各行は
、色相（Ｈ）に指定された３２のビンと、彩度（Ｓ）に指定された８のビン、および輝度
（Ｉ）に指定された８のビンを含んでいる。マトリックスの１行はイメージの画素のカラ
ーの同調性を表し、もう一方の行はイメージの画素のカラーの非同調性を表している。
トルが構築される。この特徴ベクトルは入力ＨＳＩイメージから抽出した特徴数に基づい
ている。最初に、ＨＳＩイメージにおける各画素のカラーの同調性／非同調性を調べるこ
とによって、図６に示すＨＳＩカラー空間における４８×２のローカライズされたカラー
同調性ベクトル（ＬＣＣＶ）マトリックスがポピュレートされる。マトリックスの各行は
、色相（Ｈ）に指定された３２のビンと、彩度（Ｓ）に指定された８のビン、および輝度
（Ｉ）に指定された８のビンを含んでいる。マトリックスの１行はイメージの画素のカラ
ーの同調性を表し、もう一方の行はイメージの画素のカラーの非同調性を表している。
この実施例では、良く知られたカラー同調性ベクトル（ＣＣＶ）ではなく、各画素のロ
ーカライズされたカラーの同調性ベクトル（ＬＣＣＶ）を使う。ローカライズされたカラ
ー同調性ベクトル（ＬＣＣＶ）は計算がもっと効率的である。カラーの同調性／非同調性
を決定する際に、問題の画素上でセンターにある指定したウィンドウ内の画素のうちの一
つがまったく同じカラーであるとき且つそのときに限って画素はローカルなカラーの同調
性であると考える。この実施例では、イメージの画素がカラーの同調性を有するかあるい
は非同調であるかどうかを決定するのに５×５のカラーの同調性ウィンドウを使う。図７
は対象となる画素Ｐ上でセンターにある５×５のカラー同調性ウィンドウを示している。
対象となる画素Ｐを取り囲む数字は、カラーの同調性ウィンドウ内の画素と対応付けられ
たＨＳＩカラー情報を表現している。シェーディングして示した取り囲んでいる画素は対
象となる画素Ｐとまったく同一のカラー情報を有する。従って、図７の例では、対象とな
る画素Ｐは８個のローカルな同調性をもつ近傍画素と１６個のローカルなカラー非同調の
近傍画素とを有する。
ーカライズされたカラーの同調性ベクトル（ＬＣＣＶ）を使う。ローカライズされたカラ
ー同調性ベクトル（ＬＣＣＶ）は計算がもっと効率的である。カラーの同調性／非同調性
を決定する際に、問題の画素上でセンターにある指定したウィンドウ内の画素のうちの一
つがまったく同じカラーであるとき且つそのときに限って画素はローカルなカラーの同調
性であると考える。この実施例では、イメージの画素がカラーの同調性を有するかあるい
は非同調であるかどうかを決定するのに５×５のカラーの同調性ウィンドウを使う。図７
は対象となる画素Ｐ上でセンターにある５×５のカラー同調性ウィンドウを示している。
対象となる画素Ｐを取り囲む数字は、カラーの同調性ウィンドウ内の画素と対応付けられ
たＨＳＩカラー情報を表現している。シェーディングして示した取り囲んでいる画素は対
象となる画素Ｐとまったく同一のカラー情報を有する。従って、図７の例では、対象とな
る画素Ｐは８個のローカルな同調性をもつ近傍画素と１６個のローカルなカラー非同調の
近傍画素とを有する。
ＨＳＩイメージの各画素のローカルエッジのオリエンテーションを調べることによって
、図８に示す４６×２のローカライズされたエッジのオリエンテーションの同調性ベクト
ルのマトリックスもポピュレートされる。ローカライズされたエッジのオリエンテーショ
ンの同調性ベクトルマトリックスの各行はエッジ方向の４５のビンと非エッジのビン１個
を含む。各エッジ方向のビンは８度を含む（encompass 8 degrees）。マトリックスの１
行はイメージ画素のローカルエッジのオリエンテーションの同調性を表す一方、別の行は
イメージ画素のローカルエッジのオリエンテーションの非同調性を表している。
、図８に示す４６×２のローカライズされたエッジのオリエンテーションの同調性ベクト
ルのマトリックスもポピュレートされる。ローカライズされたエッジのオリエンテーショ
ンの同調性ベクトルマトリックスの各行はエッジ方向の４５のビンと非エッジのビン１個
を含む。各エッジ方向のビンは８度を含む（encompass 8 degrees）。マトリックスの１
行はイメージ画素のローカルエッジのオリエンテーションの同調性を表す一方、別の行は
イメージ画素のローカルエッジのオリエンテーションの非同調性を表している。
ローカライズされたエッジのオリエンテーションの同調性ベクトルマトリックスのポピ
ュレートする時に、問題の画素でセンターにある特定のウィンドウ内の画素のうちの一つ
が同じエッジオリエンテーションを有しているとき且つそのときに限って画素はローカル
的にエッジのオリエンテーションが同調性を有していると考える。この実施例では、５×
５のエッジオリエンテーション同調性ウィンドウを使う。図９は、対象となる画素Ｐでセ
ンターにあるエッジオリエンテーション同調性ウィンドウの一例を示す。ウィンドウの中
の数字はそのエッジオリエンテーション同調性ウィンドウ内の画素と対応付けられたエッ
ジオリエンテーションを表す。従って、図９の例において、対象となる画素Ｐは８のロー
カルエッジのオリエンテーションの同調性を有する画素をもつとともに１６のローカルエ
ッジのオリエンテーションの非同調性を有する画素を有する。
ュレートする時に、問題の画素でセンターにある特定のウィンドウ内の画素のうちの一つ
が同じエッジオリエンテーションを有しているとき且つそのときに限って画素はローカル
的にエッジのオリエンテーションが同調性を有していると考える。この実施例では、５×
５のエッジオリエンテーション同調性ウィンドウを使う。図９は、対象となる画素Ｐでセ
ンターにあるエッジオリエンテーション同調性ウィンドウの一例を示す。ウィンドウの中
の数字はそのエッジオリエンテーション同調性ウィンドウ内の画素と対応付けられたエッ
ジオリエンテーションを表す。従って、図９の例において、対象となる画素Ｐは８のロー
カルエッジのオリエンテーションの同調性を有する画素をもつとともに１６のローカルエ
ッジのオリエンテーションの非同調性を有する画素を有する。
ＨＳＩイメージの画素に基づいて１６×１６のテクスチャ同時発生マトリックス（ＧＬ
ＣＭ）もポピュレートされる。ＧＬＣＭの定義については、Michael S.Lew（Ed）の著作
「Principals of Visual Information Retrieval」（Springer-Verlag, 2001, ISBN: 1-8
5233-381-2）に説明されている。この出版物の内容は参照することにより本明細書に組み
込まれているものとする。知られているように、ＧＬＣＭはテクスチャを特徴化し、ＨＳ
Ｉイメージにおいて隣接画素の輝度レベルの異なる組み合わせがどれだけ頻繁に発生する
かを表にする。ＧＬＣＭの各行は可能性のある画素レベルの輝度を表す一方、各列は隣接
画素の可能性のある輝度レベルを表している。ＧＬＣＭの各セル内の値は、ある特定の画
素の輝度レベル対がＨＳＩイメージにおいて発生する回数を識別するものである。
ＣＭ）もポピュレートされる。ＧＬＣＭの定義については、Michael S.Lew（Ed）の著作
「Principals of Visual Information Retrieval」（Springer-Verlag, 2001, ISBN: 1-8
5233-381-2）に説明されている。この出版物の内容は参照することにより本明細書に組み
込まれているものとする。知られているように、ＧＬＣＭはテクスチャを特徴化し、ＨＳ
Ｉイメージにおいて隣接画素の輝度レベルの異なる組み合わせがどれだけ頻繁に発生する
かを表にする。ＧＬＣＭの各行は可能性のある画素レベルの輝度を表す一方、各列は隣接
画素の可能性のある輝度レベルを表している。ＧＬＣＭの各セル内の値は、ある特定の画
素の輝度レベル対がＨＳＩイメージにおいて発生する回数を識別するものである。
上記の特徴抽出の最終結果は、図１０に示す１１の成分特徴ベクトルである。特徴ベク
トルが生成された後、入力イメージデータが表すことに基づいてその特徴ベクトルの成分
を正規化する。この実施例では、色相成分が３×６４０×４８０により正規化され、ここ
で３はカラーのチャネル数で、６４０×４８０はステップＳ２０２で正規化されたイメー
ジの解像度である。エッジオリエンテーションの成分はエッジ画素の数により正規化され
、テクスチャの同時発生成分は６４０×４８０で正規化される。
トルが生成された後、入力イメージデータが表すことに基づいてその特徴ベクトルの成分
を正規化する。この実施例では、色相成分が３×６４０×４８０により正規化され、ここ
で３はカラーのチャネル数で、６４０×４８０はステップＳ２０２で正規化されたイメー
ジの解像度である。エッジオリエンテーションの成分はエッジ画素の数により正規化され
、テクスチャの同時発生成分は６４０×４８０で正規化される。
特徴ベクトルが正規化された後、特徴ベクトルは階層構造１４６のトップとしてのノー
ド１５２に適用され、その中にある分類器の各々に供給される。つまり、Ｋ平均最近傍分
類器１６０は、特徴ベクトルの色相成分を受け取り、Ｋ平均最近傍分類器１６０が入力イ
メージはノード１５２で分類された各クラスを表していると思う度を表す重み付き出力Ｗ
hnnを生成する。Ｋ平均最近傍分類器１６２は、特徴ベクトルのエッジオリエンテーショ
ン成分を受け取り、Ｋ平均最近傍分類器１６２が入力イメージはノード１５２で分類され
た各クラスを表していると思う度を表す重み付き出力Ｗennを生成する。Ｋ平均最近傍分
類器１６２は、特徴ベクトルのテキスチャ同時発生成分を受け取り、Ｋ平均最近傍分類器
１６４が入力イメージはノード１５２で分類された各クラスを表していると思う度を表す
重み付き出力Ｗcnnを生成する。
ド１５２に適用され、その中にある分類器の各々に供給される。つまり、Ｋ平均最近傍分
類器１６０は、特徴ベクトルの色相成分を受け取り、Ｋ平均最近傍分類器１６０が入力イ
メージはノード１５２で分類された各クラスを表していると思う度を表す重み付き出力Ｗ
hnnを生成する。Ｋ平均最近傍分類器１６２は、特徴ベクトルのエッジオリエンテーショ
ン成分を受け取り、Ｋ平均最近傍分類器１６２が入力イメージはノード１５２で分類され
た各クラスを表していると思う度を表す重み付き出力Ｗennを生成する。Ｋ平均最近傍分
類器１６２は、特徴ベクトルのテキスチャ同時発生成分を受け取り、Ｋ平均最近傍分類器
１６４が入力イメージはノード１５２で分類された各クラスを表していると思う度を表す
重み付き出力Ｗcnnを生成する。
つまり、Ｋ平均最近傍分類器１６０〜１６４による特徴ベクトル成分の処理時に、特徴
ベクトル成分は以下に示すベクトル交点方程式（intersection equation）（１）を用い
て、ノードで評価されたクラスの中にある平均的な表現ベクトル成分（average represen
tation vector components）と比較される。
ベクトル成分は以下に示すベクトル交点方程式（intersection equation）（１）を用い
て、ノードで評価されたクラスの中にある平均的な表現ベクトル成分（average represen
tation vector components）と比較される。
ν１は入力特徴ベクトル成分、
ν２は平均的ベクトル成分、
ν１［ｉ］およびν２［ｉ］はベクトル成分ν１およびベクトル成分ν２それぞ
れのｉ番目の元の値で、
元はベクトル成分に入っているビン総数で、
Ｗ１とＷ２はベクトル成分ν１およびベクトル成分ν２それぞれにおけるビンの
値の累積総和である。
上記のことを達成するために、訓練のプロセス時に、クラス毎にＫの数学的平均表現ベ
クトル（K mathematical mean representation vectors）が決定され、そのクラス内に入
るであろうイメージのジェネリックな表現としての機能をする。これらのベクトルはＭ／
Ｋの訓練用イメージベクトルの平均値をとることによって決定され、ここでＭは訓練用イ
メージベクトルの総数で、Ｋは平均的ベクトルの数で、ここでＫは分類化システム１４０
の要件に基づいて選択される。
クトル（K mathematical mean representation vectors）が決定され、そのクラス内に入
るであろうイメージのジェネリックな表現としての機能をする。これらのベクトルはＭ／
Ｋの訓練用イメージベクトルの平均値をとることによって決定され、ここでＭは訓練用イ
メージベクトルの総数で、Ｋは平均的ベクトルの数で、ここでＫは分類化システム１４０
の要件に基づいて選択される。
Ｋのベクトル交点を決めてから、それを用いて入力イメージが属するクラスが決められ
る。例えば、最近傍の平均的な表現ベクトルの大半が「クラス１」に属する場合には、特
徴ベクトルは「クラス１」に属すると宣言される。
る。例えば、最近傍の平均的な表現ベクトルの大半が「クラス１」に属する場合には、特
徴ベクトルは「クラス１」に属すると宣言される。
バイナリ知覚リニア分類器１６６は特徴ベクトル全体を受け取り、バイナリ知覚リニア
分類器１６６が入力イメージはノード１５２によって分類された各クラスを表していると
思う度を表す出力ＷPLCを生成する。つまり、バイナリ知覚リニア分類器１６６は、一致
するクラスと属する特徴ベクトルとそうでないクラスとを分けるハイパープレーン（hype
r-plane）を得る。バイナリ知覚リニア分類器１６６の結果を得て、最高の分類器の結果
値を最終のクラスと宣言する。シグモイド関数を起動関数（activation function）とし
て使う。
分類器１６６が入力イメージはノード１５２によって分類された各クラスを表していると
思う度を表す出力ＷPLCを生成する。つまり、バイナリ知覚リニア分類器１６６は、一致
するクラスと属する特徴ベクトルとそうでないクラスとを分けるハイパープレーン（hype
r-plane）を得る。バイナリ知覚リニア分類器１６６の結果を得て、最高の分類器の結果
値を最終のクラスと宣言する。シグモイド関数を起動関数（activation function）とし
て使う。
ＢＰＮＮ分類器１６８の各入力ノードは特徴ベクトルの対応付けられたビンを受け取る
。ＢＰＮＮ分類器１６８は、ＢＰＮＮ分類器１６８がノード１５２によって分類された各
クラスを表していると思う度を表す重み付き出力Ｗbpnnを生成する。
。ＢＰＮＮ分類器１６８は、ＢＰＮＮ分類器１６８がノード１５２によって分類された各
クラスを表していると思う度を表す重み付き出力Ｗbpnnを生成する。
Ｋ平均最近傍分類器１６０〜１６４、バイナリ知覚リニア分類器１６６、ＢＰＮＮ分類
器１６８の重み付き出力は次にビンソートが行われる。最高の累積和をもつビンと対応付
けられたクラスを次に決定し、そのクラスが入力イメージがノード１５２によって分類さ
れたクラスであると考える。
器１６８の重み付き出力は次にビンソートが行われる。最高の累積和をもつビンと対応付
けられたクラスを次に決定し、そのクラスが入力イメージがノード１５２によって分類さ
れたクラスであると考える。
一旦、ノード１５２が入力イメージをクラスに分類したら、上に説明したと同じような
やり方でさらにサブクラスの分類を行うために、そのクラスと対応付けられたノード１５
４に特徴ベクトルを適用する。
やり方でさらにサブクラスの分類を行うために、そのクラスと対応付けられたノード１５
４に特徴ベクトルを適用する。
例えば、ノード１５２のクラス出力が「ビルディング」であると決定されたら、次にそ
の「ビルディング」に対応するノード１５４は更なるサブクラス分類のために特徴ベクト
ルを受け取る。ノード１５４が特徴ベクトルを受け取ると、そこに入っている分類器は、
入力イメージをさらに分類するために、上に説明したと同じようなやり方で特徴ベクトル
に対して働く。
の「ビルディング」に対応するノード１５４は更なるサブクラス分類のために特徴ベクト
ルを受け取る。ノード１５４が特徴ベクトルを受け取ると、そこに入っている分類器は、
入力イメージをさらに分類するために、上に説明したと同じようなやり方で特徴ベクトル
に対して働く。
小さな集合の訓練用イメージしか使えない時には分類化を強調するために、ベクトルの
密度に基づいて縮小された訓練用イメージから抽出したベクトルの集合を用いて分類して
いるノード１５２，１５４のＢＰＮＮ分類器１６８を訓練する。図１１は、訓練用イメー
ジとしての集合Ｓからベクトルの集合を生成するために行われるステップを表示している
。最初に、訓練用イメージが属するクラスを統計的に表す訓練用イメージの特徴ベクトル
を生成するために、集合Ｓにおける訓練用イメージに対して特徴抽出を行う（ステップＳ
３０２）。次に、制御されたランダム性を加えるためにスキュー特徴ベクトルを生成する
（ステップＳ３０４）。次に、分類化ノードの分類器を訓練するために使用する訓練用イ
メージの特徴を表す特徴ベクトルの集合を生み出すベクトルの密度に基づいて、訓練用イ
メージ特徴ベクトルおよびスキュー特徴ベクトルの集合を縮小する（ステップＳ３０６）
。
密度に基づいて縮小された訓練用イメージから抽出したベクトルの集合を用いて分類して
いるノード１５２，１５４のＢＰＮＮ分類器１６８を訓練する。図１１は、訓練用イメー
ジとしての集合Ｓからベクトルの集合を生成するために行われるステップを表示している
。最初に、訓練用イメージが属するクラスを統計的に表す訓練用イメージの特徴ベクトル
を生成するために、集合Ｓにおける訓練用イメージに対して特徴抽出を行う（ステップＳ
３０２）。次に、制御されたランダム性を加えるためにスキュー特徴ベクトルを生成する
（ステップＳ３０４）。次に、分類化ノードの分類器を訓練するために使用する訓練用イ
メージの特徴を表す特徴ベクトルの集合を生み出すベクトルの密度に基づいて、訓練用イ
メージ特徴ベクトルおよびスキュー特徴ベクトルの集合を縮小する（ステップＳ３０６）
。
ステップＳ３０２で、最初に、訓練用イメージとしての集合Ｓの中の各イメージを、先
に説明したと同じようなやり方で、特徴ベクトルＶを表現する。次に、訓練用イメージの
特徴ベクトルＶをベクトル集合Ｈにコピーする。訓練用イメージとしての集合Ｓの中の各
カテゴリーはｍ個のサブ集合に分割される。そこでｍは事前に定義された値である。この
実施例では、ｍはｎs／７で、ｎsは訓練用イメージから抽出する特徴の集合である。次に
訓練用の特徴ｎsubのサブ集合Ｓ’を訓練用イメージとしての集合Ｓからランダムに選ぶ
。次に、訓練用の特徴ｎsubのサブ集合Ｓ’の数学的平均ベクトルＶmeanを以下の方程式
（２）の従って計算する。
に説明したと同じようなやり方で、特徴ベクトルＶを表現する。次に、訓練用イメージの
特徴ベクトルＶをベクトル集合Ｈにコピーする。訓練用イメージとしての集合Ｓの中の各
カテゴリーはｍ個のサブ集合に分割される。そこでｍは事前に定義された値である。この
実施例では、ｍはｎs／７で、ｎsは訓練用イメージから抽出する特徴の集合である。次に
訓練用の特徴ｎsubのサブ集合Ｓ’を訓練用イメージとしての集合Ｓからランダムに選ぶ
。次に、訓練用の特徴ｎsubのサブ集合Ｓ’の数学的平均ベクトルＶmeanを以下の方程式
（２）の従って計算する。
Ｖmean（ｉ）は数学的平均ベクトルＶmeanのｉthの元である。
計算した数学的平均ベクトルＶmeanをベクトル集合Ｈに加算する。選んだ訓練用として
の特徴ｎsubのルート平均平方サンプルベクトル（以降、ＲＭＳサンプルベクトルという
）Ｖmsも以下の方程式（３）に従って計算する。
の特徴ｎsubのルート平均平方サンプルベクトル（以降、ＲＭＳサンプルベクトルという
）Ｖmsも以下の方程式（３）に従って計算する。
Ｖrms（ｉ）はＲＭＳベクトルＶrmsのｉthの元である。
次に、ＲＭＳサンプルベクトルＶmsをベクトル集合Ｈに加算する。次に、選んだ訓練用
の特徴ｎsubの最小の訓練用イメージの特徴ベクトルＶminを以下の方程式（４）に従って
計算する。
の特徴ｎsubの最小の訓練用イメージの特徴ベクトルＶminを以下の方程式（４）に従って
計算する。
Ｖmin（ｉ）は最小の訓練用イメージの特徴ベクトルＶminのｉthの元である。
次に、最小の訓練用イメージの特徴ベクトルＶminをベクトル集合Ｈに加算する。ステ
ップＳ２０４で、選んだ訓練用の特徴ｎsubにおけるサンプルベクトルの元Ｇごとに、ス
キューベクトルＶskewjを以下の方程式（５）に従って計算する。
ップＳ２０４で、選んだ訓練用の特徴ｎsubにおけるサンプルベクトルの元Ｇごとに、ス
キューベクトルＶskewjを以下の方程式（５）に従って計算する。
ｊは選んだ訓練用の特徴ｎsubにおけるサンプルベクトル（０，１，…，ｎ）の
指数（index）で、
ｐはランダムに選んだ統計的ベクトルのパーセンテージ（０~１）で、
ｒａｎｄ（ａ，ｂ，ｃ）はａ，ｂまたはｃからランダムに選んだ一つを表す。
計算したスキューベクトルＶskew0，Ｖskew1，…，ＶskewNもベクトル集合Ｈに加算す
る。それから、訓練用イメージとしての集合Ｓにおけるイメージがすべてプロセスされる
まで、上記のステップを繰り返す。これにより（２ｎs＋３ｍ＝ｎe）ベクトルを含んだベ
クトル集合Ｈが生み出される。
る。それから、訓練用イメージとしての集合Ｓにおけるイメージがすべてプロセスされる
まで、上記のステップを繰り返す。これにより（２ｎs＋３ｍ＝ｎe）ベクトルを含んだベ
クトル集合Ｈが生み出される。
分かるように、余分の特徴ベクトル（本件の場合、ベクトル数学的平均ベクトルＶmean
、特徴ベクトルＶminおよびＲＭＳベクトルＶrms）を挿入することで特徴ベクトルの集合
を拡大する。訓練用のイメージ集合における特徴毎に歪曲したベクトル（distorted vect
or）Ｖskewも挿入する。訓練用のイメージ集合が小さいときには、訓練時こうしたベクト
ルを加えることが役に立つ。訓練用のイメージ集合が大きいときにはこうしたベクトルを
追加することが訓練に役立つ程度が小さくなる。
、特徴ベクトルＶminおよびＲＭＳベクトルＶrms）を挿入することで特徴ベクトルの集合
を拡大する。訓練用のイメージ集合における特徴毎に歪曲したベクトル（distorted vect
or）Ｖskewも挿入する。訓練用のイメージ集合が小さいときには、訓練時こうしたベクト
ルを加えることが役に立つ。訓練用のイメージ集合が大きいときにはこうしたベクトルを
追加することが訓練に役立つ程度が小さくなる。
上記のプロセスは、各訓練用のイメージが属するクラスを統計的に表現するベクトルを
作成するために、訓練用のイメージ集合に含まれている情報を用いる。既存の訓練用のイ
メージ集合に表現ベクトルを付加することで、一様でない初期の訓練用のイメージデータ
の分布から生じるクラス情報のギャップを埋めることによって個々のクラスは平滑な推定
データの分布でよりうまく定義できるようになる。さらに、このプロセスは、これから説
明するように、クラスの定義を表現しているとは考えない訓練用のイメージ集合における
ベクトルがステップＳ２０６時に消去される確率が高くなる。
作成するために、訓練用のイメージ集合に含まれている情報を用いる。既存の訓練用のイ
メージ集合に表現ベクトルを付加することで、一様でない初期の訓練用のイメージデータ
の分布から生じるクラス情報のギャップを埋めることによって個々のクラスは平滑な推定
データの分布でよりうまく定義できるようになる。さらに、このプロセスは、これから説
明するように、クラスの定義を表現しているとは考えない訓練用のイメージ集合における
ベクトルがステップＳ２０６時に消去される確率が高くなる。
分類化システム１４０が訓練できる類似したデータのより連続してうまく定義された範
囲を提供するためにスキューしたベクトルを生成する。訓練用のイメージ集合にある程度
の制御された分散を提供することによって、スキューしたベクトルによって、精度を損な
うことなく、より広義な意味での訓練が可能になる。わずかに制御されたランダム性は、
訓練用のイメージが完璧に理に適ったデータに優れた分類を与えないときに、訓練用のラ
ーニングシステムによって、クラスにフィットする可能なデータの範囲に一様に沿って分
布されていない訓練用のイメージが高度に集中していることが原因で、頻繁に経験するよ
くある疎なデータの問題を減らすのに役立つ。
囲を提供するためにスキューしたベクトルを生成する。訓練用のイメージ集合にある程度
の制御された分散を提供することによって、スキューしたベクトルによって、精度を損な
うことなく、より広義な意味での訓練が可能になる。わずかに制御されたランダム性は、
訓練用のイメージが完璧に理に適ったデータに優れた分類を与えないときに、訓練用のラ
ーニングシステムによって、クラスにフィットする可能なデータの範囲に一様に沿って分
布されていない訓練用のイメージが高度に集中していることが原因で、頻繁に経験するよ
くある疎なデータの問題を減らすのに役立つ。
一旦、ベクトルの集合としてのベクトル集合Ｈを生成したら、ベクトル集合Ｈを縮小す
る（ステップＳ３０６）。このプロセス時に、｛ｈk｝で表記したベクトル集合Ｈの中の
ベクトルごとに、サブ集合Ｃi−｛ｈk｝上のベクトルの内部クラスの密度ＤＩ｛ｈk｝を
計算する。ここで、Ｃiは｛ｈk｝が属するクラスの全ての元を含んだベクトル集合Ｈのサ
ブ集合である。内部クラスの密度ＤＩ｛ｈk｝は以下の方程式（６）で定義される。
る（ステップＳ３０６）。このプロセス時に、｛ｈk｝で表記したベクトル集合Ｈの中の
ベクトルごとに、サブ集合Ｃi−｛ｈk｝上のベクトルの内部クラスの密度ＤＩ｛ｈk｝を
計算する。ここで、Ｃiは｛ｈk｝が属するクラスの全ての元を含んだベクトル集合Ｈのサ
ブ集合である。内部クラスの密度ＤＩ｛ｈk｝は以下の方程式（６）で定義される。
ｅはサンプルベクトルにおける元の総数で、
Ａh1およびＡh2はベクトル｛ｈ1｝およびベクトル｛ｈ2｝それぞれにおける元の
値の累積総和である。
ベクトル集合Ｈにおけるベクトル毎に、サブ集合Ｃ（ｏ）上のベクトル｛ｈk｝の外部
クラスの密度ＤＯ（ｈk）を計算する。ここで、Ｃoは｛ｈk｝が属しないクラスの全ての
元を含んだベクトル集合Ｈのサブ集合である。外部クラスの密度ＤＯ（ｈk）は以下の方
程式（８）で定義される。
クラスの密度ＤＯ（ｈk）を計算する。ここで、Ｃoは｛ｈk｝が属しないクラスの全ての
元を含んだベクトル集合Ｈのサブ集合である。外部クラスの密度ＤＯ（ｈk）は以下の方
程式（８）で定義される。
ＮCOはサブ集合ＣOにおけるサンプル数である。
ベクトル集合Ｈにおけるベクトル毎に、ベクトル｛ｈk｝の同調性の密度ＤＣ（ｈk）を
計算する。同調性の密度ＤＣ（ｈk）は以下の方程式（９）に従って定義される。
計算する。同調性の密度ＤＣ（ｈk）は以下の方程式（９）に従って定義される。
最も高い同調性の密度をもつベクトルがベクトル集合Ｒに格納され、そのベクトルは分
類ノードの分類器を訓練するのに使用する拡張した訓練用のイメージ集合からの特徴を表
している。
類ノードの分類器を訓練するのに使用する拡張した訓練用のイメージ集合からの特徴を表
している。
上記のプロセスは訓練用のイメージ集合の密度データに基づいてベクトルの集合を小さ
くする。つまり、ベクトル集合Ｈにおいてとっておくべきベクトルはどれか決定するため
に、訓練用のイメージ集合の密度分布を活用する。ベクトル縮小の段階があることにより
、データ集合に完全に依存する場合よりも、最終的な訓練用のイメージ集合のサイズがも
っと正確になる。これにより、特定の問題点や性能上の拘束のニーズに適うようにユーザ
が訓練用のイメージ集合を微調整できるようになる。また、ベクトル縮小の段階は、どん
な形でもラーニングを必要としないので、性能が高速になる。また、異なった訓練用のイ
メージ集合をプロセスする場合、結果の一貫性が一層高くなる。ベクトル縮小の段階はモ
デルに依存しておらず、ある特定の分類システム専用の設計にはなっていない。ベクトル
縮小の段階はジェネリックな性質なので、異なったサブラーニングシステムを含んでいる
ことのあるハイブリッドなシステムに効果的に使用できる。
くする。つまり、ベクトル集合Ｈにおいてとっておくべきベクトルはどれか決定するため
に、訓練用のイメージ集合の密度分布を活用する。ベクトル縮小の段階があることにより
、データ集合に完全に依存する場合よりも、最終的な訓練用のイメージ集合のサイズがも
っと正確になる。これにより、特定の問題点や性能上の拘束のニーズに適うようにユーザ
が訓練用のイメージ集合を微調整できるようになる。また、ベクトル縮小の段階は、どん
な形でもラーニングを必要としないので、性能が高速になる。また、異なった訓練用のイ
メージ集合をプロセスする場合、結果の一貫性が一層高くなる。ベクトル縮小の段階はモ
デルに依存しておらず、ある特定の分類システム専用の設計にはなっていない。ベクトル
縮小の段階はジェネリックな性質なので、異なったサブラーニングシステムを含んでいる
ことのあるハイブリッドなシステムに効果的に使用できる。
これまでに説明してきた実施例は特定の分類器に関係している。当業者ならば、様々な
分類器が複数の異なる場合には、代替えの分類器を使用できることが分かるだろう。
分類器が複数の異なる場合には、代替えの分類器を使用できることが分かるだろう。
ベクトル集合の拡張および縮小は、パーソナルコンピュータやその他のコンピューティ
ングシステム環境などプロセシングユニットによって実行されるコンピュータが実行可能
な命令を含んだソフトウェアアプリケーションにより実行可能である。ソフトウェアアプ
リケーションはスタンドアローン版のイメージ分類化ツールとしてランできるし、あるい
はメディア管理システムに組み込んでこうしたメディア管理システムに向上した機能性を
提供することもできる。ソフトウェアアプリケーションは、ルーチン、プログラム、オブ
ジェクトコンポーネント、データストラクチャなどのプログラムモジュールを含んでいる
ことがあり、コンピュータが判読可能な媒体に格納したコンピュータ可読プログラムコー
ドとして実施されることがある。コンピュータ可読媒体は、後からコンピュータシステム
で読める、データを格納できるどんなデータストレージデバイスでも構わない。コンピュ
ータ可読媒体の例としては、例えば、リードオンリーメモリ、ランダムアクセスメモリ、
ＣＤ−ＲＯＭ、磁気テープ、オプティカルデータストレージデバイスなどを含む。コンピ
ュータが判読可能なプログラムコードは、コンピュータ可読プログラムコードを分散して
格納および実行できるように、結合型のコンピュータシステムなどネットワークで分散す
ることができる。
ングシステム環境などプロセシングユニットによって実行されるコンピュータが実行可能
な命令を含んだソフトウェアアプリケーションにより実行可能である。ソフトウェアアプ
リケーションはスタンドアローン版のイメージ分類化ツールとしてランできるし、あるい
はメディア管理システムに組み込んでこうしたメディア管理システムに向上した機能性を
提供することもできる。ソフトウェアアプリケーションは、ルーチン、プログラム、オブ
ジェクトコンポーネント、データストラクチャなどのプログラムモジュールを含んでいる
ことがあり、コンピュータが判読可能な媒体に格納したコンピュータ可読プログラムコー
ドとして実施されることがある。コンピュータ可読媒体は、後からコンピュータシステム
で読める、データを格納できるどんなデータストレージデバイスでも構わない。コンピュ
ータ可読媒体の例としては、例えば、リードオンリーメモリ、ランダムアクセスメモリ、
ＣＤ−ＲＯＭ、磁気テープ、オプティカルデータストレージデバイスなどを含む。コンピ
ュータが判読可能なプログラムコードは、コンピュータ可読プログラムコードを分散して
格納および実行できるように、結合型のコンピュータシステムなどネットワークで分散す
ることができる。
ノードベースの分類化ストラクチャにより、モジュール性および編成が向上するので、
装置が新たなイメージカテゴリーを含むべく拡張することが可能になる。数学的平均の代
表的なベクトルを組み込むことで、大型の事前に存在しているイメージコレクションがな
くても、優れたインスタントベースの分類を実行できる。多様なタイプが異なった分類器
を含む重み付きのコミティベースの分類システムを用いることによって、各分類器がもつ
異なった分野の強みを利用することでより優れた精度を達成する。特徴ベクトルのコンポ
ーネントしてＬＣＣＶおよびＬＥＯＣＶを用いると、正確であるけれど、保持しようとし
ているイメージの非常に凝縮された表現が可能になるので、訓練および分類がより高速に
なる。
装置が新たなイメージカテゴリーを含むべく拡張することが可能になる。数学的平均の代
表的なベクトルを組み込むことで、大型の事前に存在しているイメージコレクションがな
くても、優れたインスタントベースの分類を実行できる。多様なタイプが異なった分類器
を含む重み付きのコミティベースの分類システムを用いることによって、各分類器がもつ
異なった分野の強みを利用することでより優れた精度を達成する。特徴ベクトルのコンポ
ーネントしてＬＣＣＶおよびＬＥＯＣＶを用いると、正確であるけれど、保持しようとし
ているイメージの非常に凝縮された表現が可能になるので、訓練および分類がより高速に
なる。
実施例を説明してきたが、当業者ならば、添付の請求項で定義した精神ならびに範囲か
ら逸脱することなく、変形および変更ができることを理解するだろう。
ら逸脱することなく、変形および変更ができることを理解するだろう。
１４０…分類化システム、１４２…プリプロセッサ、１４４…特徴ベクトルジェネレー
タ、１４６…階層構造、１５２，１５４…ノード、１６０，１６２，１６４…Ｋ平均最近
傍分類器、１６６…バイナリ知覚リニア分類器、１６８…バックプロパゲーションニュー
ラルネットワーク（ＢＰＮＮ）分類器、Ｈ…ベクトル集合、Ｓ…集合、Ｓ２０２…ステッ
プ；入力イメージをプリプロセス、Ｓ２０４…ステップ；特徴抽出に基づいて特徴ベクト
ルを生成、２０６…ステップ；複数の異なる分類器を用いて特徴ベクトルをプロセスして
イメージを分類、３０２…ステップ；訓練用のイメージを拡張してサンプルベクトルを生
成、３０４…ステップ；スキューベクトルを生成、３０６…ステップ；サンプルおよびス
キューベクトルの集合を縮小。
タ、１４６…階層構造、１５２，１５４…ノード、１６０，１６２，１６４…Ｋ平均最近
傍分類器、１６６…バイナリ知覚リニア分類器、１６８…バックプロパゲーションニュー
ラルネットワーク（ＢＰＮＮ）分類器、Ｈ…ベクトル集合、Ｓ…集合、Ｓ２０２…ステッ
プ；入力イメージをプリプロセス、Ｓ２０４…ステップ；特徴抽出に基づいて特徴ベクト
ルを生成、２０６…ステップ；複数の異なる分類器を用いて特徴ベクトルをプロセスして
イメージを分類、３０２…ステップ；訓練用のイメージを拡張してサンプルベクトルを生
成、３０４…ステップ；スキューベクトルを生成、３０６…ステップ；サンプルおよびス
キューベクトルの集合を縮小。
Claims (4)
- 入力イメージを自動的に分類する方法であって、
前記入力イメージの特徴を抽出する工程と、
前記抽出した特徴に基づいて前記入力イメージを表す特徴ベクトルを生成する工程と、
分類器を用いて前記特徴ベクトルを分類する工程と、
複数の前記分類器の出力の組み合せに基づいて前記入力イメージを分類する工程と、を
有し、
前記複数の分類器は、Ｋ平均最近傍分類器、知覚分類器、およびバックプロパゲーショ
ンニューラルネットワーク分類器のうち少なくとも二つを含むイメージ自動分類方法。 - 前記抽出した特徴は、前記入力イメージのカラーの同調性、エッジ方向の同調性、およ
びテキスチャの同時生起を表す、請求項１に記載の方法。 - 前記特徴抽出工程より前に、前記入力イメージをプリプロセシングする工程をさらに含
み、
該プリプロセシング工程は、ノイズのフィルタリングおよび前記入力イメージの正規化
のうちの少なくとも一つを含む、請求項２に記載の方法。 - 前記分類工程は、前記複数の分類器を用いて重み付け出力を生成し、該重み付き出力を
評価して前記入力イメージを分類する、請求項３に記載の方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/548,377 US20080089591A1 (en) | 2006-10-11 | 2006-10-11 | Method And Apparatus For Automatic Image Categorization |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008097607A true JP2008097607A (ja) | 2008-04-24 |
Family
ID=38963129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007262997A Withdrawn JP2008097607A (ja) | 2006-10-11 | 2007-10-09 | 入力イメージを自動的に分類する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20080089591A1 (ja) |
| EP (1) | EP1912161A3 (ja) |
| JP (1) | JP2008097607A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8583647B2 (en) | 2010-01-29 | 2013-11-12 | Panasonic Corporation | Data processing device for automatically classifying a plurality of images into predetermined categories |
| JP2014197412A (ja) * | 2014-06-12 | 2014-10-16 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の類似検索システム及び方法 |
| JP2015204043A (ja) * | 2014-04-15 | 2015-11-16 | Kddi株式会社 | 多クラス識別器構築装置、方法及びプログラム |
| JP2017522548A (ja) * | 2014-06-03 | 2017-08-10 | レイセオン カンパニー | 海事自動ターゲット認識のためのデータ融合分析 |
| JP2017168057A (ja) * | 2016-03-18 | 2017-09-21 | 株式会社Ｓｐｅｃｔｅｅ | 画像分類装置、画像分類システム及び画像分類方法 |
| KR101882743B1 (ko) * | 2017-04-17 | 2018-08-30 | 인하대학교 산학협력단 | 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법 |
| JP2020123053A (ja) * | 2019-01-29 | 2020-08-13 | キヤノン株式会社 | 情報処理装置および情報処理方法ならびにプログラム |
| KR102674519B1 (ko) * | 2019-01-21 | 2024-06-11 | 제이에프이 스틸 가부시키가이샤 | 금속 재료의 설계 지원 방법, 예측 모델의 생성 방법, 금속 재료의 제조 방법 및, 설계 지원 장치 |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036150A1 (en) * | 2004-09-28 | 2006-04-06 | Nielsen Media Research, Inc | Data classification methods and apparatus for use with data fusion |
| US9808262B2 (en) | 2006-02-15 | 2017-11-07 | Howmedica Osteonics Corporation | Arthroplasty devices and related methods |
| US9017336B2 (en) * | 2006-02-15 | 2015-04-28 | Otismed Corporation | Arthroplasty devices and related methods |
| US8460302B2 (en) | 2006-12-18 | 2013-06-11 | Otismed Corporation | Arthroplasty devices and related methods |
| US8224127B2 (en) * | 2007-05-02 | 2012-07-17 | The Mitre Corporation | Synthesis of databases of realistic, biologically-based 2-D images |
| US8460303B2 (en) | 2007-10-25 | 2013-06-11 | Otismed Corporation | Arthroplasty systems and devices, and related methods |
| US10582934B2 (en) | 2007-11-27 | 2020-03-10 | Howmedica Osteonics Corporation | Generating MRI images usable for the creation of 3D bone models employed to make customized arthroplasty jigs |
| US8480679B2 (en) | 2008-04-29 | 2013-07-09 | Otismed Corporation | Generation of a computerized bone model representative of a pre-degenerated state and useable in the design and manufacture of arthroplasty devices |
| US8160345B2 (en) | 2008-04-30 | 2012-04-17 | Otismed Corporation | System and method for image segmentation in generating computer models of a joint to undergo arthroplasty |
| US8221430B2 (en) | 2007-12-18 | 2012-07-17 | Otismed Corporation | System and method for manufacturing arthroplasty jigs |
| US8715291B2 (en) | 2007-12-18 | 2014-05-06 | Otismed Corporation | Arthroplasty system and related methods |
| US8737700B2 (en) * | 2007-12-18 | 2014-05-27 | Otismed Corporation | Preoperatively planning an arthroplasty procedure and generating a corresponding patient specific arthroplasty resection guide |
| US8545509B2 (en) | 2007-12-18 | 2013-10-01 | Otismed Corporation | Arthroplasty system and related methods |
| US8777875B2 (en) * | 2008-07-23 | 2014-07-15 | Otismed Corporation | System and method for manufacturing arthroplasty jigs having improved mating accuracy |
| US8617171B2 (en) * | 2007-12-18 | 2013-12-31 | Otismed Corporation | Preoperatively planning an arthroplasty procedure and generating a corresponding patient specific arthroplasty resection guide |
| US8734455B2 (en) | 2008-02-29 | 2014-05-27 | Otismed Corporation | Hip resurfacing surgical guide tool |
| US8617175B2 (en) | 2008-12-16 | 2013-12-31 | Otismed Corporation | Unicompartmental customized arthroplasty cutting jigs and methods of making the same |
| US8433175B2 (en) * | 2008-10-28 | 2013-04-30 | Yahoo! Inc. | Video comparing using fingerprint representations |
| US8744196B2 (en) * | 2010-11-26 | 2014-06-03 | Hewlett-Packard Development Company, L.P. | Automatic recognition of images |
| US20120272171A1 (en) | 2011-04-21 | 2012-10-25 | Panasonic Corporation | Apparatus, Method and Computer-Implemented Program for Editable Categorization |
| US8958630B1 (en) * | 2011-10-24 | 2015-02-17 | Google Inc. | System and method for generating a classifier for semantically segmenting an image |
| US9031326B2 (en) * | 2012-02-16 | 2015-05-12 | Sony Corporation | System and method for effectively performing an image categorization procedure |
| US9402637B2 (en) | 2012-10-11 | 2016-08-02 | Howmedica Osteonics Corporation | Customized arthroplasty cutting guides and surgical methods using the same |
| US9251437B2 (en) * | 2012-12-24 | 2016-02-02 | Google Inc. | System and method for generating training cases for image classification |
| US9195903B2 (en) | 2014-04-29 | 2015-11-24 | International Business Machines Corporation | Extracting salient features from video using a neurosynaptic system |
| US9373058B2 (en) | 2014-05-29 | 2016-06-21 | International Business Machines Corporation | Scene understanding using a neurosynaptic system |
| US9798972B2 (en) | 2014-07-02 | 2017-10-24 | International Business Machines Corporation | Feature extraction using a neurosynaptic system for object classification |
| US10115054B2 (en) | 2014-07-02 | 2018-10-30 | International Business Machines Corporation | Classifying features using a neurosynaptic system |
| US9709651B2 (en) * | 2014-08-20 | 2017-07-18 | Alexander Sheung Lai Wong | Compensated magnetic resonance imaging system and method for improved magnetic resonance imaging and diffusion imaging |
| CN105808610B (zh) * | 2014-12-31 | 2019-12-20 | 中国科学院深圳先进技术研究院 | 一种互联网图片过滤方法及装置 |
| US11017019B1 (en) * | 2015-08-14 | 2021-05-25 | Shutterstock, Inc. | Style classification for authentic content search |
| WO2017113232A1 (zh) * | 2015-12-30 | 2017-07-06 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的产品分类方法及装置 |
| US11475299B2 (en) * | 2017-08-10 | 2022-10-18 | Mitsubishi Electric Corporation | Identification/classification device and identification/classification method |
| KR102114369B1 (ko) * | 2018-07-03 | 2020-06-17 | 카페24 주식회사 | 쇼핑몰 배너디자인 생성 방법, 장치 및 시스템 |
| CN110135519B (zh) * | 2019-05-27 | 2022-10-21 | 广东工业大学 | 一种图像分类方法及装置 |
| US11684921B1 (en) * | 2019-08-16 | 2023-06-27 | Leidos, Inc. | Pocket detection pouch |
| CN110647933B (zh) * | 2019-09-20 | 2023-06-20 | 北京达佳互联信息技术有限公司 | 一种视频的分类方法及装置 |
| US20220121922A1 (en) * | 2020-10-20 | 2022-04-21 | Deci.Ai Ltd. | System and method for automated optimazation of a neural network model |
| CN113011438B (zh) * | 2021-03-16 | 2023-09-05 | 东北大学 | 基于节点分类和稀疏图学习的双模态图像显著性检测方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5872865A (en) * | 1995-02-08 | 1999-02-16 | Apple Computer, Inc. | Method and system for automatic classification of video images |
| US6031935A (en) * | 1998-02-12 | 2000-02-29 | Kimmel; Zebadiah M. | Method and apparatus for segmenting images using constant-time deformable contours |
| US6075891A (en) * | 1998-07-06 | 2000-06-13 | General Dynamics Government Systems Corporation | Non-literal pattern recognition method and system for hyperspectral imagery exploitation |
| US20010012062A1 (en) * | 1998-07-23 | 2001-08-09 | Eric C. Anderson | System and method for automatic analysis and categorization of images in an electronic imaging device |
| US6538698B1 (en) * | 1998-08-28 | 2003-03-25 | Flashpoint Technology, Inc. | Method and system for sorting images in an image capture unit to ease browsing access |
| US6477272B1 (en) * | 1999-06-18 | 2002-11-05 | Microsoft Corporation | Object recognition with co-occurrence histograms and false alarm probability analysis for choosing optimal object recognition process parameters |
| JP2001092972A (ja) * | 1999-09-24 | 2001-04-06 | Mamoru Minami | 画像認識方法 |
| US6741756B1 (en) * | 1999-09-30 | 2004-05-25 | Microsoft Corp. | System and method for estimating the orientation of an object |
| US6611622B1 (en) * | 1999-11-23 | 2003-08-26 | Microsoft Corporation | Object recognition system and process for identifying people and objects in an image of a scene |
| US6504951B1 (en) * | 1999-11-29 | 2003-01-07 | Eastman Kodak Company | Method for detecting sky in images |
| EP1202214A3 (en) * | 2000-10-31 | 2005-02-23 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for object recognition |
| US6826316B2 (en) * | 2001-01-24 | 2004-11-30 | Eastman Kodak Company | System and method for determining image similarity |
| US20020183984A1 (en) * | 2001-06-05 | 2002-12-05 | Yining Deng | Modular intelligent multimedia analysis system |
| US7016885B1 (en) * | 2001-08-28 | 2006-03-21 | University Of Central Florida Research Foundation, Inc. | Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals |
| US7062085B2 (en) * | 2001-09-13 | 2006-06-13 | Eastman Kodak Company | Method for detecting subject matter regions in images |
| US7194114B2 (en) * | 2002-10-07 | 2007-03-20 | Carnegie Mellon University | Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder |
| US7263220B2 (en) * | 2003-02-28 | 2007-08-28 | Eastman Kodak Company | Method for detecting color objects in digital images |
| US7496228B2 (en) * | 2003-06-13 | 2009-02-24 | Landwehr Val R | Method and system for detecting and classifying objects in images, such as insects and other arthropods |
| US7742641B2 (en) * | 2004-12-06 | 2010-06-22 | Honda Motor Co., Ltd. | Confidence weighted classifier combination for multi-modal identification |
-
2006
- 2006-10-11 US US11/548,377 patent/US20080089591A1/en not_active Abandoned
-
2007
- 2007-05-30 EP EP07010710A patent/EP1912161A3/en not_active Withdrawn
- 2007-10-09 JP JP2007262997A patent/JP2008097607A/ja not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8583647B2 (en) | 2010-01-29 | 2013-11-12 | Panasonic Corporation | Data processing device for automatically classifying a plurality of images into predetermined categories |
| JP2015204043A (ja) * | 2014-04-15 | 2015-11-16 | Kddi株式会社 | 多クラス識別器構築装置、方法及びプログラム |
| JP2017522548A (ja) * | 2014-06-03 | 2017-08-10 | レイセオン カンパニー | 海事自動ターゲット認識のためのデータ融合分析 |
| JP2019070671A (ja) * | 2014-06-03 | 2019-05-09 | レイセオン カンパニー | 海事自動ターゲット認識のためのデータ融合分析 |
| JP2014197412A (ja) * | 2014-06-12 | 2014-10-16 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の類似検索システム及び方法 |
| JP2017168057A (ja) * | 2016-03-18 | 2017-09-21 | 株式会社Ｓｐｅｃｔｅｅ | 画像分類装置、画像分類システム及び画像分類方法 |
| KR101882743B1 (ko) * | 2017-04-17 | 2018-08-30 | 인하대학교 산학협력단 | 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법 |
| KR102674519B1 (ko) * | 2019-01-21 | 2024-06-11 | 제이에프이 스틸 가부시키가이샤 | 금속 재료의 설계 지원 방법, 예측 모델의 생성 방법, 금속 재료의 제조 방법 및, 설계 지원 장치 |
| JP2020123053A (ja) * | 2019-01-29 | 2020-08-13 | キヤノン株式会社 | 情報処理装置および情報処理方法ならびにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1912161A3 (en) | 2009-12-16 |
| EP1912161A2 (en) | 2008-04-16 |
| US20080089591A1 (en) | 2008-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2008097607A (ja) | 入力イメージを自動的に分類する方法 | |
| US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
| Jiang et al. | An effective method to detect and categorize digitized traditional Chinese paintings | |
| Lopes et al. | Automatic histogram threshold using fuzzy measures | |
| Zeppelzauer et al. | Interactive 3D segmentation of rock-art by enhanced depth maps and gradient preserving regularization | |
| CN105528575B (zh) | 基于上下文推理的天空检测方法 | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
| CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
| CN1975759A (zh) | 一种基于结构主元分析的人脸识别方法 | |
| JP2008159056A (ja) | 画像中に生じる特徴の生成モデルによる分類 | |
| Liapis et al. | Colour and texture segmentation using wavelet frame analysis, deterministic relaxation, and fast marching algorithms | |
| Mojsilovic et al. | Isee: Perceptual features for image library navigation | |
| JP2008015641A (ja) | 人体領域抽出方法および装置並びにプログラム | |
| CN107622280B (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
| Zhang et al. | Improved adaptive image retrieval with the use of shadowed sets | |
| Schettini et al. | Automatic classification of digital photographs based on decision forests | |
| CN105844299B (zh) | 一种基于词袋模型的图像分类方法 | |
| CN109299295B (zh) | 蓝印花布图像数据库搜索方法 | |
| Curran et al. | The use of neural networks in real-time face detection | |
| JP4302799B2 (ja) | 文書検索装置、方法および記録媒体 | |
| Huang et al. | Automatic image annotation using multi-object identification | |
| Diaa | A Deep Learning Model to Inspect Image Forgery on SURF Keypoints of SLIC Segmented Regions | |
| Barnea et al. | A supervised approach for object extraction from terrestrial laser point clouds demonstrated on trees | |
| Wyzykowski et al. | A Universal Latent Fingerprint Enhancer Using Transformers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110104 |