JP2004178569A - Data classification device, object recognition device, data classification method, and object recognition method - Google Patents

Data classification device, object recognition device, data classification method, and object recognition method Download PDF

Info

Publication number
JP2004178569A
JP2004178569A JP2003375423A JP2003375423A JP2004178569A JP 2004178569 A JP2004178569 A JP 2004178569A JP 2003375423 A JP2003375423 A JP 2003375423A JP 2003375423 A JP2003375423 A JP 2003375423A JP 2004178569 A JP2004178569 A JP 2004178569A
Authority
JP
Japan
Prior art keywords
class
data
classes
model data
dimensions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003375423A
Other languages
Japanese (ja)
Other versions
JP2004178569A5 (en
Inventor
Mihoko Shimano
美保子 島野
Kenji Nagao
健司 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2003375423A priority Critical patent/JP2004178569A/en
Publication of JP2004178569A publication Critical patent/JP2004178569A/en
Publication of JP2004178569A5 publication Critical patent/JP2004178569A5/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem where, although inputted data are required to be classified into appropriate categories, the categories are classifications required for an application, or types defined by a user, so that the distributions of the categories are partially overlapped depending on the inputted data, and the optimum classification can not be executed. <P>SOLUTION: This data classification device is so structured that the number of classes and the number of dimensions are previously calculated in order to classify a model data group comprising a plurality of model data into classes of separated distributions; a class configuration is determined according to the number of classes and the number of dimensions having been obtained; the model data group is classified class-by-class; a representative value of each class is compared with inputted data to determine the class having a representative value having the highest degree of similarity; and the category of the inputted data is found by finding the category to which the determined class belongs. <P>COPYRIGHT: (C)2004,JPO

Description

本発明は、データが分類されているカテゴリを、カテゴリよりも小さい分布であるクラスを構築するデータ分類装置及びデータ分類方法と、データ分類装置により構成されたクラスに、入力されたデータを分類し、データに含まれる物体を認識する物体認識装置及び物体認識方法に関する。   The present invention classifies a category into which data is classified, a data classification device and a data classification method for constructing a class having a distribution smaller than the category, and classifies input data into a class constituted by the data classification device. The present invention relates to an object recognizing device and an object recognizing method for recognizing an object included in data.

従来、逐次入力されるデータを、カテゴリに分類し、データに含まれる物体を認識する物体認識装置がある。   2. Description of the Related Art Conventionally, there is an object recognition apparatus that classifies sequentially input data into categories and recognizes an object included in the data.

まず、従来の物体認識装置は、入力されたデータがどのカテゴリに入るかを分類する際に、入力されたデータのベクトルと、夫々のカテゴリの代表ベクトルとを求める。ここで、カテゴリの代表ベクトルは、カテゴリに含まれる全モデルデータのベクトルの重心ベクトルである。   First, a conventional object recognition apparatus obtains a vector of input data and a representative vector of each category when classifying which category the input data falls into. Here, the representative vector of the category is a center-of-gravity vector of vectors of all model data included in the category.

次に、従来の物体認識装置は、入力されたデータのベクトルと、カテゴリの代表ベクトルとを比較し、入力されたデータのベクトルと最も類似度の高い代表ベクトルを持つカテゴリを検出する。そして、従来の物体認識装置は、入力さらたデータを、最も類似度の高い代表ベクトルを持つカテゴリに分類し、データに含まれる物体の認識を行う(例えば、特許文献1)。
特開2000−242784号公報(第4−6頁、第2、3図)
Next, the conventional object recognition device compares the input data vector with the representative vector of the category, and detects a category having a representative vector having the highest similarity to the input data vector. Then, the conventional object recognition device classifies the input data into a category having a representative vector having the highest similarity, and recognizes an object included in the data (for example, Patent Document 1).
JP-A-2000-242784 (pages 4 to 6, FIGS. 2 and 3)

ここで、物体認識装置は、入力されたデータが適切なカテゴリに分類されることが要求されているが、カテゴリは、アプリケーションが求める分類、又は、ユーザが定める種別であるため、入力されたデータによっては、カテゴリの分布が部分的に重複し、最適な分類が実行できないといった課題がある。   Here, the object recognition device is required to classify the input data into an appropriate category. However, since the category is a classification required by the application or a type determined by the user, the input data is In some cases, there is a problem that the distribution of categories partially overlaps, and it is not possible to perform optimal classification.

ここで、カテゴリをより小さい分布となるクラスに分類することが要求されているが、データの分類が不適切であったり、クラス数が過剰に多すぎたり、汎化能力のないクラス構成であったりする課題があった。   Here, it is required to classify the categories into classes with a smaller distribution, but the classification of the data is inappropriate, the number of classes is too large, or the class configuration has no generalization ability. There was a problem.

本発明は、かかる点に鑑みてなされたものであり、カテゴリの分布では、分類が不適切な場合に、適切なクラスを構成し、入力データを正確なカテゴリに分類し、入力データに含まれる物体の認識の精度を向上させることを目的とする。   The present invention has been made in view of such a point, and in the category distribution, when the classification is inappropriate, an appropriate class is configured, the input data is classified into an accurate category, and included in the input data. An object of the present invention is to improve the accuracy of object recognition.

この課題を解決するために本発明は、複数のモデルデータからなるモデルデータ群を、分離された分布であるクラスに分類するために、クラス数及び次元数を予め算出し、求めたクラス数及び次元数に従いクラス構成を決定し、モデルデータ群をクラス毎に分類し、この各クラスの代表値と入力されたデータとを比較し、最も類似度の高い代表値を持つクラスを判定し、この判定したクラスが属するカテゴリを求めることで、入力されるデータのカテゴリを求めるように構成したものである。   In order to solve this problem, the present invention calculates a class number and a dimension number in advance in order to classify a model data group including a plurality of model data into classes that are separated distributions. The class configuration is determined according to the number of dimensions, the model data group is classified for each class, the representative value of each class is compared with the input data, and the class having the highest similarity is determined. The category of the input data is obtained by obtaining the category to which the determined class belongs.

つまり、予め複数のモデルデータからなるモデルデータ群を所定の項目に従い分類することで、モデルデータ群をアプリケーションが求めるカテゴリより小さい分布を持ち、冗
長性のないクラスに再度分類し、このクラスの代表値と逐次入力されるデータとを比較し、入力されたデータと最も類似度の高い代表値を持つクラスを判定し、この判定したクラスが属するカテゴリを求めることで入力されたデータのカテゴリを求めることである。
In other words, by classifying a model data group consisting of a plurality of model data according to predetermined items in advance, the model data group is classified again into a class having a distribution smaller than the category required by the application and having no redundancy, and representing the class. The value and the sequentially input data are compared, the class having the representative value having the highest similarity to the input data is determined, and the category to which the determined class belongs is determined to determine the category of the input data. That is.

言い換えると、モデルデータが数個で構成されるクラスではなく、また、モデルデータ群に特化したものではなく、逐次入力されるデータに対しても効果のあるクラス構成である。   In other words, the class is not a class composed of several model data, and is not specialized for a group of model data. The class configuration is also effective for sequentially input data.

以上より、逐次入力されるデータを正確なクラスに分類し、且つ正確なカテゴリに分類することができるため、データ分類の精度を向上させ、実用的なデータ分類をすることが可能となる。   As described above, since sequentially input data can be classified into an accurate class and into an accurate category, the accuracy of data classification can be improved, and practical data classification can be performed.

以上のように本発明によれば、クラスの分類を正確に行うことができるようなクラス数及び次元数を求めた上で、クラス数及び次元数に従ったクラス構成を求めることで、逐次入力されるデータと最も類似度の高いクラスを検出し、この検出したクラスの属するカテゴリを求めるようにできる。これにより、カテゴリの分布に関わらず、逐次入力されたデータを正確なカテゴリに分類することができ、従来の方法でのデータのカテゴリ分類を誤る確率を、低減することができるという有利な効果が得られる。   As described above, according to the present invention, the number of classes and the number of dimensions that can accurately perform class classification are obtained, and then the class configuration according to the number of classes and the number of dimensions is obtained. The class having the highest similarity to the data to be detected is detected, and the category to which the detected class belongs can be obtained. Thereby, regardless of the distribution of the categories, the sequentially input data can be classified into correct categories, and the advantageous effect of reducing the probability of misclassifying the data by the conventional method can be reduced. can get.

本発明の第1の発明は、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出するクラス数・次元数決定部と、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類するクラス構成構築部と、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する特徴抽出行列算出部と、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出するモデル特徴ベクトル算出部とを有するデータ分類装置としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるという作用を有する。   According to a first aspect of the present invention, there is provided a method for determining the number of classes and the number of dimensions, which are parameters used when constructing a class having a distribution smaller than the category in which a plurality of model data are classified, and determining the number of classes and the number of dimensions. Unit, a class configuration is calculated using the number of classes and the number of dimensions, a class configuration construction unit that classifies the model data into the class, and the model data classified into the class, the intra-class variance is small, A feature extraction matrix calculation unit that calculates a feature extraction matrix used when converting the inter-class variance into a large distribution, and calculates an average value of a feature vector for each class from the model data classified into the class and the feature extraction matrix. It is a data classification device that has a model feature vector calculation unit. Classification class configuration can be obtained which is suitable for the data can be classified on the exact class, an effect that can be classified into and accurate categories.

本発明の第2の発明は、クラス数・次元数決定部は、複数のモデルデータから推定されるモデル確率分布を用いたモデル選択の基準である情報量基準が最小となるクラス構成のクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小なるクラス数及び次元数を用いて、クラス内分散を小さくする手法であるクラスタリングによりクラスを構築する第1の発明に記載のデータ分類装置としたものであり、情報量基準とクラスタリングとを用いることにより、カテゴリより小さい分布であるクラスを容易に構築することができるという作用を有する。   According to a second invention of the present invention, the class number / dimension number determination unit is configured to determine the number of classes having a class configuration that minimizes an information amount criterion that is a criterion for model selection using a model probability distribution estimated from a plurality of model data. The first invention calculates a class number and a dimension number, and the class configuration constructing unit constructs a class by clustering, which is a technique for reducing intra-class variance, using the class number and the dimension number with the minimum information amount criterion. The use of the information amount criterion and the clustering has an effect that a class having a distribution smaller than a category can be easily constructed.

本発明の第3の発明は、クラス数・次元数決定部は、複数のモデルデータから算出される単位行列である共分散行列を用いて前記複数のモデルデータを変換し、前記変換された複数のモデルデータを用いた情報量基準が最小となるクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小となるクラス数及び次元数を用いてクラス内分散を小さくするクラスタリングによりクラスを構築し、特徴抽出行列算出部は、前記単位行列の共分散行列により変換された前記複数のモデルデータを、前記クラスのクラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特許抽出行列を算出する第1の発明に記載のデータ分類装置としたものであり、共分散行列を用いて複数のモデルデータを変換することで、カテゴリより小さい分布であるクラスを容易に構築することがで
きるという作用を有する。
In a third aspect of the present invention, the class number / dimension number determining unit converts the plurality of model data using a covariance matrix which is a unit matrix calculated from the plurality of model data, and Calculates the number of classes and the number of dimensions that minimize the information amount criterion using the model data of, and the class configuration construction unit reduces the intra-class variance by using the number of classes and the number of dimensions that minimizes the information amount criterion A class is constructed by clustering, and the feature extraction matrix calculation unit converts the plurality of model data converted by the covariance matrix of the unit matrix into a distribution having a small intra-class variance and a large inter-class variance of the class. A data classification apparatus according to the first aspect of the present invention, which calculates a patent extraction matrix used in a case, converts a plurality of model data using a covariance matrix, and An effect that it is possible to easily construct a class is smaller distribution.

本発明の第4の発明は、クラス数・次元数決定部は、複数のモデルデータから算出される特徴ベクトルの分布とカテゴリ又はクラスの分布との類似度を含む判断評価基準を用いてクラス数及び次元数を算出する第1の発明に記載のデータ分類装置としたものであり、モデルデータの分布と、カテゴリ又はクラスの分布との類似度を含む評価基準を用いて、カテゴリを冗長なく細かいクラスに分類するものであり、分類されたカテゴリ毎にパターンベクトルを抽出し、パターンベクトルの分布から分類がし易くすることができるという作用を有する。   According to a fourth aspect of the present invention, the class number / dimension number determining unit determines the class number by using a judgment evaluation criterion including a similarity between the distribution of the feature vector calculated from the plurality of model data and the distribution of the category or the class. And a data classification device according to the first aspect of the present invention, which calculates the number of dimensions, and uses an evaluation criterion including a similarity between the distribution of the model data and the distribution of the category or the class to categorize the category without redundancy. Classification is performed into classes, and pattern vectors are extracted for each of the classified categories, and the classification vector can be easily classified based on the distribution of the pattern vectors.

本発明の第5の発明は、判断評価基準は、Kullback−Leibler情報量を含む基準である第4の発明に記載のデータ分類装置としたものであり、判断評価基準Fを最小化することで、Fisher基準から導かれたサンプルのクラス構成と類似する分布でありながら、AICを最小化するクラス数と次元数を求めることができるという作用を有する。   A fifth invention of the present invention is the data classification device according to the fourth invention, wherein the judgment evaluation criterion is a criterion including a Kullback-Leibler information amount, and the judgment evaluation criterion F is minimized. , The distribution is similar to the class configuration of the sample derived from the Fisher criterion, but has the effect that the number of classes and the number of dimensions that minimize the AIC can be obtained.

本発明の第6の発明は、クラス構成構築部は、既にクラスに分類されたモデルデータと第1のクラス数及び次元数とを用いて算出された第1の評価量基準と、前記既にクラスに分類されたモデルデータと前記第1のクラス数及び次元数と異なる第2のクラス数及び次元数を用いて算出された第2の評価量基準とを比較し、評価量基準が小さいクラス数及び次元数を用いてクラスを再度構築する第1ないし5のいずれかの発明に記載のデータ分類装置としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができ、データ分類の精度を向上させ、実用的なデータ分類が可能となり、データに含まれる物体の認識の精度が向上するという作用を有する。   According to a sixth aspect of the present invention, in the class configuration constructing section, the first evaluation amount criterion calculated using the model data already classified into the class, the first class number and the dimension number, Is compared with the second evaluation criterion calculated using the second class number and the dimension number different from the first class number and the dimension number, and the number of classes having the smaller evaluation criterion is compared. And a data classifying apparatus according to any one of the first to fifth aspects of the present invention, which reconstructs a class using the number of dimensions and the number of dimensions. Class composition can be determined, data can be classified into accurate classes, and classified into accurate categories, data classification accuracy can be improved, practical data classification can be performed, and objects included in data can be obtained. of An effect that identification accuracy is improved.

本発明の第7の発明は、第1ないし6のいずれかの発明に記載のデータ分類装置と、認識対象となる物体を含む入力データを、前記特徴抽出行列を用いて入力特徴ベクトルに変換する入力特徴ベクトル算出部と、前記クラス毎の特徴ベクトルの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する入力データ判定部とを含む物体認識装置としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるデータベースを用いて、物体認識を実行することができるため、物体認識の精度を向上することができるという作用を有する。   According to a seventh aspect of the present invention, there is provided the data classification device according to any one of the first to sixth aspects, wherein input data including an object to be recognized is converted into an input feature vector using the feature extraction matrix. An input feature vector calculation unit, an input for recognizing the object by comparing the average value of the feature vector for each class with the input feature vector and obtaining the category to which the class most similar to the input data belongs; It is an object recognition device including a data determination unit, and even if the distribution of the category is not separable, a class configuration suitable for classification can be obtained, and the data can be classified into an accurate class. Object recognition can be performed using a database that can be classified into accurate categories, and the accuracy of object recognition can be improved. It is having an effect.

本発明の第8の発明は、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第1のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第2のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第3のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第4のステップとを含むデータ分類方法としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるという作用を有する。   An eighth aspect of the present invention is a first step of calculating the number of classes and the number of dimensions, which are parameters used when constructing a class having a distribution smaller than the category into which the plurality of model data are classified, A second step of calculating a class configuration using the number of classes and the number of dimensions, and classifying the model data into the classes; and Is a third step of calculating a feature extraction matrix used when converting to a large distribution, and a fourth step of calculating an average value of feature vectors for each class from the model data classified into the class and the feature extraction matrix. Classification suitable for classification even when it is not separable with the distribution of the category as it is Mel it possible, data can be classified into correct class, an effect that can be classified into and accurate categories.

本発明の第9の発明は、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第1のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記
モデルデータを前記クラスに分類する第2のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第3のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第4のステップと、認識対象となる物体を含む入力データが入力され、前記入力データが前記特徴抽出行列を用いて入力特徴ベクトルに変換する第5のステップと、前記クラスの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する第6のステップとを有する物体認識方法としたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるデータベースを用いて、物体認識を実行することができるため、物体認識の精度を向上することができるという作用を有する。
A ninth aspect of the present invention is a first step of calculating the number of classes and the number of dimensions, which are parameters used when constructing a class having a distribution smaller than the category into which the plurality of model data are classified, A second step of calculating a class configuration using the number of classes and the number of dimensions, and classifying the model data into the classes; and Is a third step of calculating a feature extraction matrix used when converting to a large distribution, and a fourth step of calculating an average value of feature vectors for each class from the model data classified into the class and the feature extraction matrix. And input data including an object to be recognized is input, and the input data is converted into an input feature vector using the feature extraction matrix. A fifth step of recognizing the object by comparing the average value of the class with the input feature vector and obtaining the category to which the class most similar to the input data belongs; It is a method of recognizing objects that has a class distribution suitable for classification even if it is not separable with the distribution of categories as it is, and it is possible to classify data into accurate classes, and to classify accurate data Since the object recognition can be executed by using the database that can be classified, there is an effect that the accuracy of the object recognition can be improved.

本発明の第10の発明は、コンピュータに、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第1のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第2のステップと、前記クラスに分類されているのモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第3のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第4のステップとを含むデータ分類方法を実行させるためのプログラムとしたものであり、カテゴリの分布のままでは分離可能ではない場合にも、分類に適したクラス構成を求めることができ、データを正確なクラスに分類でき、且つ正確なカテゴリに分類することができるという作用を有する。   According to a tenth aspect of the present invention, a computer calculates a class number and a dimension number which are parameters used when constructing a class having a distribution smaller than the category by classifying a plurality of model data. And a second step of calculating a class configuration using the number of classes and the number of dimensions, and classifying the model data into the class. A third step of calculating a feature extraction matrix used when converting the inter-class variance into a large distribution, and calculating an average value of a feature vector for each class from the model data classified into the class and the feature extraction matrix. This is a program for executing the data classification method including the fourth step. Possible even if it is not, classification class structure can be obtained which is suitable for the data can be classified on the exact class, an effect that can be classified into and accurate categories.

以下、本発明の実施の形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(実施の形態1)
図1は、第1の実施の形態による物体認識装置のブロック図を示す。ここでは、データを画像データとした構成について説明する。
(Embodiment 1)
FIG. 1 shows a block diagram of the object recognition device according to the first embodiment. Here, a configuration in which data is image data will be described.

ここで、101は、データ分類を行うコンピュータシステムを示し、102は、プログラムに基づいて所定の処理を行うCPUを示し、103は、プログラムを格納し、CPU102のワーク領域となるメモリを示し、104〜107は、外部とのデータのやり取りをするインターフェースユニット(Inter Face Unit:I/F)を示し、108は、2次記憶装置や光磁気ディスクなどで構成される、コンピュータシステムの外部に設けられたカテゴリを構成する画像データであるモデルデータを保存するモデルデータデータベースを示し、109は、モデルデータデータベースのモデルデータを一時的に蓄積するモデルデータメモリを示す。   Here, 101 indicates a computer system that performs data classification, 102 indicates a CPU that performs predetermined processing based on a program, 103 indicates a memory that stores a program and serves as a work area of the CPU 102, and 104 Reference numerals 107 denote interface units (Interface Units: I / F) for exchanging data with the outside, and 108 is provided outside the computer system, which is configured by a secondary storage device, a magneto-optical disk, or the like. A model data database for storing model data, which is image data constituting a category, is shown. Reference numeral 109 denotes a model data memory for temporarily storing model data in the model data database.

また、110は、物体の画像を撮影するためのビデオカメラを示し、111は、ビデオカメラ110から逐次入力される画像データを一時的に蓄積する画像メモリを示し、112は、入力手段であるキーボード及び表示手段であるディスプレイを示し、114は、画像データの画素値を1次元ベクトルに表現したパターンベクトルを格納するパターンベクトルメモリを示し、115は、モデルデータのパターンベクトルであるモデルパターンベクトルを、カテゴリ毎に格納するカテゴリ構成モデルデータデータベースを示す。   Reference numeral 110 denotes a video camera for capturing an image of an object, 111 denotes an image memory for temporarily storing image data sequentially input from the video camera 110, and 112 denotes a keyboard serving as input means. 114 denotes a pattern vector memory that stores a pattern vector expressing a pixel value of image data as a one-dimensional vector. 115 denotes a model pattern vector that is a pattern vector of model data. 4 shows a category configuration model data database stored for each category.

また、116は、モデルデータを、クラス数及び次元数に従い構成されたクラス毎に格納したクラス構成モデルデータデータベースを示し、117は、コンピュータシステム101内部の各構成を接続するCPUバスを示し、118は、物体認識装置が分類した結果
を出力する出力端子を示す。
Reference numeral 116 denotes a class configuration model data database in which model data is stored for each class configured according to the number of classes and the number of dimensions. Reference numeral 117 denotes a CPU bus that connects each configuration inside the computer system 101; Denotes an output terminal for outputting the result of classification by the object recognition device.

更に、120は、クラス数及び次元数を格納したクラス数・次元数メモリを示し、121は、座標系を特徴座標系に変換する特徴抽出行列を格納した特徴抽出行列メモリを示し、122は、モデルデータの特徴ベクトルであるモデル特徴ベクトルを記憶するモデル特徴ベクトルデータベースを示し、123は、画像データの特徴ベクトルである入力特徴ベクトルを記憶する特徴ベクトルメモリを示す。   Further, reference numeral 120 denotes a class number / dimension number memory storing the number of classes and dimensions, 121 denotes a feature extraction matrix memory storing a feature extraction matrix for converting a coordinate system into a feature coordinate system, and 122 denotes a feature extraction matrix memory. A model feature vector database that stores a model feature vector that is a feature vector of model data is shown. Reference numeral 123 denotes a feature vector memory that stores an input feature vector that is a feature vector of image data.

以上のように構成された物体認識装置は、予め蓄積された各カテゴリに分類されたモデルデータを、冗長することなく更に細かく分類するクラスを構成し、各クラスの特徴を示す特徴ベクトルの代表値を求めるオフライン処理と、ビデオカメラ110から逐次入力される画像データとオフライン処理で求めた特徴ベクトルの代表値を比較し、該当するクラスを判断し、画像データの分類を行い、画像データに含まれる物体の認識を行うオンライン処理とに大別される。   The object recognition device configured as described above constitutes a class that classifies model data classified in each category stored in advance into finer classes without redundancy, and represents a representative value of a feature vector indicating a feature of each class. Is compared with the image data sequentially input from the video camera 110 and the representative value of the feature vector obtained in the offline processing, the corresponding class is determined, the image data is classified, and included in the image data. It is roughly divided into online processing for recognizing objects.

まず、物体認識装置のオフライン処理について、図2ないし図4を用いて詳細に説明する。   First, the offline processing of the object recognition device will be described in detail with reference to FIGS.

図2は、第1の実施の形態による物体認識装置のオフライン処理のための機能ブロック図である。   FIG. 2 is a functional block diagram for offline processing of the object recognition device according to the first embodiment.

ここで、201は、モデルパターンからパターンベクトルを作成するパターンベクトル作成部を示し、202は、カテゴリを冗長なく細かく分類するためのクラス構成におけるクラス数及び次元数を算出するクラス数・次元数算出部を示し、203は、カテゴリ構成をクラス構成に再構成するクラス構成構築部を示し、204は、モデルデータから特徴ベクトルを作成する学習手段である特徴抽出行列算出部を示し、205は、特徴抽出行列を用いてパターンベクトルを、モデル特徴ベクトルに変換する算出するモデル特徴ベクトル算出部を示し、メモリ103に格納されているプログラムに相当し、CPU102により実行される。   Here, reference numeral 201 denotes a pattern vector creating unit that creates a pattern vector from a model pattern, and 202 denotes a class number / dimension number calculation that calculates the number of classes and the number of dimensions in a class configuration for finely classifying categories without redundancy. 203, a class configuration constructing unit that reconfigures the category configuration into a class configuration, 204, a feature extraction matrix calculating unit that is a learning unit that creates a feature vector from model data, and 205, a feature extracting matrix calculating unit. A model feature vector calculation unit that calculates a pattern vector by converting a pattern vector into a model feature vector using an extraction matrix corresponds to a program stored in the memory 103 and is executed by the CPU 102.

また、オフライン処理は、I/F104、106、モデルデータメモリ109、キーボード・ディスプレイ112、カテゴリ構成モデルデータデータベース115、クラス構成モデルデータデータベース116、クラス数・次元数メモリ120、特徴抽出行列メモリ121、パターンベクトル作成部201、クラス数・次元数決定部202、クラス構成構築部203、特徴抽出行列算出部204及びモデル特徴ベクトル算出部205から構成される。   The offline processing includes I / Fs 104 and 106, a model data memory 109, a keyboard / display 112, a category configuration model data database 115, a class configuration model data database 116, a class / dimension memory 120, a feature extraction matrix memory 121, It comprises a pattern vector creation unit 201, a class / dimension determination unit 202, a class configuration construction unit 203, a feature extraction matrix calculation unit 204, and a model feature vector calculation unit 205.

なお、図2は、カテゴリに属するモデルデータをクラスに分類し、クラスの特徴ベクトルを生成する特徴ベクトル生成装置として利用することもできる。   Note that FIG. 2 can be used as a feature vector generation device that classifies model data belonging to a category into classes and generates feature vectors of the classes.

また、図3は、第1の実施の形態による物体認識装置のオフライン処理の動作フローチャートである。   FIG. 3 is an operation flowchart of the offline processing of the object recognition device according to the first embodiment.

まず、機能ブロックと動作フローチャートの関係を説明し、その後、各機能ブロックの詳細な説明を記述する。   First, the relationship between the functional blocks and the operation flowchart will be described, and then a detailed description of each functional block will be described.

モデルデータデータベース108には、複数のモデルデータが格納されている。モデルデータは、I/F104を介してモデルデータメモリ109に格納される(S301)。   The model data database 108 stores a plurality of model data. The model data is stored in the model data memory 109 via the I / F 104 (S301).

パターンベクトル作成部201は、モデルデータから任意に長方形の部分画像であるモ
デルパターンを抽出し、画素値を1次元ベクトルに表現したベクトルであるパターンベクトルを作成する(S302)。
The pattern vector creating unit 201 arbitrarily extracts a model pattern that is a rectangular partial image from the model data, and creates a pattern vector that is a vector expressing a pixel value as a one-dimensional vector (S302).

次に、パターンベクトル作成部201は、ユーザがキーボード112から入力したモデルパターンに対応するカテゴリ情報から、パターンベクトルに分類したカテゴリ名を記述したラベルを作成する。   Next, the pattern vector creation unit 201 creates a label describing the category name classified into the pattern vector from the category information corresponding to the model pattern input from the keyboard 112 by the user.

そして、パターンベクトル作成部201は、作成したパターンベクトルにラベルを付与し、ユーザが入力したカテゴリ毎に分類した状態で、カテゴリ構成モデルデータデータベース115に格納する(S303)。   Then, the pattern vector creating unit 201 assigns a label to the created pattern vector, and stores the pattern vector in the category configuration model data database 115 in a state of being classified for each category input by the user (S303).

次に、クラス数・次元数決定部202が、カテゴリ構成モデルデータデータベース115を参照し、分類されたカテゴリ毎にパターンベクトルを抽出し、パターンベクトルの分布から分類がしやすくなるクラス数及び次元数を、AIC法により算出し、クラス数・次元数メモリ120に格納する(S304)。   Next, the number-of-classes / dimensions determination unit 202 refers to the category configuration model data database 115, extracts a pattern vector for each of the classified categories, and sets the number of classes and the number of dimensions that can be easily classified based on the distribution of the pattern vectors. Is calculated by the AIC method and stored in the class number / dimension number memory 120 (S304).

次に、クラス構成構築部203が、クラス数・次元数メモリ120からクラス数及び次元数を抽出し、最もクラス内分散を小さくするクラス構成を、ISODATA法により求め、パターンベクトルをクラスに分類する。そして、パターンベクトルに、求めたクラス構成に基づいて分類したクラスのラベルをつけ、クラス構成モデルデータデータベース116に格納する(S305)。   Next, the class configuration construction unit 203 extracts the number of classes and the number of dimensions from the number-of-classes / dimensions memory 120, obtains the class configuration that minimizes the intra-class variance by the ISODATA method, and classifies the pattern vectors into classes. . Then, a label of the class classified based on the obtained class configuration is attached to the pattern vector, and the pattern vector is stored in the class configuration model data database 116 (S305).

次に、特徴抽出行列算出部204は、クラス構成モデルデータデータベース116に格納されている各パターンベクトルから、クラス内に含まれるパターンベクトルが最もまとまり、更に、クラス間が最も分離されるような特徴抽出行列を算出する。そして、特徴抽出行列算出部204は、算出した特徴抽出行列を、特徴抽出行列メモリ121に格納する(S306)。   Next, the feature extraction matrix calculation unit 204 calculates a feature that the pattern vectors included in the class are most united from each pattern vector stored in the class configuration model data database 116, and further, the class is most separated. Calculate the extraction matrix. Then, the feature extraction matrix calculation unit 204 stores the calculated feature extraction matrix in the feature extraction matrix memory 121 (S306).

次に、モデル特徴ベクトル算出部205が、特徴抽出行列メモリ121を参照して得た特徴抽出行列を用いて、クラス構成モデルデータデータベース116に格納されたパターンベクトルをモデル特徴ベクトルに変換する(S307)。   Next, the model feature vector calculation unit 205 converts the pattern vector stored in the class configuration model data database 116 into a model feature vector using the feature extraction matrix obtained by referring to the feature extraction matrix memory 121 (S307). ).

次に、モデル特徴ベクトル算出部205は、クラス毎のモデル特徴ベクトルの平均値を計算し、クラス毎のモデル特徴ベクトルの代表値として、モデル特徴ベクトルデータベース122に登録する(S308)。   Next, the model feature vector calculation unit 205 calculates the average value of the model feature vector for each class, and registers the average value of the model feature vector for each class in the model feature vector database 122 (S308).

以上が、物体認識装置がオフラインで実行するプロセスである。   The above is the process executed by the object recognition device offline.

次に、各機能ブロックの詳細な説明を、数式を用いて記述する。   Next, a detailed description of each functional block will be described using mathematical expressions.

まず、パターンベクトル作成部201について説明する。   First, the pattern vector creation unit 201 will be described.

パターンベクトル作成部201は、モデルデータからモデルパターンを抽出し、パターンベクトルを作成する。   The pattern vector creation unit 201 extracts a model pattern from model data and creates a pattern vector.

なお、モデルパターンの大きさ及びその形は、いかなる物でも良く、エッジ画像をベクトル化したもの、二値画像の座標情報を1次元ベクトルに表現したベクトルでも良く、モデルデータをモデルパターンとしても良い。   The size and the shape of the model pattern may be any shape, such as a vectorized edge image, a vector expressing coordinate information of a binary image in a one-dimensional vector, or model data as a model pattern. .

次に、パターンベクトル作成部201は、キーボード112から入力したモデルパター
ンに対応するカテゴリ情報から、カテゴリ名を記述したラベルを作成する。
Next, the pattern vector creation unit 201 creates a label describing the category name from the category information corresponding to the model pattern input from the keyboard 112.

なお、ディスプレイ112に表示した対応するモデルパターンを見て、モデルパターンに対応するカテゴリ情報入力しても良い。   Note that the user may view the corresponding model pattern displayed on the display 112 and input category information corresponding to the model pattern.

また、ラベルとは、モデルパターンの種類や所属等を表現する情報である。   The label is information expressing the type, affiliation, and the like of the model pattern.

なお、ユーザが入力するカテゴリ情報は、物体認識装置のアプリケーションが求めるカテゴリ情報である。   The category information input by the user is the category information required by the application of the object recognition device.

そして、パターンベクトル作成部201は、パターンベクトルにラベルを付与し、カテゴリ構成モデルデータデータベース115に格納する。   Then, the pattern vector creation unit 201 assigns a label to the pattern vector and stores the label in the category configuration model data database 115.

なお、第1の実施の形態では、パターンベクトルのカテゴリを表すラベルをカテゴリに分類した後で付与するが、モデルデータに初めからカテゴリを表すラベルが付されている形態であってもよい。この場合には、パターンベクトル作成部201が、カテゴリのラベルと参照することで、パターンベクトルをカテゴリに分類し、カテゴリ構成モデルデータデータベース115に格納する。   In the first embodiment, the label indicating the category of the pattern vector is assigned after being classified into the category. However, the label indicating the category may be added to the model data from the beginning. In this case, the pattern vector creating unit 201 classifies the pattern vector into a category by referring to the category label, and stores the category in the category configuration model data database 115.

次に、カテゴリ構成モデルデータデータベース115の構成について、図4を用いて説明する。図4は、第1の実施の形態によるカテゴリ構成モデルデータデータベースの構成を示す図である。   Next, the configuration of the category configuration model data database 115 will be described with reference to FIG. FIG. 4 is a diagram showing a configuration of the category configuration model data database according to the first embodiment.

図4に示すように、カテゴリ構成モデルデータデータベース115には、アプリケーションが求めるカテゴリ401と、カテゴリ401に対応するモデルデータとの組が複数格納されている。   As shown in FIG. 4, the category configuration model data database 115 stores a plurality of pairs of a category 401 required by an application and model data corresponding to the category 401.

なお、カテゴリ構成モデルデータデータベース115に格納されるモデルデータはパターンベクトルである。   Note that the model data stored in the category configuration model data database 115 is a pattern vector.

また、アプリケーションが求めるカテゴリとしては、人物を示す「Aさん」、「Bさん」、「Cさん」などのカテゴリや、車のタイプを示す「セダン」、「トラック」、「RV」などのカテゴリや、物体までの距離を示す情報など、さまざまなカテゴリが考えられる。また、カテゴリ401に対応するモデルデータには、カテゴリ401の名前のラベル402が付与されている。   The categories required by the application include categories such as "Mr. A", "Mr. B", and "Mr. C" indicating a person, and categories such as "Sedan", "Truck", and "RV" indicating a car type. And various categories such as information indicating the distance to the object. The model data corresponding to the category 401 is provided with a label 402 having the name of the category 401.

図4の例では、ラベル402を3ビットで示し、カテゴリAの画像a1、画像a2には「001」というラベル402が、カテゴリBの画像b1及び画像b2には「010」というラベル402、カテゴリCの画像c1及び画像c2には「011」というラベル402が、画像データのヘッダ部に付与されている。   In the example of FIG. 4, the label 402 is indicated by 3 bits, the label 402 of “001” is assigned to the images a1 and a2 of the category A, the label 402 of “010” is assigned to the images b1 and b2 of the category B, The label 402 of “011” is attached to the header part of the image data on the images c1 and c2 of C.

次に、クラス数・次元数決定部202について説明する。   Next, the class number / dimension number determining unit 202 will be described.

クラス数・次元数決定部202が、カテゴリ構成モデルデータデータベース115を参照し、カテゴリ毎にパターンベクトルを抽出し、クラス数及び次元数を算出し、クラス数・次元数メモリ120に格納する。   The number-of-classes / dimensions determination unit 202 refers to the category configuration model data database 115, extracts a pattern vector for each category, calculates the number of classes and the number of dimensions, and stores it in the class number / dimension number memory 120.

具体的には、与えられたデータからあるモデル確率分布を推定するときのモデル選択の基準である情報量規準の一例であるAIC(Akaike Information criterion)を用いて、クラス数及び次元数を算出することが可能である。AIC
については、坂元慶行、石黒真木夫、北川源四郎著、「情報量統計学」、第一版、共立出版、1983年、p42に記載されている。AICは、(数1)によって表される。
Specifically, the number of classes and the number of dimensions are calculated using AIC (Akaike Information criterion), which is an example of an information amount criterion that is a criterion for model selection when estimating a certain model probability distribution from given data. It is possible. AIC
Is described in Yoshiyuki Sakamoto, Makio Ishiguro, Genshiro Kitagawa, "Information Statistics", First Edition, Kyoritsu Shuppan, 1983, p42. The AIC is represented by (Equation 1).

Figure 2004178569
Figure 2004178569

パターンベクトルの座標系により示されるモデル確率分布を、多次元正規分布による混合分布と仮定すると、(数2)によって表される。   Assuming that the model probability distribution represented by the coordinate system of the pattern vector is a mixture distribution based on a multidimensional normal distribution, it is represented by (Equation 2).

Figure 2004178569
Figure 2004178569

ここで、xは、パターンベクトルを示し、niは、class iの標本数を示し、Kは、クラス数を示し、dは次元数を示す。 Here, x is, shows a pattern vector, n i denotes the number of samples of the class i, K denotes the number of classes, d represents the number of dimensions.

(数2)のAICが最小になるように推定したパターンベクトルの座標系によるモデル確率分布のパラメータであるクラス数と次元数が、求めるクラス数及び次元数の値であり、クラス数・次元数メモリ120に格納すればよい。   The number of classes and the number of dimensions, which are parameters of the model probability distribution in the coordinate system of the pattern vector estimated so that the AIC of (Equation 2) is minimized, are the values of the number of classes and the number of dimensions. What is necessary is just to store it in the memory 120.

なお、この例では、モデル確率分布として、多次元正規分布による混合分布を仮定したが、ポアッソン分布、あるいは多項分布等、モデルデータに合わせて仮定しても良い。   In this example, a mixture distribution based on a multidimensional normal distribution is assumed as the model probability distribution, but may be assumed in accordance with model data such as a Poisson distribution or a polynomial distribution.

なお、本発明の第1の実施の形態では、クラス数及び次元数を求めたが、クラス数のみであっても、同様な効果を得ることが可能である。   In the first embodiment of the present invention, the number of classes and the number of dimensions are obtained. However, the same effect can be obtained with only the number of classes.

次に、クラス構成構築部203について説明する。   Next, the class configuration construction unit 203 will be described.

クラス構成構築部203は、クラス数及び次元数を抽出し、ISODATA法によりクラス構成を求め、パターンベクトルにクラスを示すラベルを付与し、クラスに分類し、クラス構成モデルデータデータベース116に格納する。   The class configuration constructing unit 203 extracts the number of classes and the number of dimensions, obtains a class configuration by the ISODATA method, assigns a label indicating the class to the pattern vector, classifies the class, and stores it in the class configuration model data database 116.

ここで、クラスのラベルには、モデルデータが所属するクラスを識別する情報であるクラス番号及びクラス名と、クラス構成の構築に用いた項目の内容が記述される。この際に、クラス構成構築部203は、各クラスの代表値を計算し、クラス構成モデルデータデータベース116に格納してもよい。   Here, the class label describes the class number and the class name, which are information for identifying the class to which the model data belongs, and the contents of the items used for constructing the class configuration. At this time, the class configuration construction unit 203 may calculate a representative value of each class and store the representative value in the class configuration model data database 116.

なお、クラスのラベルには、所属するクラスがわかるだけの情報、例えばクラスの番号のみを記述し、カテゴリを示すラベルの後に追加する形態でも良い。   It should be noted that the class label may be configured to describe only the information to which the class to which it belongs, for example, only the class number, and to add the information after the label indicating the category.

このように、クラスの種別を示すクラス番号、クラスに対応するカテゴリ及びクラス構成の構築に用いた項目と、クラスに分類されたモデルデータとの組が、クラス構成モデルデータデータベース116に複数格納されている。   As described above, a plurality of sets of the class number indicating the class type, the category corresponding to the class and the item used for constructing the class configuration, and the model data classified into the class are stored in the class configuration model data database 116. ing.

なお、ここで、クラスの代表値を格納しておき、後のモデル特徴ベクトルの代表値計算に用いても良い。   Here, the representative value of the class may be stored and used for calculating the representative value of the model feature vector later.

ここで、クラス構成構築部203に用いられるISODATA法は、森健一著、「パターン認識」、第三版、電子情報通信学会、1988年、p122に記載されている。具体的には、ISODATA法は、クラスタの分割と併合を繰り返し、クラス内分散を小さくするクラスタリング手法である。   Here, the ISODATA method used in the class configuration construction unit 203 is described in Kenichi Mori, “Pattern Recognition”, Third Edition, IEICE, 1988, p122. More specifically, the ISODATA method is a clustering method for reducing cluster variance by repeatedly dividing and merging clusters.

なお、クラス構成構築部203は、クラスタリング法としてISODATA法を採用するが、ISODATA法以外のクラスタリング法、例えばK−mean法などを用いても良い。   Note that the class configuration construction unit 203 employs the ISODATA method as a clustering method, but may use a clustering method other than the ISODATA method, for example, a K-mean method.

次に、特徴抽出行列算出部204について説明する。   Next, the feature extraction matrix calculation unit 204 will be described.

特徴抽出行列算出部204は、各クラスのパターンベクトルから、クラス内に含まれるパターンベクトルが最もまとまり、更に、クラス間が最も分離されるような特徴抽出行列を算出し、特徴抽出行列メモリ121に格納する。   The feature extraction matrix calculation unit 204 calculates, from the pattern vectors of each class, a feature extraction matrix in which the pattern vectors included in the class are the most integrated and the class is most separated, and stored in the feature extraction matrix memory 121. Store.

なお、第1の実施の形態では、特徴抽出行列ATを、Fisher.R.A.,“The use of multiple measurements in taxonomic problems”, Ann.Eugenics.7.Part II,pp.179−188,1936.)に記載されているFisherの判別関数の考えに従って算出した。 Note that, in the first embodiment, the feature extraction matrix A T is defined as Fisher. R. A. , "The use of multiple measurements in taxonomic problems", Ann. Eugenics. 7. Part II, pp. 179-188, 1936. ) Was calculated according to the concept of Fisher's discriminant function.

ここで、特徴抽出行列ATは、モデルデータより作成したパターンベクトルを表現する空間である座標系を、モデルデータから求めたクラスのクラス間分散CBができるだけ大きく、かつクラス内分散CWができるだけ小さくなるような特徴をもつ特徴座標系であるモデル特徴ベクトルに変換するための行列である。 Here, the feature extraction matrix A T, the coordinate system is a space representing the pattern vector created from the model data, between classes of classes obtained from the model data distribution C B is as large as possible, and within-class variance C W is This is a matrix for conversion into a model feature vector that is a feature coordinate system having features that are as small as possible.

まず、特徴抽出行列算出部204が、クラス構成モデルデータデータベース116を参照し、同一クラスに分類されるパターンベクトルのセットを抽出する。次に、特徴抽出行列算出部204は、パターンベクトルのセットからクラス内共分散行列CWを、クラス毎に(数3)に従って計算する。 First, the feature extraction matrix calculation unit 204 refers to the class configuration model data database 116 and extracts a set of pattern vectors classified into the same class. Next, the feature extraction matrix calculation unit 204 calculates the in-class covariance matrix CW from the set of pattern vectors according to (Equation 3) for each class.

Figure 2004178569
Figure 2004178569

次に、特徴抽出行列算出部204は、クラス間共分散行列CBを、各パターンベクトルのセットから(数4)に従って計算する。 Next, the feature extraction matrix calculation unit 204 calculates an inter-class covariance matrix C B from each set of pattern vectors according to (Equation 4).

Figure 2004178569
Figure 2004178569

さらに、特徴抽出行列算出部204は、全クラスの共分散行列CTを、(数5)に従って計算する。 Further, the feature extraction matrix calculation unit 204 calculates the covariance matrix C T of all classes according to (Equation 5).

Figure 2004178569
Figure 2004178569

ここで、特徴抽出行列算出部204は、Fisherの考えに従い判別評価基準として、クラス間の分散であるクラス間共分散行列CBをできるだけ大きく、同時にクラス内のパターンベクトルの分散であるクラス内共分散行列CWをできるだけ小さくなるように、クラス間分散行列CBとクラス内分散行列CWとの分散比である(数6)を最大にするような変換ベクトルaを求める。 Here, the feature extraction matrix calculating section 204, as a discrimination criterion in accordance with the idea of Fisher, as large as possible a dispersion in which the inter-class covariance matrix C B between classes, intraclass covariance is the variance of pattern vectors simultaneously in class so that only smaller possible covariance matrix C W, obtains the transformation vector a such that the variance ratio of the inter-class covariance matrix C B and within-class variance matrix C W (number 6) to a maximum.

Figure 2004178569
Figure 2004178569

カテゴリ900が3つのクラスで構成される場合について、図5を用いて説明する。2次元で表示されているパターンベクトルの分散である各クラスのクラス内分散901に、特徴抽出行列を乗算し、1次元の特徴座標系に変換されたクラス内分散902が小さく、
かつクラス間分散行列CBを大きくすることで、クラス間の分布領域が離れる。
A case where the category 900 is composed of three classes will be described with reference to FIG. The intra-class variance 902 converted into a one-dimensional feature coordinate system by multiplying the intra-class variance 901 of each class, which is the variance of the pattern vector displayed in two dimensions, by a feature extraction matrix is small.
And by increasing the inter-class covariance matrix C B, distribution region between classes leaves.

つまり、特徴抽出行列を調整することで、特徴座標系が移動するため、特徴座標系に変換される1次元のクラス内分散902を調整することができ、クラスの特徴が明らかにすることができる。   That is, since the feature coordinate system moves by adjusting the feature extraction matrix, the one-dimensional intra-class variance 902 converted into the feature coordinate system can be adjusted, and the features of the class can be clarified. .

また、(数6)を最大にするような変換ベクトルaを求めるのは、固有値問題(数7)を解くことに等しい。   Further, finding the transformation vector a that maximizes (Equation 6) is equivalent to solving the eigenvalue problem (Equation 7).

Figure 2004178569
Figure 2004178569

そこで、特徴抽出行列算出部204は、(数7)からAを転置したATを求め、求めたATを特徴抽出行列として特徴抽出行列メモリ121に記憶する。 Therefore, the feature extraction matrix calculation unit 204 obtains AT obtained by transposing A from (Equation 7), and stores the obtained AT as a feature extraction matrix in the feature extraction matrix memory 121.

次に、モデル特徴ベクトル算出部205について説明する。   Next, the model feature vector calculation unit 205 will be described.

モデル特徴ベクトル算出部205は、特徴抽出行列を用いて、パターンベクトルをモデル特徴ベクトルに変換し、クラス毎のモデル特徴ベクトルの平均値を代表値として、モデル特徴ベクトルデータベース122に登録する。   The model feature vector calculation unit 205 converts the pattern vector into a model feature vector using the feature extraction matrix, and registers the average value of the model feature vector for each class in the model feature vector database 122 as a representative value.

なお、クラス毎のモデル特徴ベクトルの代表値は、平均値以外の値、例えば中間値等であっても良い。   Note that the representative value of the model feature vector for each class may be a value other than the average value, for example, an intermediate value.

モデル特徴ベクトルデータデータベース122には、クラスと、クラスに対応するモデルデータのモデル特徴ベクトルと、クラスにおけるモデル特徴ベクトルの代表値との組が複数格納されている。ただし、モデルデータのモデル特徴ベクトルを省略することが可能である。   The model feature vector data database 122 stores a plurality of pairs of classes, model feature vectors of model data corresponding to the classes, and representative values of model feature vectors in the classes. However, the model feature vector of the model data can be omitted.

また、データ処理装置100は、クラス数及び次元数を複数回繰り返し計算することもできる。   Further, the data processing apparatus 100 can repeatedly calculate the number of classes and the number of dimensions a plurality of times.

図6に、特徴抽出行列を複数回繰り返し計算する場合の、オフライン処理の動作フローチャートを示す。   FIG. 6 shows an operation flowchart of the offline processing when the feature extraction matrix is repeatedly calculated a plurality of times.

図3に示したS303のステップを処理した後に、クラス数及び次元数をモデルデータ分類されているカテゴリと同数とし、S305に移行する(S1001)。   After processing the step of S303 shown in FIG. 3, the number of classes and the number of dimensions are set to the same number as the categories classified as model data, and the process proceeds to S305 (S1001).

次に、S305からS307までの処理を行い、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたAIC値を比較し、再度、クラス数及び次元数を求める処理の実行を決定する。ただし、クラス数及び次元数を求める処理回数が1回目は、閾値とAIC値の比較を行うことなく、S1003に移行してもよい(S1002)。   Next, the processes from S305 to S307 are performed, and the threshold value obtained from the data to be classified is compared with the AIC value obtained from the model feature vector, and the execution of the process for obtaining the number of classes and the number of dimensions is determined again. However, when the number of times of processing for obtaining the number of classes and the number of dimensions is the first time, the process may shift to S1003 without comparing the threshold value and the AIC value (S1002).

次に、S1002において算出されたモデル特徴ベクトルの分布状態から、クラス数及び次元数を変えないで(数2)を用いて第1のAIC値を算出する。   Next, the first AIC value is calculated from (Equation 2) without changing the number of classes and the number of dimensions from the distribution state of the model feature vector calculated in S1002.

次に、クラス数及び次元数を増加して、第2のAIC値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。   Next, the second AIC value is calculated by increasing the number of classes and the number of dimensions. Here, the increase in the number of classes and the number of dimensions is determined by the data to be classified.

ここで、第1のAIC値と第2のAIC値を比較し、第2のAIC値が第1のAIC値を上回れば、求めるクラス数及び次元数を第1のAIC値を求めたクラス数及び次元数とし、第1のAIC値と第2のAIC値が同値、若しくは第1のAIC値が第2のAIC値を上回れば、求めるクラス数及び次元数は第2のAIC値を求めたクラス数とする。   Here, the first AIC value is compared with the second AIC value, and if the second AIC value exceeds the first AIC value, the number of classes and the number of dimensions to be obtained are changed to the number of classes for which the first AIC value is obtained. If the first AIC value and the second AIC value are the same or the first AIC value exceeds the second AIC value, the number of classes and the number of dimensions are determined to be the second AIC value. Number of classes.

つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるAICは減少することが望ましい(S1003)。   That is, when the number of classes and the number of dimensions are increased when the number of classes and the number of dimensions are obtained, it is desirable that the calculated AIC is reduced (S1003).

次に、S1003で求めたクラス数及び次元数を用いて、S305からS307の処理を実行し、S1002において、分類するデータにより決まる閾値と、S307で求めたモデル特徴ベクトルとを比較し、閾値未満ならS308に移行し、閾値以上ならS1003に移行し、再度、クラス数及び次元数の算出を実行する(S1002)。   Next, the processes of S305 to S307 are executed using the number of classes and the number of dimensions obtained in S1003, and in S1002, the threshold determined by the data to be classified is compared with the model feature vector obtained in S307. If it is, the process proceeds to S308, and if it is equal to or more than the threshold, the process proceeds to S1003, and the number of classes and the number of dimensions are calculated again (S1002).

以上ように、第1の実施の形態によれば、オフライン処理により、予めカテゴリ毎に分類しておいたモデルデータを、カテゴリの形状に合わせたクラス数及び次元数とする、分離しやすいクラス構成に再構成することができる。   As described above, according to the first embodiment, an easily separable class configuration in which model data previously classified for each category is set to the number of classes and dimensions according to the shape of the category by offline processing Can be reconstructed.

更に、分離しやすいクラス構成を、クラス内のモデルデータの分布を小さくすると共に、クラス間のクラス分布を大きくした状態で、画像データとクラスとの比較を行える。つまり、クラスの分布の特徴が明らかな状態で画像データとクラスとの比較を行えるので、画像データのクラスとの比較が正確に行えるようになる。   Furthermore, the class configuration that can be easily separated can be compared with the image data and the class while the distribution of the model data in the class is reduced and the class distribution between the classes is increased. That is, since the comparison between the image data and the class can be performed in a state where the characteristics of the distribution of the class are clear, the comparison between the image data and the class can be accurately performed.

次に、物体認識装置のオンライン処理について説明する。オンライン処理目的は、画像データが最も類似するクラスを判定し、画像データに含まれる物体の認識を行うことである。   Next, online processing of the object recognition device will be described. The purpose of the online processing is to determine the class to which the image data is most similar and to recognize the objects included in the image data.

まず、物体認識装置のオンライン処理を行うための構成について図7及び図8を用いて説明する。   First, a configuration for performing online processing of the object recognition device will be described with reference to FIGS.

図7は、第1の実施の形態による物体認識装置のオンライン処理のための機能ブロック図である。   FIG. 7 is a functional block diagram for online processing of the object recognition device according to the first embodiment.

ここで、501は、特徴抽出行列を用いて入力パターンベクトルを入力特徴ベクトルに変換し、特徴ベクトルメモリ121に格納する入力特徴ベクトル算出部入力を示し、502は、入力特徴ベクトルと、モデル特徴ベクトルの代表値とを比較して類似度を計算する入力パターンベクトル判別部を示し、503は、入力パターンベクトルと最も高い類似度を算出したクラスと、算出したクラスの属するカテゴリを判定する入力データ判定部を示す。   Here, reference numeral 501 denotes an input feature vector calculation unit input that converts an input pattern vector into an input feature vector using a feature extraction matrix and stores the input feature vector in the feature vector memory 121, and 502 denotes an input feature vector and a model feature vector. 503 shows an input pattern vector determining unit that calculates a similarity by comparing a representative value of the input pattern vector with a representative value of the input pattern vector. Indicates a part.

また、オンライン処理は、I/F105、画像メモリ111、パターンベクトルメモリ114、特徴抽出行列メモリ121、モデル特徴ベクトルデータベース122、特徴ベクトルメモリ123、パターンベクトル作成部201、入力特徴ベクトル算出部501、入力パターンベクトル判定部502及び入力データ判定部503から構成され、パターンベクトル作成部201、入力特徴ベクトル算出部501、入力パターンベクトル判別部502、入力データ判定部503は、CPU102がメモリ103に格納されたプログラムを読みこむことで行う。   The online processing includes an I / F 105, an image memory 111, a pattern vector memory 114, a feature extraction matrix memory 121, a model feature vector database 122, a feature vector memory 123, a pattern vector creation unit 201, an input feature vector calculation unit 501, an input A pattern vector determining unit 502 and an input data determining unit 503 are configured. The pattern vector creating unit 201, the input feature vector calculating unit 501, the input pattern vector determining unit 502, and the input data determining unit 503 are configured such that the CPU 102 is stored in the memory 103. This is done by loading a program.

次に、図8は本発明の第1の実施の形態による物体認識装置のオンライン処理の動作フローチャートを示す。   Next, FIG. 8 shows an operation flowchart of online processing of the object recognition device according to the first embodiment of the present invention.

まず、機能ブロックと動作フローチャートとの関係を説明し、その後、各機能ブロックの詳細な説明を記述する。   First, the relationship between the functional blocks and the operation flowchart will be described, and then a detailed description of each functional block will be described.

まず、物体認識装置は、ビデオカメラ110から認識対象となる画像データを入力する。次に、物体認識装置は、画像データを、I/F105を介して画像メモリ111に送り、記憶する(S601)。   First, the object recognition device inputs image data to be recognized from the video camera 110. Next, the object recognition device sends the image data to the image memory 111 via the I / F 105 and stores the image data (S601).

次に、パターンベクトル作成部201が、画像メモリ111に一旦蓄えられた画像データから、一部のデータを抽出し、さらにこの一部のデータの画素値を1次元のデータ列として表現した入力パターンベクトルを作成し、パターンベクトルメモリ114に蓄積する(S602)。   Next, the pattern vector creating unit 201 extracts a part of the data from the image data once stored in the image memory 111, and furthermore, an input pattern in which the pixel values of the part of the data are expressed as a one-dimensional data sequence. A vector is created and stored in the pattern vector memory 114 (S602).

次に、入力特徴ベクトル算出部501が、パターンベクトルメモリ114に格納された入力パターンベクトルに、特徴抽出行列メモリ123に格納されたオフライン時に求めた特徴抽出行列を用いて入力特徴ベクトルを算出する(S603)。   Next, the input feature vector calculation unit 501 calculates an input feature vector using the input pattern vector stored in the pattern vector memory 114 and the feature extraction matrix stored in the feature extraction matrix memory 123 and obtained during off-line ( S603).

そして、入力特徴ベクトル算出部501は、入力特徴ベクトルを入力パターンベクトル判断部502に出力する。   Then, the input feature vector calculation unit 501 outputs the input feature vector to the input pattern vector determination unit 502.

次に、入力パターンベクトル判別部502が、モデル特徴ベクトルデータベース122に格納された各クラスの代表値を抽出し、入力特徴ベクトルと各クラスの代表値との類似度を計算する(S604)。   Next, the input pattern vector determining unit 502 extracts the representative value of each class stored in the model feature vector database 122, and calculates the similarity between the input feature vector and the representative value of each class (S604).

次に、入力データ判定部503が、入力パターンベクトル判別部502が判定した入力特徴ベクトルと、各クラスの代表値との類似度を比較し、最も類似度の高いクラスを認識結果として判定する(S605)。   Next, the input data determination unit 503 compares the similarity between the input feature vector determined by the input pattern vector determination unit 502 and the representative value of each class, and determines the class with the highest similarity as a recognition result ( S605).

次に、入力データ判定部503は、入力パターンベクトルと最も類似度の高いクラスの属するカテゴリを判定し、画像データに含まれる物体を認識する(S606)。   Next, the input data determination unit 503 determines a category to which a class having the highest similarity to the input pattern vector belongs, and recognizes an object included in the image data (S606).

なお、画像認識などを用いることで、カテゴリ内を更に探索することも可能である。   Note that it is also possible to further search in the category by using image recognition or the like.

以上が、物体認識装置がオンラインで実行するプロセスである。   The above is the process executed by the object recognition device online.

次に、各機能ブロックの詳細な説明を記述する。   Next, a detailed description of each functional block will be described.

まず、パターンベクトル作成部201について説明する。   First, the pattern vector creation unit 201 will be described.

パターンベクトル作成部201は、画像データから入力パターンベクトルを作成し、パターンベクトルメモリ114に蓄積する。   The pattern vector creation unit 201 creates an input pattern vector from the image data and stores it in the pattern vector memory 114.

なお、クラス構成モデルデータデータベース116に格納されているモデルデータのパターンベクトルがクラス毎に異なる方法で作成されている場合には、パターンベクトル作成部201は、画像データからクラス毎に定められたパターンベクトルの作成方法に従い入力パターンベクトルを作成する。   When the pattern vector of the model data stored in the class configuration model data database 116 is created by a different method for each class, the pattern vector creation unit 201 determines the pattern determined for each class from the image data. Create an input pattern vector according to the vector creation method.

また、パターンベクトル作成部201は、入力パターンベクトルの画像内座標の代表値
、例えば、画像内における画像データの中心点の座標をパターンベクトルメモリ114に蓄積してもよい。
Further, the pattern vector creation unit 201 may store the representative value of the coordinates of the input pattern vector in the image, for example, the coordinates of the center point of the image data in the image in the pattern vector memory 114.

次に、入力特徴ベクトル算出部501について説明する。   Next, the input feature vector calculation unit 501 will be described.

入力特徴ベクトル算出部501は、入力パターンベクトル及び特徴抽出行列ATから、(数8)を用いて入力特徴ベクトルを算出する(S603)。 The input feature vector calculation unit 501 calculates an input feature vector using (Equation 8) from the input pattern vector and the feature extraction matrix AT (S603).

Figure 2004178569
Figure 2004178569

ここで、bは、入力パターンベクトルであり、ATは、特徴抽出行列であり、fは、入力特徴ベクトルである。 Here, b is an input pattern vector, A T is a feature extraction matrix, and f is an input feature vector.

そして、入力特徴ベクトル算出部501は、特徴ベクトルメモリ121に入力特徴ベクトルを蓄積する。   Then, the input feature vector calculation unit 501 stores the input feature vector in the feature vector memory 121.

次に、入力パターンベクトル判別部502について説明する。   Next, the input pattern vector determining unit 502 will be described.

入力パターンベクトル判別部502は、入力特徴ベクトルと各クラスの代表値との類似度を計算する
なお、画像データと各クラスとの類似度を、入力特徴ベクトル及び各クラスの代表値のユークリッド距離により判断している。類似度は、入力特徴ベクトルと、各クラスの代表値とのユークリッド距離が近いほど高い。
The input pattern vector discriminating unit 502 calculates the similarity between the input feature vector and the representative value of each class. The similarity between the image data and each class is calculated by the Euclidean distance between the input feature vector and the representative value of each class. Deciding. The similarity increases as the Euclidean distance between the input feature vector and the representative value of each class decreases.

なお、類似度は、相関距離などの他の指標を用いても良い。   Note that another index such as a correlation distance may be used as the similarity.

次に、入力データ判定部503について説明する。   Next, the input data determination unit 503 will be described.

入力データ判定部503は、最も類似度の高いクラスを認識結果として判定し、入力パターンベクトルと最も類似度の高いクラスの属するカテゴリを判定し、クラス、クラスにおける種別、カテゴリおよび入力パターンベクトルを、出力端子118から出力する。   The input data determination unit 503 determines the class with the highest similarity as a recognition result, determines the category to which the class with the highest similarity to the input pattern vector belongs, and determines the class, the type in the class, the category, and the input pattern vector, Output from the output terminal 118.

なお、データ処理装置100は、上述したオフラインとオンラインの処理を繰り返し行うことで、データ分類精度を上げることも可能である。   Note that the data processing apparatus 100 can increase the data classification accuracy by repeatedly performing the above-described offline and online processing.

つまり、オンライン処理において入力データ判別部503が画像データの属するカテゴリが複数あると判断した場合に、クラス数・次元数決定部202及びクラス構成構築部203の処理を再実行し、クラス数を変更し、モデルデータをクラス分けすることで、クラスの分布を、分類可能なクラス構成に再構築する。   That is, when the input data determination unit 503 determines that there is a plurality of categories to which the image data belongs in the online processing, the processing of the class number / dimension number determination unit 202 and the class configuration construction unit 203 is re-executed to change the class number. Then, by classifying the model data, the distribution of the classes is reconstructed into a class configuration that can be classified.

なお、モデルデータとして異なる距離で撮影した複数の画像を採用すると共に距離をカテゴリとして採用し、入力された画像データに最も類似度の高いカテゴリを認識することで、入力された画像データの実空間上の距離を認識する距離検出システムに応用できる。   Note that a plurality of images photographed at different distances are employed as model data, and distances are employed as categories. By recognizing a category having the highest similarity to the input image data, the real space of the input image data is recognized. It can be applied to a distance detection system that recognizes the distance above

また、画像データの種類とモデルデータとをかえることで、物体認識装置を、ゲートシステム、虹彩認証システム、指紋認証システム、文字認識システム、人物検出システム、車検出システム、車認識システムなどにも応用できる。   Also, by changing the type of image data and model data, the object recognition device can be applied to gate systems, iris authentication systems, fingerprint authentication systems, character recognition systems, human detection systems, car detection systems, car recognition systems, etc. it can.

なお、第1の実施の形態では、逐次入力されるデータとして画像データを用いて画像データの分類を行ったが、逐次入力されるデータとして、例えば音声データなどのようにカテゴリという概念に分け、どのカテゴリに属するか認識処理をするデータであればいかなるデータを用いても良い。   In the first embodiment, the image data is classified using the image data as the sequentially input data. However, the sequentially input data is divided into the concept of a category such as audio data. Any data may be used as long as it is data for performing recognition processing as to which category it belongs to.

また、第1の実施の形態では、モデルデータをパターンベクトルに変換してから、カテゴリ構成モデルデータデータベース115およびクラス構成モデルデータデータベース116に格納したが、モデルデータをモデルパターンで格納しても、モデルデータのまま格納しても良い。   Further, in the first embodiment, the model data is stored in the category configuration model data database 115 and the class configuration model data database 116 after the model data is converted into a pattern vector. The model data may be stored as it is.

この場合は、必要に応じて、カテゴリ構成モデルデータデータベース115およびクラス構成モデルデータデータベース116からモデルパターンもしくはモデルデータを抽出しパターンベクトルを作成するようにする。   In this case, as necessary, a model pattern or model data is extracted from the category configuration model data database 115 and the class configuration model data database 116 to create a pattern vector.

なお、第1の実施の形態では、特徴抽出行列として、クラス内分散およびクラス間分散を考慮した行列を用いたが、クラス毎の特徴が明確に現れる座標系に変換する行列であればいかなる行列であっても良い。   In the first embodiment, a matrix considering the intra-class variance and the inter-class variance is used as the feature extraction matrix. However, any matrix may be used as long as the matrix is converted into a coordinate system in which the feature of each class clearly appears. It may be.

例えば、特徴抽出行列として、主成分分析手法や部分空間法等を行う座標系に変形する行列を用いても良い。主成分分析手法を行う座標系は、サンプルデータであるモデルデータ間の間隔を広げる固有空間の座標系である。   For example, a matrix that is transformed into a coordinate system that performs a principal component analysis method, a subspace method, or the like may be used as the feature extraction matrix. The coordinate system for performing the principal component analysis method is a coordinate system of an eigenspace that widens the interval between model data that is sample data.

また、部分空間法を行う座標系は、座標系の次元を下げてクラスの特徴をあらわす座標系である。なお、主成分分析手法や部分空間法については、森健一著、「パターン認識」、第三版、電子情報通信学会、1988年、p13に開示されている。   Further, the coordinate system for performing the subspace method is a coordinate system in which the dimensions of the coordinate system are reduced and the features of the class are expressed. The principal component analysis method and the subspace method are disclosed in Kenichi Mori, “Pattern Recognition”, Third Edition, IEICE, 1988, p13.

本実施の形態のように、オフライン処理として、カテゴリのパターンベクトル化し、AICなどの情報量基準の使用し、クラスを構成し、各クラス内に含まれるパターンベクトルが最もまとまり、更に、クラス間が最も分離されるような特徴抽出行列を算出し、クラス単位のパターンベクトルの特徴座標系に変換し、クラス代表値を算出し、オンライン処理として、ビデオカメラ110から逐次入力されるデータとオフライン処理で求めた特徴ベクトルの代表値を比較し、該当するクラスを判断し、逐次入力されるデータの分類を行う構成とすることで、予め蓄積された各カテゴリに分類されたモデルデータを、カテゴリだけでは分類できないデータを、冗長することなく更に細かくクラスに分類することで、最適なカテゴリに分類することができる。   As in the present embodiment, as an off-line process, a category is formed into a pattern vector, an information amount criterion such as AIC is used, a class is formed, and a pattern vector included in each class is most united. A feature extraction matrix that can be separated most is calculated, converted into a feature coordinate system of a pattern vector in a class unit, a class representative value is calculated, and, as online processing, data sequentially input from the video camera 110 and offline processing are performed. By comparing the representative values of the obtained feature vectors, determining the corresponding class, and classifying the data that is sequentially input, model data classified in advance into each category can be obtained by using only the categories. Classify the data that cannot be classified into the most appropriate category by classifying the data into more detailed classes without redundancy. It can be.

従って、カテゴリ分布の形状、分散の程度、ノイズデータの有無及びノイズデータの程度等、データの性質に合ったクラス数及び次元数を求めることによって、データを分類しやすくなるクラス構成が構築できるという効果が得られる。   Therefore, it is possible to construct a class configuration that makes it easy to classify data by finding the number of classes and dimensions that match the characteristics of the data, such as the shape of the category distribution, the degree of variance, the presence or absence of noise data, and the degree of noise data. The effect is obtained.

(実施の形態2)
第1の実施の形態による物体認識装置は、オフライン処理において、カテゴリのモデルデータをパターンベクトルとし、クラスを構築し、クラスに分類されたパターンベクトルの座標を変換し、クラスの代表値を算出し、オンライン処理において、入力データの分類を実行するのに対し、第2の実施の形態による物体認識装置は、オフライン処理において、カテゴリのモデルデータから求められたパターンベクトルの座標を変換し、クラスを構築し、クラスの代表値を算出し、オンライン処理において、入力データの分類を実行するものである。
(Embodiment 2)
In the offline processing, the object recognition device according to the first embodiment constructs a class using model data of a category as a pattern vector, converts the coordinates of the pattern vector classified into the class, and calculates a representative value of the class. In the online processing, classification of input data is executed, whereas in the offline processing, the object recognition device according to the second embodiment converts the coordinates of the pattern vector obtained from the model data of the category and converts the class into the class. It constructs, calculates a representative value of a class, and executes classification of input data in online processing.

以下、第2の実施の形態による物体認識装置の動作について、図9及び図10を用いて
説明する。第1の実施の形態と異なるのはオフライン処理であるので、オンライン処理については省略する。
Hereinafter, the operation of the object recognition device according to the second embodiment will be described with reference to FIGS. Since the difference from the first embodiment is the offline processing, the online processing is omitted.

図9は、801は、座標変換したパターンベクトルのモデル確率分布からクラスを構築するためのクラス数及び次元数を決定するクラス数・次元数決定部を示し、802は、全モデルデータから求めたパターンベクトルの座標を変換し、クラス数及び次元数を用いてカテゴリからクラスを構築するクラス構成構築部を示し、803は、クラスの代表値を求めるための特徴抽出行列を算出する特徴抽出行列算出部を示す。   FIG. 9 illustrates a class number / dimension number determining unit 801 that determines the class number and the dimension number for constructing a class from the model probability distribution of the coordinate-transformed pattern vector, and 802 obtains from all model data. A class configuration constructing unit that transforms the coordinates of a pattern vector and constructs a class from a category using the number of classes and the number of dimensions is shown. A feature extraction matrix calculation unit 803 calculates a feature extraction matrix for calculating a representative value of the class. Indicates a part.

また、第2の実施の形態による物体認識装置のオフライン処理は、I/F104、106、モデルデータメモリ109、キーボード・ディスプレイ112、カテゴリ構成モデルデータデータベース115、クラス構成モデルデータデータベース116、クラス数・次元数メモリ120、特徴抽出行列メモリ121、パターンベクトル作成部201、モデル特徴ベクトル算出部205、クラス数・次元数決定部801、クラス構成構築部802及び特徴抽出行列算出部803から構成される。   Further, the offline processing of the object recognition apparatus according to the second embodiment includes the I / Fs 104 and 106, the model data memory 109, the keyboard / display 112, the category configuration model data database 115, the class configuration model data database 116, It comprises a dimension number memory 120, a feature extraction matrix memory 121, a pattern vector creation unit 201, a model feature vector calculation unit 205, a class number / dimension number determination unit 801, a class configuration construction unit 802, and a feature extraction matrix calculation unit 803.

物体認識装置のオフライン処理について、図10のオフライン処理の動作フローチャートを用いて説明する。   The offline processing of the object recognition apparatus will be described with reference to the offline processing operation flowchart of FIG.

まず、物体認識装置は、第1の実施の形態と同様にS301〜S303の処理を行い、カテゴリ構成モデルデータデータベース115を構築する。   First, the object recognition device performs the processing of S301 to S303 as in the first embodiment, and builds the category configuration model data database 115.

次に、クラス構成構築部203は、カテゴリ構成モデルデータデータベース115から全モデルデータのパターンベクトルを出力し、パターンベクトルの座標変換を行うために、(数5)を用いて全パターンベクトルの共分散行列CTを求める(S701)。 Next, the class configuration construction unit 203 outputs pattern vectors of all model data from the category configuration model data database 115, and performs covariance of all pattern vectors using (Equation 5) in order to perform coordinate transformation of the pattern vectors. A matrix C T is obtained (S701).

次に、クラス構成構築部802は、後段の特徴抽出行列ATの算出を可能にするために、座標系を共分散行列CTが単位行列になる座標系に変換する。具体的には、クラス構成構築部802は、(数9)に示す行列Uを用いて、座標系を共分散行列CTが単位行列になる座標系に変換する(S702)。 Next, the class configuration constructing unit 802 converts the coordinate system into a coordinate system in which the covariance matrix CT is a unit matrix in order to enable the calculation of the feature extraction matrix AT at the subsequent stage. Specifically, the class configuration construction unit 802 converts the coordinate system into a coordinate system in which the covariance matrix CT is a unit matrix using the matrix U shown in (Equation 9) (S702).

Figure 2004178569
Figure 2004178569

ここで、Uは、変換行列を示し、Iは、単位行列を示す。   Here, U indicates a transformation matrix, and I indicates a unit matrix.

次に、クラス数・次元数決定部801は、行列Uで変換された座標系において、第1の実施の形態と同様にAICを最小化するモデル確率分布を推定し、クラス数及び次元数を求める(S703)。   Next, the class number / dimension number determination unit 801 estimates the model probability distribution that minimizes the AIC in the coordinate system transformed by the matrix U, as in the first embodiment, and determines the class number and the dimension number. It is obtained (S703).

次に、クラス構成構築部802は、行列Uで変換された座標系で、クラス数・次元数決定部801において求めたクラス数及び次元数に従って、最もクラス内分散CWを小さくするクラス構成を、ISODATA法により求める。 Next, the class configuration constructing unit 802 generates a class configuration that minimizes the intra-class variance C W in the coordinate system transformed by the matrix U according to the number of classes and the number of dimensions obtained by the number-of-classes / dimensions determining unit 801. , By the ISODATA method.

次に、クラス構成構築部802は、求めたクラス構成に基づいてクラス構成モデルデータデータベース116を作成する(S704)。   Next, the class configuration constructing unit 802 creates the class configuration model data database 116 based on the obtained class configuration (S704).

ここで、共分散行列CTは一定であるため、(数10)から最もクラス内分散CWを小さ
くするクラス構成を求めることで、判別基準J1を最大化するクラス構成を求めることになる。
Here, since the covariance matrix CT is constant, a class configuration that minimizes the intra-class variance C W is obtained from (Equation 10), thereby obtaining a class configuration that maximizes the determination criterion J 1. .

これにより、物体認識装置は、(数10)に示される判別基準J1を算出し、判別基準J1を最大化にすることで、特徴抽出行列ATを算出することができる(S705)。 Thus, the object recognition device is capable of calculating a discrimination criterion J 1 is calculated, and the discrimination standard J 1 By maximizing feature extraction matrix A T shown in equation (10) (S705).

Figure 2004178569
Figure 2004178569

以降、物体認識装置は、求めたクラス構成モデルデータデータベース116を元に第1の実施の形態と同様に、S307及びS308の処理を行い、クラス識別が精度良くできるモデル特徴ベクトルから各クラスの代表値を算出することができる。   Thereafter, the object recognition apparatus performs the processing of S307 and S308 based on the obtained class configuration model data database 116 in the same manner as in the first embodiment, and obtains a representative of each class from the model feature vector that can perform class identification with high accuracy. The value can be calculated.

なお、特徴抽出行列ATは、第1の実施の形態と同様に、(数3)から(数8)を用いて算出することもできる。 Note that the feature extraction matrix AT can also be calculated using (Equation 3) to (Equation 8), as in the first embodiment.

また、第1の実施の形態と同様に、図11に示すように、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたAIC値を比較することで、再度、クラス数及び次元数を求める処理の実行を判断することも可能である。   As in the first embodiment, as shown in FIG. 11, the number of classes and the number of dimensions are calculated again by comparing the threshold value obtained from the data to be classified with the AIC value obtained from the model feature vector. It is also possible to determine the execution of the process.

図11は、第2の実施の形態による物体認識装置のオフライン処理の動作を示したフローチャートである。S301からS303、S307、S308、S701、S702、S704、S705の動作は、図6と同様であるため、ここでの説明は省略する。   FIG. 11 is a flowchart illustrating the operation of the offline processing of the object recognition device according to the second embodiment. The operations in steps S301 to S303, S307, S308, S701, S702, S704, and S705 are the same as those in FIG. 6, and a description thereof will be omitted.

まず、S301からS702までの処理を実行し、座標系を共分散行列CTが単位行列になる座標系に変換した後に、S1101にて、クラス数及び次元数をモデルデータ分類されているカテゴリと同数とし、S305に移行する。 First, the processes from S301 to S702 are performed to convert the coordinate system into a coordinate system in which the covariance matrix CT is a unit matrix. Then, in S1101, the number of classes and the number of dimensions are changed to the category in which the model data is classified. The number is determined to be the same, and the process proceeds to S305.

次に、S704、S705、S307の処理を行い、S1102にて、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたAIC値を比較し、再度、クラス数及び次元数を求める処理の実行を決定する。ただし、クラス数及び次元数を求める処理回数が1回目は、閾値とAIC値の比較を行うことなく、S1103に移行してもよい。   Next, the processes of S704, S705, and S307 are performed, and in S1102, the threshold value obtained from the data to be classified is compared with the AIC value obtained from the model feature vector, and the process of obtaining the number of classes and the number of dimensions is performed again. decide. However, when the number of processes for obtaining the number of classes and the number of dimensions is the first time, the process may proceed to S1103 without comparing the threshold value and the AIC value.

次に、S1103にて、算出されたモデル特徴ベクトルの分布状態から、クラス数及び次元数を変えないで(数2)を用いて第1のAIC値を算出する。次に、クラス数及び次元数を増加して、第2のAIC値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。   Next, in S1103, the first AIC value is calculated from (Equation 2) without changing the number of classes and the number of dimensions from the calculated distribution state of the model feature vector. Next, the second AIC value is calculated by increasing the number of classes and the number of dimensions. Here, the increase in the number of classes and the number of dimensions is determined by the data to be classified.

ここで、第1のAIC値と第2のAIC値を比較し、第2のAIC値が第1のAIC値を上回れば、求めるクラス数及び次元数を第1のAIC値を求めたクラス数及び次元数とし、第1のAIC値と第2のAIC値が同値、若しくは第1のAIC値が第2のAIC値を上回れば、求めるクラス数及び次元数は第2のAIC値を求めたクラス数とし、S704に移行する。   Here, the first AIC value is compared with the second AIC value, and if the second AIC value exceeds the first AIC value, the number of classes and the number of dimensions to be obtained are changed to the number of classes for which the first AIC value is obtained. If the first AIC value and the second AIC value are the same or the first AIC value exceeds the second AIC value, the number of classes and the number of dimensions are determined to be the second AIC value. The class number is set, and the process proceeds to S704.

つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるAICは減少することが望ましい。   In other words, when calculating the number of classes and the number of dimensions, when the number of classes and the number of dimensions are increased, it is desirable that the calculated AIC is reduced.

以上、本実施の形態のように、モデルデータのパターンベクトルから共分散行列CT
求め、共分散行列CTが単位行列になる座標系に変換されたモデルデータから最適なクラス数を決定し、モデルデータをクラスに分類し、各クラスの代表値を求めることで、オンライン処理において、逐次入力されるデータの属するクラスが求められ、更にカテゴリを求めることができる。
As described above, as in the present embodiment, the covariance matrix C T is obtained from the pattern vector of the model data, and the optimal number of classes is determined from the model data converted into a coordinate system in which the covariance matrix C T is a unit matrix. By classifying the model data into classes and determining the representative value of each class, the class to which the sequentially input data belongs can be determined in the online processing, and the category can be further determined.

従って、カテゴリ分布の形状、分散の程度、ノイズデータの有無及びノイズデータの程度等、データの性質に合ったクラス数及び次元数を求めることによって、データを分類しやすくなるクラス構成が構築できるという効果が得られる。   Therefore, it is possible to construct a class configuration that makes it easy to classify data by finding the number of classes and dimensions that match the characteristics of the data, such as the shape of the category distribution, the degree of variance, the presence or absence of noise data, and the degree of noise data. The effect is obtained.

以上、本発明の物体認識装置を用いて、顔画像認識の評価実験を行った。実験対象は23人、画素データは9×12画素、256階調とした。モデルデータは、5通りの照明条件で撮影した顔画像と、その2年後に撮影したランダムな照明条件の顔画像を約620枚とし、カテゴリ分類される入力データは、照明条件がモデルデータと同一だが、異なる顔画像500枚とした。   As described above, the evaluation experiment of the face image recognition was performed using the object recognition device of the present invention. The experimental subjects were 23 persons, the pixel data was 9 × 12 pixels, and 256 gradations. The model data is composed of about 620 face images taken under five different lighting conditions and about 620 face images taken under random lighting conditions two years later. However, 500 different face images were selected.

ここでは、カテゴリを対象人数の23とし、モデルデータは620枚の画像データから特定の照明条件を選択し、本発明の形態によるオフライン処理を施し、最適なクラスを構築した。   Here, the category is set to 23, the number of subjects, and the model data is selected from specific image conditions of 620 pieces of image data, subjected to offline processing according to the embodiment of the present invention, and constructed an optimal class.

次に、オンライン処理として、オンライン処理で用いたモデルデータの照明条件を除外した画像データを入力データとして、物体認識を行った。ここでは、カテゴリが対象人数と同一であるため、入力データをクラスに分類することで、物体を認識することになる。   Next, as online processing, object recognition was performed using, as input data, image data excluding lighting conditions of the model data used in the online processing. Here, since the category is the same as the number of subjects, the object is recognized by classifying the input data into classes.

以上の顔画像認識を行った結果としては、従来の物体認識装置では、カテゴリ分類を誤る確率である誤分類率が18.5%であったものが、本発明の実施の形態を用いた物体認識装置では、誤分類率が5.4%と約13%の精度向上が得られた。   As a result of performing the above-described face image recognition, in the conventional object recognition apparatus, the misclassification rate, which is the probability of misclassification, was 18.5%. In the recognition device, the misclassification rate was 5.4%, which was an improvement of about 13% in accuracy.

また、モデルデータに、撮影方向の異なる画像データを用いた場合は、誤分類率が10.1%から2.5%に精度が向上した。   In addition, when image data having different photographing directions was used as model data, the accuracy was improved from 10.1% to 2.5%.

なお、本発明は、プログラムによって実現し、これをフレキシブルディスク等の記録媒体に記録して移送することにより、独立した他のコンピュータシステムで容易に実施のすることができる。   The present invention can be easily implemented by another independent computer system by realizing the program, recording the program on a recording medium such as a flexible disk, and transferring the program.

なお、記録媒体は、光ディスク、ICカード、ROMカセット等、プログラムを記録できるものであれば、同様に実施することができる。   The recording medium can be similarly implemented as long as it can record a program, such as an optical disk, an IC card, and a ROM cassette.

(実施の形態3)
第3の実施の形態による物体認識装置は、複数のモデルデータから算出される特徴ベクトルの分布と、カテゴリ又はクラスの分布との2つの分布の類似度を含む評価基準を用いて、クラスを構築するものである。
(Embodiment 3)
The object recognition device according to the third embodiment constructs a class using an evaluation criterion including a similarity between two distributions of a feature vector distribution calculated from a plurality of model data and a category or class distribution. Is what you do.

以下、第3の実施の形態による物体認識装置の動作について、図12を用いて説明する。第1の実施の形態と異なるのはオフライン処理であるので、オンライン処理については後述する。   Hereinafter, the operation of the object recognition device according to the third embodiment will be described with reference to FIG. The difference from the first embodiment is the offline processing, and the online processing will be described later.

ここで、クラス数・次元数決定部1101は、モデルデータの分布と、カテゴリ又はクラスの分布との類似度を含む評価基準を用いて、カテゴリを冗長なく細かいクラスに分類するものであり、カテゴリ構成モデルデータデータベース115から分類されたカテゴリ毎にパターンベクトルを抽出し、パターンベクトルの分布から分類がし易くなる様に、評
価基準を最適化するものであり、Fisher基準に基づく特徴空間と、AICに基づくクラス数及び次元数と、これらから決定されるクラス構成とを同時に最適化する方法を示すものである。
Here, the class number / dimension number determination unit 1101 classifies the categories into fine classes without redundancy using an evaluation criterion including a similarity between the distribution of the model data and the distribution of the categories or classes. A pattern vector is extracted for each classified category from the constituent model data database 115, and evaluation criteria are optimized so that classification can be easily performed based on the distribution of the pattern vectors. A feature space based on the Fisher criterion and an AIC This shows a method for simultaneously optimizing the number of classes and the number of dimensions based on, and the class configuration determined from these.

なお、I/F104、106、モデルデータメモリ109、キーボード・ディスプレイ112、カテゴリ構成モデルデータデータベース115、クラス構成モデルデータデータベース116、クラス数・次元数メモリ120、特徴抽出行列メモリ121、パターンベクトル作成部201、クラス構成構築部203、特徴抽出行列算出部204及びモデル特徴ベクトル算出部205は、第1の実施の形態と同様の動作であるため、ここでの説明は省略する。   The I / Fs 104 and 106, the model data memory 109, the keyboard / display 112, the category configuration model data database 115, the class configuration model data database 116, the number of classes / dimensions memory 120, the feature extraction matrix memory 121, the pattern vector creation unit 201, the class configuration construction unit 203, the feature extraction matrix calculation unit 204, and the model feature vector calculation unit 205 have the same operations as those in the first embodiment, and thus description thereof will be omitted.

Fisher基準とAICとの両基準の妥協点を求めるため、(数11)に示す判定評価基準FAICを設け、これを最小化するクラス構成と特徴空間を決定する。評価基準FAICは、AICと重み係数を乗算したKullback−Leibler情報量(K−L情報量)を足し合わせた式である。ここでK−L情報量は、AICにより決まる分布と特徴空間をFisher基準で最適化した際に与えたクラス構成との分布の近さを測る判定評価基準として用いている。   In order to find a compromise between the Fisher criterion and the AIC criterion, a criterion evaluation criterion FAIC shown in (Expression 11) is provided, and a class configuration and a feature space that minimize this are determined. The evaluation criterion FAIC is an expression obtained by adding a Kullback-Leibler information amount (KL information amount) obtained by multiplying the AIC by the weighting coefficient. Here, the KL information amount is used as a criterion evaluation criterion for measuring the closeness of distribution between the distribution determined by the AIC and the class configuration given when the feature space is optimized based on the Fisher criterion.

ここで、複数のモデルデータから算出される特徴ベクトルの分布には、Fisher基準に基づく特徴空間上における特徴ベクトル群の分布が該当し、カテゴリ又はクラスの分布には、Fisher基準に基づく特徴空間上における特徴ベクトル群のカテゴリ又はクラス毎の分布が該当し、類似度には、K−L情報量が該当する。   Here, the distribution of the feature vector calculated from the plurality of model data corresponds to the distribution of the feature vector group on the feature space based on the Fisher criterion, and the distribution of the category or class corresponds to the distribution on the feature space based on the Fisher criterion. , The distribution of each feature vector group in each category or class corresponds to the similarity, and the KL information amount corresponds to the similarity.

この時、Fisher基準で最適化した特徴空間上におけるサンプルのクラス構成の密度関数をモデル分布f(x)、AICにより決まる分布の密度関数を真の分布g(x)とおく。例えばこの時、サンプルのクラス構成の分布f(x)も、最適な特徴空間上では混合正規分布をなすと仮定する。   At this time, the density function of the class configuration of the sample on the feature space optimized based on the Fisher criterion is defined as a model distribution f (x), and the density function of the distribution determined by the AIC is defined as a true distribution g (x). For example, at this time, it is assumed that the distribution f (x) of the class configuration of the sample also forms a mixture normal distribution on the optimal feature space.

Figure 2004178569
Figure 2004178569

以上のことから、評価基準FAICの最小化により、Fisher基準から導かれたサンプルのクラス構成と類似する分布でありながら、AICを最小化するクラス数と次元数を求めることができる。   From the above, by minimizing the evaluation criterion FAIC, it is possible to obtain the number of classes and the number of dimensions that minimize the AIC while having a distribution similar to the class configuration of the sample derived from the Fisher criterion.

なお、第3の実施の形態による物体認識装置のクラス構成方法を、第2の実施の形態による物体認識装置に適応することも可能であり、図13に、構成図を示す。   Note that the class configuration method of the object recognition device according to the third embodiment can be applied to the object recognition device according to the second embodiment. FIG. 13 shows a configuration diagram.

図13によるクラス数・次元数決定部1301は、座標変換したパターンベクトルの分布とカテゴリあるいはクラスの分布との類似度を含む評価基準を最適化するものであり、第2の実施の形態と同様に行列Uで変換された座標系において、FAICを最小化するクラス数及び次元数を求めるものである。   The number-of-classes / dimensions determining unit 1301 shown in FIG. 13 optimizes an evaluation criterion including the similarity between the distribution of the coordinate-transformed pattern vector and the distribution of the category or the class, and is the same as in the second embodiment. In the coordinate system converted by the matrix U, the number of classes and the number of dimensions for minimizing the FAIC are obtained.

次に、第3の実施の形態による物体認識装置のオフライン処理による動作の流れを、図14を用いて説明する。   Next, the flow of operation of the object recognition device according to the third embodiment in the offline processing will be described with reference to FIG.

ここで、図14は、図12の構成による物体認識装置によるオフライン処理の動作を示すフローチャートである。   Here, FIG. 14 is a flowchart showing the operation of the offline processing by the object recognition device having the configuration of FIG.

第1の実施の形態では、図6に示したフローチャートにおいて、Fisher基準をベースにしたステップ(S306)と、AICを用いてクラス数と特徴空間の次元を決定するステップ(S1003)を交互に繰り返すプロセスとなっている。   In the first embodiment, in the flowchart shown in FIG. 6, the step based on the Fisher criterion (S306) and the step of determining the number of classes and the dimension of the feature space using the AIC (S1003) are alternately repeated. Process.

これに対して、第3の実施の形態では、Fisher基準をベースにしたステップ(S306)と、FAICを用いてクラス数と特徴空間の次元を決定するステップ(S1302)を交互に繰り返すプロセスとなっている。   On the other hand, in the third embodiment, a process based on the Fisher criterion (S306) and a process of determining the number of classes and the dimension of the feature space using FAIC (S1302) are alternately repeated. ing.

ここで、S301からS307、S1000の動作は、図6と同様であるため、説明は省略する。   Here, the operations in S301 to S307 and S1000 are the same as those in FIG.

まず、S301からS307までの処理を行い、モデル特徴ベクトル算出部205が、モデル特徴ベクトルを算出し、次に、クラス数・次元数決定部1101が、(数11)より求まるFAIC値(第1のFAIC値)と閾値を比較し、閾値以上である場合は、S1302に移行し、閾値未満である場合は、S308に移行する。なお、初回は必ず、繰り返し処理を行うようにしておいてもよい(S1301)。   First, the processes from S301 to S307 are performed, the model feature vector calculation unit 205 calculates the model feature vector, and then the class number / dimension number determination unit 1101 determines the FAIC value (first The FAIC value is compared with the threshold, and if it is equal to or greater than the threshold, the flow shifts to S1302, and if it is less than the threshold, to S308. In addition, the first time may be performed repeatedly (S1301).

次に、S308にて、モデル特徴ベクトル算出部205は、クラス毎のモデル特徴ベクトルの平均値を計算し、クラス毎のモデル特徴ベクトルの代表値として、モデル特徴ベクトルデータベース122に登録する。   Next, in S308, the model feature vector calculation unit 205 calculates the average value of the model feature vector for each class, and registers the average value of the model feature vector for each class in the model feature vector database 122.

なお、S1302に移行した場合は、クラス数・次元数決定部1101が、算出されたモデル特徴ベクトルの分布状態から、クラス数及び次元数を増加して、(数11)を用いて第2のFAIC値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。   When the process proceeds to S1302, the class number / dimension number determining unit 1101 increases the class number and the dimension number from the calculated distribution state of the model feature vector, and uses the (Equation 11) to perform the second Calculate the FAIC value. Here, the increase in the number of classes and the number of dimensions is determined by the data to be classified.

ここで、第1のFAIC値と第2のFAIC値を比較し、第2のFAIC値が第1のFAIC値を上回れば、求めるクラス数及び次元数を第1のFAIC値を求めたクラス数及び次元数とし、第1のFAIC値と第2のFAIC値が同値、若しくは第1のFAIC値が第2のFAIC値を上回れば、求めるクラス数及び次元数は第2のFAIC値を求めたクラス数とする。   Here, the first FAIC value and the second FAIC value are compared, and if the second FAIC value exceeds the first FAIC value, the number of classes and the number of dimensions are determined by the number of classes for which the first FAIC value is determined. If the first FAIC value and the second FAIC value are the same, or the first FAIC value exceeds the second FAIC value, the number of classes and the number of dimensions are calculated as the second FAIC value. Number of classes.

つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるFAICは減少することが望ましい。   That is, when calculating the number of classes and the number of dimensions, if the number of classes and the number of dimensions are increased, it is desirable that the calculated FAIC be reduced.

次に、S1302で求めたクラス数及び次元数を用いて、再度、S305からS307の処理を実行する。   Next, the processes of S305 to S307 are executed again using the number of classes and the number of dimensions obtained in S1302.

また、図15は、図13の構成による物体認識装置によるオフライン処理の動作を示すフローチャートである。   FIG. 15 is a flowchart showing the operation of the offline processing by the object recognition device having the configuration shown in FIG.

まず、図11と同様に、S307の処理を行い、S1401にて、分類するデータにより求まる閾値と、モデル特徴ベクトルから求めたFAIC値を比較し、再度、クラス数及び次元数を求める処理の実行を決定する。ただし、クラス数及び次元数を求める処理回数が1回目は、閾値とFAIC値の比較を行うことなく、S1402に移行してもよい。   First, similarly to FIG. 11, the process of S307 is performed, and in S1401, the threshold value determined based on the data to be classified is compared with the FAIC value determined from the model feature vector, and the process of calculating the number of classes and the number of dimensions is performed again. To determine. However, when the number of times of processing for obtaining the number of classes and the number of dimensions is the first time, the process may shift to S1402 without comparing the threshold and the FAIC value.

次に、S1402にて、算出されたモデル特徴ベクトルの分布状態から、クラス数及び
次元数を変えないで(数11)を用いて第1のFAIC値を算出する。次に、クラス数及び次元数を増加して、第2のFAIC値を算出する。ここで、クラス数及び次元数の増加は、分類するデータによって決まる。
Next, in S1402, the first FAIC value is calculated from (Equation 11) without changing the number of classes and the number of dimensions from the calculated distribution state of the model feature vector. Next, the number of classes and the number of dimensions are increased, and a second FAIC value is calculated. Here, the increase in the number of classes and the number of dimensions is determined by the data to be classified.

ここで、第1のFAIC値と第2のFAIC値を比較し、第2のFAIC値が第1のFAIC値を上回れば、求めるクラス数及び次元数を第1のFAIC値を求めたクラス数及び次元数とし、第1のFAIC値と第2のFAIC値が同値、若しくは第1のFAIC値が第2のFAIC値を上回れば、求めるクラス数及び次元数は第2のFAIC値を求めたクラス数とし、S704に移行する。   Here, the first FAIC value and the second FAIC value are compared, and if the second FAIC value exceeds the first FAIC value, the number of classes and the number of dimensions are determined by the number of classes for which the first FAIC value is determined. If the first FAIC value and the second FAIC value are the same, or the first FAIC value exceeds the second FAIC value, the number of classes and the number of dimensions are calculated as the second FAIC value. The class number is set, and the process proceeds to S704.

つまり、クラス数及び次元数を求める際に、構成されるクラス数及び次元数が増加している場合は、算出されるFAICは減少することが望ましい。   That is, when calculating the number of classes and the number of dimensions, if the number of classes and the number of dimensions are increased, it is desirable that the calculated FAIC be reduced.

以上の構成により、実施の形態3による画像認識装置は、実施の形態1、2による画像認識装置に比べて、(数11)を利用することによって、一つの評価基準を最適化するだけで、一度にクラスの分類を正確に行うことができるような特徴空間と、クラス数及び次元数を求めた上でのクラス構成を求めることができる。   With the above configuration, the image recognition device according to the third embodiment optimizes one evaluation criterion by using (Equation 11) as compared with the image recognition devices according to the first and second embodiments, It is possible to obtain a feature space that can accurately classify the classes at once, and a class configuration based on the number of classes and dimensions.

本発明にかかるデータ分類装置、物体認識装置、データ分類方法及び物体認識方法は、クラスの分類を正確に行うことができるようなクラス数及び次元数を求めた上で、クラス数及び次元数に従ったクラス構成を求めることで、逐次入力されるデータと最も類似度の高いクラスを検出し、この検出したクラスの属するカテゴリを求めるようにでき、カテゴリの分布に関わらず、逐次入力されたデータを正確なカテゴリに分類することができ、従来の方法でのデータのカテゴリ分類を誤る確率を、低減することができるという有利な効果を有し、データが分類されているカテゴリを、カテゴリよりも小さい分布であるクラスを構築するデータ分類装置及びデータ分類方法と、データ分類装置により構成されたクラスに、入力されたデータを分類し、データに含まれる物体を認識する物体認識装置及び物体認識方法等として有用である。   The data classification device, the object recognition device, the data classification method, and the object recognition method according to the present invention determine the number of classes and the number of dimensions so that class classification can be performed accurately, and then determine the number of classes and the number of dimensions. By obtaining the class configuration according to the above, the class having the highest similarity to the sequentially input data can be detected, and the category to which the detected class belongs can be obtained. Has the advantageous effect of being able to reduce the probability of misclassifying data in conventional ways, and to reduce the category in which the data is classified A data classification device and a data classification method for constructing a class having a small distribution, and classify input data into a class constituted by the data classification device Useful objects contained in the data as an object recognition device and an object recognition method or the like to recognize.

本発明第1の実施の形態による物体認識装置の構成を示す図FIG. 1 is a diagram illustrating a configuration of an object recognition device according to a first embodiment of the present invention. 同第1の実施の形態による物体認識装置のオフライン処理の構成を示す図The figure which shows the structure of the offline processing of the object recognition apparatus by the 1st Embodiment. 同第1の実施の形態による物体認識装置のオフライン処理のフローチャートFlowchart of offline processing of the object recognition device according to the first embodiment 同第1の実施の形態によるカテゴリ構成モデルデータデータベースを示す図FIG. 4 is a diagram showing a category configuration model data database according to the first embodiment. 同第1の実施の形態によるパターンベクトルの座標変換を示す図FIG. 7 is a diagram showing coordinate conversion of a pattern vector according to the first embodiment. 同第1の実施の形態による物体認識装置のオフライン処理のフローチャートFlowchart of offline processing of the object recognition device according to the first embodiment 同第1の実施の形態による物体認識装置のオンライン処理の構成を示す図The figure which shows the structure of the online processing of the object recognition apparatus by 1st Embodiment 同第1の実施の形態による物体認識装置のオンライン処理のフローチャートFlow chart of online processing of the object recognition device according to the first embodiment 同第2の実施の形態による物体認識装置のオフライン処理の構成を示す図The figure which shows the structure of the offline processing of the object recognition apparatus by the 2nd Embodiment. 同第2の実施の形態による物体認識装置のオフライン処理のフローチャートFlowchart of offline processing of the object recognition device according to the second embodiment 同第2の実施の形態による物体認識装置のオフライン処理のフローチャートFlowchart of offline processing of the object recognition device according to the second embodiment 同第3の実施の形態による物体認識装置のオフライン処理の構成を示す図The figure which shows the structure of the offline processing of the object recognition apparatus by the 3rd Embodiment. 同第3の実施の形態による物体認識装置のオフライン処理の構成を示す図The figure which shows the structure of the offline processing of the object recognition apparatus by the 3rd Embodiment. 同第3の実施の形態による物体認識装置のオフライン処理のフローチャートFlowchart of offline processing of the object recognition device according to the third embodiment 同第3の実施の形態による物体認識装置のオフライン処理のフローチャートFlowchart of offline processing of the object recognition device according to the third embodiment

符号の説明Explanation of reference numerals

100 物体認識装置
101 コンピュータシステム
102 CPU
108 画像データベース
110 ビデオカメラ
112 キーボード・ディスプレイ
114 パターンベクトルメモリ
115 カテゴリ構成モデルデータデータベース
116 クラス構成モデルデータデータベース
120 クラス数・次元数メモリ
121 特徴抽出行列メモリ
122 モデル特徴ベクトルデータベース
123 特徴ベクトルメモリ
201 パターンベクトル作成部
202、801、1201、1301 クラス数・次元数決定部
203、802 クラス構成構築部
204、803 特徴抽出行列算出部
205 モデル特徴ベクトル算出部
501 入力特徴ベクトル算出部
502 入力パターンベクトル判別部
503 入力データ判定部

REFERENCE SIGNS LIST 100 object recognition device 101 computer system 102 CPU
108 Image Database 110 Video Camera 112 Keyboard / Display 114 Pattern Vector Memory 115 Category Configuration Model Data Database 116 Class Configuration Model Data Database 120 Class / Dimension Memory 121 Feature Extraction Matrix Memory 122 Model Feature Vector Database 123 Feature Vector Memory 201 Pattern Vector Creation unit 202, 801, 1201, 1301 Class / dimension determination unit 203, 802 Class configuration construction unit 204, 803 Feature extraction matrix calculation unit 205 Model feature vector calculation unit 501 Input feature vector calculation unit 502 Input pattern vector discrimination unit 503 Input data judgment unit

Claims (10)

複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出するクラス数・次元数決定部と、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類するクラス構成構築部と、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する特徴抽出行列算出部と、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出するモデル特徴ベクトル算出部とを有するデータ分類装置。 A class number / dimension number determination unit for calculating the number of classes and the number of dimensions, which are parameters used when constructing a class having a distribution smaller than the category into which the plurality of model data are classified, and the number of classes and the number of dimensions And a class configuration constructing unit that classifies the model data into the class, and converts the model data classified into the class into a distribution with small intra-class variance and large inter-class variance. Data having a feature extraction matrix calculation unit for calculating a feature extraction matrix used in the case, and a model feature vector calculation unit for calculating an average value of feature vectors for each class from the model data classified into the class and the feature extraction matrix. Classifier. クラス数・次元数決定部は、複数のモデルデータから推定されるモデル確率分布を用いたモデル選択の基準である情報量基準が最小となるクラス構成のクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小なるクラス数及び次元数を用いて、クラス内分散を小さくする手法であるクラスタリングによりクラスを構築する請求項1記載のデータ分類装置。 The number-of-classes / dimensions determination unit calculates the number of classes and the number of dimensions of the class configuration that minimizes the information amount criterion that is a criterion for model selection using a model probability distribution estimated from a plurality of model data, and 2. The data classification device according to claim 1, wherein the constructing unit constructs a class by clustering, which is a technique for reducing intra-class variance, using the number of classes and the number of dimensions having the smallest information amount criterion. クラス数・次元数決定部は、複数のモデルデータから算出される単位行列である共分散行列を用いて前記複数のモデルデータを変換し、前記変換された複数のモデルデータを用いた情報量基準が最小となるクラス数及び次元数を算出し、クラス構成構築部は、前記情報量基準が最小となるクラス数及び次元数を用いてクラス内分散を小さくするクラスタリングによりクラスを構築し、特徴抽出行列算出部は、前記単位行列の共分散行列により変換された前記複数のモデルデータを、前記クラスのクラス内分散は小さい分布、クラス間分散は大きい分布に変換する場合に用いる特許抽出行列を算出する請求項1記載のデータ分類装置。 The class number / dimension number determining unit converts the plurality of model data using a covariance matrix which is a unit matrix calculated from a plurality of model data, and an information amount criterion using the converted plurality of model data. Is calculated, and the class configuration constructing unit constructs a class by clustering to reduce the intra-class variance by using the number of classes and the number of dimensions in which the information amount criterion is the smallest, and performs feature extraction. The matrix calculation unit calculates a patent extraction matrix used when converting the plurality of model data converted by the covariance matrix of the unit matrix into a distribution having a small intra-class variance and a large inter-class variance of the class. The data classification device according to claim 1, wherein クラス数・次元数決定部は、複数のモデルデータから算出される特徴ベクトルの分布とカテゴリ又はクラスの分布との類似度を含む判断評価基準を用いてクラス数及び次元数を算出する請求項1記載のデータ分類装置。 The class number and dimension number determining unit calculates the class number and the dimension number using a judgment evaluation criterion including a similarity between the distribution of the feature vector calculated from the plurality of model data and the distribution of the category or the class. Data classification device as described. 判断評価基準は、Kullback−Leibler情報量を含む基準である請求項4記載のデータ分類装置。 The data classification device according to claim 4, wherein the judgment evaluation criterion is a criterion including a Kullback-Leibler information amount. クラス構成構築部は、既にクラスに分類されたモデルデータと第1のクラス数及び次元数とを用いて算出された第1の評価量基準と、前記既にクラスに分類されたモデルデータと前記第1のクラス数及び次元数と異なる第2のクラス数及び次元数を用いて算出された第2の評価量基準とを比較し、評価量基準が小さいクラス数及び次元数を用いてクラスを再度構築する請求項1ないし5のいずれか記載のデータ分類装置。 The class configuration constructing unit includes a first evaluation criterion calculated using the model data already classified into the class, the first class number and the dimension number, and the model data already classified into the class and the first evaluation amount criterion. 1 is compared with a second evaluation criterion calculated using a second class number and a dimension number different from the class number and the dimension number, and a class is re-used using the class number and the dimension number having a smaller evaluation criterion. The data classification device according to any one of claims 1 to 5, which is constructed. 請求項1ないし6のいずれか記載のデータ分類装置と、認識対象となる物体を含む入力データを、前記特徴抽出行列を用いて入力特徴ベクトルに変換する入力特徴ベクトル算出部と、前記クラス毎の特徴ベクトルの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する入力データ判定部とを含む物体認識装置。 A data classification device according to any one of claims 1 to 6, an input feature vector calculation unit that converts input data including an object to be recognized into an input feature vector using the feature extraction matrix, An object recognition apparatus comprising: an input data determination unit that recognizes the object by comparing an average value of a feature vector with the input feature vector and obtaining the category to which the class most similar to the input data belongs. 複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第1のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第2のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する
第3のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第4のステップとを含むデータ分類方法。
A first step of calculating the number of classes and the number of dimensions, which are parameters used when constructing a class in which the categories in which the plurality of model data are classified are smaller than the categories, and using the number of classes and the number of dimensions A second step of calculating a class configuration and classifying the model data into the class; and converting the model data classified into the class into a distribution having a small intra-class variance and a large inter-class variance. A data classification method comprising: a third step of calculating a feature extraction matrix; and a fourth step of calculating an average value of a feature vector for each class from the model data classified into the class and the feature extraction matrix.
複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第1のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第2のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第3のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第4のステップと、認識対象となる物体を含む入力データが入力され、前記入力データが前記特徴抽出行列を用いて入力特徴ベクトルに変換する第5のステップと、前記クラスの平均値と前記入力特徴ベクトルとを比較し、前記入力データに最も類似する前記クラスが属する前記カテゴリを求めることで、前記物体を認識する第6のステップとを有する物体認識方法。 A first step of calculating the number of classes and the number of dimensions, which are parameters used when constructing a class having a distribution smaller than the category in which the plurality of model data are classified, and using the number of classes and the number of dimensions A second step of calculating a class configuration and classifying the model data into the class; and converting the model data classified into the class into a distribution having a small intra-class variance and a large inter-class variance. A third step of calculating a feature extraction matrix; a fourth step of calculating an average value of a feature vector for each class from the model data classified into the class and the feature extraction matrix; and an object to be recognized. A fifth step of receiving input data and converting the input data into an input feature vector using the feature extraction matrix; It compares the average value and the input feature vector of the class, by obtaining the category to which the class belongs to the most similar to the input data, an object recognition method and a sixth step for recognizing the object. コンピュータに、複数のモデルデータが分類されたカテゴリを前記カテゴリより小さい分布であるクラスを構築する場合に用いるパラメータであるクラス数及び次元数を算出する第1のステップと、前記クラス数及び次元数を用いてクラス構成を算出し、前記モデルデータを前記クラスに分類する第2のステップと、前記クラスに分類されているモデルデータを、クラス内分散は小さく、クラス間分散は大きい分布に変換する場合に用いる特徴抽出行列を算出する第3のステップと、前記クラスに分類されたモデルデータ及び前記特徴抽出行列からクラス毎の特徴ベクトルの平均値を算出する第4のステップとを含むデータ分類方法を実行させるためのプログラム。

A first step of calculating the number of classes and the number of dimensions, which are parameters used when constructing a class having a distribution in which a plurality of model data are classified into categories smaller than the category, and the number of classes and the number of dimensions; A second step of calculating a class configuration and classifying the model data into the class, and converting the model data classified into the class into a distribution having a small intra-class variance and a large inter-class variance. A data extraction method including: a third step of calculating a feature extraction matrix used in the case; and a fourth step of calculating an average value of a feature vector for each class from the model data classified into the class and the feature extraction matrix. The program to execute.

JP2003375423A 2002-11-12 2003-11-05 Data classification device, object recognition device, data classification method, and object recognition method Withdrawn JP2004178569A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003375423A JP2004178569A (en) 2002-11-12 2003-11-05 Data classification device, object recognition device, data classification method, and object recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002328059 2002-11-12
JP2003375423A JP2004178569A (en) 2002-11-12 2003-11-05 Data classification device, object recognition device, data classification method, and object recognition method

Publications (2)

Publication Number Publication Date
JP2004178569A true JP2004178569A (en) 2004-06-24
JP2004178569A5 JP2004178569A5 (en) 2006-10-12

Family

ID=32716142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003375423A Withdrawn JP2004178569A (en) 2002-11-12 2003-11-05 Data classification device, object recognition device, data classification method, and object recognition method

Country Status (1)

Country Link
JP (1) JP2004178569A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079605A (en) * 2004-09-02 2006-03-23 Mitsubishi Electric Research Laboratories Inc Method for representing class of object
JP2006260242A (en) * 2005-03-17 2006-09-28 Ricoh Co Ltd Document management device, program, and recording medium
JP2007087379A (en) * 2005-09-02 2007-04-05 Mitsubishi Electric Research Laboratories Inc Method of classifying data by computer and method of classifying by computer
WO2009032570A1 (en) * 2007-08-30 2009-03-12 Microsoft Corporation Visual language modeling for image classification
JP2010134632A (en) * 2008-12-03 2010-06-17 Gifu Univ Data processing system and data processing program
WO2010110181A1 (en) * 2009-03-27 2010-09-30 日本電気株式会社 Pattern matching device, pattern matching method, and pattern matching program
JP2014115920A (en) * 2012-12-12 2014-06-26 Casio Comput Co Ltd Multi-class identifier, method, and program
JP2015011585A (en) * 2013-06-28 2015-01-19 株式会社リコー Image processing apparatus, image forming apparatus, image forming system, image processing method, and program
JP2015121901A (en) * 2013-12-20 2015-07-02 日本放送協会 Video area division device and video area division program
JP6223530B1 (en) * 2016-11-10 2017-11-01 ヤフー株式会社 Information processing apparatus, information processing method, and program
JP2018519573A (en) * 2015-11-26 2018-07-19 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 Human face model matrix training method and apparatus, and storage medium

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006079605A (en) * 2004-09-02 2006-03-23 Mitsubishi Electric Research Laboratories Inc Method for representing class of object
JP2006260242A (en) * 2005-03-17 2006-09-28 Ricoh Co Ltd Document management device, program, and recording medium
JP2007087379A (en) * 2005-09-02 2007-04-05 Mitsubishi Electric Research Laboratories Inc Method of classifying data by computer and method of classifying by computer
WO2009032570A1 (en) * 2007-08-30 2009-03-12 Microsoft Corporation Visual language modeling for image classification
US8126274B2 (en) 2007-08-30 2012-02-28 Microsoft Corporation Visual language modeling for image classification
JP2010134632A (en) * 2008-12-03 2010-06-17 Gifu Univ Data processing system and data processing program
WO2010110181A1 (en) * 2009-03-27 2010-09-30 日本電気株式会社 Pattern matching device, pattern matching method, and pattern matching program
JP5459312B2 (en) * 2009-03-27 2014-04-02 日本電気株式会社 Pattern matching device, pattern matching method, and pattern matching program
JP2014115920A (en) * 2012-12-12 2014-06-26 Casio Comput Co Ltd Multi-class identifier, method, and program
JP2015011585A (en) * 2013-06-28 2015-01-19 株式会社リコー Image processing apparatus, image forming apparatus, image forming system, image processing method, and program
JP2015121901A (en) * 2013-12-20 2015-07-02 日本放送協会 Video area division device and video area division program
JP2018519573A (en) * 2015-11-26 2018-07-19 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 Human face model matrix training method and apparatus, and storage medium
US10395095B2 (en) 2015-11-26 2019-08-27 Tencent Technology (Shenzhen) Company Limited Face model matrix training method and apparatus, and storage medium
US10599913B2 (en) 2015-11-26 2020-03-24 Tencent Technology (Shenzhen) Company Limited Face model matrix training method and apparatus, and storage medium
JP6223530B1 (en) * 2016-11-10 2017-11-01 ヤフー株式会社 Information processing apparatus, information processing method, and program
JP2018077715A (en) * 2016-11-10 2018-05-17 ヤフー株式会社 Information processing device, information processing method, and program
US10896183B2 (en) 2016-11-10 2021-01-19 Yahoo Japan Corporation Information processing apparatus, information processing method, and non-transitory computer readable recording medium

Similar Documents

Publication Publication Date Title
Heisele et al. Hierarchical classification and feature reduction for fast face detection with support vector machines
US8837786B2 (en) Face recognition apparatus and method
US6430307B1 (en) Feature extraction system and face image recognition system
US8842883B2 (en) Global classifier with local adaption for objection detection
EP1460580B1 (en) Face meta-data creation and face similarity calculation
KR100738080B1 (en) Method of and apparatus for face recognition using gender information
US6912527B2 (en) Data classifying apparatus and material recognizing apparatus
JP2014232533A (en) System and method for ocr output verification
WO2020190480A1 (en) Classifying an input data set within a data category using multiple data recognition tools
US8488873B2 (en) Method of computing global-to-local metrics for recognition
Chan et al. for Face Recognition
JP2004178569A (en) Data classification device, object recognition device, data classification method, and object recognition method
Lin et al. Kernel-based representation for 2D/3D motion trajectory retrieval and classification
JP4348202B2 (en) Face image recognition apparatus and face image recognition program
Kelly et al. Recognition of spatiotemporal gestures in sign language using gesture threshold hmms
Mahdi et al. 3D facial matching by spiral convolutional metric learning and a biometric fusion-net of demographic properties
Yu et al. Research on face recognition method based on deep learning
WO2009047561A1 (en) Value determination
KR100852630B1 (en) Biometric method using probabillistic access in video image
Marzoog et al. Gender and race classification using geodesic distance measurement
Ismaila et al. A study of features extraction algorithms for human face recognition
Sahoo et al. Vision-based static hand gesture recognition using dense-block features and svm classifier
Abbad et al. Combining Jaccard and Mahalanobis Cosine distance to enhance the face recognition rate
Nina et al. Class-dependent feature selection for face recognition
Epshtein et al. Satellite features for the classification of visually similar classes

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060823

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090206