JP2008021044A - Higher-order local co-occurrence feature deriving method and program - Google Patents

Higher-order local co-occurrence feature deriving method and program Download PDF

Info

Publication number
JP2008021044A
JP2008021044A JP2006190962A JP2006190962A JP2008021044A JP 2008021044 A JP2008021044 A JP 2008021044A JP 2006190962 A JP2006190962 A JP 2006190962A JP 2006190962 A JP2006190962 A JP 2006190962A JP 2008021044 A JP2008021044 A JP 2008021044A
Authority
JP
Japan
Prior art keywords
order
order local
occurrence
hlac
autocorrelation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006190962A
Other languages
Japanese (ja)
Other versions
JP4753082B2 (en
Inventor
Takeshi Masuda
健 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2006190962A priority Critical patent/JP4753082B2/en
Priority to PCT/JP2007/063679 priority patent/WO2008007645A1/en
Publication of JP2008021044A publication Critical patent/JP2008021044A/en
Application granted granted Critical
Publication of JP4753082B2 publication Critical patent/JP4753082B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To derive a higher-order local co-occurrence feature as a higher-order concept of higher-order local autocorrelation feature quantity. <P>SOLUTION: A mask pattern of each order among 0 to N-th order to be used by a higher-order local autocorrelation (HLAC) which is extension of autocorrelation in which translational images are generalized so as not to be limited to only one is prepared when taking correlation with the translational images. A joint histogram of a neighboring luminance value to be referenced by the higher-order local autocorrelation (HLAC) of each of 0 to N-th order is produced relating to the mask pattern of each order among 0 to N-th order. These histograms are made as a higher-order local co-occurrence feature. The higher-order local co-occurrence feature is derived as one expansive concept of higher-order local autocorrelation (HLAC) feature quantity. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、高次局所自己相関特徴量の上位概念として高次局所共起特徴を導出する高次局所共起特徴導出方法及びプログラムに関する。   The present invention relates to a high-order local co-occurrence feature deriving method and a program for deriving high-order local co-occurrence features as a superordinate concept of high-order local autocorrelation features.

テクスチャは画像中の輝度値の規則的な変化であり、多くの自然物・人工物の表面に表れるため、物体認識や形状計測にとって重要な基本技術である。テクスチャ解析については、コンピュータによる画像処理の創成期から現在に至るまで長い研究の蓄積があり、多くの手法が提案されている([非特許文献1] 機能編第I 部5.4 節)。 テクスチャは広がりを持っており、 テクスチャ特徴は一定の領域について、局所特徴量の統計をとったり、自己回帰モデルを当てはめたり、フーリエ変換を適用したりする手法によって求められることが一般的である。   Texture is a regular change of luminance value in an image, and appears on the surface of many natural and artificial objects. Therefore, texture is an important basic technique for object recognition and shape measurement. Regarding texture analysis, there has been a long accumulation of research from the creation of computer image processing to the present, and many methods have been proposed ([Non-patent Document 1] Function, Part I, Section 5.4). The texture has a spread, and the texture feature is generally obtained by a method of taking statistics of a local feature amount, applying an autoregressive model, or applying a Fourier transform for a certain region.

これらのうち有効性があるとされている手法の一つに、共起行列(同時生起行列、co-occurrence matrix) を用いる手法がある。 共起行列は、画像中の輝度i の画素から距離d、方向θ 離れた画素の輝度値がj である確率を、要素(i, j) の値とするような行列である。Haralick ら[非特許文献2] は、 共起行列から求めた14 種の特徴量をテクスチャ特徴として利用し、 砂岩・航空写真・衛星写真のテクスチャ解析を行っている。
高次局所自己相関(HLAC: Higher-order Local AutoCorrela-tion) [非特許文献3]、 [非特許文献4] は、 画像の自己相関を高次に拡張した上で変位量を局所に限定することにより実用的な次元の特徴ベクトルを得る手法である。高次局所自己相関(HLAC) 特徴量はさまざまな応用の中でも、 テクスチャ解析には特に有用であることが示されている[非特許文献5]、 [非特許文献6]。 One of the methods that are considered to be effective is a method using a co-occurrence matrix (co-occurrence matrix). The co-occurrence matrix is a matrix in which the probability that the luminance value of a pixel at a distance d and a direction θ away from a pixel of luminance i in the image is j is the value of element (i, j). Haralick et al. [Non-Patent Document 2] use 14 types of feature values obtained from the co-occurrence matrix as texture features and perform texture analysis of sandstone, aerial photographs, and satellite photographs.
Higher-order Local Auto Correlation (HLAC) [Non-Patent Document 3] and [Non-Patent Document 4] extend the autocorrelation of an image to higher order and limit the amount of displacement locally. In this way, a practical dimension feature vector is obtained. Higher-order local autocorrelation (HLAC) features have been shown to be particularly useful for texture analysis among various applications [Non-Patent Document 5] and [Non-Patent Document 6].

（高次局所自己相関）
高次局所自己相関(HLAC) は、 並進した画像と相関(積和) をとる際に、並進した画像が一つとは限らないように一般化した自己相関の拡張である。画像f(r) のN 次の高次局所自己相関(HLAC) 特徴量は、 並進量をa1,...,aN としたときに、
と定義される。ここで、次数N を2 次まで(N =0,1,2)、変位を各座標軸上で±1 の範囲の3 ×3 の離散化された値に限定し、並進移動によって同一視できるパターンを除外すると、図２ の{M[1],...,M[35]}の35 通りに限定される。図２は、高次局所自己相関で使用する３×３のマスクパターンを示す図であり、このマスク中の数字は、対応する変位の値と積をとる回数を表している。 (Higher order local autocorrelation)
Higher-order local autocorrelation (HLAC) is an extension of autocorrelation that is generalized so that the number of translated images is not limited to one when taking correlations (product sums) with translated images. The Nth-order higher-order local autocorrelation (HLAC) feature of the image f (r) is given by the translation amounts a1, ..., aN.
Is defined. Here, the order N is limited to the second order (N = 0, 1, 2), the displacement is limited to 3 × 3 discrete values in the range of ± 1 on each coordinate axis, and the pattern can be identified by translation Is excluded, the number is limited to 35 in {M [1], ..., M [35]} in Fig. 2. FIG. 2 is a diagram showing a 3 × 3 mask pattern used for higher-order local autocorrelation, and the numbers in the mask represent the number of times to take a product with the corresponding displacement value.

離散化された変位M[m] についての高次局所自己相関(HLAC) 特徴量は次のように求められる。
ただし、N は画素数とする。さらに、画素値が0 と1 の二値しかとらない場合は1 ×1 = 1 なので、M[1] = M[2] = M[7]、 M[3] = M[8] = M[12]、 M[4] = M[9] = M[13]、 M[5] = M[10] = M[14]、 M[6] = M[11] = M[15] と同一視され25 通りになる。 以下の説明においては図２のマスクの番号を一貫して用い、二値のマスクを用いて説明している箇所では、重複しているM[2]、M[7],...,M[15] は欠番とする。 Higher order local autocorrelation (HLAC) features for the discretized displacement M [m] are obtained as follows.
N is the number of pixels. Furthermore, if the pixel value is only binary between 0 and 1, 1 × 1 = 1, so M [1] = M [2] = M [7], M [3] = M [8] = M [ 12], M [4] = M [9] = M [13], M [5] = M [10] = M [14], M [6] = M [11] = M [15] There are 25 ways. In the following description, the mask numbers in FIG. 2 are used consistently, and in the portions described using the binary mask, M [2], M [7],. [15] is a missing number.

高次局所自己相関(HLAC) 特徴量は次数N のとき輝度値のN + 1 乗の次元を持つ。例えば、1 次のHLAC[2],...HLAC[6] にはHLAC[1] の値を掛けて三乗根、2 次のHLAC[7],...HLAC[35] は三乗根をとることで、 輝度値の1 乗の次元になるようにそろえることができる。   Higher-order local autocorrelation (HLAC) features have N + 1 power dimensions when the order is N. For example, the first order HLAC [2], ... HLAC [6] is multiplied by the value of HLAC [1] to the third root, and the second order HLAC [7], ... HLAC [35] is the third power By taking the roots, it is possible to align the luminance values to the first power dimension.

高木、 下田（編）：“新編画像解析ハンドブック”, 東京大学出版会(2004)。Takagi, Shimoda (ed.): “New Image Analysis Handbook”, University of Tokyo Press (2004). R. M. Haralick, K. Shhanmugam and I. Dinstein: “Textural features for image classi.cation”, IEEE Trans. SMC, SMC-3, 6, pp. 610.621 (1987).R. M. Haralick, K. Shhanmugam and I. Dinstein: “Textural features for image classi.cation”, IEEE Trans. SMC, SMC-3, 6, pp. 610.621 (1987). J. A. McLaughlin and J. Raviv: “Nth-order autocorrelations in pat-tern recognition”, Information and Control, 12, 2, pp. 121.142 (1968).J. A. McLaughlin and J. Raviv: “Nth-order autocorrelations in pat-tern recognition”, Information and Control, 12, 2, pp. 121.142 (1968). N. Otsu and T. Kurita: “A new scheme for practical .exible and in-telligent vision systems”, Proc. IAPR Workshop on CV, pp. 431.435 (1988).N. Otsu and T. Kurita: “A new scheme for practical .exible and in-telligent vision systems”, Proc. IAPR Workshop on CV, pp. 431.435 (1988). T. Kurita and N. Otsu: “Texture classi.cation by higher order local autocorrelation features”, Proc. ACCV1993, pp. 175.178 (1993).T. Kurita and N. Otsu: “Texture classi.cation by higher order local autocorrelation features”, Proc. ACCV1993, pp. 175.178 (1993). T. Toyoda and O. Hasegawa: “Texture classi.cation using extended higher order local autocorrelation features”, Proceedings of the 4th International Workshop on Texture Analysis and Synthesis, pp. 131. 136 (2005).T. Toyoda and O. Hasegawa: “Texture classi.cation using extended higher order local autocorrelation features”, Proceedings of the 4th International Workshop on Texture Analysis and Synthesis, pp. 131. 136 (2005). A. Akono, E. Tony´e and A. N. Nyoungui: “Nouvelle m´ethodologie d’´evaluation des param`etres de texture d’ordre trois”, Int. J. Remote Sensing, 24, 9, pp. 1957.1967 (2003).A. Akono, E. Tony´e and AN Nyoungui: “Nouvelle m´ethodologie d'´evaluation des param`etres de texture d'ordre trois”, Int. J. Remote Sensing, 24, 9, pp. 1957.1967 (2003 ). P. Viola and W. M. Wells III: “Alignment by maximization of mutual information”, Int. J. Comput. Vision, 24, (1997).P. Viola and W. M. Wells III: “Alignment by maximization of mutual information”, Int. J. Comput. Vision, 24, (1997). T. M. Cover and J. A. Thomas: “Elements of Information Theory”, Wiley (1991).T. M. Cover and J. A. Thomas: “Elements of Information Theory”, Wiley (1991). P. Brodatz: “Textures”, Dover (1966).P. Brodatz: “Textures”, Dover (1966). T. Kobayashi and N. Otsu: “Action and simultaneous multiple-person identi.cation using cubic higher-order local auto-correlation”, pp. 741.744 (2004).T. Kobayashi and N. Otsu: “Action and simultaneous multiple-person identi.cation using cubic higher-order local auto-correlation”, pp. 741.744 (2004). O. G. Cula and K. J. Dana: “3d texture recognition using bidirec-tional feature histograms”, Int. J. Comput. Vision, 59, 1, pp. 33.60 (2004).O. G. Cula and K. J. Dana: “3d texture recognition using bidirec-tional feature histograms”, Int. J. Comput. Vision, 59, 1, pp. 33.60 (2004). M. Varma and A. Zisserman: “A statistical approach to texture classification from single images”, Int. J. Comput. Vision, 62, 1-2, pp. 61.81 (2005).M. Varma and A. Zisserman: “A statistical approach to texture classification from single images”, Int. J. Comput. Vision, 62, 1-2, pp. 61.81 (2005). “Imagemagick”, http://www.imagemagick.org/.“Imagemagick”, http://www.imagemagick.org/.

本発明は、高次局所自己相関特徴量の上位概念として高次局所共起特徴を提案し、その特徴量の一つとして高次局所共起情報量を導出することを目的としている。高次局所自己相関特徴量はその有効性が多くの応用で確かめられ、 特にテクスチャ解析に有用であるとされている。   An object of the present invention is to propose a higher-order local co-occurrence feature as a superordinate concept of higher-order local autocorrelation features, and to derive a higher-order local co-occurrence information amount as one of the feature values. The effectiveness of higher-order local autocorrelation features has been confirmed in many applications, and is particularly useful for texture analysis.

本発明は、高次局所自己相関(HLAC) 特徴量の一つの拡張的概念として、 高次局所共起(HLCO: Higher-order Local Co-occurrence) 特徴を提案する。高次局所共起特徴は、 二値の高次局所自己相関と同じマスクパターンを用い、 その値の組み合わせによって生成した結合ヒストグラム(同時ヒストグラム、Joint Histogram) である。   The present invention proposes a higher-order local co-occurrence (HLCO) feature as an extended concept of higher-order local autocorrelation (HLAC) features. The higher-order local co-occurrence feature is a combined histogram (Joint Histogram) generated by combining the values using the same mask pattern as the binary higher-order local autocorrelation.

図１は、本発明の高次局所共起特徴導出方法及びを示す概念図である。
ステップＳ１：Ｎを整数として、並進した画像と相関をとる際に、並進した画像が一つとは限らないように一般化した自己相関の拡張である高次局所自己相関(HLAC)で使用する0〜Ｎ次の各次マスクパターンを用意する。なお、本発明において、「画像」とは、１次元或いはそれ以上の多次元パターンを意味する用語として用いている。また、「マスクパターン」によって高次局所自己相関(HLAC)を規定するが、N次の高次局所自己相関(HLAC)はN個の局所平行移動との相関によって規定される。マスクパターンは離散的な局所平行移動の範囲を±1に限定したときの実装方法の一つであるが、このマスクパターンは、±2の範囲にしたり、二次元以上の場合も含む用語として用いる。これによって、１次元或いはそれ以上の多次元パターン画像が矩形格子とは限らない格子によって標本化されたデータがあたえられたときに，例示された3x3とは限らない大きさのマスクパターン、例えば5x5とか3x3x3とか三角格子などを用いて定義される。 FIG. 1 is a conceptual diagram showing a high-order local co-occurrence feature deriving method according to the present invention.
Step S1: Using N as an integer, it is used in high-order local autocorrelation (HLAC), which is an extension of generalized autocorrelation so that the number of translated images is not limited to one when correlating with the translated images. -Nth order mask patterns are prepared. In the present invention, “image” is used as a term meaning a one-dimensional or more multidimensional pattern. Further, the higher-order local autocorrelation (HLAC) is defined by the “mask pattern”, but the Nth-order higher-order local autocorrelation (HLAC) is defined by the correlation with N local translations. The mask pattern is one of the mounting methods when the range of discrete local translation is limited to ± 1, but this mask pattern is used as a term including the range of ± 2 or more than two dimensions. . As a result, when data obtained by sampling a one-dimensional or higher multi-dimensional pattern image with a grid that is not necessarily a rectangular grid, a mask pattern having a size that is not limited to 3x3 illustrated, for example, 5x5 It is defined using 3x3x3 or triangular lattice.

ステップＳ２：0〜Ｎ次の各次マスクパターンに対して、それぞれ0〜Ｎ次の高次局所自己相関(HLAC)で参照される近傍の輝度値の結合ヒストグラムを生成する。0〜N次のマスクパターンにはそのまま0〜N「次」のHLACが相当する。ここでいう「次」はHLA特徴量で使用する移動量の数を表しており、入力パターンの次元(画像の場合2)とは異なる。これによって、例示した輝度値とか、エッジの方向などの「画素特徴量」の組み合わせを領域内で統計をとることによって「領域の特徴量」を求める。具体的には、高次局所自己相関(HLAC) の0,1,2 次のパターンに対して、それぞれ1,2,3 次元の結合ヒストグラムが生成される。   Step S2: For each of the 0th to Nth-order mask patterns, a combined histogram of neighboring luminance values referred to by 0th to Nth order higher-order local autocorrelation (HLAC) is generated. The 0th to Nth “next” HLACs correspond to the 0th to Nth order mask patterns as they are. Here, “next” represents the number of movement amounts used in the HLA feature amount, and is different from the dimension of the input pattern (2 in the case of an image). Thus, the “region feature value” is obtained by taking statistics of the combinations of “pixel feature values” such as the exemplified luminance value and the edge direction in the region. Specifically, 1-, 2- and 3-dimensional combined histograms are generated for the 0th, 1st and 2nd order patterns of higher order local autocorrelation (HLAC).

ステップＳ３：これらヒストグラムを高次局所共起特徴とする。
ステップＳ４：高次局所自己相関(HLAC) 特徴量の一つの拡張的概念として、高次局所共起特徴を導出する。結合ヒストグラムの輝度値を表す各座標値について、座標値の積を求め、この求めた積の全ての和をとることにより、高次局所自己相関(HLAC)を求める。高次局所共起特徴の結合エントロピーとして高次局所共起性情報量(HLCOI)を導出する。
結合ヒストグラムの座標値は輝度値なので、 各データについて座標値の積を求め、 全データについて和をとると高次局所自己相関(HLAC) が求められることになり、 高次局所共起性特徴は高次局所自己相関(HLAC) の拡張となっている。1 次の高次局所共起特徴は、 行列の対称性を除いて、局所的な共起行列と一致する。 共起行列の3 次への拡張は提案されているものの実装されている例は少ない[非特許文献7]。高次局所共起性特徴は、変位を高次局所自己相関(HLAC) と同様に局所に限って次数を制限し3 次に拡張した共起行列の実装ともみなせる。 Step S3: Use these histograms as higher-order local co-occurrence features.
Step S4: Higher-order local autocorrelation (HLAC) A higher-order local co-occurrence feature is derived as an extended concept of feature quantity. For each coordinate value representing the luminance value of the combined histogram, a product of coordinate values is obtained, and a high-order local autocorrelation (HLAC) is obtained by taking the sum of all the obtained products. Higher order local co-occurrence information (HLCOI) is derived as the joint entropy of higher order local co-occurrence features.
Since the coordinate values of the combined histogram are luminance values, the product of the coordinate values for each data is obtained, and the sum of all the data is summed to obtain a high-order local autocorrelation (HLAC). It is an extension of higher order local autocorrelation (HLAC). The first-order higher-order local co-occurrence features match the local co-occurrence matrix, except for matrix symmetry. Although the co-occurrence matrix has been proposed to be extended to the third order, there are few examples implemented [Non-Patent Document 7]. The high-order local co-occurrence feature can be regarded as an implementation of a co-occurrence matrix with the displacement limited to the locality and extended to the third order, similar to the high-order local autocorrelation (HLAC).

共起行列からHaralick ら［非特許文献２］が求めている14 種の特徴量の中には、エントロピーまたは情報量に相当するものが含まれている。高次局所共起特徴自体は結合ヒストグラムなので、同様にエントロピーを計算すると、結合エントロピー(同時エントロピー、Joint Entropy) が求められる。 ソースが異なる画像間の位置あわせを行う際に、 相互情報量(MI: Mutual Information) を最大化する規準が用いられ[非特許文献8]、相互情報量は輝度値に関係なく、 その対応関係のみを評価する評価値である。本発明は、高次局所共起特徴の結合エントロピーとして高次局所共起性情報量(HLCOI: Higher-order Local Co-occurrence Information) を導出する。   Among the 14 types of feature values required by Haralick et al. [Non-Patent Document 2] from the co-occurrence matrix, those corresponding to entropy or information amount are included. Since higher-order local co-occurrence features themselves are joint histograms, joint entropy (joint entropy) can be obtained by calculating entropy in the same manner. When aligning images from different sources, a criterion that maximizes mutual information (MI) is used [Non-Patent Document 8]. It is an evaluation value that evaluates only. The present invention derives Higher-order Local Co-occurrence Information (HLCOI) as the joint entropy of higher-order local co-occurrence features.

本発明によれば、高次局所自己相関(HLAC) 特徴の上位概念として高次局所共起(HLCO) 特徴と、その情報量特徴である高次局所共起情報量(HLCI) 特徴を導出することができる。高次局所共起情報量は、画素値が記号のような積和演算が導入できないような場合でも求めることができる。情報量・相互情報量の定義や画像からの情報量の計算方法も様々ある。高次局所共起(HLCO) から求められる特徴量としては、高次局所自己相関(HLAC) やHLCI 以外にも考えられる。 大津らによる高次局所自己相関(HLAC) の三次元近傍への拡張[非特許文献11] にもそのまま適用可能である。共起行列で使われているような差分的な特徴量は陰影や影のような影響を軽減するのに有効である可能性がある。   According to the present invention, a higher-order local co-occurrence (HLCO) feature and a higher-order local co-occurrence information (HLCI) feature that is an information amount feature are derived as a superordinate concept of the higher-order local autocorrelation (HLAC) feature. be able to. The higher-order local co-occurrence information amount can be obtained even when a product-sum operation where the pixel value is a symbol cannot be introduced. There are various methods for defining the amount of information and mutual information and calculating the amount of information from images. Features other than higher-order local autocorrelation (HLAC) and HLCI are also considered as features obtained from higher-order local co-occurrence (HLCO). The present invention can be applied to the extension of higher-order local autocorrelation (HLAC) by Otsu et al. Differential features such as those used in the co-occurrence matrix may be effective in reducing the effects of shadows and shadows.

また、高次局所自己相関(HLAC) と高次局所共起情報量(HLCOI) などの特徴量を単独に用いるのではなく、 高次局所共起(HLCO) から派生する複数の特徴量を組み合わせて使用することでより頑強な特徴量を構成できる可能性がある。近年、テクスチャ解析においては、表面の凹凸から生じる立体的テクスチャ(3D Texture) の解析手法が提案されているが[非特許文献12]、 [非特許文献13]、 これらの手法は局所的フィルタバンクの出力をクラスタリングすることによりtexton に量子化し、 ヒストグラムなどの統計的処理により認識を行っている。高次局所共起(HLCO) 特徴量からは多数の非線形特徴量を生成することができ、これらの手法と比較し組み合わせることで新たな応用が展開できる。   Also, instead of using features such as higher-order local autocorrelation (HLAC) and higher-order local co-occurrence information (HLCOI) alone, multiple features derived from higher-order local co-occurrence (HLCO) are combined. There is a possibility that a more robust feature value can be configured. In recent years, three-dimensional texture analysis methods (3D Texture) resulting from surface irregularities have been proposed in texture analysis [Non-Patent Document 12], [Non-Patent Document 13]. The output is quantized into texton by clustering and is recognized by statistical processing such as histogram. Many nonlinear features can be generated from higher-order local co-occurrence (HLCO) features, and new applications can be developed by combining with these methods.

以下、例示に基づき本発明を説明する。本発明は、高次局所自己相関(HLAC) 特徴量と共起行列から高次局所共起(HLCO) 特徴を定義し、その情報量としての高次局所共起情報量(HLCOI) 特徴量を導出する。   Hereinafter, the present invention will be described based on examples. The present invention defines higher-order local co-occurrence (HLCO) features from higher-order local autocorrelation (HLAC) features and co-occurrence matrices, and uses the higher-order local co-occurrence information (HLCOI) features as information. To derive.

高次局所共起情報量(HLCOI)特徴量を導出することにより、例えば、以下のことが可能となる。
・類似画像検索，画像分類(画像全体から求めた特徴量を利用し，似たような特徴量を持つ画像を検索したり分類したりする)
・局所領域から求めた特徴量による、領域分割(類似した特徴量が得られるような領域に分割する)
・対象認識，位置あわせ(局所特徴量に基づいて対応付けすることにより認識を行ったり画像間で位置あわせしたり) By deriving a high-order local co-occurrence information amount (HLCOI) feature amount, for example, the following becomes possible.
・ Similar image search, image classification (uses the feature value obtained from the whole image to search and classify images with similar feature value)
・ Division based on the feature value obtained from the local area (divide into regions that can obtain similar feature values)
-Object recognition, alignment (perform recognition by matching based on local features and align between images)

（高次局所共起特徴）
高次局所共起特徴は、 高次局所自己相関で参照される近傍の値の結合ヒストグラムとして求められる。同一の値を複数回使用する必要はないので、二値のマスクと同じく２５個のヒストグラムを求めればよい。二値のマスクの並進それぞれに対して、輝度値i、ｊ、ｋについて次のようなヒストグラムをとる。
HLCO[1](i)= Prob(f(r) = i) (2)
HLCO[m](i,j)= Prob(f(r) = i,f(r + a1) = j,
a1 ∈ M[m]), 3 ≦ m ≦ 6
HLCO[m](i,j,k)= Prob(f(r) = i,f(r + a1) = j,
f(r + a2) = k, {a1,a2} ∈ M[m]),
16 ≦ m ≦ 35
0,1,2 次のマスクに対して、それぞれ1,2,3 次元のヒストグラムが得られる。これら25 個のヒストグラムを高次局所共起特徴とする。 (Higher-order local co-occurrence features)
Higher-order local co-occurrence features are obtained as a combined histogram of neighboring values referenced by higher-order local autocorrelation. Since it is not necessary to use the same value a plurality of times, 25 histograms may be obtained as in the binary mask. For each translation of the binary mask, the following histogram is taken for luminance values i, j, k.
HLCO [1] (i) = Prob (f (r) = i) (2)
HLCO [m] (i, j) = Prob (f (r) = i, f (r + a1) = j,
a1 ∈ M [m]), 3 ≤ m ≤ 6
HLCO [m] (i, j, k) = Prob (f (r) = i, f (r + a1) = j,
f (r + a2) = k, {a1, a2} ∈ M [m]),
16 ≤ m ≤ 35
A 1-, 2-, and 3-dimensional histogram can be obtained for the 0, 1, and 2nd order masks, respectively. These 25 histograms are taken as higher-order local co-occurrence features.

（高次局所共起特徴と共起行列）
共起行列CO(i,j; d,θ) は、 画像中の輝度iの画素から距離d、 方向θ 離れた画素の輝度値がj である確率を、要素(i,j) の値とするような行列である。図３は、入力画像が（ａ）であるときの共起行列の生成例（ｂ−ｅ）と０，１次の高次局所共起特徴の生成例（ｆ−ｊ）を示す図である。頻度で図示しているが、実際の計算では正規化して確率にして用いる。具体的にHaralick ら[非特許文献2] が例示している4 ×4 の小画像について、d = 1, θ = 0.,45.,90.,135. で求めた共起行列を図３(b-e) に示す。 共起行列を生成する際には(d,θ) と(-d,θ) の変位を同一と数えるため、共起行列は対称になり、CO(i,j; d,θ) = CO(j,i; d,θ) が成り立つ。 (Higher order local co-occurrence features and co-occurrence matrix)
The co-occurrence matrix CO (i, j; d, θ) is the probability that the luminance value of a pixel at a distance d and direction θ away from the pixel of luminance i in the image is j and the value of element (i, j). It is a matrix like this. FIG. 3 is a diagram illustrating a co-occurrence matrix generation example (be) when the input image is (a) and a generation example (fj) of 0th and 1st order local co-occurrence features. . The frequency is illustrated, but in actual calculation, it is normalized and used as a probability. Specifically, the co-occurrence matrix obtained by d = 1, θ = 0., 45., 90., 135. for the 4 × 4 small image exemplified by Haralick et al. Shown in (be). When generating the co-occurrence matrix, the displacements of (d, θ) and (-d, θ) are counted as the same, so the co-occurrence matrix becomes symmetric and CO (i, j; d, θ) = CO ( j, i; d, θ).

図３(f-j) に同じ画像について求めた高次局所共起特徴を示す。 0 次特徴HLCO[1] は通常の輝度ヒストグラムである。1 次の高次局所共起特徴は共起行列に相当するが、得られる行列は対称にならず、転置して和をとって対称化したものが共起行列と一致する。例えば、CO(1,0.)= HLCO[3] + HLCO[3]t が成り立つ。2 次の高次局所共起特徴はここに図示しないが4 ×4 ×4 の3 次元ヒストグラムとなる。   Fig. 3 (f-j) shows the higher-order local co-occurrence features obtained for the same image. The 0th order feature HLCO [1] is a normal luminance histogram. First-order higher-order local co-occurrence features correspond to co-occurrence matrices, but the resulting matrix is not symmetric, and transposed and summed to match the co-occurrence matrix. For example, CO (1,0.) = HLCO [3] + HLCO [3] t holds. The second-order higher-order local co-occurrence feature is a 4 × 4 × 4 3D histogram, not shown here.

（高次局所共起性情報量）
高次局所自己相関は高次局所共起特徴から求められる特徴量の一つである。具体的には2 次の高次局所自己相関(HLAC) は対応する高次局所共起(HLCO) から次のように計算することができる。
高次局所自己相関(HLAC) は高次局所共起(HLCO) のモーメントであり、高次局所共起(HLCO) は高次局所自己相関(HLAC) の上位概念として位置づけることができる。 ただし、 実際には高次局所自己相関(HLAC) 特徴量は高次局所共起(HLCO) を経ずに計算することができる。 (Higher-order local co-occurrence information)
Higher order local autocorrelation is one of the feature quantities obtained from higher order local co-occurrence features. Specifically, the second order higher order local autocorrelation (HLAC) can be calculated from the corresponding higher order local co-occurrence (HLCO) as follows.
Higher-order local autocorrelation (HLAC) is a moment of higher-order local co-occurrence (HLCO), and higher-order local co-occurrence (HLCO) can be positioned as a superordinate concept of higher-order local autocorrelation (HLAC). In practice, however, higher-order local autocorrelation (HLAC) features can be calculated without going through higher-order local co-occurrence (HLCO).

共起行列の場合と同様に、高次局所共起(HLCO)からは他の特徴量を計算することができる。高次局所自己相関(HLAC)は輝度値に依存した特徴量であるが、輝度値に依存しない特徴量として、Shannonのエントロピーに基づき、例えば次のように高次局所共起性情報量(HLCOI) を求めることができる。
As with the co-occurrence matrix, other feature quantities can be calculated from higher order local co-occurrence (HLCO). Higher-order local autocorrelation (HLAC) is a feature value that depends on the luminance value, but as a feature value that does not depend on the luminance value, for example, based on Shannon's entropy, the higher-order local co-occurrence information (HLCOI) ) Can be requested.

ここで計算した値は結合エントロピーであり、相互情報量と密接な関係がある。確率分布を持つ確率変数ＸのエントロピーはShannonの定義に基づくと、
と表される。確率分布p(x),p(y) を持つ二変数X,Y のエントロピーをH(X),H(Y) とすると、ＸとＹの間の相互情報量は、
と求められる。ここで、H(X,Y) は結合エントロピーであり結合分布p(x,y) から次のように求められる。
The value calculated here is the joint entropy and is closely related to the mutual information. The entropy of random variable X with probability distribution is based on Shannon's definition:
It is expressed. If the entropy of two variables X and Y with probability distributions p (x) and p (y) is H (X) and H (Y), the mutual information between X and Y is
Is required. Here, H (X, Y) is the bond entropy and is obtained from the bond distribution p (x, y) as follows.

図４では、I(X; Y) はH(X) と(H(Y) の重なった部分に相当する。図４は、結合エントロピーと相互情報量を示す図である。同様に確率分布p(x),p(y),p(z) を持つ三変数X,Y,Z についての相互情報量は、
I(X; Y; Z)=H(X) + H(Y) + H(Z)
−H(X,Y) − H(Y,Z) − H(Z,X)
+H(X,Y,Z) (8)
と表される。図４では、I(X; Y; Z) はH(X) とH(Y) とH(Z) が重なった部分に相当する。 4, I (X; Y) corresponds to the overlapped portion of H (X) and (H (Y). Fig. 4 is a diagram showing the joint entropy and mutual information. The mutual information about the three variables X, Y, Z with (x), p (y), p (z) is
I (X; Y; Z) = H (X) + H (Y) + H (Z)
−H (X, Y) − H (Y, Z) − H (Z, X)
+ H (X, Y, Z) (8)
It is expressed. In FIG. 4, I (X; Y; Z) corresponds to a portion where H (X), H (Y) and H (Z) overlap.

相互情報量は変数間の独立性を評価しており、0 のときに変数間が独立であることを示している。 しかし、 相互情報量を実際のデータから計算する場合は、 各変数のエントロピーとその結合エントロピーから式(6)、 (8) のように計算することになる。 この定義に基づいて求めた相互情報量は、二変数の場合には正であるが、 三変数の場合には必ずしも正になるとは限らない[9]。 そのため三変数の独立性の評価規準として、 式(8) で定義した相互情報量以外に、I(X; Y)+I(Y; Z)+I(Z; X).2I(X; Y; Z)(図４で二つ以上の変数に重なっている部分、 必ず正になる) や、H(X,Y,Z) そのものを用いる場合がある。このような理由から、三変数の相互情報量を、式(8) のような複雑な計算によって求めるのではなく、式(4) に基づく結合エントロピーをそのまま利用することができる。高次局所共起情報量(HLCOI) の場合、Y,Z はX を平行移動しただけに相当しているのでH(X)= H(Y)= H(Z) であり、H(X) に相当するHLCOI[1] は画像のエントロピーである。また、
0 ≦ HLCOI[m] ≦ 2HLCOI[1](3 ≦m≦ 6)，0≦ HLCOI[m] ≦ 3HLCOI[1](16 ≦ m≦ 35) が成り立つ。 Mutual information evaluates the independence between variables. When it is 0, it indicates that the variables are independent. However, when the mutual information is calculated from actual data, it is calculated from the entropy of each variable and its combined entropy as in Eqs. (6) and (8). Mutual information obtained based on this definition is positive in the case of two variables, but not necessarily positive in the case of three variables [9]. Therefore, in addition to the mutual information defined in Eq. (8), I (X; Y) + I (Y; Z) + I (Z; X) .2I (X; Y ; Z) (the part that overlaps two or more variables in Fig. 4, it must be positive) or H (X, Y, Z) itself may be used. For this reason, it is possible to use the joint entropy based on the equation (4) as it is, instead of obtaining the mutual information of the three variables by a complicated calculation as in the equation (8). In the case of higher-order local co-occurrence information (HLCOI), Y and Z are equivalent to just translating X, so H (X) = H (Y) = H (Z) and H (X) HLCOI [1] corresponding to is the entropy of the image. Also,
0 ≤ HLCOI [m] ≤ 2HLCOI [1] (3 ≤ m ≤ 6), 0 ≤ HLCOI [m] ≤ 3HLCOI [1] (16 ≤ m ≤ 35).

図２で示した局所マスクは並進を加えたときに同一視されるものを除くことで組み合わせの数を削減しているが、 削減されたマスクの高次局所共起(HLCO) から求められた特徴量が並進に対して不変になっているためには、 その特徴量は高次局所共起(HLCO) のヒストグラムのi,j,k 軸に関する対称性を満たす、 すなわちi,j,k の軸を交換しても不変である必要がある。高次局所共起(HLCO) は共起行列のように対称化されているわけではないが、導出される特徴量である高次局所自己相関(HLAC)、 高次局所共起情報量(HLCOI) はどちらもこの性質を満たす。高次局所自己相関(HLAC) の重要な性質として、位置不変性と加法性があるとされているが、高次局所共起情報量(HLCOI) は位置不変性は保っているが加法性については満たさない。   The local mask shown in Fig. 2 reduces the number of combinations by excluding those that are identified when translation is applied, but was obtained from higher-order local co-occurrence (HLCO) of the reduced mask. In order for a feature to be invariant to translation, the feature satisfies the symmetry with respect to the i, j, k axes of the high-order local co-occurrence (HLCO) histogram, i.e., i, j, k It must be unchanged even if the shaft is changed. Higher-order local co-occurrence (HLCO) is not symmetrized like the co-occurrence matrix, but the derived features are higher-order local autocorrelation (HLAC) and higher-order local co-occurrence information (HLCOI). ) Both satisfy this property. High-order local autocorrelation (HLAC) is considered to have position invariance and additivity as important properties, but high-order local co-occurrence information (HLCOI) maintains position invariance but is additive. Does not meet.

次に、テクスチャ認識により高次局所自己相関(HLAC) 特徴量と高次局所共起情報量(HLCOI) 特徴量の比較を行い、高次局所共起情報量(HLCOI) 特徴量の性質を実験により明らかにする。   Next, we compare the higher-order local autocorrelation (HLAC) features and higher-order local co-occurrence information (HLCOI) features by texture recognition, and experiment with the properties of higher-order local co-occurrence information (HLCOI) features. To clarify.

（テクスチャ認識）
今回提案した高次局所共起情報量(HLCOI) 特徴量の特性を評価するために、テクスチャ認識の実験を行った。入力に使用したのはBrodatz [非特許文献10]のテクスチャのうちの30 種で、512 × 512、 各画素8 ビットの濃淡画像である。 栗田らはこのテクスチャ画像を用いて高次局所自己相関(HLAC) 特徴量によるテクスチャ認識の性能を評価している[非特許文献5]。 栗田らの場合、入力画像は256 × 256 で与えられており、 各入力画像から64 × 64 の部分画像を144 個選択し、 各部分画像に対して解像度を半減する多重解像度ピラミッドを4 段構成し、各段で求めた高次局所自己相関(HLAC) 特徴ベクトルを結合している。 線形判別分析を用いた場合96.2%、 中間層が1 層のパーセプトロンを用いた場合98.4%の認識率を得たとしている。 (Texture recognition)
In order to evaluate the characteristics of the proposed higher-order local co-occurrence information (HLCOI) features, we conducted an experiment on texture recognition. Thirty kinds of textures of Brodatz [Non-Patent Document 10] were used for the input, and a gray-scale image of 512 × 512 pixels and 8 bits per pixel was used. Kurita et al. Evaluated the performance of texture recognition using higher-order local autocorrelation (HLAC) features using this texture image [Non-Patent Document 5]. In the case of Kurita et al., The input image is given in 256 × 256, and 144 partial images of 64 × 64 are selected from each input image, and a multi-resolution pyramid that halves the resolution for each partial image is configured in four stages. The higher-order local autocorrelation (HLAC) feature vectors obtained at each stage are combined. The recognition rate is 96.2% when linear discriminant analysis is used, and 98.4% when a single-layer perceptron is used.

栗田らが行った実験の追試として、512 × 512 の入力画像から128 × 128 の部分画像をランダムな位置から100 枚サンプルし、各部分画像について一段ごとに解像度が半減するNlevel 段の多重解像度ピラミッドを構成した。高次局所自己相関(HLAC) 特徴量は連続値用のマスクを用い35 次元の特徴ベクトルとし、HLCI 特徴量は二値用のマスクを用い25 次元の特徴ベクトルとした。画像からの情報量の計算法としては、輝度値をNbin 段階に量子化し、 その頻度からエントロピーを計算するという、最も単純な手法を用いた。 特に2 次元・3 次元のヒストグラムは疎になるので、 ヒストグラムの整数座標値の組のハッシュ関数を用いた連想配列として実装したが、ハッシュ関数と連想配列の性能は計算時間に大きく影響する。   As a follow-up to the experiment conducted by Kurita et al., An Nlevel multi-resolution pyramid that samples 100 images of 128 × 128 partial images from random positions from 512 × 512 input images and halves the resolution for each partial image. Configured. Higher-order local autocorrelation (HLAC) features were used as 35-dimensional feature vectors using a mask for continuous values, and HLCI features were used as 25-dimensional feature vectors using a binary mask. As a method for calculating the amount of information from the image, the simplest method was used, where the luminance value was quantized into Nbin stages and the entropy was calculated from the frequency. In particular, 2D and 3D histograms are sparse, so they are implemented as an associative array using a hash function of a set of integer coordinate values of the histogram, but the performance of the hash function and the associative array greatly affects the computation time.

認識は栗田らが[非特許文献5] で使用している線形判別分析(LD: Linear Discriminant Analysis) を用いた。クラス内分散行列をΣW 、クラス間分散行列をΣB としたときに固有値問題ΣB A =ΣW AΛ を解いて得られる行列A を変換行列とし、A で変換した空間内で、 テストデータの特徴ベクトルから最も近くなる重心を持つクラスに判別する。 今回の場合、30 種のテクスチャそれぞれで100 枚部分画像をサンプリングし、3000 枚の画像を学習データに用いて線形判別分析を行い、 学習データと同一のテストデータについて誤判別された率を評価している。   Recognition was performed using linear discriminant analysis (LD) used by Kurita et al. When the intraclass variance matrix is ΣW and the interclass variance matrix is ΣB, the matrix A obtained by solving the eigenvalue problem ΣB A = ΣW AΛ is used as a transformation matrix. The class with the closest center of gravity is identified. In this case, 100 partial images were sampled for each of the 30 textures, and linear discriminant analysis was performed using 3000 images as learning data, and the misclassification rate for the same test data as the learning data was evaluated. ing.

図７は、さまざまな設定による結果をまとめた表１である。高次局所共起情報量(HLCOI) 特徴量については、Nbin によって結果が異なり、 最も良い認識率が得られたのはNbin = 64 の場合であり、Nbin は少なすぎても多すぎても結果は悪化した。 しかし、Nbin を増やすに従って計算時間も増えるため、 実用上の観点から以後の実験においてはNbin = 16 を使用した。多重解像度ピラミッドの階層を増やすに従って認識率は向上しており、その有効性が認められる。図７中で行っている正規化は、ピラミッドの各階層の25 次元の特徴ベクトルをその第一成分(HLCOI[1]) で割ることによって行っている。第一成分であるHLCOI[1] は画像のエントロピーであり、結合エントロピーを画像のエントロピーで正規化していることになる。 この正規化を行うと、 認識率に若干の向上が見られる。全体として、高次局所共起情報量(HLCOI) 特徴量は高次局所自己相関(HLAC) 特徴量より高い認識率を示している。   FIG. 7 is a table 1 that summarizes the results of various settings. Higher-order local co-occurrence information (HLCOI) With regard to features, results differ depending on Nbin, and the best recognition rate was obtained when Nbin = 64. Results were obtained when Nbin was too little or too much. Became worse. However, as Nbin increases, the computation time increases, so Nbin = 16 was used in the subsequent experiments from a practical point of view. The recognition rate improves as the hierarchy of the multi-resolution pyramid increases, and its effectiveness is recognized. The normalization performed in FIG. 7 is performed by dividing the 25-dimensional feature vector of each layer of the pyramid by its first component (HLCOI [1]). The first component, HLCOI [1], is the image entropy, and the joint entropy is normalized by the image entropy. When this normalization is performed, the recognition rate is slightly improved. Overall, higher-order local co-occurrence information (HLCOI) features show higher recognition rates than higher-order local autocorrelation (HLAC) features.

（輝度変化したテクスチャの認識）
相互情報量は輝度値そのものには依存しないため、その隣接関係で規定される高次局所共起情報量(HLCOI) 特徴量は輝度値を変化させたテクスチャについての不変性を有することが期待できる。その特性を評価するために、図５のD01 から図６のように様々に輝度変換したテクスチャを生成した。図５の30 種のテクスチャそれぞれから128 × 128 の部分画像を100 枚ずつランダムサンプリングして学習データとし、 図６の各画像それぞれについて、 同様に128 × 128 の部分画像を100 枚ランダムサンプリングしてテストデータとし、 輝度値変換する前のD01 として認識される率を計測した。 (Recognition of texture with changed brightness)
Since mutual information does not depend on the luminance value itself, higher-order local co-occurrence information (HLCOI) specified by the adjacent relationship can be expected to have invariance for textures with varying luminance values. . In order to evaluate the characteristics, textures with various luminance conversions were generated as shown in FIG. 6 from D01 in FIG. Randomly sample 100 128 × 128 partial images from each of the 30 types of textures in FIG. 5 into learning data. Similarly, for each of the images in FIG. The test data was measured as the rate recognized as D01 before luminance value conversion.

図８は、輝度値変換画像の認識結果をまとめた表２である。4 段の多重解像度ピラミッドを用い、高次局所自己相関(HLAC) 特徴量と、 第一成分で正規化されたNbin = 16 で計算した高次局所共起情報量(HLCOI) 特徴量を使用し、その比較を行った。MI 比は、式(6) において、画像D01 をX、変換した画像をY としたときに、I(X; Y )/H(X) によって求めた値であり、100%であれば変換によってエントロピーが保存されていることを示している。 輝度値の反転(negate) やシフト(cycle) など、MI 比が100%であるような変換がかけられた画像に対しては、高次局所共起情報量(HLCOI) 特徴量による認識率は100%であり、高次局所共起情報量(HLCOI) 特徴量はそのような変換に対して不変量になっていることがわかる。 一方、MI 比が50%以下になり情報の劣化が激しい場合には、 二値化(col1) のように、高次局所自己相関(HLAC) 特徴量の方が認識率が高い場合もある。 今回の実験ではノイズを加えた画像(impulse, laplacian, poisson) については劣化が激しく、全て他のテクスチャに誤認識された．MI 比が50%以上の画像38 枚に限定すると、高次局所自己相関(HLAC) 特徴量の認識率が57.4%であるのに対し、高次局所共起情報量(HLCOI) 特徴量の認識率は91.3%であった。   FIG. 8 is a table 2 that summarizes the recognition results of the luminance value converted images. Using a 4-stage multi-resolution pyramid, using higher-order local autocorrelation (HLAC) features and higher-order local co-occurrence information (HLCOI) features calculated with Nbin = 16 normalized by the first component The comparison was made. The MI ratio is a value obtained by I (X; Y) / H (X) where X is the image D01 and Y is the converted image in Equation (6). Indicates that entropy is preserved. For images that have been transformed with a MI ratio of 100%, such as luminance value negation and shift (cycle), the recognition rate based on higher-order local co-occurrence information (HLCOI) features is It can be seen that the higher-order local co-occurrence information (HLCOI) features are invariant to such transformations. On the other hand, when the MI ratio is 50% or less and the information is severely degraded, the recognition rate may be higher for higher-order local autocorrelation (HLAC) features, such as binarization (col1). In this experiment, noisy images (impulse, laplacian, poisson) were severely degraded and all were misrecognized by other textures. When limited to 38 images with an MI ratio of 50% or higher, the recognition rate of higher-order local autocorrelation (HLAC) features is 57.4%, while higher-order local co-occurrence information (HLCOI) features are recognized. The rate was 91.3%.

本発明の高次局所共起特徴導出方法及びを示す概念図である。It is a conceptual diagram which shows the high-order local co-occurrence feature derivation method of this invention. 高次局所自己相関で使用する３×３のマスクパターンを示す図である。It is a figure which shows the 3 * 3 mask pattern used by a high-order local autocorrelation. 入力画像が（ａ）であるときの共起行列の生成例（ｂ−ｅ）と０，１次の高次局所共起特徴の生成例（ｆ−ｊ）を示す図である。It is a figure which shows the production example (b-e) of a co-occurrence matrix when an input image is (a), and the production example (fj) of a 0th, 1st-order high-order local co-occurrence feature. 結合エントロピーと相互情報量を示す図である。It is a figure which shows joint entropy and mutual information content. 実験に使用したテクスチャを示す図である。It is a figure which shows the texture used for experiment. 図５に示すD01 から、様々に輝度変換したテクスチャを示す図である。It is a figure which shows the texture which carried out various brightness | luminance conversion from D01 shown in FIG. さまざまな設定による結果をまとめた表１である。Table 1 summarizes the results of various settings. 輝度値変換画像の認識結果をまとめた表２である。It is Table 2 which put together the recognition result of the luminance value conversion image.

Claims (5)

Ｎを整数として、並進した画像と相関をとる際に、並進した画像が一つとは限らないように一般化した自己相関の拡張である高次局所自己相関(HLAC)で使用する0〜Ｎ次の各次マスクパターンを用い、
前記0〜Ｎ次の各次マスクパターンに対して、それぞれ0〜Ｎ次の高次局所自己相関(HLAC)で参照される近傍の画素特徴量の組み合わせを領域内で統計をとることによって領域の特徴量を求めるために結合ヒストグラムを生成し、これらヒストグラムを高次局所共起特徴とし、
高次局所自己相関(HLAC) 特徴量の一つの拡張的概念として、高次局所共起特徴を導出することから成る高次局所共起特徴導出方法。 0 to Nth order used in high-order local autocorrelation (HLAC), which is an extension of generalized autocorrelation so that the number of translated images is not limited to one when correlating N with an integer. Using each next mask pattern,
For each of the 0th to Nth order mask patterns, a combination of neighboring pixel feature values referred to by 0th to Nth order higher-order local autocorrelation (HLAC) is statistically taken in the area. Combined histograms are generated in order to obtain features, and these histograms are taken as higher-order local co-occurrence features.
High-order local autocorrelation (HLAC) A high-order local co-occurrence feature derivation method consisting of deriving high-order local co-occurrence features as an extended concept of feature quantities. 画像f(r) のN 次の前記高次局所自己相関(HLAC) 特徴量は、 並進量をa1,...,aN としたときに、
と定義される請求項１に記載の高次局所共起特徴導出方法。 The Nth-order higher-order local autocorrelation (HLAC) feature of the image f (r) is expressed as follows:
The high-order local co-occurrence feature derivation method according to claim 1, defined as: 前記結合ヒストグラムの画素特徴量を表す各座標値について、座標値の積を求め、この求めた積の全ての和をとることにより、高次局所自己相関(HLAC)を求める請求項１に記載の高次局所共起特徴導出方法。   The high-order local autocorrelation (HLAC) is calculated according to claim 1, wherein a product of coordinate values is obtained for each coordinate value representing a pixel feature value of the combined histogram, and a sum of all the obtained products is obtained. Higher-order local co-occurrence feature derivation method. 前記高次局所共起特徴の結合エントロピーとして高次局所共起性情報量(HLCOI)を導出する請求項１に記載の高次局所共起特徴導出方法。   The high-order local co-occurrence feature derivation method according to claim 1, wherein a high-order local co-occurrence information amount (HLCOI) is derived as a joint entropy of the high-order local co-occurrence features. Ｎを整数として、並進した画像と相関をとる際に、並進した画像が一つとは限らないように一般化した自己相関の拡張である高次局所自己相関(HLAC)で使用する0〜Ｎ次の各次マスクパターンを用い、
前記0〜Ｎ次の各次マスクパターンに対して、それぞれ0〜Ｎ次の高次局所自己相関(HLAC)で参照される近傍の画素特徴量の組み合わせを領域内で統計をとることによって領域の特徴量を求めるために結合ヒストグラムを生成し、これらヒストグラムを高次局所共起特徴とし、
高次局所自己相関(HLAC) 特徴量の一つの拡張的概念として、高次局所共起特徴を導出することから成る各手順を実行させるための高次局所共起特徴導出プログラム。

0 to Nth order used in high-order local autocorrelation (HLAC), which is an extension of generalized autocorrelation so that the number of translated images is not limited to one when correlating N with an integer. Using each next mask pattern,
For each of the 0th to Nth order mask patterns, a combination of neighboring pixel feature values referred to by 0th to Nth order higher-order local autocorrelation (HLAC) is statistically taken in the area. Combined histograms are generated in order to obtain features, and these histograms are taken as higher-order local co-occurrence features.
Higher-order local autocorrelation (HLAC) A higher-order local co-occurrence feature derivation program for executing each procedure consisting of deriving higher-order local co-occurrence features as an extended concept of feature quantity.

JP2006190962A 2006-07-11 2006-07-11 High-order local co-occurrence feature derivation method and program Expired - Fee Related JP4753082B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006190962A JP4753082B2 (en) 2006-07-11 2006-07-11 High-order local co-occurrence feature derivation method and program
PCT/JP2007/063679 WO2008007645A1 (en) 2006-07-11 2007-07-09 High-order local co-occrence feature extracting method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006190962A JP4753082B2 (en) 2006-07-11 2006-07-11 High-order local co-occurrence feature derivation method and program

Publications (2)

Publication Number Publication Date
JP2008021044A true JP2008021044A (en) 2008-01-31
JP4753082B2 JP4753082B2 (en) 2011-08-17

Family

ID=38923204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006190962A Expired - Fee Related JP4753082B2 (en) 2006-07-11 2006-07-11 High-order local co-occurrence feature derivation method and program

Country Status (2)

Country Link
JP (1) JP4753082B2 (en)
WO (1) WO2008007645A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511207A (en) * 2008-12-05 2012-05-17 タンデント ビジョン サイエンス インコーポレーティッド Constraint generation program for image separation
JP2014010544A (en) * 2012-06-28 2014-01-20 Kyushu Institute Of Technology System, method and program for image feature extraction and image processing
US9588991B2 (en) 2011-09-16 2017-03-07 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012511207A (en) * 2008-12-05 2012-05-17 タンデント ビジョン サイエンス インコーポレーティッド Constraint generation program for image separation
US9588991B2 (en) 2011-09-16 2017-03-07 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
JP2014010544A (en) * 2012-06-28 2014-01-20 Kyushu Institute Of Technology System, method and program for image feature extraction and image processing

Also Published As

Publication number Publication date
JP4753082B2 (en) 2011-08-17
WO2008007645A1 (en) 2008-01-17

Similar Documents

Publication Publication Date Title
Xiang et al. Nonlinear dimensionality reduction with local spline embedding
Ashir et al. Facial expression recognition based on image pyramid and single-branch decision tree
Xiong et al. Fault diagnosis of a rolling bearing based on the wavelet packet transform and a deep residual network with lightweight multi-branch structure
Seal et al. Human authentication based on fusion of thermal and visible face images
JP4753082B2 (en) High-order local co-occurrence feature derivation method and program
Dutta et al. SpPCANet: A simple deep learning-based feature extraction approach for 3D face recognition
Armando et al. Mesh denoising with facet graph convolutions
Demisse et al. Similarity metric for curved shapes in euclidean space
Wetzler et al. The Laplace-Beltrami operator: a ubiquitous tool for image and shape processing
Meena et al. Effective curvelet-based facial expression recognition using graph signal processing
Shivashankar et al. Galois field-based approach for rotation and scale invariant texture classification
Shah et al. Feature identification via a combined ICA–wavelet method for image information mining
WO2010016313A1 (en) Apparatus, method and program for judging pattern
Aswathy et al. ADMM based hyperspectral image classification improved by denoising using Legendre Fenchel transformation
CN115630660A (en) Barcode positioning method and device based on convolutional neural network
Nikolentzos et al. Enhancing graph kernels via successive embeddings
CN113723208B (en) Three-dimensional object shape classification method based on canonical and other transformation conversion sub-neural network
Srivastava et al. Content-based image retrieval using multiresolution speeded-up robust feature
Farouk et al. Nonlinearity reduction of manifolds using Gaussian blur for handshape recognition based on multi-dimensional grids
Grieco et al. Image based quality control of free-form profiles in automatic cutting processes
Bauer et al. Second order elastic metrics on the shape space of curves
Hamouchene et al. Overview of texture analysis
Li Learning non-linear wavelet transformation via normalizing flow
Soleimani et al. Nonlinear dimensionality reduction by unit ball embedding (ube) and its application to image clustering
Globerson et al. Visualizing pairwise similarity via semidefinite programming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees