JP2014010544A - System, method and program for image feature extraction and image processing - Google Patents
System, method and program for image feature extraction and image processing Download PDFInfo
- Publication number
- JP2014010544A JP2014010544A JP2012145549A JP2012145549A JP2014010544A JP 2014010544 A JP2014010544 A JP 2014010544A JP 2012145549 A JP2012145549 A JP 2012145549A JP 2012145549 A JP2012145549 A JP 2012145549A JP 2014010544 A JP2014010544 A JP 2014010544A
- Authority
- JP
- Japan
- Prior art keywords
- block
- cells
- occurrence
- feature
- gradient direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 title description 3
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000010606 normalization Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 25
- 238000002474 experimental method Methods 0.000 description 21
- 238000011156 evaluation Methods 0.000 description 6
- 102100028971 HLA class I histocompatibility antigen, C alpha chain Human genes 0.000 description 4
- 101100395312 Homo sapiens HLA-C gene Proteins 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、車載カメラや監視カメラなどで使用可能な画像特徴抽出のため又は画像認識等の画像処理のためのシステム、方法又はプログラムに関する。 The present invention relates to a system, method, or program for image feature extraction or image processing such as image recognition that can be used with an in-vehicle camera or a surveillance camera.
従来より、人物検出等の物体検出の分野において局所領域の勾配特徴が注目されているが、局所領域内での勾配分布特徴のみでは高い検出精度を得ることが難しいという問題があった。例えば、特許文献１は、局所領域における勾配特徴を用いて検出用の学習器を作成し、次に複数の領域における学習器の出力を組み合わせてさらに学習器に接続することにより共起特徴を得て検出精度の向上を図ることを提案している。また、特許文献２は、局所領域内での勾配分布の要素を共起させることで高次元の特徴量を得て検出精度の向上を図ることを提案している。 Conventionally, the gradient feature of the local region has attracted attention in the field of object detection such as human detection, but there has been a problem that it is difficult to obtain high detection accuracy only by the gradient distribution feature in the local region. For example, Patent Document 1 obtains a co-occurrence feature by creating a learning learner using gradient features in a local region, and then combining the learner outputs in a plurality of regions and further connecting to the learner. To improve detection accuracy. Further, Patent Document 2 proposes to improve detection accuracy by obtaining a high-dimensional feature amount by causing co-occurrence of elements of a gradient distribution in a local region.
しかしながら、特許文献１においては、十分な検出精度が確保されていないし、計算時間（２段目の学習停止）の改善も不十分である。また、特許文献２においても、検出精度の更なる向上について及び高次元の特徴量を使用することにより生じる計算量の増大の問題については全く示唆されていない。 However, in Patent Document 1, sufficient detection accuracy is not ensured, and improvement in calculation time (second stage learning stop) is insufficient. In Patent Document 2, there is no suggestion about a further improvement in detection accuracy and a problem of an increase in calculation amount caused by using high-dimensional feature amounts.
本発明は、従来より提案されている特徴量と比較してより高精度に物体を識別又は検出可能な局所領域内での勾配分布の要素の共起により得られる特徴を提案し、さらに、共起させる際の演算子、高次化の際の要素選択に関する知見を加え、設計者の意図する計算時間と検出精度のトレードオフを満たすような検出器の製作などを提案するものである。すなわち、本発明は、従来のＦＩＮＤ特徴量などのような２次共起特徴を使用した処理対象画像に対する物体の識別又は検出と比較して、処理対象画像に対する物体の識別精度や検出精度を向上させることができる画像特徴を、計算量を増大させることなく求めることができる画像特徴取得システム、方法及びプログラム、並びに上記画像特徴を使用した画像処理システム、方法及びプログラムを提供することを目的とする。 The present invention proposes a feature obtained by co-occurrence of elements of a gradient distribution in a local region where an object can be identified or detected with higher accuracy than the conventionally proposed feature amount. In addition to the knowledge of operator selection and element selection at higher order, we propose the creation of a detector that satisfies the trade-off between calculation time and detection accuracy intended by the designer. That is, the present invention improves the object identification accuracy and detection accuracy for the processing target image compared to the object identification or detection for the processing target image using the secondary co-occurrence feature such as the conventional FIND feature amount. An object of the present invention is to provide an image feature acquisition system, method and program capable of obtaining image features that can be obtained without increasing the amount of calculation, and an image processing system, method and program using the image features. .
以上のような課題を解決するための本発明による画像特徴取得システムは、処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを求めるセル特徴取得手段と、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所共起特徴取得手段と、を備えたことを特徴とするものである。 An image feature acquisition system according to the present invention for solving the above problems is a cell feature for obtaining a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image. The luminance gradient of each cell of the acquisition means and each block composed of a plurality of cells of three or more (a number smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block High-order local co-occurrence feature obtaining means for obtaining a high-order local co-occurrence feature in each block from a combination of direction histograms.
また、本発明による画像特徴取得システムにおいては、処理対象画像を構成する各画素の輝度勾配方向ヒストグラムから、複数の画素から成る各セルの輝度勾配方向ヒストグラムを取得するセル特徴取得手段と、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から２個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における２次局所共起特徴を求める２次局所共起特徴取得手段と、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所間共起特徴取得手段と、前記２次局所共起特徴に前記高次局所共起特徴を合わせて正規化する正規化手段と、を備えたことを特徴とするものである。 In the image feature acquisition system according to the present invention, cell feature acquisition means for acquiring a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image; For each block composed of cells, a secondary local co-occurrence feature in each block is obtained from a combination of luminance gradient direction histograms of each cell sequentially selected from a plurality of cells constituting each block. Local co-occurrence feature acquisition means and each block composed of a plurality of cells, each of three or more numbers (smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block From the combination of the cell intensity gradient direction histograms, the higher-order local co-occurrence features in each block are obtained. A characteristic acquisition unit, is characterized in that and a normalization means for normalizing the combined the higher-order local co-occurrence, wherein the second local co-occurrence features.
また、本発明による画像特徴取得システムにおいては、前記高次局所共起特徴取得手段は、前記選択された３個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも１つを、前記各ブロック内における高次局所共起特徴として取得するものであることが望ましい。 In the image feature acquisition system according to the present invention, the higher-order local co-occurrence feature acquisition means includes a product, a minimum value, and a harmonic mean obtained from a combination of luminance gradient direction histograms of the three or more selected cells. Preferably, at least one of the arithmetic mean and the maximum value is acquired as a high-order local co-occurrence feature in each block.
また、本発明による画像特徴取得システムにおいては、前記高次局所共起特徴取得手段は、各ブロックを構成する複数のセル中から、前記ブロック内の各セル間の距離に基づいて、前記３個以上のセルを選択するものであることが望ましい。 Further, in the image feature acquisition system according to the present invention, the higher-order local co-occurrence feature acquisition means includes the three units based on the distance between the cells in the block out of a plurality of cells constituting each block. It is desirable to select the above cells.
また、本発明による画像特徴取得システムにおいては、前記２次局所共起特徴取得手段は、前記各ブロック内の全てのセルではなくその中から予め選択された複数のセル中から２個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における２次局所共起特徴を求めるものであることが望ましい。 In the image feature acquisition system according to the present invention, the secondary local co-occurrence feature acquisition means sequentially selects two cells from a plurality of cells selected in advance, instead of all the cells in each block. It is desirable that the secondary local co-occurrence feature in each block is obtained from the combination of luminance gradient direction histograms of each cell.
また、本発明による画像処理システムは、前記画像特徴取得システムにより取得された高次局所共起特徴を少なくとも使用して、処理対象画像が検出対象を含むかどうかを検出もしくは識別するか又は処理対象画像から検出対象を抽出する処理手段を備えたことを特徴とするものである。 Further, the image processing system according to the present invention uses at least the higher-order local co-occurrence features acquired by the image feature acquisition system to detect or identify whether or not the processing target image includes the detection target, or to process the target image. A processing means for extracting a detection target from the image is provided.
なお、本発明は、各請求項に記載のように、それをシステムとして実現することだけでなく、それを方法として実現すること、又はそれをコンピュータプログラムとして実現することも可能である。 In addition, as described in each claim, the present invention is not only realized as a system, but also realized as a method, or realized as a computer program.
本発明によれば、処理対象画像を構成する複数の画素から成る各セルの輝度勾配方向ヒストグラムを求め、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次共起特徴を求め（さらに前記各ブロック内における高次共起特徴を正規化等して）、これを処理対象画像に対する物体の識別又は検出のために使用するようにしたので、従来のＦＩＮＤ特徴量などのような２次共起特徴を使用した場合と比較して、処理対象画像に対する物体の識別精度や検出精度を計算量を増大化させることなく向上させることができるようになる。 According to the present invention, the luminance gradient direction histogram of each cell composed of a plurality of pixels constituting the processing target image is obtained, and each block composed of the plurality of cells is pre-selected from among the plurality of cells constituting each block. High-order co-occurrence features in each block are obtained from combinations of luminance gradient direction histograms of each cell of three or more (smaller than the total number of cells in each block) (and higher-order in each block). When the secondary co-occurrence feature such as the conventional FIND feature amount is used because the co-occurrence feature is normalized) and used to identify or detect the object with respect to the processing target image. Compared to the above, the object identification accuracy and detection accuracy for the processing target image can be improved without increasing the amount of calculation.
特に、本発明において、前記各ブロック内における高次共起特徴を、従来より採用されている前記各ブロック内における２次共起特徴（各ブロックを構成する複数のセル中から２個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから得られる各ブロック内における２次共起特徴）と合わせた上で正規化等して、それを処理対象画像に対する物体の識別又は検出のために使用するようにしたときは、従来のノイズに強い２次共起特徴を使用した物体の識別又は検出手法に記述能力が高い高次共起特徴を付加することができるので、より高精度でノイズに強い識別又は検出を実現することができる。 In particular, in the present invention, the higher-order co-occurrence features in each block are selected in the order of secondary co-occurrence features in each block that have been conventionally used (two from a plurality of cells constituting each block. Normalization etc. after being combined with the second-order co-occurrence feature in each block obtained from the combination of luminance gradient direction histograms of each cell, and using it for identification or detection of an object with respect to the processing target image When this is done, it is possible to add high-order co-occurrence features with high descriptive capability to conventional object identification or detection methods that use second-order co-occurrence features that are resistant to noise. Strong identification or detection can be realized.
また、本発明において、前記選択された３個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求められる積、最小値、調和平均、相加平均、及び最大値の中の少なくとも１つを、前記各ブロック内における高次共起特徴として求めるようにしたときは、積、最小値、調和平均、相加平均、及び最大値の中から処理対象画像又は識別・検出対象物体の特性に適した共起特徴を選択して、より高精度な処理対象画像に対する物体の識別又は検出を行なうことができる。 Further, in the present invention, at least one of a product, a minimum value, a harmonic average, an arithmetic average, and a maximum value obtained from a combination of luminance gradient direction histograms of each of the three or more selected cells is calculated as described above. When it is determined as a higher-order co-occurrence feature in each block, it can be selected from among products, minimum values, harmonic averages, arithmetic averages, and maximum values. By selecting the starting feature, it is possible to identify or detect the object with respect to the processing target image with higher accuracy.
また、本発明において、前記高次共起特徴を、前記ブロック内の各セル間の距離に基づいて選択された３個以上の各セルの輝度勾配方向ヒストグラムの組み合わせから求めるようにしたときは、前記高次共起特徴を求めるための３個以上の各セルの輝度勾配方向ヒストグラムの選択を、より適切に行なうことができる。 In the present invention, when the higher-order co-occurrence feature is obtained from a combination of luminance gradient direction histograms of three or more cells selected based on the distance between the cells in the block, It is possible to more appropriately select the luminance gradient direction histogram of each of the three or more cells for obtaining the higher-order co-occurrence feature.
さらに、本発明において、前記各ブロック内における高次共起特徴を加える前記各ブロック内における２次共起特徴を、「前記各ブロック内の全てのセル」中から順次選択される２個の各セルの輝度勾配方向ヒストグラムの組み合わせから求めるのではなく、「前記各ブロック内の全てのセル中から予め選択された複数のセル」中から順次選択される２個の各セルの輝度勾配方向ヒストグラムの組み合わせから求めるようにしたときは、前記各ブロック内における高次共起特徴を、従来の前記各ブロック内における２次共起特徴に合わせて正規化等して、それを処理対象画像に対する物体の識別又は検出のために使用するようにした場合でも、全体の計算量の増大化を抑えることができる。 Furthermore, in the present invention, secondary co-occurrence features in each block to which higher-order co-occurrence features in each block are added are each selected from “all cells in each block” sequentially. Rather than obtaining from the combination of the luminance gradient direction histograms of the cells, the luminance gradient direction histogram of each of the two cells sequentially selected from “a plurality of cells selected in advance from all the cells in each block”. When it is determined from the combination, the higher-order co-occurrence feature in each block is normalized in accordance with the second-order co-occurrence feature in the conventional block, and the normalization of the object with respect to the processing target image is performed. Even when it is used for identification or detection, an increase in the total amount of calculation can be suppressed.
なお、本発明は、それをシステムとして実現することだけでなく、それを方法として実現すること、又はそれをコンピュータプログラムとして実現することも各請求項に記載のとおり可能であり、それらのいずれの場合でも同様の作用効果を得ることができる。 The present invention is not only realized as a system, but also realized as a method, or realized as a computer program, as described in each claim. Even in this case, the same effect can be obtained.
以下、本発明の一実施形態を図面などを参照して説明する。近年、カメラ画像から自動的に人物を検出する技術は、監視画像から不審動作を検知する異常動作検出[南里卓也，大津展之，“複数人動画像からの異常物体動作検出”，電子情報通信学会技術研修報告．ＰＲＭＵ２００４−７７，Ｖｏｌ．１０４，Ｎｏ．２９１，ｐｐ．９−１６，２００４]や、運転支援システムとして車載カメラ画像を用いた歩行者検出技術の開発[Ｍ．Ｓｏｇａ，Ｓ．Ｈｉｒａｔｓｕｋａ，Ｈ．Ｆｕｋａｍａｃｈｉ，Ｙ．Ｎｉｎｏｍｉｙａ，“Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ ａ Ｎｅａｒ Ｉｎｆｒａｒｅｄ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ”，ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＩＴＳＣ，ｐｐ．１１６７−１１７２，２００８]、[馬場美也子，平塚誠良，中條直也，曽我峰樹，二宮芳樹（豊田中研），深町映夫（トヨタ自動車），“夜間歩行者検出”，ＶｉＥＷ２００８，ｐｐ．２２４−２２８，２００８]などにおいて重要性が高まっており、検出に有効な特徴量の研究が盛んに行われている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In recent years, technology that automatically detects people from camera images has been used to detect abnormal movements from surveillance images [Takuya Minamisato, Noriyuki Otsu, “Detection of abnormal object movements from multiple human moving images”, electronic information communication Technical training report of the academic society. PRMU 2004-77, Vol. 104, no. 291 pp. 9-16, 2004] and development of a pedestrian detection technique using in-vehicle camera images as a driving support system [M. Soga, S .; Hiratsuka, H. et al. Fukamichi, Y. et al. Ninomiya, “Pedestrian Detection for a Near Infrared Imaging System”, the 11th International IEEE Conference on ITSC, pp. 194 1167-1172, 2008], [Miyako Baba, Seiyoshi Hiratsuka, Naoya Nakajo, Mine Soga, Yoshiki Ninomiya (Toyota Central Laboratories), Eio Fukamachi (Toyota Motor), "Night Pedestrian Detection", ViEW 2008, pp. 196-112. 224-228, 2008] and the like are increasing in importance, and research on feature quantities effective for detection is actively conducted.
歩行者検出及び人物検出法については、Ｖｉｏｌａらが提案した顔検出[Ｐａｕｌ．Ｖｉｌｏａ，Ｍｉｃｈａｅｌ Ｊ．Ｊｏｎｅｓ，“Ｒｏｂｕｓｔ Ｒｅａｌ−Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．５７，Ｎｏ２，ｐｐ．１３７−１５４，２００４]に代表されるように、局所特徴量を用いたものが多くある。人物検出に有効な局所特徴量として、領域の累積エッジ強度の比を特徴量とするＥｄｇｅ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍｓ（ＥＯＨ）[Ｋｏｂｉ Ｌｅｖｉ，Ｙａｉｒ Ｗｅｉｓｓ，“Ｌｅａｒｎｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ａ Ｓｍａｌｌ Ｎｕｍｂｅｒ ｏｆ Ｅｘａｍｐｌｅｓ：ｔｈｅ Ｉｍｐｏｒｔａｎｃｅ ｏｆ Ｇｏｏｄ Ｆｅａｔｕｒｅｓ”，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣＶＰＲ，ｖｏｌ．２，ｐｐ．５３−６０，２００４]やエッジ同士をつなげた短い線、カーブを特徴量として表現するＥｄｇｅｌｅｔ Ｆｅａｔｕｒｅ[Ｂ．Ｗｕ，Ｒ．Ｎｅｖａｔｉａ，“Ｄｅｔｅｃｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ，ｐａｒｔｉａｌｌｙ ｏｃｃｌｕｄｅｄ ｈｕｍａｎｓ ｉｎ ａ ｓｉｎｇｌｅ ｉｍａｇｅ ｂｙ Ｂａｙｅｓｉａｎ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ｅｄｇｅｌｅｔ ｐａｒｔ ｄｅｔｅｃｔｏｒｓ”，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＩＣＣＶ，ｖｏｌ．１，ｐｐ．９０−９７，２００５]などの特徴量が提案されている。 For pedestrian detection and person detection methods, face detection proposed by Viola et al. [Paul. Vila, Michael J. et al. Jones, “Robust Real-Time Face Detection”, International Journal of Computer Vision, vol. 57, No2, pp. 137-154, 2004], there are many that use local features. Edge Orientation Histograms (EOH) [Kobe Levi, Yair Weiss, “Learning Object Detection for Small Number of Small Numbers” as a local feature that is effective for human detection. Features ", IEEE International Conference on CVPR, vol. 2, pp. 53-60, 2004], short lines connecting edges to each other, and edge features expressing curves as features [B. Wu, R.A. Nevaia, “Detection of multiple, partially occluded humans in a single image by Bayesian combination of edged party partners detectors, IEEE International CV. 1, pp. 90-97, 2005] has been proposed.
特に、局所領域における輝度の勾配分布を扱うＨｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）[Ｎ．Ｄａｌａ，Ｂ．Ｔｒｉｇｇｓ，“Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌ．１，ｐｐ．８８６−８９３，２００５]を用いた研究は盛んに行われている[三井相和，山内悠嗣，藤吉弘亘，“Ｊｏｉｎｔ特徴量を用いた２段階Ｂｏｏｓｔｉｎｇによる物体検出”，電子情報通信学会論文誌，ｖｏｌ．Ｊ９２−Ｄ，Ｎｏ．９，ｐｐ．１５９１−１６０１，２００９]。またＨＯＧ特徴量を高次元にした特徴量として、Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＣｏＨＯＧ）[Ｔｏｍｏｋｉ Ｗａｔａｎａｂｅ，Ｓａｔｏｓｈｉ Ｉｔｏ，Ｋｅｎｔａｒｏ Ｙｏｋｉ，“Ｃｏｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”，ＩＰＳＪ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．２，ｐｐ．３９−４７，２０１０]特徴量、Ｆｅａｔｕｒｅ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒ（ＦＩＮＤ）[Ｈｕｉ ＣＡＯ，Ｋｏｉｃｈｉｒｏ ＹＡａｍａｇｕｃｈｉ，Ｍｉｔｓｕｈｉｋｏ Ｏｈｔａ，Ｔａｋａｓｈｉ Ｎａｉｔｏ，Ｙｏｓｈｉｋｉ Ｎｉｎｏｍｉｙａ，“Ｆｅａｔｕｒｅ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ Ｐｅｄｅｓｔｒｉａｎ Ｄｅｔｅｃｔｉｏｎ”，ＩＥＩＣＥ Ｔｒａｎｓ．Ｉｎｆ．＆Ｓｙｓｔ．Ｖｏｌ．Ｅ９３−Ｄ，Ｎｏ．９，ｐｐ．２６５６−２６５９，２０１０]特徴量などが提案されている。これらは、局所領域における勾配方向ヒストグラムの２つの要素の相互関係を扱うことにより性能を向上させた特徴量である。つまり、ＣｏＨＯＧ特徴量は、局所領域における勾配方向及び勾配強度を算出し、注目画素と近傍にある画素との勾配方向の組み合わせを特徴とする特徴量である。ＦＩＮＤ特徴量は、局所領域における勾配方向ヒストグラムを算出し、その２つの要素の相互関係を特徴とする特徴量である。これらの特徴量は、ＨＯＧ特徴量に比べて、物体の形状をより詳細に表現でき、ＨＯＧ特徴量と同様に幾何学変化や照明変動に頑健である。 In particular, Histograms of Oriented Gradients (HOG) [N. Dala, B.D. Triggs, “Histograms of Oriented Gradients for Human Detection”, IEEE Computer Vision and Pattern Recognition, vol. 1, pp. 886-893, 2005] are being actively studied [Aiwa Mitsui, Satoshi Yamauchi, Hirohiro Fujiyoshi, "Object detection by two-step boosting using Joint features", IEICE paper Magazine, vol. J92-D, No. 9, pp. 1591-1601, 2009]. In addition, as a feature quantity obtained by increasing the HOG feature quantity, Co-ocurrence Histograms of Oriented Gradients (CoHOG), Tomoki Watanabe, Satoshi Ito, Kentaro Yoki, "Cocurrence Histograms Histograms". Applications, vol. 2, pp. 39-47, 2010] Feature, Feature Interaction Descriptor (FIND) [Hui CAO, Koichiro Yanaguchi Chi, Mitsuhiko Ohta, Takashi Naito, Yoshiki Nita, Yoshiki Nino, Yashiki Nino, Yashiki Nino, Yashiki Nita, Yashiki Nita. Inf. & Syst. Vol. E93-D, no. 9, pp. 2656-2659, 2010] feature quantities have been proposed. These are feature quantities whose performance has been improved by handling the correlation between two elements of the gradient direction histogram in the local region. That is, the CoHOG feature value is a feature value that is characterized by a combination of the gradient direction of the pixel of interest and the neighboring pixels by calculating the gradient direction and gradient strength in the local region. The FIND feature value is a feature value characterized by calculating the gradient direction histogram in the local region and by the mutual relationship between the two elements. These feature amounts can express the shape of the object in more detail than the HOG feature amount, and are robust to geometrical changes and illumination fluctuations like the HOG feature amount.
本実施形態では、局所領域に対して高次（３次以上）の相互関係を扱う高次局所共起特徴を提案する。高次局所共起特徴量としては、高次局所自己相関特徴量（ＨＬＡＣ：Ｈｉｇｈｅｒ−ｏｒｄｅｒ Ｌｏｃａｌ ＡｕｔｏＣｏｒｒｅｌａｔｉｏｎ）、Ｅｄｇｅｌｅｔ Ｆｅａｔｕｒｅ、Ｓｈａｐｅｌｅｔ Ｆｅａｔｕｒｅ[Ｐ．Ｓａｂｚｍｅｙｄａｎｉ，Ｇ．Ｍｏｒｉ，“Ｄｅｔｅｃｔｉｎｇ Ｐｅｄｅｓｔｒｉａｎｓ ｂｙ Ｌｅａｒｎｉｎｇ Ｓｈａｐｅｌｅｔ Ｆｅａｔｕｒｅｓ”，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．１−８，２００７]などが挙げられる。これらに対して、本発明者らは、本実施形態において、従来の２次局所共起特徴量としてのＦＩＮＤ特徴量に高次局所共起特徴量を導入するようにし、さらにこの場合における物体の識別又は検出性能を評価し、併せて高次関係に最適な共起関係をも検証した。 In the present embodiment, a high-order local co-occurrence feature that handles a high-order (third-order or higher) correlation with respect to a local region is proposed. As the higher-order local co-occurrence feature amount, a higher-order local autocorrelation feature amount (HLAC: Higher-order Local Auto Correlation), Edgelet Feature, Shapelet Feature [P. Sabzmeydani, G.M. Mori, “Detecting Pedestrians by Learning Shapes Features”, IEEE Computer Vision and Pattern Recognition, pp. 1-8, 2007]. In contrast, in the present embodiment, the present inventors introduce a higher-order local co-occurrence feature quantity into the FIND feature quantity as the conventional second-order local co-occurrence feature quantity. The identification or detection performance was evaluated, and the optimal co-occurrence relationship was also verified.
１．高次局所共起特徴
まず、従来より提案されている高次局所共起特徴について説明する。従来より、人物検出に有効な特徴量として、画像の局所領域から抽出される局所特徴を用いたものが多く提案されている。これらの中、高次局所共起特徴、すなわち３つ以上の局所の特徴の組合せにより得られる局所共起特徴としては、ＨＬＡＣ特徴量が挙げられる。ＨＬＡＣ特徴量は、ある画素とその近傍との間での画素値の相関関係を扱う特徴量である。他にも高次の共起を扱う特徴量としては、Ｅｄｇｅｌｅｔ特徴量やＳｈａｐｅｌｅｔ特徴量等が挙げられる。Ｅｄｇｅｌｅｔ特徴量は、局所領域内に定義した形状パターンと、入力画像の局所領域間でのエッジ方向の差異を基に特徴量を算出する特徴量である。エッジに注目したＳｈａｐｅｌｅｔ特徴量は、局所領域において画素毎のエッジ特徴量を用いた弱識別器から構成される特徴量である。ＨＬＡＣ特徴量は輝度の勾配分布を扱わず、Ｅｄｇｅｌｅｔ及びＳｈａｐｅｌｅｔ特徴量はエッジ情報を基にＢｏｏｓｔｉｎｇにより算出されるため、いずれも輝度勾配が低い情報は重要視されにくい。一方、輝度の勾配分布を扱う局所特徴量として、Ｎ．Ｄａｌａらが提案したＨＯＧ特徴量が挙げられる。このＨＯＧ特徴量は、局所領域内のエッジの強弱に注目し、エッジ方向ごとにヒストグラムにしたものである。ＨＯＧ特徴量の拡張に当たり、勾配情報の２つの要素の共起関係を扱う特徴量として、渡辺友樹らが提案したＣｏＨＯＧ特徴量やＨｕｉ ＣＡＯらが提案したＦＩＮＤ特徴量があり、いずれもＨＯＧ特徴量に比べて高精度な検出が可能となった。これらのことから、局所勾配分布の共起関係を扱うことが有効であることが判明した。
1. Higher-order local co-occurrence feature First, the conventionally proposed higher-order local co-occurrence feature will be described. Conventionally, many features using local features extracted from a local region of an image have been proposed as feature amounts effective for human detection. Among these, a high-order local co-occurrence feature, that is, a local co-occurrence feature obtained by a combination of three or more local features includes an HLAC feature amount. The HLAC feature value is a feature value that handles the correlation of pixel values between a certain pixel and its vicinity. Other feature quantities that deal with higher-order co-occurrence include Edgelet feature quantities and Shapelet feature quantities. The Edgelet feature amount is a feature amount for calculating a feature amount based on a difference in edge direction between the shape pattern defined in the local region and the local region of the input image. The Shapelet feature amount focused on the edge is a feature amount composed of a weak classifier using the edge feature amount for each pixel in the local region. Since the HLAC feature quantity does not deal with the gradient distribution of the luminance, and the Edgelet and Shapelet feature quantities are calculated by boosting based on the edge information, information with a low luminance gradient is less important. On the other hand, as a local feature that handles the gradient distribution of luminance, N.I. The HOG feature amount proposed by Dala et al. This HOG feature amount is a histogram for each edge direction, paying attention to the strength of the edge in the local region. In extending the HOG feature quantity, there are the CoHOG feature quantity proposed by Watanabe Yuki et al. And the FIND feature quantity proposed by Hui CAO et al. Compared to, high-precision detection is possible. From these things, it became clear that it was effective to handle the co-occurrence relation of local gradient distribution.
本実施形態で提案する局所勾配分布の高次共起特徴とは、局所勾配分布の要素に対して、３つ以上の高次共起関係を特徴とするものである。さらに、この特徴をＦＩＮＤ特徴量やＣｏＨＯＧ特徴量などに導入・適用することで、更なる検出精度の向上が見込まれる。 The higher-order co-occurrence feature of the local gradient distribution proposed in the present embodiment is characterized by three or more higher-order co-occurrence relationships with respect to the elements of the local gradient distribution. Furthermore, further improvement in detection accuracy is expected by introducing / applying this feature to a FIND feature amount, a CoHOG feature amount, or the like.
次に、本実施形態で提案する局所勾配分布の高次共起特徴を導入・適用する２次局所共起特徴の一つとしてのＦＩＮＤ特徴量について説明する。 Next, the FIND feature amount as one of the secondary local co-occurrence features that introduce and apply the high-order co-occurrence features of the local gradient distribution proposed in this embodiment will be described.
２．ＦＩＮＤ特徴量
ＦＩＮＤ（Ｆｅａｔｕｒｅ Ｉｎｔｅｒａｃｔｉｏｎ Ｄｅｓｃｒｉｐｔｏｒ）特徴量は、従来手法の一つであるＨＯＧ特徴量の拡張である。そのため、ＨＯＧ特徴量が有する幾何学変化に頑健で照明変動に強いという性質を継承する。ＦＩＮＤ特徴量は、局所領域における輝度勾配方向ヒストグラムの共起関係を扱うことで高次化するため、ＨＯＧ特徴量と比べてより詳細な形状表現が可能となる。ＦＩＮＤ特徴量では、特徴量の算出に以下のような２つの段階を踏む。
2. FIND feature value FIND (Feature Interaction Descriptor) feature value is an extension of the HOG feature value, which is one of the conventional methods. For this reason, it inherits the property of being robust against geometric changes of the HOG feature and resistant to illumination fluctuations. Since the FIND feature amount becomes higher by handling the co-occurrence relationship of the luminance gradient direction histogram in the local region, a more detailed shape expression is possible as compared with the HOG feature amount. In the FIND feature value, the following two steps are taken to calculate the feature value.
２．２．１ 勾配方向ヒストグラムの算出
第１段階では、局所領域における勾配方向及び勾配強度を算出し、勾配方向ヒストグラムを作成する。画像内における各ピクセルの輝度情報をＬ（ｘ，ｙ）とすると、次式により、勾配強度ｇ（ｘ，ｙ）及び勾配方向θ（ｘ，ｙ）を算出する。
2.2.1 Calculation of gradient direction histogram In the first stage, the gradient direction and gradient intensity in the local region are calculated, and a gradient direction histogram is created. If the luminance information of each pixel in the image is L (x, y), the gradient strength g (x, y) and the gradient direction θ (x, y) are calculated by the following equations.
上式に基づき算出した勾配強度ｇ（ｘ，ｙ）、勾配方向θ（ｘ，ｙ）を用いて、図１のような５×５ピクセルのセル領域における輝度勾配方向ヒストグラムを作成する。このとき、勾配方向は０°〜３６０°を４５°ずつの８方向に分割する。 Using the gradient intensity g (x, y) and gradient direction θ (x, y) calculated based on the above equation, a luminance gradient direction histogram in a cell region of 5 × 5 pixels as shown in FIG. 1 is created. At this time, the gradient direction is divided into 8 directions of 45 ° from 0 ° to 360 °.
２．２．２ ヒストグラム各要素の共起特徴算出
第２段階では、第１段階での結果を基に、局所領域における共起関係を算出する。図２のように、ブロック（３×３セル）における勾配方向ヒストグラムの各要素をｈｉ（ｉ＝１，２・・・，ｍ）とし、ブロック内の要素数をｍ，算出される共起関係をｆ（ｈｉ，ｈｊ）とすると、ブロック内の共起特徴量は次のように表現できる。
2.2.2 Co-occurrence feature calculation of histogram elements In the second stage, a co-occurrence relationship in the local region is calculated based on the result in the first stage. As shown in FIG. 2, each element of the gradient direction histogram in the block (3 × 3 cells) is set to h i (i = 1, 2,..., M), the number of elements in the block is m, and the calculated co-occurrence If the relationship is f (h i , h j ), the co-occurrence feature quantity in the block can be expressed as follows.
ここで、ｍはブロック内のヒストグラムの要素数である。ここで、共起関係ｆ（ｈｉ，ｈｊ）は次の式（３）の調和平均を用いて算出する。 Here, m is the number of elements of the histogram in the block. Here, the co-occurrence relationship f (h i , h j ) is calculated using the harmonic average of the following equation (3).
このようにして共起特徴を算出した後、次の式（４）により正規化する。 After calculating the co-occurrence feature in this way, normalization is performed by the following equation (4).
以上の処理を全てのブロックに対して適用することで、ＦＩＮＤ特徴量を生成する。 By applying the above processing to all blocks, a FIND feature amount is generated.
３．Ｈｉｇｈｔ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量
３．１ Ｈｉｇｈｔ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量の算出
次に、本実施形態において提案するＨｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量について説明する。一例として、上記「１．高次局所共起特徴」で述べた勾配分布の高次局所共起特徴をＦＩＮＤ特徴量へ導入し、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を得る方法について説明する。Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量は、ＦＩＮＤ特徴量に対して高次の共起関係としてのｄ次の共起関係を導入することにより得られる特徴量である。ＦＩＮＤ特徴量に高次共起関係を導入することにより、ＦＩＮＤ特徴量だけによる場合に比べて、ノイズに強い性質を維持しながら、より精緻な物体の形状表現などが可能となる。Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を得る過程では、上記「２．ＦＩＮＤ特徴量」において述べた方法により各セルの勾配方向ヒストグラムを作成すると共にヒストグラム各要素の共起特徴を算出し、ＦＩＮＤ特徴量を算出すると共に、高次局所共起特徴を算出する。次に、高次局所共起特徴の算出手順を説明する。
3. High-Order-FIND feature
3.1 Calculation of High-Order-FIND Feature Amount Next, the High-Order-FIND feature amount proposed in this embodiment will be described. As an example, a method for obtaining a High-Order-FIND feature value by introducing the higher-order local co-occurrence feature of the gradient distribution described in “1. Higher-order local co-occurrence feature” into the FIND feature value will be described. The High-Order-FIND feature value is a feature value obtained by introducing a d-order co-occurrence relationship as a higher-order co-occurrence relationship with respect to the FIND feature value. By introducing a higher-order co-occurrence relationship into the FIND feature value, it becomes possible to express the shape of the object more precisely while maintaining a property that is more resistant to noise than when only the FIND feature value is used. In the process of obtaining the High-Order-FIND feature value, the gradient direction histogram of each cell is created by the method described in “2. FIND feature value”, the co-occurrence feature of each element of the histogram is calculated, and the FIND feature value is calculated. In addition to calculating, higher-order local co-occurrence features are calculated. Next, a procedure for calculating higher-order local co-occurrence features will be described.
３．１．１ 高次局所共起特徴の算出
高次局所共起特徴は、従来手法であるＦＩＮＤ特徴量の共起特徴と同様に、局所領域における勾配方向ヒストグラムを基に算出する。図３のように、ｘ×ｙセルの局所領域においては最大でｘ×ｙ次の高次局所共起特徴を扱うことができるが、本実施形態では、ｘ×ｙ個の全セル中からそれより少ないｄ個のセルだけを選択してｄ次の共起関係を算出するようにしている（これにより共起特徴を算出又は導入する場合における計算量の増大化を抑制することができる）。
3.1.1 Calculation of higher- order local co-occurrence features The higher-order local co-occurrence features are calculated based on the gradient direction histogram in the local region, as with the conventional FIND feature value co-occurrence features. As shown in FIG. 3, in the local region of the x × y cell, a high-order local co-occurrence feature of the order of x × y can be handled, but in the present embodiment, it is detected from all x × y cells. Only a smaller number d of cells are selected to calculate the d-th order co-occurrence relationship (this can suppress an increase in the amount of calculation when calculating or introducing a co-occurrence feature).
前述のように、ＦＩＮＤ特徴量は、局所領域間の全要素に対して２個のセル間の共起関係を求める（局所領域中の全ての各セルから２個ずつを順次選択して共起関係を求め、それを全てのセルが選択されるまで繰り返す）ものである。これに対して、本実施形態の高次局所共起特徴は、異なるセル間での共起関係を求める（局所領域中の全ての各セルから３個以上の個数（各セルの全個数よりも少ない個数）のセルを選択し、その選択した３個以上のセル間だけの共起関係を求める）ものである。よって勾配方向ヒストグラムの各要素をｈｉ（ｉ＝１，２，・・・，ｎ）とし、ブロック内の要素数をｎ、算出される高次共起関係をｆ（ｈ１，ｈ２，・・・，ｈｄ）とすると、高次局所共起特徴は次のように表現できる。 As described above, the FIND feature value is obtained by calculating the co-occurrence relationship between two cells for all the elements between the local regions (by selecting two from each of the cells in the local region sequentially and co-occurring). (Requires a relationship and repeats it until all cells are selected). On the other hand, the higher-order local co-occurrence feature of the present embodiment obtains a co-occurrence relationship between different cells (three or more numbers from all the cells in the local region (rather than the total number of each cell). A small number of cells are selected, and a co-occurrence relationship between the selected three or more cells is obtained). Therefore, each element of the gradient direction histogram is h i (i = 1, 2,..., N), the number of elements in the block is n, and the calculated higher-order co-occurrence relationship is f (h 1 , h 2 , .., H d ), the higher-order local co-occurrence feature can be expressed as follows.
そして、このようにして算出した高次共起特徴を、従来のＦＩＮＤ特徴量として算出した２次共起特徴に合わせて、前記の式（４）により正規化を行う。よってブロック内のＨｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量は、次のように表現できる。 The higher-order co-occurrence features calculated in this way are normalized by the above equation (4) according to the secondary co-occurrence features calculated as conventional FIND feature values. Therefore, the High-Order-FIND feature value in the block can be expressed as follows.
高次局所共起特徴を算出した後、前記の式（４）を用いて正規化する。以上の処理を全てのブロックに対して適用することで、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を得る。 After calculating the higher-order local co-occurrence features, normalization is performed using the equation (4). By applying the above processing to all blocks, a High-Order-FIND feature value is obtained.
３．２ 複数の共起関係
次に本実施形態で扱う共起関係について述べる。共起関係としては、上記「２．ＦＩＮＤ特徴量」の中で述べた調和平均を含め、最小値、相加平均、最大値、積の計５つを使用することができる。上記「２．ＦＩＮＤ特徴量」で述べたところと同様に、ブロック内のヒストグラムの要素をｈｉ（ｉ＝１，２，・・・，ｍ）、ｄ次の共起関係をｆ（ｈ１，ｈ２，・・・，ｈｄ）とすると、上記各共起関係は次の式（Ａ）から式（Ｅ）で表現される。ここで、Ｍｉｎは要素の中から最小値を、Ｍａｘは要素の中から最大値を選択する関係とする。
3.2 Multiple Co-occurrence Relationships Next , the co-occurrence relationships handled in this embodiment will be described. As the co-occurrence relationship, a total of five values of the minimum value, the arithmetic mean, the maximum value, and the product can be used including the harmonic average described in “2. FIND feature value”. Like the place described in the above "2.FIND feature amount", the elements of the histogram of the block h i (i = 1,2, ··· , m), d following the co-occurrence relation f (h 1 , H 2 ,..., H d ), the above-mentioned co-occurrence relationships are expressed by the following equations (A) to (E). Here, Min is a relationship for selecting the minimum value from the elements, and Max is a relationship for selecting the maximum value from the elements.
４．実験
４．１ 実験環境
実験には，図４のような切り出し画像を使用し、学習器にはＳＶＭＬｉｇｈｔを用いて、人物画像を１１３７枚と非人物画像を１８５０枚の学習を行った。学習画像は３０×６０ピクセル、特徴量抽出時のセル、及びブロックサイズはセルが５×５ピクセル、ブロックが３×３セルで実験を行った。
4). Experiment
4.1 Experimental environment Experiments were performed using cut-out images as shown in FIG. 4, and learning was performed on 1137 human images and 1850 non-human images using SVM Light as a learning device. The experiment was performed with 30 × 60 pixels for the learning image, cells at the time of feature extraction, and 5 × 5 pixels for the block size and 3 × 3 cells for the block size.
４．２ 複数の共起特徴による性能変化について
４．２．１ 実験概要
本実施形態では、事前実験として上記「３．２ 複数の共起関係」に示した５種類の共起関係を使用し、ＦＩＮＤ特徴量を算出した時の分類精度を比較した。精度比較にはＳＶＭＬｉｇｈｔの予測方法であるＸｉＡｌｐｈａ−Ｅｓｔｉｍａｔｅを用いた。
4.2 Performance change due to multiple co-occurrence features
4.2.1 Outline of Experiment In this embodiment, the five types of co-occurrence relations shown in “3.2 Multiple Co-occurrence Relations” are used as a preliminary experiment, and the classification accuracy when the FIND feature value is calculated is calculated. Compared. XiAlpha-Estimate, which is an SVM Light prediction method, was used for accuracy comparison.
４．２．２ 実験結果
上記「３．２ 複数の共起関係」で述べた式（Ａ）から式（Ｅ）の各共起関係を用いて学習を行い、それによるときの予測分類精度及びＦ値を表１に示す。
4.2.2 Experimental Results Learning is performed using each of the co-occurrence relations of formulas (A) to (E) described in “3.2 Multiple Co-occurrence Relations”, and the predicted classification accuracy and The F value is shown in Table 1.
表１のエラー率、再現率、適合率及びＦ値は以下の式を用いて算出した。 The error rate, recall rate, precision rate, and F value in Table 1 were calculated using the following equations.
表１から、式（Ａ）及び式（Ｂ）の分類精度が、ＦＩＮＤ特徴量に用いられている式（Ｃ）に比べ、精度が高い結果となった。またＦ値から、検出器としての性能は、式（Ｂ）を使用した時が最も高い結果となった。よって、本実験では式（Ｂ）を用いた。 Table 1 shows that the classification accuracy of the formulas (A) and (B) is higher than that of the formula (C) used for the FIND feature amount. From the F value, the performance as a detector was the highest when the formula (B) was used. Therefore, Formula (B) was used in this experiment.
４．３ 高次関係の組み込みによる性能評価
４．３．１ Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量のパラメータ設定
局所領域におけるセル及びブロックは、ＦＩＮＤ特徴量と同様のサイズを使用した。ＦＩＮＤ特徴量と次元数をほぼ同じに抑えるために、高次局所共起特徴として３次、４次、５次を扱った。各高次関係については、以下のように算出した。３次関係は図５の赤枠で囲まれている１番、３番、７番に対応する３個のセル、４次関係は図６の赤枠で囲まれている１，３，７，９番に対応する４個のセル、５次関係は図７の赤枠で囲まれている１，３，５，７，９番に対応する５個のセルの間での共起特徴を算出することにより高次共起関係を算出した。２次の共起関係については、図８に示すように、一つのブロック中の全てのセルではなく一つのブロック中の非隣接セルのみの中から２個ずつを順次選択して算出するようにし、これにより全体の計算量を削減した。
4.3 Performance evaluation by incorporating higher-order relationships
4.3.1 Parameter setting of High-Order-FIND feature value The cell and the block in the local region used the same size as the FIND feature value. In order to keep the FIND feature quantity and the number of dimensions substantially the same, the third-order, fourth-order, and fifth-order were treated as higher-order local co-occurrence features. Each higher order relationship was calculated as follows. The tertiary relationship is three cells corresponding to Nos. 1, 3, and 7 surrounded by a red frame in FIG. 5, and the quaternary relationship is 1, 3, 7, Four cells corresponding to No. 9 and quintic relations are calculated as co-occurrence characteristics among the five cells corresponding to Nos. 1, 3, 5, 7, and 9 surrounded by a red frame in FIG. The higher order co-occurrence relationship was calculated. As shown in FIG. 8, the second-order co-occurrence relationship is calculated by sequentially selecting only two non-adjacent cells in one block instead of all cells in one block. This reduced the overall computational complexity.
４．３．２ 実験概要
Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量とＦＩＮＤ特徴量の精度比較を、次の３つの項目に関して行った。
（１）ＳＶＭＬｉｇｈｔによる予測分類精度を用いた比較
（２）評価用画像に対する識別結果
（３）検出用画像に対する検出結果
4.3.2 Outline of Experiment The accuracy comparison between the High-Order-FIND feature value and the FIND feature value was performed for the following three items.
(1) Comparison using prediction classification accuracy by SVM Light (2) Identification result for evaluation image (3) Detection result for detection image
４．３．３ ＳＶＭ Ｌｉｇｈｔ による予測分類精度を用いた比較実験
Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量とＦＩＮＤ特徴量についての予測分類精度及びＦ値を表２に、各特徴量の次元を表３に示した。
4.3.3 Comparison Experiment Using Predictive Classification Accuracy by SVM Light High-Order-FIND Feature Quantity and Predictive Classification Accuracy and F Value for FIND Feature Quantity are shown in Table 2, and dimensions of each feature quantity are shown in Table 3. It was.
４．３．４ 評価用画像に対する識別実験
評価用画像には、図９のような人物及び非人物画像を持つＤｉｍｌｅｒ−Ｃｈｒｙｓｌｅｒ[Ｓ．Ｍｕｎｄｅｒ ａｎｄ Ｄ．Ｍ．Ｇａｒｖｒｉｌａ，“Ａｎ ｅｘｐｅｒｉｍｅｎｔａｌ ｓｔｕｄｙ ｏｎ ｐｅｄｅｓｔｒｉａｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ．，ｖｏｌ．２８，ｎｏ．１１，ｐｐ．１８６３−１８６８，２００６]のデータセットを使用し、それぞれ１０００枚を用いて識別精度を検証した。識別結果は図１０のようになった。図１０は、識別に対する未検出率、誤検出率を両対数グラフにまとめたものであり、原点に近づくにつれ精度が高いことを表している。図１０のグラフからは、ＦＩＮＤ特徴量に比べ、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量の方がグラフが原点よりに描かれていることから、識別精度が向上していることが分かる。
4.3.4 Discrimination Experiment for Evaluation Image The evaluation image includes a Dimmer-Chrysler [S. Mander and D.M. M.M. Garvrila, “An experimental study on pedestrian classification”, IEEE Transactions on Pattern Analysis and Machine Intelligence. , Vol. 28, no. 11, pp. 1863-1868, 2006], and the identification accuracy was verified using 1000 data sets. The identification result is as shown in FIG. FIG. 10 summarizes the undetected rate and the erroneously detected rate for identification in a log-log graph, and shows that the accuracy is higher as the origin is approached. From the graph of FIG. 10, it can be seen that the identification accuracy is improved because the graph of the High-Order-FIND feature is drawn from the origin compared to the FIND feature.
４．３．５ 考察
前述の表２や図１０などに示すように、予測精度、識別精度、及びＦ値において全体的にＨｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量がＦＩＮＤ特徴量を上回った。今回の実験では、ＦＩＮＤ特徴量と次元数をほぼ同じに抑える（上表３参照）ため、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を求めるために使用する２次共起特徴を非隣接セル同士の共起関係のみから算出するようにし、隣接セル同士の共起関係は省略した。Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を求めるために使用する２次共起特徴を、非隣接セル同士の共起関係のみから算出した場合と、全てのセル同士の共起関係から算出した場合とで、エラー率、再現率、適合率、Ｆ値などを比較した。その結果を次表４に示す。
4.3.5 Discussion As shown in Table 2 and FIG. 10 described above, the High-Order-FIND feature amount generally exceeded the FIND feature amount in prediction accuracy, identification accuracy, and F value. In this experiment, the secondary co-occurrence feature used to obtain the High-Order-FIND feature value is determined as the co-occurrence between non-adjacent cells in order to keep the FIND feature value and the number of dimensions to be approximately the same (see Table 3 above). The calculation is made only from the relationship, and the co-occurrence relationship between adjacent cells is omitted. In the case where the secondary co-occurrence feature used for obtaining the High-Order-FIND feature amount is calculated from only the co-occurrence relationship between non-adjacent cells, and the case where it is calculated from the co-occurrence relationship between all cells, The error rate, recall rate, precision rate, F value, etc. were compared. The results are shown in Table 4 below.
上表４から、再現率は下がっているが、適合率は上がっていることがわかる。これは、適合率の計算方法に人物を誤検出したことが含まれていないためだと考えられる。検出器の性能を評価するＦ値は、全てのセルを扱った場合よりも小さい値となっており、検出性能が低下したことが分かる。また特徴量の算出には、表１のＦ値から、式（Ｂ）を扱った。その結果、高次の共起関係は全ての共起関係を内包するため、同一セル内の共起特徴の削減が、重複する組み合わせの削減となる。よって、効果的な共起関係の削減となったといえる。以上の結果から，高次局所共起特徴を導入することによって、ＦＩＮＤ特徴では考慮されなかった人物の形状を精緻に捉えることが可能になり、非隣接セルのみを扱うことで低下した性能を補うことができたといえる。 From Table 4 above, it can be seen that the recall is decreasing, but the precision is increasing. This is thought to be because the method of calculating the relevance rate does not include the fact that a person was detected incorrectly. The F value for evaluating the performance of the detector is a smaller value than when all the cells are handled, and it can be seen that the detection performance has deteriorated. In calculating the feature amount, the formula (B) was handled from the F value in Table 1. As a result, since higher-order co-occurrence relationships include all co-occurrence relationships, reduction of co-occurrence features in the same cell results in reduction of overlapping combinations. Therefore, it can be said that the effective co-occurrence relationship was reduced. From the above results, by introducing higher-order local co-occurrence features, it becomes possible to accurately capture the shape of a person that was not considered in the FIND feature, and compensated for the degraded performance by handling only non-adjacent cells. It can be said that it was possible.
４．３．６ 検出用画像に対する検出実験
検出画像としてＰＥＴＳでＷｅｂ上で公開されている図１１のような画像を用いて、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量とＦＩＮＤ特徴量を用いた人物検出を行った。検出結果を図１２に、検出時間を表５に示す。
4.3.6 Detection Experiment on Detection Image Using the image as shown in FIG. 11 published on the Web at PETS as a detection image, human detection using the High-Order-FIND feature value and the FIND feature value is performed. went. The detection result is shown in FIG. 12, and the detection time is shown in Table 5.
検出用画像に対する検出性能については、従来のＦＩＮＤ特徴量を用いた検出では電柱などに対して誤検出しているが、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を用いた検出ではＦＩＮＤ特徴量に比べて誤検出が少なかった。また、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量の方が、定性的な検出性能の点から見ても優れており、また表５に示すように検出時間の短縮も確認された。しかし，図１１の検出画像２のような人物が密集している画像に対しては、両特徴とも人物の適切な検出は困難という結果となった。なお、実験にはＩｎｔｅｌ Ｃｏｒｅ ｉ７−２６００ ＣＰＵ（３．４ＧＨｚ）メモリ１６ＧＢのＰＣを使用した． The detection performance for the detection image is erroneously detected for a power pole or the like in the detection using the conventional FIND feature amount, but the detection performance using the High-Order-FIND feature amount is erroneous compared to the FIND feature amount. There was little detection. Further, the High-Order-FIND feature quantity is superior from the viewpoint of qualitative detection performance, and as shown in Table 5, shortening of the detection time was confirmed. However, with respect to an image in which people are dense, such as the detection image 2 in FIG. 11, it is difficult to appropriately detect a person for both features. In the experiment, an Intel Core i7-2600 CPU (3.4 GHz) memory 16 GB PC was used.
４．３．７ 考察
上記４．３．６の「検出用画像に対する検出実験」では，検出用画像に対して人物検出を行った。検出結果については、本実施形態の手法が、従来手法に比べて誤検出が少なく検出性能が高いことが分かった。しかし，両特徴量ともに人物が密集している画像に対しては適切な検出は困難となった．また今回人物のサイズが一様な画像を使用したが、サイズの小さい人が画像中に存在する場合、特徴を十分に抽出できないため適切に検出できないことが予想される。使用した画像のような固定カメラではなく車載カメラ等に使用する場合、大小様々な人物の検出が必要になるため、スケール変化への対応が望まれる。またこのことから、人物に対して適切なサイズでの検出が可能になるので、密集画像に対しての検出も可能になるのではないかと考えられる。検出時間については、ＦＩＮＤ特徴量とＨｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量が同程度という結果となった。しかし、検出には未だに多くの時間を有するため、更なる検出時間の短縮は必要となる。よってスケール変化に対応すること、及び検出時間の短縮は今後検討する必要がある。
4.3.7 Consideration In “Detection Experiment for Detection Image” in 4.3.6 above, person detection was performed on the detection image. As for the detection result, it was found that the method of the present embodiment has fewer false detections and higher detection performance than the conventional method. However, both features are difficult to detect properly for images with dense people. In addition, although an image with a uniform human size is used this time, if a small person exists in the image, it is expected that the feature cannot be extracted sufficiently and cannot be detected properly. When used for an in-vehicle camera or the like instead of a fixed camera such as a used image, it is necessary to detect people of various sizes. In addition, this makes it possible to detect a person with an appropriate size, so that it is possible to detect a dense image. As for the detection time, the FIND feature value and the High-Order-FIND feature value were comparable. However, since detection still has a lot of time, further reduction in detection time is necessary. Therefore, it is necessary to consider in the future how to cope with the scale change and shorten the detection time.
５． まとめ
本実施形態では、選択された３つ以上のセル間の共起関係を扱う高次局所共起特徴を提案し、さらに、これをＦＩＮＤ特徴量に導入することで検出性能の向上を図ることができることを示した。Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量は、高次局所共起特徴をＦＩＮＤ特徴量に導入することにより、局所領域間の共起関係をより精緻に表現することが可能となる特徴量だと言える。ＦＩＮＤ特徴量との比較を行うために、隣接する局所領域の情報を省略し、扱うセルを制限することで実験を行った。
5). Summary In this embodiment, a higher-order local co-occurrence feature that handles co-occurrence relationships between three or more selected cells is proposed, and further, this is introduced into the FIND feature amount to improve detection performance. It was shown that you can. It can be said that the High-Order-FIND feature amount is a feature amount that allows the co-occurrence relationship between local regions to be expressed more precisely by introducing higher-order local co-occurrence features into the FIND feature amount. In order to make a comparison with the FIND feature value, an experiment was performed by omitting information on adjacent local regions and restricting cells to be handled.
検出実験からも明らかであるが，学習モデルと検出対象の人物の大きさが著しく異なるときに検出できないという問題が判明した。また提案手法は従来手法であるＦＩＮＤ特徴量と次元数が同程度であり、処理時間も大差ない結果となったが、実時間での実行を考慮した時、さらなる処理時間の短縮が望まれる。処理時間の短縮には、後藤らのカスケード構造を用いることによりＦＩＮＤ特徴量の使用回数を減らす研究[後藤邦博，城殿清澄，木村好克，内藤貴志，“ＦＩＮＤ特徴を用いたカスケード型識別器による歩行者検出及び向き推定”，自動車技術会春季大会学術講演前刷集，ｎｏ．１１−１１，ｐｐ．１７−２０，２０１１]が有効であると考えられる。 As is clear from the detection experiment, it was found that the problem was not detected when the size of the learning model and the person to be detected were significantly different. In addition, the proposed method has the same number of dimensions as the FIND feature amount of the conventional method, and the processing time is not much different. However, when execution in real time is taken into consideration, further reduction of the processing time is desired. In order to shorten the processing time, a study to reduce the number of times of use of FIND features by using the cascade structure of Goto et al. [Kunihiro Goto, Kiyosumi Joto, Yoshikatsu Kimura, Takashi Naito, “Cascade type classifier using FIND features Pedestrian detection and orientation estimation ", Preprint of Academic Lectures of the Society of Automotive Engineers of Japan, no. 11-11, pp. 17-20, 2011] is considered effective.
本実験では、ＦＩＮＤ特徴量に対して行い、次元を抑えるために５次の共起関係まで扱ったが、６次などさらなる高次関係を導入するようにすれば、より精度向上が可能となる。３次や４次の共起関係については、セルの選択にも複数の組み合わせがあり得る。またＣｏＨＯＧ特徴量など他の特徴量に対して高次局所共起特徴を導入することも可能である。 In this experiment, the fifth feature co-occurrence relation was dealt with for the FIND feature value to suppress the dimension. However, if a higher order relation such as the sixth order is introduced, the accuracy can be improved. . For tertiary and quaternary co-occurrence relationships, there may be a plurality of combinations in cell selection. It is also possible to introduce higher-order local co-occurrence features for other feature amounts such as CoHOG feature amounts.
ＦＩＮＤ特徴量は局所領域内の共起関係について扱う特徴量であるが、より検出性能を向上させるには、離れた部分の共起、つまり離れた局所領域間で共起させることが必要と考えられる。局所領域間での共起特徴として、藤吉らの提案したＪｏｉｎｔ ＨＯＧ特徴量を参考にすれば、物体の対称性や連続性を捉えることが可能になるため、より正確に物体の形状を表現できると思われる。 The FIND feature is a feature that deals with the co-occurrence relationship in the local region. However, in order to further improve the detection performance, it is considered necessary to co-occur at a distant portion, that is, between the local regions. It is done. By referring to the Joint HOG feature proposed by Fujiyoshi as a co-occurrence feature between local regions, it becomes possible to capture the symmetry and continuity of the object, so that the shape of the object can be expressed more accurately. I think that the.
今後の課題としては、処理時間の短縮やスケール変化への対応、ＡｄａＢｏｏｓｔ等による統計処理を用いた特徴量の選択、及び局所領域間における共起の組み合わせなどが挙げられる。 Future issues include shortening the processing time, responding to scale changes, selecting feature quantities using statistical processing such as AdaBoost, and combinations of co-occurrence between local regions.
以上、本発明の実施形態について説明したが、本発明は前記実施形態として述べたものに限定されるものではなく、様々な修正及び変更が可能である。例えば、前記実施形態においては、或る一つのブロック内の高次共起特徴と同じブロック内のＦＩＮＤ特徴量とを合わせて正規化する処理を全てのブロックに適用することにより、Ｈｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を求め、この求めたＨｉｇｈ−Ｏｒｄｅｒ−ＦＩＮＤ特徴量を使用して処理対象画像に対する人体の識別又は検出を行なうようにした。しかし、本発明はこれに限られるものではなく、例えば、或る一つのブロック内の高次共起特徴を正規化する処理を全てのブロックに適用することにより、高次共起特徴量を求め、この求めた高次共起特徴量だけを使用して（前記実施形態のように高次共起特徴とＦＩＮＤ特徴量とを合わせることなく）処理対象画像に対する人体の識別又は検出を行なうようにしてもよい。また、前記実施形態においては、前記選択された３個以上のセルの各輝度勾配方向ヒストグラムの組み合わせから求められる最大値を前記各ブロック内における高次共起特徴として採用するようにしたが、本発明においては、これに限られるものではなく、前記の最小値、調和平均、相加平均、及び最大値のいずれか一つ又は複数を前記各ブロック内における高次共起特徴として採用するようにしてもよい。また前記実施形態においては、局所勾配分布の要素に対して３つ以上の高次共起関係を特徴とする高次局所共起特徴をＦＩＮＤ特徴量に導入して検出精度等を向上させることを提案したが、本発明においてはこれに限られるものではなく、例えば前記高次局所共起特徴をＣｏＨＯＧ特徴量などに導入・適用して検出精度等を向上させるようにしてもよい。 Although the embodiment of the present invention has been described above, the present invention is not limited to the embodiment described above, and various modifications and changes can be made. For example, in the above-described embodiment, the processing for normalizing the higher-order co-occurrence features in one block together with the FIND feature values in the same block is applied to all the blocks, whereby the High-Order- The FIND feature amount is obtained, and the human body is identified or detected from the processing target image using the obtained High-Order-FIND feature amount. However, the present invention is not limited to this. For example, a high-order co-occurrence feature amount is obtained by applying a process for normalizing high-order co-occurrence features in one block to all blocks. The human body is identified or detected from the processing target image by using only the obtained higher-order co-occurrence feature amount (without matching the higher-order co-occurrence feature and the FIND feature amount as in the above embodiment). May be. In the embodiment, the maximum value obtained from the combination of the luminance gradient direction histograms of the three or more selected cells is adopted as the higher-order co-occurrence feature in each block. In the invention, the invention is not limited to this, and any one or more of the minimum value, harmonic average, arithmetic average, and maximum value are adopted as the higher-order co-occurrence features in each block. May be. In the embodiment, the detection accuracy and the like are improved by introducing higher-order local co-occurrence features characterized by three or more higher-order co-occurrence relationships to the elements of the local gradient distribution into the FIND feature amount. Although proposed, the present invention is not limited to this. For example, the higher-order local co-occurrence features may be introduced and applied to CoHOG feature amounts to improve detection accuracy and the like.
Claims (18)
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所共起特徴取得手段と、
を備えたことを特徴とする画像特徴取得システム。 Cell feature acquisition means for obtaining a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image;
For each block composed of a plurality of cells, combinations of luminance gradient direction histograms of three or more cells (a number smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block. From the above, higher-order local co-occurrence feature obtaining means for obtaining higher-order local co-occurrence features in each block,
An image feature acquisition system comprising:
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から２個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における２次局所共起特徴を求める２次局所共起特徴取得手段と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める高次局所間共起特徴取得手段と、
前記２次局所共起特徴に前記高次局所共起特徴を合わせて正規化する正規化手段と、
を備えたことを特徴とする画像特徴取得システム。 Cell feature acquisition means for acquiring a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image;
For each block composed of a plurality of cells, a secondary local co-occurrence feature in each block is obtained from a combination of brightness gradient direction histograms of each cell that is sequentially selected from a plurality of cells constituting each block. Secondary local co-occurrence feature acquisition means;
For each block composed of a plurality of cells, combinations of luminance gradient direction histograms of three or more cells (a number smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block. From higher order local co-occurrence feature obtaining means for obtaining higher order local co-occurrence features in each block,
Normalization means for normalizing the second-order local co-occurrence features together with the higher-order local co-occurrence features;
An image feature acquisition system comprising:
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求めるステップと、
を含むことを特徴とする画像特徴取得方法。 Obtaining a luminance gradient direction histogram of each cell composed of a plurality of pixels from the luminance gradient direction histogram of each pixel constituting the processing target image;
For each block composed of a plurality of cells, combinations of luminance gradient direction histograms of three or more cells (a number smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block. To determine higher order local co-occurrence features in each block;
An image feature acquisition method comprising:
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から２個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における２次局所共起特徴を求める第２ステップと、
前記第２ステップと同時に又は相前後して、複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める第３ステップと、
前記２次局所共起特徴に前記高次局所共起特徴を合わせて正規化する第４ステップと、
を含むことを特徴とする画像特徴取得方法。 A first step of obtaining a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image;
For each block composed of a plurality of cells, a secondary local co-occurrence feature in each block is obtained from a combination of brightness gradient direction histograms of each cell that is sequentially selected from a plurality of cells constituting each block. The second step;
At the same time as or in succession to the second step, for each block composed of a plurality of cells, a number of three or more pre-selected from a plurality of cells constituting each block (less than the total number of cells in each block) A third step of obtaining higher-order local co-occurrence features in each block from a combination of luminance gradient direction histograms of each cell of
A fourth step of normalizing the second order local co-occurrence features to match the higher order local co-occurrence features;
An image feature acquisition method comprising:
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める機能と、
を実現するための画像特徴取得用プログラム。 A function of obtaining a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image;
For each block composed of a plurality of cells, combinations of luminance gradient direction histograms of three or more cells (a number smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block. A function for obtaining higher-order local co-occurrence features in each block;
Program for acquiring image features to achieve the above.
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から２個ずつ順次選択される各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における２次局所共起特徴を求める機能と、
複数のセルから成る各ブロックについて、各ブロックを構成する複数のセル中から予め選択された３個以上の個数（各ブロック内の全セル数より少ない個数）の各セルの輝度勾配方向ヒストグラムの組み合わせから、前記各ブロック内における高次局所共起特徴を求める機能と、
前記２次局所共起特徴に前記高次局所共起特徴を合わせて正規化する機能と、
を実現するための画像特徴取得用プログラム。 A function of acquiring a luminance gradient direction histogram of each cell composed of a plurality of pixels from a luminance gradient direction histogram of each pixel constituting the processing target image;
For each block composed of a plurality of cells, a secondary local co-occurrence feature in each block is obtained from a combination of brightness gradient direction histograms of each cell that is sequentially selected from a plurality of cells constituting each block. Function and
For each block composed of a plurality of cells, combinations of luminance gradient direction histograms of three or more cells (a number smaller than the total number of cells in each block) selected in advance from a plurality of cells constituting each block. A function for obtaining higher-order local co-occurrence features in each block;
A function of normalizing the second-order local co-occurrence features together with the higher-order local co-occurrence features;
Program for acquiring image features to achieve the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012145549A JP5924735B2 (en) | 2012-06-28 | 2012-06-28 | System, method and program for image feature extraction and image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012145549A JP5924735B2 (en) | 2012-06-28 | 2012-06-28 | System, method and program for image feature extraction and image processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014010544A true JP2014010544A (en) | 2014-01-20 |
| JP5924735B2 JP5924735B2 (en) | 2016-05-25 |
Family
ID=50107235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012145549A Expired - Fee Related JP5924735B2 (en) | 2012-06-28 | 2012-06-28 | System, method and program for image feature extraction and image processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5924735B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017170877A1 (en) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | Image processing device, semiconductor device, image recognition device, mobile device, and image processing method |
| JP2020155021A (en) * | 2019-03-22 | 2020-09-24 | 株式会社デンソー | Object recognition device |
| WO2022064639A1 (en) * | 2020-09-25 | 2022-03-31 | 株式会社日立国際電気 | Abnormality detection device, abnormality detection method, and abnormality detection system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021044A (en) * | 2006-07-11 | 2008-01-31 | National Institute Of Advanced Industrial & Technology | Higher-order local co-occurrence feature deriving method and program |
| JP2011053953A (en) * | 2009-09-02 | 2011-03-17 | Toyota Central R&D Labs Inc | Image processing apparatus and program |
| WO2011037097A1 (en) * | 2009-09-24 | 2011-03-31 | 国立大学法人京都大学 | Pattern recognition method and pattern recognition device using the method |
-
2012
- 2012-06-28 JP JP2012145549A patent/JP5924735B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021044A (en) * | 2006-07-11 | 2008-01-31 | National Institute Of Advanced Industrial & Technology | Higher-order local co-occurrence feature deriving method and program |
| JP2011053953A (en) * | 2009-09-02 | 2011-03-17 | Toyota Central R&D Labs Inc | Image processing apparatus and program |
| WO2011037097A1 (en) * | 2009-09-24 | 2011-03-31 | 国立大学法人京都大学 | Pattern recognition method and pattern recognition device using the method |
Non-Patent Citations (1)
| Title |
|---|
| JPN6016012378; 矢澤 芳文、外４名: '"検出対象をリコンフィグ可能なＪｏｉｎｔ-ＨＯＧによるＦＰＧＡハードウェア検出器"' ＳＳＩＩ２０１１ 第１７回 画像センシングシンポジウム講演論文集 , 20110608, ｐｐ．０５-１〜０５-７, 画像センシング技術研究会 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017170877A1 (en) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | Image processing device, semiconductor device, image recognition device, mobile device, and image processing method |
| JP2017182438A (en) * | 2016-03-30 | 2017-10-05 | 株式会社エクォス・リサーチ | Image processing device, semiconductor device, image recognition device, mobile device, and image processing method |
| CN108292367A (en) * | 2016-03-30 | 2018-07-17 | 株式会社爱考斯研究 | Image processing apparatus, semiconductor device, pattern recognition device, mobile body device and image processing method |
| US11017262B2 (en) | 2016-03-30 | 2021-05-25 | Equos Research Co., Ltd. | Method and device to determine image features using multi-resolution gradient analysis |
| CN108292367B (en) * | 2016-03-30 | 2022-08-02 | 株式会社爱信 | Image processing device, semiconductor device, image recognition device, mobile device, and image processing method |
| JP2020155021A (en) * | 2019-03-22 | 2020-09-24 | 株式会社デンソー | Object recognition device |
| JP7156120B2 (en) | 2019-03-22 | 2022-10-19 | 株式会社デンソー | Object recognition device |
| WO2022064639A1 (en) * | 2020-09-25 | 2022-03-31 | 株式会社日立国際電気 | Abnormality detection device, abnormality detection method, and abnormality detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5924735B2 (en) | 2016-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | An efficient color space for deep-learning based traffic light recognition | |
| Geetha et al. | Machine vision based fire detection techniques: A survey | |
| Soo | Object detection using Haar-cascade Classifier | |
| Cyganek et al. | Hybrid computer vision system for drivers' eye recognition and fatigue monitoring | |
| Kadir et al. | A comparative study between LBP and Haar-like features for Face Detection using OpenCV | |
| Günther et al. | Unconstrained face detection and open-set face recognition challenge | |
| Betancourt et al. | A sequential classifier for hand detection in the framework of egocentric vision | |
| US20210365713A1 (en) | Image clustering method and apparatus, and storage medium | |
| CN112381775A (en) | Image tampering detection method, terminal device and storage medium | |
| Yang et al. | Real-time traffic sign detection via color probability model and integral channel features | |
| JP2013206458A (en) | Object classification based on external appearance and context in image | |
| Masmoudi et al. | Vision based system for vacant parking lot detection: Vpld | |
| Chidananda et al. | Entropy-cum-Hough-transform-based ear detection using ellipsoid particle swarm optimization | |
| JP5924735B2 (en) | System, method and program for image feature extraction and image processing | |
| Lahiani et al. | Hand pose estimation system based on Viola-Jones algorithm for android devices | |
| CN116343287A (en) | Facial expression recognition and model training method, device, equipment and storage medium | |
| Kim et al. | A new biased discriminant analysis using composite vectors for eye detection | |
| Bencheriet | New face features to detect multiple faces in complex background | |
| Vinh | Real-time traffic sign detection and recognition system based on friendlyARM Tiny4412 board | |
| Razzok et al. | A new pedestrian recognition system based on edge detection and different census transform features under weather conditions | |
| Ali et al. | On-road vehicle detection using support vector machine and decision tree classifications | |
| Varma et al. | Human skin detection using histogram processing and gaussian mixture model based on color spaces | |
| Kuo et al. | Fast pedestrian detection system with a two layer cascade of classifiers | |
| Surinwarangkoon et al. | Traffic sign recognition by color filtering and particle swarm optimization | |
| Bani Hashem et al. | Pedestrian detection by using FAST-HOG features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5924735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |