JP2019145040A - 特徴表現装置、特徴表現方法、およびプログラム - Google Patents

特徴表現装置、特徴表現方法、およびプログラム Download PDF

Info

Publication number
JP2019145040A
JP2019145040A JP2018031292A JP2018031292A JP2019145040A JP 2019145040 A JP2019145040 A JP 2019145040A JP 2018031292 A JP2018031292 A JP 2018031292A JP 2018031292 A JP2018031292 A JP 2018031292A JP 2019145040 A JP2019145040 A JP 2019145040A
Authority
JP
Japan
Prior art keywords
feature
map
concept
image
integrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018031292A
Other languages
English (en)
Other versions
JP6992590B2 (ja
Inventor
香織 熊谷
Kaori Kumagai
香織 熊谷
之人 渡邉
Yukito Watanabe
之人 渡邉
島村　潤
Jun Shimamura
潤 島村
杵渕　哲也
Tetsuya Kinebuchi
哲也 杵渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018031292A priority Critical patent/JP6992590B2/ja
Priority to US16/971,635 priority patent/US11416710B2/en
Priority to PCT/JP2019/007026 priority patent/WO2019163985A1/ja
Publication of JP2019145040A publication Critical patent/JP2019145040A/ja
Application granted granted Critical
Publication of JP6992590B2 publication Critical patent/JP6992590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes

Abstract

【課題】ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができるようにする。【解決手段】ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力する。【選択図】図１

Description

本発明は、特徴表現装置、特徴表現方法、およびプログラムに係り、特に、入力画像に対して、ＣＮＮの特定の層が捉えた特徴を表現する情報を出力する特徴表現装置、特徴表現方法、およびプログラムに関する。
近年、デジタルカメラやスマートフォンの普及により容易に画像の取得が可能となり、それらの画像がインターネットを介し流通することで、多様な環境で多様なモノが撮影された画像と接することが容易となった。そのような状況において、画像中に写ったモノが何であるか分からない状況は多々ある。未知のモノについて簡易に情報が取得できないとき、画像情報からあらゆるモノの識別が可能となり、新たな情報を得ることができればこの問題を解決できる。
このように、画像情報から新たな情報の提供を可能とする画像の識別技術への要望は高まっている。
画像の識別技術に関して、従来、種々の技術が発明・開示されている。例えば非特許文献１では、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）に基づく方法が開示されている。これは、名称が既知の物体を含む画像の特徴と名称との関係を計算機に学習させることで、新たに入力された画像（クエリ画像）を分類する。各々の画像から、特徴点と呼ばれる微小な領域を検出し、特徴点毎にＳＩＦＴ特徴量を算出する。特徴量をＶｉｓｕａｌＷｏｒｄと呼ばれる符号に量子化し、各々の画像をＶｉｓｕａｌＷｏｒｄの出現頻度のヒストグラムによって表現する。得られたヒストグラムをその画像の特徴量として計算機に学習させることで、未知のクエリ画像を識別できる。
同様に、特許文献１に開示される技術は、画像に含まれる特定の柄を含む部分画像を切り出し、それら部分画像の特徴量を算出する。算出した特徴量から生成されたヒストグラムと、画像の対応は、非特許文献１と同様に、計算機に学習させることで、未知のクエリ画像を識別できる。
非特許文献１によれば、入力画像の中から特徴的であるような点を検出し、それらの特徴点毎にＳＩＦＴ特徴量を算出する。同様に、特許文献においても、入力画像の中から特定の柄を含む部分画像を切り出し、それらの部分画像毎に特徴量を算出する。従って、これらの技術において、画像中のどの部分を捉えるかは自明であり、また、入力に対して記述される特徴量は予め定められている。
そのため、画像の識別結果が得られたとき、その識別結果を導いた要因を分析するために画像中から捉えられた特徴を用いることができる。
一方で、非特許文献２開示されているような、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）に基づく方法が多く開示されている。
ＣＮＮは、特徴を検出するフィルタをスライドさせながら入力画像に対して掛け合わせて作成した特徴マップを出力する畳み込み処理と、抽出した特徴を局所領域ごとにまとめ上げるプーリング処理を繰り返し行っている。データに合わせて、特徴を検出するフィルタを学習し、プーリング処理によって検出した特徴の位置に対する頑健性を高めることで、高い識別性能を発揮することが知られる。
各フィルタは最終的に画像をより良く弁別するよう自動で学習されるため、画像がどのような特徴表現となるかは学習データ次第である。
そのため、画像の識別結果が得られたとき、識別結果を導いた要因を分析するために、ＣＮＮが捉えた特徴をそのまま利用することが困難という問題がある。
例えば、識別結果に誤りが生じた場合、誤りの原因の分析が困難であり、このことがＣＮＮに基づく画像識別技術の実用化における大きな障壁となっている。
以上の問題に対して、ＣＮＮの識別結果を導いた要因を説明するいくつかの発明がなされ、開示されてきている。
例えば、ＣＮＮが最終的に画像中で注目した部分を明瞭に可視化することを目的とした技術が開示されている（非特許文献３）。
非特許文献３では、最終層の特徴マップについて識別結果に対する影響度合いを示す勾配を求め、その値を重みとし、最終層の特徴マップとの線形和をとることで最終層での注目箇所を求めている。ユーザは、ある画像の識別結果が得られたときに、最終的に注目した部分を知ることができる。
特開２０１４−６７１７４号公報
G. Csurka, C. R. Dance, L. Fan, J. Willamowski and C. Bray. "Visual categorization with bags of keypoints" in Pro. Of ECCV Workshop on Statistical Learning in Computer Vision, 2004, pp.59-74 K. He, X. Zhang, S. Ren, and J. Sun. "Deep residual learning for image recognition." In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 770-778. R. R. Selvaraju, A. Das, R. Vedantam, M. Cogswell, D. Parikh and D. Batra. "Grad-CAM: Why did you say that? Visual Explanations from Deep Networks via Gradient-based Localization" arXiv:1610.02391, 2016
非特許文献３では、ＣＮＮが最終的に注目した場所を提示することが出来る。
しかし、この方法は最終出力との関連が強い領域を求めており、ＣＮＮが画像中で捉えている特徴に関する情報は得られないため、識別結果の要因を分析するためにＣＮＮが画像中から捉えた特徴を用いることができない。
このため、ＣＮＮに基づく画像識別技術において、ＣＮＮが画像中のどの部分のどのような特徴を捉えたのか効率的に表現できない、という問題があった。
本発明は上記の点に鑑みてなされたものであり、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる特徴表現装置、特徴表現方法、およびプログラムを提供することを目的とする。
本発明に係る特徴表現装置は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現装置であって、前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算する一致率計算部と、前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算する特徴マップ計算部と、前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類するクラスタリング処理部と、前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算する統合マップ計算部と、前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算する閾値計算部と、前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する閾値処理部と、を備えて構成される。
また、本発明に係る特徴表現方法は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現方法であって、一致率計算部が、前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算し、特徴マップ計算部が、前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算し、クラスタリング処理部が、前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類し、統合マップ計算部が、前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算し、閾値計算部が、前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算し、閾値処理部が、前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する。
本発明に係る特徴表現装置及び特徴表現方法によれば、一致率計算部が、ＣＮＮの特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、当該フィルタから出力される特徴マップと、当該概念を表す領域との関連度を示す一致率を複数の概念毎に計算し、特徴マップ計算部が、入力画像をＣＮＮに入力した際に、複数のフィルタの各々から出力される特徴マップを計算し、クラスタリング処理部が、特徴マップ計算部により複数のフィルタの各々について計算された特徴マップを、当該特徴マップの値に基づいて、複数のクラスタの何れかに分類する。
そして、統合マップ計算部が、クラスタリング処理部による特徴マップの分類結果と、一致率とに基づいて、複数の概念毎に、複数のクラスタの各々について、当該クラスタに分類された複数の特徴マップを、当該特徴マップを出力したフィルタの当該概念についての当該一致率を用いて統合した統合マップを計算し、閾値計算部が、複数の概念毎に、複数のクラスタの各々について、統合マップ計算部により計算された統合マップの値に基づいて、閾値を計算し、閾値処理部が、統合マップの各々について、当該閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力する。
このように、ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
また、本発明に係る特徴表現装置の統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合することができる。
また、本発明に係る特徴表現方法の統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合することができる。
また、本発明に係る特徴表現装置は、前記複数の統合マップの各々について、前記統合マップのサイズを変換するリサイズ処理部を更に含み、前記閾値処理部は、前記リサイズ処理部によりサイズを変換された前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力することができる。
また、本発明に係る特徴表現装置は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現装置であって、 予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する特徴表現部を備えて構成される。
また、本発明に係る特徴表現方法は、入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現方法であって、特徴表現部が、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する。
本発明に係る特徴表現装置及び特徴表現方法によれば、特徴表現部が、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、複数の概念の各々について、当該概念の情報と、ＣＮＮの特定の層で当該概念について注目した領域を可視化した特徴表現可視化画像との対を出力する。
このように、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、複数の概念の各々について、当該概念の情報と、ＣＮＮの特定の層で当該概念について注目した領域を可視化した特徴表現可視化画像との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
本発明に係るプログラムは、上記の特徴表現装置の各部として機能させるためのプログラムである。
本発明の特徴表現装置、特徴表現方法、およびプログラムによれば、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
本発明の実施の形態に係る特徴表現装置の構成を示すブロック図である。 本発明の実施の形態に係る特徴表現可視化情報の例を示すイメージ図である。 本発明の実施の形態に係る特徴表現装置における特徴表現処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る特徴表現処理ルーチンの各ステップにおける出力データのサイズを示す図である。
以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係る特徴表現装置の概要＞
まず、本発明の実施形態の概要について説明する。
各フィルタの捉える特徴を、予め定義した概念で表現することを目的とした技術がある（参考文献１）。
［参考文献１］D. Bau, B. Zhou, A. Khosla, A. Oliva, A. Torralba. “Network Dissection: Quantifying Interpretability of Deep Visual Representations” in Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp.6541-6549.
まず、参考文献１の発明の内容を説明する。各画像に存在する概念のラベルと、各概念の領域を示す二値画像が紐づいた、画像のデータセットを用意する。概念とは、ｏｂｊｅｃｔ、ｐａｒｔ、ｓｃｅｎｅ、ｔｅｘｔｕｒｅ、ｍａｔｅｒｉａｌ、ｃｏｌｏｒの６つのカテゴリに大別され、カテゴリごとに多数のラベルを含むものである。事前に用意したデータセットからある画像を選択し、ＣＮＮに入力したとき、各フィルタでの特徴マップから反応の大きい領域のみ抽出する。前記領域に対し、概念が付与された各領域との、領域の重複度合（一致率）を算出する。データセットの全画像についてこの領域の一致率を算出する。この一致率が各フィルタの各概念に対する捉えやすさを示すスコアとなる。
この一致率を利用し、例えば、あるフィルタに対して一致率最大の概念を対応させ、ある画像のそのフィルタにおける反応を示した特徴マップに基づいて可視化することで、画像中でＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が捉えた特徴の場所と性質を可視化できる。この可視化画像を、識別結果を導いた要因の分析に用いることができる。
ＣＮＮが捉える特徴を概念で表現可能とした参考文献１を利用し、特徴を概念に置き換えることで、画像中で捉えられた概念を、識別結果の原因の分析に用いることができる。
しかし、ＣＮＮ内部で自動で学習されたフィルタは、人が規定した概念と必ずしも一対一で対応するとは限らず、一つのフィルタが多数の概念に反応する可能性がある。
すなわち、単に一致率が高い概念を考慮するだけでは、画像が持つ概念を捉えきれるとは限らない。このことから、一つのフィルタについて複数の概念を考慮することが必要である。
加えて、ある概念に反応するフィルタが複数存在する可能性がある。すなわち、ある画像のある概念に対して、複数のフィルタが強い反応を示す可能性がある。そのため、前記領域を単純に全て可視化すると、最大でフィルタ数×概念数の可視化が必要となる。
例えば、参考文献１のＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃであれば、フィルタ数が２，０４８、概念数が１，１９８とすると、最大で２，４５３，５０４の可視化が必要となるため、冗長な可視化となり、目視確認に多くの人手を要する。
以上の理由から、上記で述べた方法は、同時に一つのフィルタに対して一つの概念しか考慮できず、ある画像中に存在する概念を表現するために複数のフィルタと各フィルタに対して複数の概念を考慮しようとした場合、冗長な可視化となるため、画像中に存在する特徴の場所と性質を表現する方法として不十分である。
本実施形態では、ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、複数の統合マップのサイズを変換した統合マップについて、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
すなわち、同時に複数のフィルタと、そのフィルタに対して複数の概念を考慮した上で効率的にＣＮＮが捉えた特徴の場所と性質を可視化できる、という効果が得られる。
本実施形態を、ＣＮＮを用いた画像認識サービスにおける誤認識の原因分析に活用することで、ユーザはＣＮＮが捉えた特徴の場所と性質を認識し、識別結果を導出した要因の分析を容易に行うことができ、ＣＮＮを利用した画像識別技術の実用化の促進に貢献できる。
＜本発明の実施の形態に係る特徴表現装置の構成＞
図１を参照して、本発明の実施の形態に係る特徴表現装置の構成について説明する。図１は、本発明の実施の形態に係る特徴表現装置の構成を示すブロック図である。
特徴表現装置１００は、ＣＰＵと、ＲＡＭと、後述する特徴表現処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
図１に示すように、本実施形態に係る特徴表現装置１００は、特徴表現部１と、画像データベース（ＤＢ）２と、記憶部３と、ＣＮＮ学習部４とを備えて構成される。
画像ＤＢ２は、画像の集合である画像集合２１を格納している。
画像集合２１の各画像には、ＣＮＮ学習時に用いられる正解ラベルが付与されている。正解ラベルとは、例えば、画像中に写った物体を表す文字列である。
また、画像集合２１の各画像のファイルに対して、各画像ファイルが特定可能な識別子が付与され、任意のファイルが参照可能となっているものとする。例えば、格納された画像ファイル数がＤ枚であるとき、各画像に１以上Ｄ以下の自然数を付与する。
記憶部３は、画像の集合である画像集合３１を格納している。また、一致率計算部１２で算出された一致率を一致率３２として記憶してもよい。
画像集合３１の画像の各々は、当該画像に存在する概念のラベルと、各概念の領域を示す二値画像が紐付いている。概念とは、画像に映る物体の属性であり、概念のラベルは属性を表す文字列である。概念のラベルは、好ましくは、参考文献１で定義されている、ｏｂｊｅｃｔ、ｐａｒｔ、ｓｃｅｎｅ、ｔｅｘｔｕｒｅ、ｍａｔｅｒｉａｌ、ｃｏｌｏｒの６つのカテゴリに大別され、カテゴリ毎に多数のラベルを含むものを用いるとよい。
また、各概念の領域を示す二値画像とは、例えば、画像中の各画素がどの概念に当たるか人手により判断し、ある概念について該当する画素の位置に１を配置し、その他の画素位置に０を配置したマップを概念毎に作成し、これを用いる。
また、画像集合３１の各画像ファイルは、画像ＤＢ２に格納されている画像集合２１と同一の画像集合であっても、異なる画像集合であってもよい。
画像集合３１の各画像ファイルに対して、画像ファイルが特定可能な識別子が付与されており、任意のファイルが参照可能となっているものとする。例えば、記憶部３に格納された画像集合３１の画像ファイル数がＸ枚であるとき、各画像に１以上Ｘ以下の自然数を付与する。
ＣＮＮ学習部４は、画像ＤＢ２から画像集合２１を受け取り、画像中に存在する物体を識別するための任意のネットワーク構造のＣＮＮ、例えば非特許文献２で提案されたＤｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋを学習し、ＣＮＮモデルを出力する。
ここで、ＣＮＮモデルとは、畳み込み処理と、プーリング処理の組み合わせを繰り返し行うニューラルネットワークのネットワーク構造と、学習済みのパラメータ情報を保有するものである。
特徴表現部１は、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、複数の概念の各々について、概念の情報と、ＣＮＮの特定の層で概念について注目した領域を可視化した特徴表現可視化画像との対を出力する。
具体的には、特徴表現部１は、入力画像５または画像ＤＢ２に登録されている画像に対して、ＣＮＮが捉えた特徴がどこにどのように存在するのか表現する特徴表現可視化情報６を生成する。
特徴表現可視化情報６とは、特徴表現可視化画像と概念情報との対からなる。特徴表現可視化画像とは、チャネル数は１であり、数値の範囲は０または１で表現される二値の場合と、０以上の整数で表現される場合がある。数値の範囲が二値の場合は二色で表現された画像であり、０以上の整数の場合はその数値を濃度の変化で表現したヒートマップ画像である。
各々の特徴表現可視化画像に、それぞれ対応する概念が付与された情報が、特徴表現可視化情報６である。特徴表現可視化画像が二値で表現された場合の、特徴表現可視化情報６のイメージ図を図２に示す。
特徴表現部１は、機能的には、特徴マップ計算部１１と、一致率計算部１２と、クラスタリング処理部１３と、統合マップ計算部１４と、閾値計算部１５と、リサイズ処理部１６と、閾値処理部１７とを備えて構成される。
一致率計算部１２は、ＣＮＮの特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、当該フィルタｎから出力される特徴マップＡｎ（ｘ）と、当該概念ｃを表す領域との関連度を示す一致率Ｒｎ，ｃを複数の概念毎に計算する。
具体的には、一致率計算部１２は、画像集合３１と、ＣＮＮモデルを受け取った下で、ＣＮＮモデルの各フィルタについて、概念ごとに、画像集合３１に属する画像ｘの当該フィルタｎにおける特徴マップＡｎ（ｘ）の値の大きい領域と、その画像ｘに紐づいた当該概念ｃの領域を示す二値画像との一致率を出力する。
一致率計算部１２は、ＣＮＮ学習部４から受け取ったＣＮＮモデルに記憶部３に格納されている画像集合３１中の画像ｘを入力したとき、任意の層、例えば、特徴マップ計算部１１と同じ層のフィルタｎについての特徴マップＡｎ（ｘ）を収集する。ｘは１以上Ｘ以下の自然数であり、ｎは１以上Ｎ以下の自然数である。すなわち、Ｎ×Ｘ枚の特徴マップが得られる。
ここで、特徴マップＡｎ（ｘ）は行列であり、サイズはｈ×ｗとする。例えば、参考文献１のＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃと、Ｂｒｏｄｅｎ ｄａｔａｓｅｔを用いた場合であれば、画像枚数Ｘは６３，３０５枚であり、フィルタ数Ｎは２，０４８個であり、特徴マップＡｎ（ｘ）が１２９，６４８，６４０枚得られる。また、特徴マップＡｎ（ｘ）のサイズは７×７である。
次に、フィルタごとに、Ｘ枚の特徴マップに含まれるＸ×ｈ×ｗ個の値を予め定めた割合で分割するような閾値を算出する。
例えば、上述の例を用いると、あるフィルタｎについてサイズが７×７の６３，３０５枚の特徴マップＡｎ（ｘ）に含まれる値の個数の合計は、３，１０１，９４５個であり、その内上位０．５％にあたる１５，５０９番目の値を閾値とする。
最終的にフィルタ数Ｎ個の閾値が算出される。
そして、一致率計算部１２は、Ｎ×Ｘ枚の特徴マップＡｎ（ｘ）を、フィルタごとに算出したＮ個の閾値を境界として二値化し、Ｎ×Ｘ枚のマップＭｎ（ｘ）を求める。
記憶部３に格納された画像集合３１中の任意の画像ｘについて、当該画像に紐付いた概念ｃの領域を示す二値画像をＬｃ（ｘ）とする。フィルタｎにおける概念ｃについての一致率をＲｎ，ｃとすると、一致率Ｒｎ，ｃは下記式（１）より求められる。
ここで、式（１）における∩は、部分集合、∪は和集合、｜・｜は集合の濃度を示す。
一致率Ｒｎ，ｃは、フィルタごとの総和が等しくないため、フィルタごとの一致率の総和が１となるように正規化してもよい（下記式（２））。
式（２）となるように正規化する方法の一例としては、例えば下記式（３）のような方法がある。
一致率Ｒｎ，ｃは事前に算出してもよく、その場合、一致率Ｒｎ，ｃを一致率３２として記憶部３に記憶しておけばよい。記憶部３に一致率３２を記憶しているとき、一致率計算部１２は、記憶部３から一致率３２を取得するだけでよくなるため、効率的である。
そして、一致率計算部１２は、一致率Ｒｎ，ｃを、統合マップ計算部１４に出力する。
特徴マップ計算部１１は、入力画像ｘをＣＮＮに入力した際に、複数のフィルタｎの各々から出力される特徴マップＡｎ（ｘ）を計算する。
具体的には、特徴マップ計算部１１は、入力画像５の入力を受け付けると共に、ＣＮＮ学習部４からＣＮＮモデルを受け取り、ＣＮＮモデルに入力画像５を入力したときの任意の層、例えば５層目の各フィルタｎに対する特徴マップＡｎ（ｘ）を計算する。
そして、特徴マップ計算部１１は、計算した特徴マップＡｎ（ｘ）を、クラスタリング処理部１３に出力する。
クラスタリング処理部１３は、特徴マップ計算部１１により複数のフィルタの各々について計算された特徴マップを、当該特徴マップＡｎ（ｘ）の値に基づいて、複数のクラスタの何れかに分類する。
具体的には、クラスタリング処理部１３は、特徴マップ計算部１１から、ｈ×ｗのサイズの特徴マップＡｎ（ｘ）をＮ枚取得し、クラスタリングを行い、Ｎ枚の特徴マップＡｎ（ｘ）をＫ個のクラスタに分類する。
ｈ、ｗは、それぞれ特徴マップＡｎ（ｘ）の縦、横の大きさ、Ｎは当該層のフィルタ数であり、用いるＣＮＮモデル及び層によって規定される。例えば、参考文献１のＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃであれば、ｈ、ｗ、Ｎは、それぞれ７、７、２，０４８となる。
また、Ｋはクラスタ数であり、Ｋを事前に設定する必要性の有無は、用いるクラスタリング手法によって決まる。
ここで、クラスタリングとは、特徴マップＡｎ（ｘ）中の、値が大きい領域の範囲が似通った特徴マップ同士をまとめるための処理である。
クラスタリングの手法として、ｋｍｅａｎｓ法を用いた場合の一例を示す。クラスタ数はパラメータであり、任意の値を設定する。ここでは、例えばＫ＝５とする。各特徴マップＡｎ（ｘ）について特徴マップＡｎ（ｘ）中の最大要素を抽出し、特徴マップの左上端の座標を（０，０）としたときの最大要素の位置の座標を求め、この座標に基づいてクラスタリングを行う。
クラスタリング手法は、ｋｍｅａｎｓ法でなくてもよく、例えば最短距離法や、階層型クラスタリング等、種々のクラスタリング手法を採用することができる。
また、各特徴マップＡｎ（ｘ）の値の大きい領域を表す方法として最大値の座標でなくてもよく、例えば上位３点の座標を利用してもよい。
また、他にも、予め特徴マップＡｎ（ｘ）を４つの領域に分割しておき、各特徴マップＡｎ（ｘ）の最大値がそれら４つの領域の内どの領域に属するかに従って、特徴マップＡｎ（ｘ）を分類する方法がある。
そして、クラスタリング処理部１３は、Ｋ個のクラスタに分類された各フィルタの特徴マップＡｎ（ｘ）を、統合マップ計算部１４に出力する。
統合マップ計算部１４は、クラスタリング処理部１３による特徴マップＡｎ（ｘ）の分類結果と、一致率Ｒｎ，ｃとに基づいて、複数の概念ｃ毎に、複数のクラスタｋの各々について、当該クラスタｋに分類された複数の特徴マップを、当該特徴マップＡｎ（ｘ）を出力したフィルタｎの概念ｃについての一致率Ｒｎ，ｃを用いて統合した統合マップ

を計算する。
具体的には、統合マップ計算部１４は、クラスタリング処理部１３から取得したクラスタｋに分類された特徴マップＡｎ（ｘ）と、一致率計算部１２から取得した一致率Ｒｎ，ｃとに基づいて、特徴マップＡｎ（ｘ）を統合した統合マップ

を計算する。
統合マップ

は、クラスタｋごとに各概念ｃの存在する度合いを表すマップであり、特徴マップＡｎ（ｘ）を、概念ｃの一致率に基づいて、クラスタｋごとに統合することで算出できる。ここで、統合マップ

を算出する方法として、クラスタｋごと、概念ｃごとに特徴マップＡｎ（ｘ）と一致率Ｒｎ，ｃとの線形和を計算する方法がある。この場合、統合マップ計算部１４は、クラスタｋごとに、下記式（４）のようにして統合マップ

を算出する。
ここで、特徴マップＡｎ（ｘ）が属するクラスタを、γｎ，ｋで表し、特徴マップＡｎ（ｘ）がクラスタｋに属するときにγｎ，ｋ＝１、それ以外の場合はγｎ，ｋ＝０とする。
また、線形和を計算することは必ずしも必要でなく、特徴マップＡｎ（ｘ）に一致率Ｒｎ，ｃをかけたマップの要素ごとに最大値を取ることで、クラスタｋごと、概念ｃごとの統合マップ

を算出してもよい。さらに、最大値の代わりに平均値や中央値を取ってもよい。
そして、統合マップ計算部１４は、算出したＫ×Ｃ個の統合マップ

を、閾値計算部１５と、リサイズ処理部１６とに出力する。
閾値計算部１５は、複数の概念ｃ毎に、複数のクラスタｋの各々について、統合マップ計算部１４により計算された当該統合マップ

の値に基づいて、閾値を計算する。
具体的には、閾値計算部１５は、統合マップ計算部１４から統合マップ

を受け取り、クラスタｋごとの統合マップ

の値を、予め定めた割合で分割するような閾値を出力する。
例えば参考文献１のＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ−１５２の４層のｒｅｓ５ｃであれば、統合マップのサイズは７×７、概念数が１，１９８個であり、各クラスタｋの統合マップ

中の値の個数の合計は５８，７０２個であり、その内上位５％にあたる２，９３５番目の値を閾値とする。最終的にＫ個の閾値が算出される。
そして、閾値計算部１５は、算出したＫ個の閾値を、リサイズ処理部１６と、閾値処理部１７とに出力する。
リサイズ処理部１６は、複数の統合マップの各々について、当該統合マップ

のサイズを変換する。
例えば、特徴表現可視化画像と入力画像５との位置の対応を確認したい場合、リサイズ処理部１６は、統合マップ計算部１４から取得したＫ×Ｃ個の統合マップ

を、特徴マップ計算部１１で受け付けた入力画像５のサイズに変換（リサイズ）し、画像サイズの統合マップを出力する。また、特徴表現可視化画像と入力画像５との位置の対応を確認する必要が無い場合、効率化のために、リサイズ処理部１６が受け取った統合マップのサイズを変換せずに出力してもよい。
画像のリサイズ方法としては公知の方法用いれば良く、例えば、最近傍補間法やバイリニア補間法を用いれば良い。
また、効率化のために、サイズ変換をする前に統合マップ

の絞込みを行っても良い。絞込み方法は、例えば、閾値計算部１５からクラスタｋごとの閾値を取得し、閾値以上の値を含まない統合マップ

を削除する方法や、各統合マップの最大値を比較し、各クラスタで上位の予め定めた件数の統合マップ

のみを残す方法がある。
そして、リサイズ処理部１６は、リサイズした統合マップを、閾値処理部１７に出力する。
閾値処理部１７は、リサイズ処理部１６によりサイズを変換された統合マップの各々について、閾値計算部１５により計算された閾値を用いて可視化した特徴表現可視化画像と、当該統合マップ

に対応する当該概念ｃの情報との対を出力する。
具体的には、閾値処理部１７は、概念ｃ毎及びクラスタｋ毎に、リサイズ処理部１６により取得した、リサイズされた統合マップと、閾値計算部１５から取得した当該クラスタｋについての閾値を受け取り、閾値に満たない領域を０とした統合マップを特徴表現可視化画像とする。
次に、特徴表現可視化画像と対応する概念情報との対を、特徴表現可視化情報６として出力する。
特徴表現可視化画像は、閾値を満たす領域を単色で色付けした二値化画像でも、閾値を満たす領域の値に基づいて濃度変化を表現したヒートマップ画像でもよい。
そして、閾値処理部１７は、特徴表現可視化情報６を出力する。
＜本発明の実施の形態に係る特徴表現装置の作用＞
図３は、本発明の実施の形態に係る特徴表現処理ルーチンを示すフローチャートである。また、図４は、特徴表現処理ルーチンの各ステップにおける出力データのサイズを示す図である。
まず、ＣＮＮ学習部４は、画像ＤＢ２から画像集合２１を受け取り、画像中に存在する物体を識別するためのＣＮＮを学習する。そして、特徴マップ計算部１１に入力画像５が入力されると、図３に示す特徴表現処理ルーチンが実行される。
まず、ステップＳ２０１において、一致率計算部１２が、ＣＮＮの特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、当該フィルタｎから出力される特徴マップＡｎ（ｘ）と、当該概念ｃを表す領域との関連度を示す一致率Ｒｎ，ｃを複数の概念毎に計算する。出力される一致率Ｒｎ，ｃのサイズはＯ３０１の示すようになる。
次に、ステップＳ２０２において、特徴マップ計算部１１は、入力画像５をＣＮＮに入力した際に、複数のフィルタの各々から出力される特徴マップＡｎ（ｘ）を計算する。出力される特徴マップＡｎ（ｘ）のサイズはＯ３０２に示すようになる。
ステップＳ２０３において、クラスタリング処理部１３は、上記ステップＳ２０２により得られた複数のフィルタの各々について計算された特徴マップを、当該特徴マップＡｎ（ｘ）の値に基づいて、複数のクラスタの何れかに分類する。出力される分類結果のサイズは、Ｏ３０３に示すようになる。
ステップＳ２０４において、統合マップ計算部１４は、上記ステップＳ２０３により得られた特徴マップＡｎ（ｘ）の分類結果と、一致率Ｒｎ，ｃとに基づいて、複数の概念ｃ毎に、複数のクラスタｋの各々について、当該クラスタｋに分類された複数の特徴マップを、当該特徴マップＡｎ（ｘ）を出力したフィルタｎの概念ｃについての一致率Ｒｎ，ｃを用いて統合した統合マップ

を計算する。出力される統合マップ

のサイズは、Ｏ３０４に示すようになる。
ステップＳ２０５において、閾値計算部１５は、複数の概念ｃ毎に、複数のクラスタｋの各々について、上記ステップＳ２０４により得られた当該統合マップ

の値に基づいて、閾値を計算する。出力される閾値のサイズは、Ｏ３０５に示すようになる。
ステップＳ２０６において、リサイズ処理部１６は、上記ステップＳ２０４により得られた複数の統合マップの各々について、当該統合マップ

のサイズを変換する。出力される変換後の統合マップのサイズは、Ｏ３０６に示すようになる。
ステップＳ２０７において、閾値処理部１７は、上記ステップＳ２０６により得られたサイズを変換された統合マップの各々について、上記ステップ２０５により得られた閾値を用いて可視化した特徴表現可視化画像と、当該統合マップ

に対応する当該概念ｃの情報との対である特徴表現可視化情報６を出力する。出力される特徴表現可視化情報６のサイズはＯ３０７に示すようになる。
以上説明したように、本実施形態に係る特徴表現装置によれば、ＣＮＮの特定の層で用いられる複数のフィルタについて、予め定義した複数の概念を表す領域が求められた複数の画像を入力とした時の、当該フィルタから出力される特徴マップと、概念を表す領域との関連度を示す一致率を概念毎に計算し、入力画像をＣＮＮに入力した際に、複数のフィルタから出力される特徴マップを、当該特徴マップの値に基づいて各クラスタに分類した結果と、一致率とに基づいて、概念毎に、複数のクラスタについて、当該特徴マップを出力したフィルタの概念についての一致率を用いて統合した統合マップを計算し、統合マップの値に基づく閾値を用いて可視化した特徴表現可視化画像と、当該統合マップに対応する当該概念の情報との対を出力することにより、ＣＮＮが入力画像の識別に用いた画像中の特徴を効率的に表現することができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
１ 特徴表現部
２ 画像ＤＢ
３ 記憶部
４ ＣＮＮ学習部
５ 入力画像
６ 特徴表現可視化情報
１１ 特徴マップ計算部
１２ 一致率計算部
１３ クラスタリング処理部
１４ 統合マップ計算部
１５ 閾値計算部
１６ リサイズ処理部
１７ 閾値処理部
２１ 画像集合
３１ 画像集合
３２ 一致率
１００ 特徴表現装置

Claims (8)

  1. 入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現装置であって、
    前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算する一致率計算部と、
    前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算する特徴マップ計算部と、
    前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類するクラスタリング処理部と、
    前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算する統合マップ計算部と、
    前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算する閾値計算部と、
    前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する閾値処理部と、
    を含む特徴表現装置。
  2. 前記統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合する
    請求項１記載の特徴表現装置。
  3. 前記複数の統合マップの各々について、前記統合マップのサイズを変換するリサイズ処理部
    を更に含み、
    前記閾値処理部は、前記リサイズ処理部によりサイズを変換された前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する
    請求項１又は２記載の特徴表現装置。
  4. 入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現装置であって、
    予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する特徴表現部
    を含む特徴表現装置。
  5. 入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層が捉えた特徴を表現する情報を出力する特徴表現方法であって、
    一致率計算部が、前記ＣＮＮの前記特定の層で用いられる複数のフィルタの各々について、予め定義した複数の概念の各々を表す領域が求められた複数の画像の各々を入力とした時の、前記フィルタから出力される特徴マップと、前記概念を表す領域との関連度を示す一致率を前記複数の概念毎に計算し、
    特徴マップ計算部が、前記入力画像を前記ＣＮＮに入力した際に、前記複数のフィルタの各々から出力される特徴マップを計算し、
    クラスタリング処理部が、前記特徴マップ計算部により前記複数のフィルタの各々について計算された前記特徴マップを、前記特徴マップの値に基づいて、複数のクラスタの何れかに分類し、
    統合マップ計算部が、前記クラスタリング処理部による前記特徴マップの分類結果と、前記一致率とに基づいて、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップを、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いて統合した統合マップを計算し、
    閾値計算部が、前記複数の概念毎に、前記複数のクラスタの各々について、前記統合マップ計算部により計算された前記統合マップの値に基づいて、閾値を計算し、
    閾値処理部が、前記統合マップの各々について、前記閾値を用いて可視化した特徴表現可視化画像と、前記統合マップに対応する前記概念の情報との対を出力する
    特徴表現方法。
  6. 前記統合マップ計算部は、前記複数の概念毎に、前記複数のクラスタの各々について、前記クラスタに分類された複数の特徴マップの、前記特徴マップを出力したフィルタの前記概念についての前記一致率を用いた線形和により統合する
    請求項５記載の特徴表現方法。
  7. 入力画像に対して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の特定の層で捉えた特徴を表現する情報を出力する特徴表現方法であって、
    特徴表現部が、予め定義した複数の概念の各々を表す領域が予め求められた複数の画像の各々に基づいて、前記複数の概念の各々について、前記概念の情報と、前記ＣＮＮの前記特定の層で前記概念について注目した領域を可視化した特徴表現可視化画像との対を出力する
    特徴表現方法。
  8. コンピュータを、請求項１乃至４の何れか１項記載の特徴表現装置の各部として機能させるためのプログラム。
JP2018031292A 2018-02-23 2018-02-23 特徴表現装置、特徴表現方法、およびプログラム Active JP6992590B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018031292A JP6992590B2 (ja) 2018-02-23 2018-02-23 特徴表現装置、特徴表現方法、およびプログラム
US16/971,635 US11416710B2 (en) 2018-02-23 2019-02-25 Feature representation device, feature representation method, and program
PCT/JP2019/007026 WO2019163985A1 (ja) 2018-02-23 2019-02-25 特徴表現装置、特徴表現方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018031292A JP6992590B2 (ja) 2018-02-23 2018-02-23 特徴表現装置、特徴表現方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019145040A true JP2019145040A (ja) 2019-08-29
JP6992590B2 JP6992590B2 (ja) 2022-01-13

Family

ID=67688397

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018031292A Active JP6992590B2 (ja) 2018-02-23 2018-02-23 特徴表現装置、特徴表現方法、およびプログラム

Country Status (3)

Country Link
US (1) US11416710B2 (ja)
JP (1) JP6992590B2 (ja)
WO (1) WO2019163985A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881994A (zh) * 2020-08-03 2020-11-03 杭州睿琪软件有限公司 识别处理方法及设备和非暂态计算机可读存储介质
JP7365261B2 (ja) 2020-01-07 2023-10-19 株式会社ゼンリン コンピュータシステムおよびプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507800B2 (en) 2018-03-06 2022-11-22 Adobe Inc. Semantic class localization digital environment
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11347965B2 (en) 2019-03-21 2022-05-31 Illumina, Inc. Training data generation for artificial intelligence-based sequencing
US11494616B2 (en) * 2019-05-09 2022-11-08 Shenzhen Malong Technologies Co., Ltd. Decoupling category-wise independence and relevance with self-attention for multi-label image classification
US11593649B2 (en) 2019-05-16 2023-02-28 Illumina, Inc. Base calling using convolutions
JP7458741B2 (ja) * 2019-10-21 2024-04-01 キヤノン株式会社 ロボット制御装置及びその制御方法及びプログラム
US20210133213A1 (en) * 2019-10-31 2021-05-06 Vettd, Inc. Method and system for performing hierarchical classification of data
CN111430024B (zh) * 2020-01-06 2023-07-11 中南大学 一种用于疾病程度分类的数据决策方法及其系统
EP3862926A1 (en) * 2020-02-10 2021-08-11 Robert Bosch GmbH Method of identifying filters in a neural network, system and storage medium of the same
IL295560A (en) 2020-02-20 2022-10-01 Illumina Inc An artificial intelligence-based many-to-many base reader
CN111666861A (zh) * 2020-06-01 2020-09-15 浙江工业大学 一种适用于基于卷积神经网络的无线信号调制分类器可视化方法
US11914641B2 (en) * 2021-02-26 2024-02-27 Adobe Inc. Text to color palette generator
US20220336054A1 (en) 2021-04-15 2022-10-20 Illumina, Inc. Deep Convolutional Neural Networks to Predict Variant Pathogenicity using Three-Dimensional (3D) Protein Structures
US11756239B2 (en) 2021-04-26 2023-09-12 Adobe, Inc. Multi-modal image color segmenter and editor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005520A (ja) * 2001-05-30 2008-01-10 Victor Co Of Japan Ltd Ｍｐｅｇデータ記録再生装置
JP2017062781A (ja) * 2015-09-22 2017-03-30 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
JP2017091525A (ja) * 2015-11-03 2017-05-25 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9461876B2 (en) * 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
JP5756443B2 (ja) 2012-09-25 2015-07-29 日本電信電話株式会社 画像分類装置及び画像識別装置並びにプログラム
US20180247549A1 (en) * 2017-02-21 2018-08-30 Scriyb LLC Deep academic learning intelligence and deep neural language network system and interfaces
US10437252B1 (en) * 2017-09-08 2019-10-08 Perceptln Shenzhen Limited High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) * 2017-09-08 2020-10-06 Perceptin Shenzhen Limited High-precision multi-layer visual and semantic map by autonomous units
US11347965B2 (en) * 2019-03-21 2022-05-31 Illumina, Inc. Training data generation for artificial intelligence-based sequencing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005520A (ja) * 2001-05-30 2008-01-10 Victor Co Of Japan Ltd Ｍｐｅｇデータ記録再生装置
JP2017062781A (ja) * 2015-09-22 2017-03-30 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 深層ｃｎｎプーリング層を特徴として用いる、類似度に基づく重要な対象の検知
JP2017091525A (ja) * 2015-11-03 2017-05-25 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーＢａｉｄｕ ＵＳＡ ＬＬＣ 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVID BAU 外4名: "Network Dissection: Quantifying Interpretability of Deep Visual Representations", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. [ONLINE], JPN6021017305, 2017, pages 3319 - 3327, XP033249680, ISSN: 0004507160, DOI: 10.1109/CVPR.2017.354 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7365261B2 (ja) 2020-01-07 2023-10-19 株式会社ゼンリン コンピュータシステムおよびプログラム
CN111881994A (zh) * 2020-08-03 2020-11-03 杭州睿琪软件有限公司 识别处理方法及设备和非暂态计算机可读存储介质
CN111881994B (zh) * 2020-08-03 2024-04-05 杭州睿琪软件有限公司 识别处理方法及设备和非暂态计算机可读存储介质

Also Published As

Publication number Publication date
WO2019163985A1 (ja) 2019-08-29
JP6992590B2 (ja) 2022-01-13
US11416710B2 (en) 2022-08-16
US20210089827A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
WO2019163985A1 (ja) 特徴表現装置、特徴表現方法、およびプログラム
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
WO2021022970A1 (zh) 一种基于多层随机森林的零部件识别方法及系统
JP5823270B2 (ja) 画像認識装置及び方法
CN108805170A (zh) 形成用于全监督式学习的数据集
CN107203775B (zh) 一种图像分类的方法、装置和设备
JP2017004480A (ja) 顕著性情報取得装置及び顕著性情報取得方法
TWI567660B (zh) 多類別物件分類方法及系統
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
CN107730553B (zh) 一种基于伪真值搜寻法的弱监督物体检测方法
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
Li et al. Robust vehicle detection in high-resolution aerial images with imbalanced data
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
JP2019211913A (ja) 特徴量抽出装置、方法、及びプログラム
CN108647703B (zh) 一种基于显著性的分类图像库的类型判断方法
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
WO2007026951A1 (ja) 画像検索方法及び装置
CN112785595B (zh) 目标属性检测、神经网络训练及智能行驶方法、装置
Shah Face detection from images using support vector machine
JP6194260B2 (ja) 画像分類装置、画像分類方法及び画像分類プログラム
JP2018013887A (ja) 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム
Virupakshappa et al. Traffic sign recognition based on prevailing bag of visual words representation on feature descriptors
Altaei et al. Satellite image classification using multi features based descriptors
Calarasanu et al. From text detection to text segmentation: a unified evaluation scheme

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6992590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150