JP2021076927A - 解析装置、解析プログラム及び解析方法 - Google Patents

解析装置、解析プログラム及び解析方法 Download PDF

Info

Publication number
JP2021076927A
JP2021076927A JP2019200866A JP2019200866A JP2021076927A JP 2021076927 A JP2021076927 A JP 2021076927A JP 2019200866 A JP2019200866 A JP 2019200866A JP 2019200866 A JP2019200866 A JP 2019200866A JP 2021076927 A JP2021076927 A JP 2021076927A
Authority
JP
Japan
Prior art keywords
image
unit
inference
map
refined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019200866A
Other languages
English (en)
Other versions
JP7363384B2 (ja
Inventor
智規 久保田
Tomonori Kubota
智規 久保田
鷹詔 中尾
Takanori Nakao
鷹詔 中尾
康之 村田
Yasuyuki Murata
康之 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019200866A priority Critical patent/JP7363384B2/ja
Priority to US17/063,742 priority patent/US11341361B2/en
Publication of JP2021076927A publication Critical patent/JP2021076927A/ja
Application granted granted Critical
Publication of JP7363384B2 publication Critical patent/JP7363384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】誤推論の原因となる画像箇所を特定する際の精度を向上させることができる解析装置、解析プログラム及び解析方法を提供する。【解決手段】解析装置は、画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成する注目度合いマップ生成部と、誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する可視化部と、を有する。【選択図】図１

Description

本発明は、解析装置、解析プログラム及び解析方法に関する。
近年、ＣＮＮ（Convolutional Neural Network）を用いた画像認識処理において、誤ったラベルが推論された場合の誤推論の原因を解析する解析技術が提案されている。一例として、スコア最大化法（Activation Maximization）が挙げられる。また、画像認識処理において推論時に注目される画像箇所を解析する解析技術が提案されている。一例として、Ｇｒａｄ−ＣＡＭ法、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法等が挙げられる。
スコア最大化法は、推論の正解ラベルが最大スコアとなるように入力画像を変更した際の変更部分を、誤推論の原因となる画像箇所として特定する方法である。また、Ｇｒａｄ−ＣＡＭ法は、推論したラベルから逆伝播した情報を用いて推論の際の注目部分を算出し、ヒートマップにより可視化する方法である。更に、ＢＰ法、ＧＢＰ法は、推論したラベルから逆伝播し、入力画像までたどることで、推論の際に反応した特徴部分を可視化する方法である。
特開２０１８−０９７８０７号公報 特開２０１８−０４５３５０号公報 Ramprasaath R. Selvariju, et al.: Grad-cam: Visual explanations from deep networks via gradient-based localization. The IEEE International Conference on Computer Vision (ICCV), pp. 618-626, 2017.
しかしながら、上述した解析技術の場合、いずれも誤推論の原因となる画像箇所を十分な精度で特定することができないという問題がある。
一つの側面では、誤推論の原因となる画像箇所を特定する際の精度を向上させることを目的としている。
一態様によれば、解析装置は、
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成する注目度合いマップ生成部と、
前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する可視化部とを有する。
誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
解析装置の機能構成の一例を示す図である。 解析装置のハードウェア構成の一例を示す図である。 誤推論原因抽出部の機能構成の一例を示す第１の図である。 画像リファイナ部の処理の具体例を示す図である。 推論部の処理の具体例を示す図である。 リファイン画像に含まれるオブジェクトの位置及び大きさの算出方法の一例を示す図である。 リファイン画像に含まれるオブジェクトの存在確率の一例を示す図である。 リファイン画像に含まれるオブジェクトのＩｏＵの算出方法の一例を示す図である。 誤差演算部の処理の具体例を示す図である。 注目度合いマップ生成部の処理の具体例を示す図である。 詳細原因解析部の機能構成の一例を示す第１の図である。 詳細原因解析部の処理の具体例を示す第１の図である。 誤推論原因抽出処理の流れを示す第１のフローチャートである。 スコア最大化リファイン画像生成処理の流れを示すフローチャートである。 詳細原因解析処理の流れを示す第１のフローチャートである。 誤推論原因抽出処理の具体例を示す第１の図である。 誤推論原因抽出部の機能構成の一例を示す第２の図である。 重要特徴指標マップ生成部の処理の具体例を示す図である。 選択的ＢＰ法を用いた重要特徴マップの生成方法の一例を示す図である。 スーパーピクセル分割部の処理の具体例を示す図である。 重要スーパーピクセル決定部の処理の具体例を示す図である。 絞り込み部の処理の具体例を示す図である。 詳細原因解析部の機能構成の一例を示す第２の図である。 詳細原因解析部の処理の具体例を示す第２の図である。 誤推論原因抽出処理の流れを示す第２のフローチャートである。 オブジェクト単位絞り込み重要スーパーピクセル抽出処理の流れを示すフローチャートである。 詳細原因解析処理の流れを示す第２のフローチャートである。 誤推論原因抽出処理の具体例を示す第２の図である。 絞り込み部の処理の詳細を示す第１の図である。 絞り込み部の処理の詳細を示す第２の図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜解析装置の機能構成＞
はじめに、第１の実施形態に係る解析装置の機能構成について説明する。図１は、解析装置の機能構成の一例を示す図である。解析装置１００には、解析プログラムがインストールされており、当該プログラムが実行されることで、解析装置１００は、推論部１１０、誤推論画像抽出部１２０、誤推論原因抽出部１４０として機能する。
推論部１１０は、学習済みのＣＮＮを用いて画像認識処理を行う。具体的には、推論部１１０は、入力画像１０が入力されることで、入力画像１０に含まれるオブジェクト（推論対象）の種類（本実施形態では、車両の種類）を示すラベルを推論し、推論したラベルを出力する。
誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの種類を示すラベル（正解ラベル）と、推論部１１０により推論されたラベルとが一致するか否かを判定する。また、誤推論画像抽出部１２０は、一致しないと判定した（誤ったラベルが推論された）入力画像を、"誤推論画像"として抽出し、誤推論画像格納部１３０に格納する。
あるいは、誤推論画像抽出部１２０は、入力画像１０に含まれるオブジェクトの正解位置と、推論部１１０により推論されたオブジェクトの位置とが一致するか否かを判定する。また、誤推論画像抽出部１２０は、オブジェクトの正解位置と、推論されたオブジェクトの位置とがずれていると判定された入力画像、または、オブジェクトの位置が推論されなかった入力画像を、"誤推論画像"として抽出し、誤推論画像格納部１３０に格納する。なお、オブジェクトの正解位置は、例えば、入力画像１０に教師情報として付加されていてもよいし、正しく推論できる状態で推論することで取得してもよい。あるいは、他の手段を用いてオブジェクトの正解位置を特定してもよい。
誤推論原因抽出部１４０は、誤推論画像について、誤推論の原因となる画像箇所を特定し、作用結果画像を出力する。具体的には、誤推論原因抽出部１４０は、リファイン画像生成部１４１と、注目度合いマップ生成部１４２と、詳細原因解析部１４３とを有する。
リファイン画像生成部１４１は画像生成部の一例である。リファイン画像生成部１４１は、誤推論画像格納部１３０に格納された誤推論画像を読み出す。また、リファイン画像生成部１４１は、読み出した誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。
注目度合いマップ生成部１４２は、誤推論の原因を解析する既知の解析技術等を用いて、推論時に注目した注目度合いが同レベルとなる画素の領域を示すヒートマップ（以下、注目度合いマップと称す）を生成する。
詳細原因解析部１４３は可視化部の一例であり、誤推論画像とリファイン画像とに基づいて演算される画像のうち、注目度合いマップ生成部１４２により生成された注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理する。これにより、詳細原因解析部１４３では、誤推論の原因となる画像箇所を可視化した作用結果画像を出力する。
このように、誤推論画像とリファイン画像とに基づいて演算される画像のうち、注目度合いマップの所定レベルの領域について、画素単位で強度調整処理することで、誤推論の原因となる画像箇所を精度よく特定することができる。
＜解析装置のハードウェア構成＞
次に、解析装置１００のハードウェア構成について説明する。図２は、解析装置のハードウェア構成の一例を示す図である。図２に示すように、解析装置１００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。
また、解析装置１００は、補助記憶装置２０４、表示装置２０５、操作装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、解析装置１００の各ハードウェアは、バス２０９を介して相互に接続されている。
ＣＰＵ２０１は、補助記憶装置２０４にインストールされている各種プログラム（例えば、解析プログラム等）を実行する演算デバイスである。なお、図２には示していないが、演算デバイスとしてアクセラレータ（例えば、ＧＰＵ（Graphics Processing Unit）など）を組み合わせてもよい。
ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４にインストールされている各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ２０３は、補助記憶装置２０４にインストールされている各種プログラムがＣＰＵ２０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、誤推論画像格納部１３０は、補助記憶装置２０４において実現される。
表示装置２０５は、誤推論原因情報等を含む各種表示画面を表示する表示デバイスである。操作装置２０６は、解析装置１００のユーザが解析装置１００に対して各種指示を入力するための入力デバイスである。
Ｉ／Ｆ装置２０７は、例えば、不図示のネットワークと接続するための通信デバイスである。
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。あるいは、補助記憶装置２０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。
＜誤推論原因抽出部の機能構成＞
次に、第１の実施形態に係る解析装置１００において実現される機能のうち、誤推論原因抽出部１４０の機能構成の詳細について説明する。図３は、誤推論原因抽出部の機能構成の一例を示す図である。以下、誤推論原因抽出部１４０の各部（ここでは、リファイン画像生成部１４１、注目度合いマップ生成部１４２）の詳細について説明する。
（１）リファイン画像生成部の詳細
はじめに、リファイン画像生成部１４１の詳細について説明する。図３に示すように、リファイン画像生成部１４１は、画像リファイナ部３０１、画像誤差演算部３０２、推論部３０３、誤差演算部３０４を有する。
画像リファイナ部３０１は、例えば、画像の生成モデルとしてＣＮＮを用いて、誤推論画像からリファイン画像を生成する。
なお、画像リファイナ部３０１では、生成したリファイン画像を用いて推論した際に、正解ラベルのスコアが最大となるように、誤推論画像を変更する。また、画像リファイナ部３０１では、画像の生成モデルを用いてリファイン画像を生成するにあたり、例えば、誤推論画像に含まれるオブジェクトに関する情報が、オブジェクトに関する正解情報に近づくように、リファイン画像を生成する。更に、画像リファイナ部３０１では、画像の生成モデルを用いてリファイン画像を生成するにあたり、例えば、誤推論画像からの変更量（リファイン画像と誤推論画像との差分）が小さくなるように、リファイン画像を生成する。
より具体的には、画像リファイナ部３０１では、
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差と、
・生成したリファイン画像を用いてラベルを推論した際のオブジェクト（推論対象）に関する情報と、正解ラベルのオブジェクトに関する正解情報との誤差であるオブジェクト誤差と、
・生成したリファイン画像と誤推論画像との差分である画像差分値（例えば、画像差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）やそれらの組み合わせ）と、
が最小化するようにＣＮＮの学習を行う。
画像誤差演算部３０２は、誤推論画像と、学習中に画像リファイナ部３０１より出力されるリファイン画像との差分を算出し、画像差分値を、画像リファイナ部３０１に入力する。画像誤差演算部３０２では、例えば、画素ごとの差分（Ｌ１差分）演算やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部３０１に入力する。
推論部３０３は、学習済みのＣＮＮを用いて画像認識処理を行う。推論部３０３が有する学習済みのＣＮＮは、画像リファイナ部３０１により生成されたリファイン画像（またはスコア最大化リファイン画像）を入力してラベルを推論し、スコアを出力する。
また、推論部３０３は、リファイン画像を入力してラベルを推論する際、リファイン画像に含まれるオブジェクトに関する情報を算出し、スコアとともに、誤差演算部３０４に通知する。
誤差演算部３０４は、推論部３０３より通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差を算出し、画像リファイナ部３０１に通知する。また、誤差演算部３０４は、推論部３０３より通知されたオブジェクトに関する情報と、正解ラベルのオブジェクトに関する正解情報との誤差であるオブジェクト誤差を算出し、画像リファイナ部３０１に通知する。
誤差演算部３０４により通知されたスコア誤差及びオブジェクト誤差は、画像誤差演算部３０２により通知された画像差分値とともに、画像リファイナ部３０１において、ＣＮＮの学習に用いられる。
なお、画像リファイナ部３０１が有するＣＮＮの学習中に画像リファイナ部３０１から出力されるリファイン画像は、リファイン画像格納部３０５に格納される。画像リファイナ部３０１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、あるいは、
・オブジェクト誤差が所定の閾値より小さくなるまで、
行われる。これにより、推論部３０３より出力される正解ラベルのスコアが最大化した際のリファイン画像であるスコア最大化リファイン画像が、リファイン画像格納部３０５に格納される。
（２）注目度合いマップ生成部の詳細
次に、注目度合いマップ生成部１４２の詳細について説明する。図３に示すように、注目度合いマップ生成部１４２は、注目領域導出部３１１を有する。
注目領域導出部３１１は、推論部３０３がスコア最大化リファイン画像を用いて正解ラベルを推論した際の、推論部構造情報（ＣＮＮのネットワークの構造、モデルパラメータ等）と特徴マップとを、推論部３０３より取得する。
また、注目領域導出部３１１は、Ｇｒａｄ−ＣＡＭ法を用いることで、推論部構造情報及び特徴マップに基づいて、誤推論画像上の各画素の注目度合いを算出し、注目度合いマップを生成する。
具体的には、注目領域導出部３１１は、推論部構造情報と特徴マップとに基づいて、以下の手順により、注目度合いマップを生成する。
・推論部３０３が推論したラベルから、そのラベルのみ誤差があるとして逆伝播し、畳み込み最終層、あるいは、選択した層で得られる勾配情報についてチャネルごとに平均値を求め、各チャネルの重要度を決定する。
・各チャネルの特徴マップに重要度を重みとして乗算し、全てのチャネルの同一座標の値を足し合わせた結果に、活性化関数（ＲｅＬＵ）を適用することで正値のみの画像を生成する。
・生成した画像において、画素値が大きい（勾配が大きい）注目部分をヒートマップ（注目度合いが同レベルとなる画素の領域を示すマップ）により可視化することで、注目度合いマップを生成する。
なお、注目領域導出部３１１は、生成した注目度合いマップを、注目度合いマップ格納部３１２に格納する。
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部（リファイン画像生成部１４１、注目度合いマップ生成部１４２、詳細原因解析部１４３）の処理の具体例について説明する。なお、以下では、誤推論画像内に、推論対象として、複数のオブジェクト（本実施形態では複数の車両）が含まれているものとして説明を行う。
（１）リファイン画像生成部の処理の具体例
はじめに、リファイン画像生成部１４１の各部（ここでは、画像リファイナ部３０１、推論部３０３、誤差演算部３０４）の処理の具体例について説明する。
（１−１）画像リファイナ部の処理の具体例
図４は、画像リファイナ部の処理の具体例を示す図である。図４に示すように、画像リファイナ部３０１に、誤推論画像４１０が入力されると、画像リファイナ部３０１では、入力された誤推論画像４１０に含まれる、それぞれのオブジェクト（車両４１１、４１２）についてスコア最大化リファイン画像を生成する。
なお、図４において、
・車両４１１は、正解ラベル＝"車種Ａ"のところ、"車種Ｂ"と誤推論した車両、
・車両４１２は、正解ラベル＝"車種Ｂ"のところ、"車種Ｃ"と誤推論した車両、
であるとする。
画像リファイナ部３０１では、車両４１１、車両４１２について、スコア最大化リファイン画像を生成する際、２通りの生成方法（第１及び第２の生成方法）のうちのいずれかの生成方法を選択的に実行する。
画像リファイナ部３０１が実行する第１の生成方法は、誤推論画像に含まれる全てのオブジェクトの正解ラベルのスコアが最大化するように、スコア最大化リファイン画像を生成する方法である。
図４（ａ）は、画像リファイナ部３０１が、誤推論画像４１０に対して、第１の生成方法によりスコア最大化リファイン画像を生成した様子を示している。図４（ａ）の例の場合、
・車両４１１のヘッドライト４２１の色、道路標示４２２の色、車両４１１のフロントグリルの色、車両４１１のフロントグリル４２３と左側ヘッドライト４２１との間の車体４２４の色、
・車両４１２のフロントグリル４２５の色、道路標示４２６の色、
を変更することで、車両４１１を"車種Ａ"、車両４１２を"車種Ｂ"と正しく推論することが可能な、１のスコア最大化リファイン画像４２０が生成された様子を示している。
一方、画像リファイナ部３０１が実行する第２の生成方法は、誤推論画像に含まれるオブジェクトごとに、スコアが最大化するように、スコア最大化リファイン画像を生成する方法である。第２の生成方法によれば、誤推論画像に含まれるオブジェクトの数に応じた数のスコア最大化リファイン画像が生成される。
図４（ｂ−１）は、画像リファイナ部３０１が、誤推論画像４１０に含まれる車両４１１に対して、第２の生成方法によりスコア最大化リファイン画像を生成した様子を示している。図４（ｂ−１）の例の場合、車両４１１のヘッドライト４２１の色を変更することで、車両４１１を"車種Ａ"と正しく推論することが可能なスコア最大化リファイン画像４３０が生成された様子を示している。
また、図４（ｂ−２）は、画像リファイナ部３０１が、誤推論画像４１０に含まれる車両４１２に対して、第２の生成方法によりスコア最大化リファイン画像を生成した様子を示している。図４（ｂ−２）の例の場合、車両４１２のフロントグリル４２５の色を変更することで、車両４１２を"車種Ｂ"と正しく推論することが可能なスコア最大化リファイン画像４４０が生成された様子を示している。
（１−２）推論部の処理の具体例
図５は、推論部の処理の具体例を示す図である。図５の例の場合、画像リファイナ部３０１において、第１の生成方法により生成されたリファイン画像５００（スコア最大化リファイン画像を生成する途中過程で生成されるリファイン画像）を推論部３０３に入力した様子を示している。
図５に示すように、推論部３０３では、車両４１１のラベル、スコアに加えて、車両４１１に関する情報として、"位置及び大きさ"、"存在確率"、"ＩｏＵ"、"Ｐｒ"を算出する。同様に、推論部３０３では、車両４１２のラベル、スコアに加えて、車両４１２に関する情報として、"位置及び大きさ"、"存在確率"、"ＩｏＵ"、"Ｐｒ"を算出する。
以下、推論部３０３が算出する、オブジェクトに関する情報（車両４１１、４１２に関する情報）について、図６〜図８を用いて詳説する。
（ｉ）位置及び大きさ
図６は、リファイン画像に含まれるオブジェクトの位置及び大きさの算出方法の一例を示す図である。推論部３０３では、リファイン画像５００に含まれるオブジェクト（車両４１１、４１２）の外接矩形６０１、６０２を特定することで、オブジェクトの位置及び大きさを算出する。
なお、推論部３０３は、オブジェクトの位置及び大きさの算出方法として、３通りの算出方法（第１乃至第３の算出方法）を有しており、いずれかの算出方法により、オブジェクトの位置及び大きさを算出するものとする。
推論部３０３が有する第１の算出方法は、外接矩形６０１、６０２それぞれの、左上頂点の座標、右下頂点の座標を算出する方法である。第１の算出方法によれば、符号６１１に示すように、
・車両４１２の位置及び大きさとして、（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）が、
・車両４１１の位置及び大きさとして、（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）が、
それぞれ算出される。
一方、推論部３０３が有する第２の算出方法は、外接矩形６０１、６０２それぞれの、特定の位置からの左上頂点までの距離、右下頂点までの距離を算出する方法である。第２の算出方法によれば、符号６１２に示すように、
・車両４１２の位置及び大きさとして、ｄｘ１１、ｄｙ１１、ｄｘ１２、ｄｙ１２が、
・車両４１１の位置及び大きさとして、ｄｘ２１、ｄｙ２１、ｄｘ２２、ｄｙ２２が、
それぞれ算出される。
一方、推論部３０３が有する第３の算出方法は、外接矩形６０１、６０２それぞれの、左上頂点の座標、高さ、幅を算出する方法である。第３の算出方法によれば、符号６１３に示すように、
・車両４１２の位置及び大きさとして、（ｘ１，ｙ１）、ｈ１、ｗ１が、
・車両４１１の位置及び大きさとして、（ｘ２，ｙ２）、ｈ２、ｗ２が、
それぞれ算出される。
なお、図６では、３通りの算出方法を例示したが、推論部３０３は、図６に示した算出方法以外の算出方法により、リファイン画像内のオブジェクトの位置及び大きさを算出してもよい。
例えば、第２の算出方法では、特定の位置を基準としたが、特定の位置として、基準となる矩形の左上頂点を用いてもよい（第４の算出方法）。
また、第３の算出方法では、外接矩形の左上頂点の座標を算出したが、外接矩形の中心位置の座標を算出してもよい（第５の算出方法）。
（ｉｉ）存在確率
図７は、リファイン画像に含まれるオブジェクトの存在確率の一例を示す図である。推論部３０３では、リファイン画像５００を複数のブロックに分割して、それぞれのブロックにおいてオブジェクトが存在する確率を算出することができる。
図７において、符号７００は、破線で示すそれぞれのブロックについて、車両４１１、４１２の存在確率を算出した様子を示している。
（ｉｉｉ）ＩｏＵ及びＰｒ
ＩｏＵ（Intersection over Union）は、推論部３０３がリファイン画像５００において、車両４１１、４１２を正しく検出できたか否かを示す評価指標である。図８は、リファイン画像に含まれるオブジェクトのＩｏＵの算出方法の一例を示す図である。図８に示すように、推論部３０３において推論された車両４１１の外接矩形６０１に対して、正解外接矩形８０１が与えられたとすると、車両４１１のＩｏＵは、下式により算出することができる。
（式１）
車両４１１のＩｏＵ＝ＡｏＯ１／ＡｏＵ１
ただし、ＡｏＯ１は、推論部３０３において推論された車両４１１の外接矩形６０１と、正解外接矩形８０１とが重なっている部分の面積を指す。また、ＡｏＵ１は、推論部３０３において推論された車両４１１の外接矩形６０１と、正解外接矩形８０１との和集合の面積を指す。
同様に、推論部３０３において推論された車両４１２の外接矩形６０２に対して、正解外接矩形８０２が与えられたとすると、車両４１２のＩｏＵは、下式により算出することができる。
（式２）
車両４１２のＩｏＵ＝ＡｏＯ２／ＡｏＵ２
ただし、ＡｏＯ２は、推論部３０３において推論された車両４１２の外接矩形６０２と、正解外接矩形８０２とが重なっている部分の面積を指す。また、ＡｏＵ２は、推論部３０３において推論された車両４１２の外接矩形６０２と、正解外接矩形８０２との和集合の面積を指す。
一方、Ｐｒは、推論部３０３において推論された車両４１１（または４１２）の外接矩形６０１（または６０２）に、車両４１１（または４１２）が含まれる確率を指す。なお、車両４１１、４１２のＩｏＵと、Ｐｒとをかけ合わせることで、推論部３０３において推論された車両４１１（または４１２）の外接矩形６０１（または６０２）の信頼度を算出することができる。
（１−３）誤差演算部の処理の具体例
図９は、誤差演算部の処理の具体例を示す図である。図９に示すように、誤差演算部３０４には、リファイン画像が入力されることで推論部３０３がラベルを推論した際に算出した、スコア、オブジェクトに関する情報（位置及び大きさ、存在確率、ＩｏＵ、Ｐｒ）が入力される。
図９に示すように、誤差演算部３０４では、入力されるスコア、オブジェクトに関する情報を用いて、スコア誤差、オブジェクト誤差を算出する。具体的には、誤差演算部３０４では、
・生成したリファイン画像を用いて推論した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差であるスコア誤差、
・生成したリファイン画像を用いてラベルを推論した際のオブジェクトに関する情報と、正解ラベルのオブジェクトに関する正解情報との誤差であるオブジェクト誤差として、
・位置及び大きさの誤差、
・存在確率の誤差（＝（オブジェクトが存在する領域の存在確率と１．０との差分）＋（オブジェクトが存在しない領域の存在確率と０．０との差分））、
・信頼度（＝ＩｏＵ×Ｐｒ）、
を算出する。
なお、誤差演算部３０４は、推論部３０３から通知されるスコア、及び、オブジェクトに関する情報のうち、スコア誤差またはオブジェクト誤差の算出に用いる項目を予め設定することができるものとする。図９の例の場合、誤差演算部３０４に、スコア、ＩｏＵ、Ｐｒが入力されるよう設定されているため、誤差演算部３０４では、スコア誤差と信頼度とを、画像リファイナ部３０１に通知する。
（２）注目度合いマップ生成部の処理の具体例
次に、注目度合いマップ生成部１４２の処理の具体例について説明する。図１０は、注目度合いマップ生成部の処理の具体例を示す図である。図１０（ａ）に示すように、推論部構造情報及び特徴マップ１００１を取得すると、注目領域導出部３１１では、Ｇｒａｄ−ＣＡＭ法を用いることで、注目度合いマップ１０１０を生成する。
上述したように、スコア最大化リファイン画像４２０には、２つのオブジェクト(車両４１１、４１２)が含まれるため、注目度合いマップ１０１０には、それぞれのオブジェクトに応じた位置に、注目度合いが同レベルとなる画素の領域が現れる。
図４（ａ）において、領域１０１１＿１、１０１２＿１は、注目度合いがレベル１以上となる画素の領域を示している。同様に、領域１０１１＿２、１０１２＿２は、注目度合いがレベル２以上となる画素の領域を示している。同様に、領域１０１１＿３、１０１２＿３は、注目度合いがレベル３以上となる画素の領域を示している。
図１０（ｂ）は、注目度合いマップ１０１０に含まれる各領域が、スコア最大化リファイン画像４２０上のどこの位置に対応するかを明示するために、スコア最大化リファイン画像４２０に、注目度合いマップ１０１０を重ね合わせたものである。
図１０（ｂ）の例の場合、領域１０１１＿１〜１０１１＿３は、車両４１１のフロントグリルから左側ヘッドライト下側にかけて、重ね合わされたことを示している。同様に、領域１０１２＿１〜１０１２＿３は、右側ヘッドライトの一部から、車両４１２のフロントグリル及び左側ヘッドライトにかけて、重ね合わされたことを示している。
（３）詳細原因解析部の処理の具体例
次に、詳細原因解析部１４３の処理の具体例について説明する。説明に際しては、まず、詳細原因解析部１４３の機能構成について説明する。
（３−１）詳細原因解析部の機能構成
図１１は、詳細原因解析部の機能構成の一例を示す第１の図である。図１１に示すように、詳細原因解析部１４３は、画像差分演算部１１０１、ＳＳＩＭ演算部１１０２、切り出し部１１０３、作用部１１０４を有する。
画像差分演算部１１０１は、スコア最大化リファイン画像と誤推論画像との間の画素単位での差分を演算し、差分画像を出力する。
ＳＳＩＭ演算部１１０２は、スコア最大化リファイン画像と誤推論画像４１０とを用いて、ＳＳＩＭ演算を行うことで、ＳＳＩＭ画像を出力する。
切り出し部１１０３は、差分画像から注目度合いマップ１０１０の所定レベルの領域に対応する画像部分を切り出す。また、切り出し部１１０３は、ＳＳＩＭ画像から注目度合いマップ１０１０の所定レベルの領域に対応する画像部分を切り出す。更に、切り出し部１１０３は、注目度合いマップ１０１０の所定レベルの領域に対応する画像部分を切り出した、差分画像とＳＳＩＭ画像とを乗算して、乗算画像を生成する。
作用部１１０４は、誤推論画像と乗算画像とに基づいて、作用結果画像を生成する。
（３−２）詳細原因解析部の処理の具体例
図１２は、詳細原因解析部の処理の具体例を示す図である。図１２に示すように、はじめに、画像差分演算部１１０１において、スコア最大化リファイン画像（Ａ）と誤推論画像（Ｂ）との差分（＝（Ａ）−（Ｂ））が演算され、差分画像が出力される。差分画像は、誤推論の原因となる画像箇所での画素修正情報である。
続いて、ＳＳＩＭ演算部１１０２において、スコア最大化リファイン画像（Ａ）と誤推論画像（Ｂ）とに基づいてＳＳＩＭ演算が行われる（ｙ＝ＳＳＩＭ（（Ａ），（Ｂ））。更に、ＳＳＩＭ演算部１１０２において、ＳＳＩＭ演算の結果が反転されることで（ｙ'＝２５５−（ｙ×２５５））、ＳＳＩＭ画像が出力される。ＳＳＩＭ画像は、誤推論の原因となる画像箇所を高精度に指定した画像であり、画素値が大きいと差分が大きく、画素値が小さいと差分が小さいことを表す。なお、ＳＳＩＭ演算の結果を反転する処理は、例えば、ｙ'＝１−ｙを算出することにより行ってもよい。
続いて、切り出し部１１０３において、差分画像から、注目度合いマップの所定レベルの領域に対応する画像部分が切り出され、切り出し画像（Ｃ）が出力される。同様に、切り出し部１１０３において、ＳＳＩＭ画像から、注目度合いマップの所定レベルの領域に対応する画像部分が切り出され、切り出し画像（Ｄ）が出力される。
ここで、注目度合いマップの所定レベルの領域は、誤推論の原因となる画像部分を領域にまで絞り込んだものであり、詳細原因解析部１４３では、当該絞り込んだ領域の中で、更に、画素粒度での原因解析を行うことを目的としている。
このため、切り出し部１１０３では、切り出し画像（Ｃ）と切り出し画像（Ｄ）とを乗算し、乗算画像（Ｇ）を生成する。乗算画像（Ｇ）は、誤推論の原因となる画像箇所での画素修正情報を更に高精度に指定した、画素修正情報に他ならない。
また、切り出し部１１０３では、乗算画像（Ｇ）に対して画素単位で強度調整処理を行い、強調乗算画像（Ｈ）を出力する。なお、切り出し部１１０３では、強調乗算画像（Ｈ）を下式に基づいて算出する。
（式３）
強調乗算画像（Ｈ）＝２５５×（Ｇ）／（ｍａｘ（Ｇ）−ｍｉｎ（Ｇ））
続いて作用部１１０４では、誤推論画像（Ｂ）から強調乗算画像（Ｈ）を減算することで重要部分を画素単位で可視化し、作用結果画像を生成する。
なお、図１２に示した強度調整処理の方法は一例にすぎず、可視化した際に重要部分がより識別しやすくなる方法であれば、他の方法により強度調整処理を行ってもよい。
＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図１３は、誤推論原因抽出処理の流れを示す第１のフローチャートである。
ステップＳ１３０１において、誤推論原因抽出部１４０の各部は、初期化処理を行う。具体的には、画像リファイナ部３０１は、ＣＮＮの学習回数をゼロに設定するとともに、最大学習回数をユーザが指示した値に設定する。また、画像リファイナ部３０１は、スコア最大化リファイン画像を生成する際のモード（全てのオブジェクトを対象にスコアを最大化するモード、または、個別のオブジェクトを対象にスコアを最大化するモードのいずれか）を設定する。また、誤差演算部３０４は、オブジェクトに関する情報の中から、オブジェクト誤差の算出に用いる情報を設定する。
ステップＳ１３０２において、画像リファイナ部３０１は、スコア最大化リファイン画像生成処理を実行する。なお、スコア最大化リファイン画像生成処理の詳細は、後述する。
ステップＳ１３０３において、注目度合いマップ生成部１４２は、推論部構造情報及び特徴マップに基づいて、Ｇｒａｄ−ＣＡＭ法を用いて注目度合いマップを生成する。
ステップＳ１３０４において、詳細原因解析部１４３は、詳細原因解析処理を実行する。なお、詳細原因解析処理の詳細は、後述する。
＜スコア最大化リファイン画像生成処理の詳細＞
次に、誤推論原因抽出処理（図１３）のスコア最大化リファイン画像生成処理（ステップＳ１３０２）の詳細について説明する。図１４は、スコア最大化リファイン画像生成処理の流れを示すフローチャートである。
ステップＳ１４０１において、画像リファイナ部３０１は、スコア最大化リファイン画像生成処理のモードを判定する。ステップＳ１４０１において、全てのオブジェクトを対象にスコアを最大化するモードが設定されていると判定した場合には、ステップＳ１４１１に進む。
ステップＳ１４１１において、画像リファイナ部３０１は、誤推論画像からリファイン画像を生成し、リファイン画像格納部３０５に格納する。
ステップＳ１４１２において、推論部３０３は、リファイン画像を入力してラベルを推論し、全てのオブジェクトの正解ラベルのスコアを算出する。
ステップＳ１４１３において、画像リファイナ部３０１は、誤差演算部３０４が算出した全てのオブジェクトについてのスコア誤差及びオブジェクト誤差と、画像誤差演算部３０２が算出した画像差分値とを用いてＣＮＮの学習を行う。
ステップＳ１４１４において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１４１４において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１４１４においてＮｏの場合には）、ステップＳ１４１１に戻り、リファイン画像の生成を継続する。
一方、ステップＳ１４１４において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１４１４においてＹｅｓの場合は）、図１３のステップＳ１３０３に戻る。なお、この時点で、リファイン画像格納部３０５には、１のスコア最大化リファイン画像が格納されている。
一方、ステップＳ１４０１において、個別のオブジェクトごとにスコアを最大化するモードが設定されていると判定した場合には、ステップＳ１４２１に進む。
ステップＳ１４２１において、画像リファイナ部３０１は、誤推論画像内の所定の１のオブジェクトについてリファイン画像を生成し、リファイン画像格納部３０５に格納する。
ステップＳ１４２２において、推論部３０３は、リファイン画像を入力してラベルを推論し、所定の１のオブジェクトの正解ラベルのスコアを算出する。
ステップＳ１４２３において、画像リファイナ部３０１は、誤差演算部３０４が算出した所定の１のオブジェクトについてのスコア誤差及びオブジェクト誤差と、画像誤差演算部３０２が算出した画像差分値とを用いてＣＮＮの学習を行う。
ステップＳ１４２４において、画像リファイナ部３０１は、学習回数が最大学習回数を超えたか否かを判定する。ステップＳ１４２４において、学習回数が最大学習回数を超えていないと判定した場合には（ステップＳ１４２４においてＮｏの場合には）、ステップＳ１４２１に戻り、リファイン画像の生成を継続する。
一方、ステップＳ１４２４において、学習回数が最大学習回数を超えたと判定した場合には（ステップＳ１４２４においてＹｅｓの場合は）、ステップＳ１４２５に進む。なお、この時点で、リファイン画像格納部３０５には、所定の１のオブジェクトについてのスコア最大化リファイン画像が格納されている。
ステップＳ１４２５において、画像リファイナ部３０１は、誤推論画像に含まれる全てのオブジェクトについて、スコア最大化リファイン画像を生成したか否かを判定する。
ステップＳ１４２５において、スコア最大化リファイン画像を生成していないオブジェクトがあると判定した場合には（ステップＳ１４２５においてＮｏの場合には）、ステップＳ１４２６に進む。
ステップＳ１４２６において、画像リファイナ部３０１は、スコア最大化リファイン画像を生成すべき次のオブジェクトを、所定の１のオブジェクトとして選択し、ステップＳ１４２１に戻る。
一方、ステップＳ１４２５において、全てのオブジェクトについて、スコア最大化リファイン画像を生成したと判定した場合には（ステップＳ１４２５においてＹｅｓの場合には）、図１３のステップＳ１３０３に戻る。なお、この時点で、リファイン画像格納部３０５には、オブジェクトの数に応じた数のスコア最大化リファイン画像が格納されている。
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部１４３による詳細原因解析処理の流れについて説明する。図１５は、詳細原因解析処理の流れを示す第１のフローチャートである。
ステップＳ１５０１において、画像差分演算部１１０１は、スコア最大化リファイン画像と誤推論画像との差分画像を演算する。
ステップＳ１５０２において、ＳＳＩＭ演算部１１０２は、スコア最大化リファイン画像と誤推論画像とに基づいて、ＳＳＩＭ画像を演算する。
ステップＳ１５０３において、切り出し部１１０３は、注目度合いマップの所定レベルの領域に対応する差分画像を切り出す。
ステップＳ１５０４において、切り出し部１１０３は、注目度合いマップの所定レベルの領域に対応するＳＳＩＭ画像を切り出す。
ステップＳ１５０５において、切り出し部１１０３は、切り出した差分画像と切り出したＳＳＩＭ画像とを乗算し、乗算画像を生成する。
ステップＳ１５０６において、切り出し部１１０３は、乗算画像に対して画素単位で強度調整処理を行う。また、作用部１１０４は、強度調整処理された乗算画像を、誤推論画像から減算し、作用結果画像を出力する。
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の具体例について説明する。図１６は、誤推論原因抽出処理の具体例を示す第１の図である。
図１６に示すように、はじめに、リファイン画像生成部１４１によって、誤推論画像からスコア最大化リファイン画像が生成される。続いて、注目度合いマップ生成部１４２によって、注目度合いマップが生成される。
なお、リファイン画像生成部１４１によって、１のスコア最大化リファイン画像が生成された場合、注目度合いマップ生成部１４２では、１の注目度合いマップを生成する。また、リファイン画像生成部１４１によって、オブジェクトの数に応じた数のスコア最大化リファイン画像が生成された場合、注目度合いマップ生成部１４２では、対応する数の注目度合いマップを生成し、それらを合体することで１の注目度合いマップを生成する。
続いて、詳細原因解析部１４３では、スコア最大化リファイン画像と誤推論画像とを読み出し、生成された１の注目度合いマップのもとで、詳細原因解析処理を行い、作用結果画像を出力する。
なお、詳細原因解析部１４３では、１の注目度合いマップのうち、例えば、
・レベル１以上となる画素の領域、
・レベル２以上となる画素の領域、
・レベル３以上となる画素の領域、
についてそれぞれ詳細原因解析処理を行い、それぞれの作用結果画像を出力する。
以上の説明から明らかなように、第１の実施形態に係る解析装置１００は、画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。
また、第１の実施形態に係る解析装置１００は、スコア最大化リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成する。
また、第１の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像とに基づいて演算される画像のうち、注目度合いマップの所定レベルの領域に対応する画像を切り出す。そして、第１の実施形態に係る解析装置１００は、切り出した画像を画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する。
このように、誤推論画像とスコア最大化リファイン画像とに基づいて演算される画像のうち、注目度合いマップの所定レベルの領域について、画素単位で強度調整処理することで、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
［第２の実施形態］
上記第１の実施形態では、誤推論画像抽出部１２０により誤推論画像として抽出された入力画像について、誤推論原因抽出処理を行うものとして説明した。しかしながら、誤推論原因抽出処理を行う入力画像は、誤推論画像抽出部１２０により誤推論画像として抽出された入力画像に限定されない。
例えば、誤推論画像抽出部１２０により、正解ラベルと一致すると判定された入力画像（正推論画像と称す）の一部を変形することで、正解ラベルと一致しなくなった誤推論画像について、誤推論原因抽出処理を行ってもよい。
この場合、正推論画像をスコア最大化リファイン画像として誤推論原因抽出処理が行われることとなる。つまり、誤推論原因抽出部１４０では、リファイン画像生成部１４１による、スコア最大化リファイン画像を生成する処理を省略することができる。
［第３の実施形態］
上記第１の実施形態では、誤推論画像に２つのオブジェクトが含まれる場合について説明したが、誤推論画像に含まれるオブジェクトの数は、２つに限定されず、１つであってもよいし、３つ以上であってもよい。
また、上記第１の実施形態では、注目度合いマップの各レベルの領域について詳細原因解析処理を行うものとして説明した。しかしながら、詳細原因解析処理の方法はこれに限定されない。例えば、誤推論画像に含まれるオブジェクトごとに異なるレベルを設定し、設定したレベルの領域について、詳細原因解析処理を行ってもよい。
［第４の実施形態］
上記第１乃至第３の実施形態では、Ｇｒａｄ−ＣＡＭ法を用いて生成した注目度合いマップに基づいて、詳細原因解析処理の際に切り出す領域を決定するものとして説明した。しかしながら、詳細原因解析処理の際に切り出す領域を決定する方法はこれに限定されず、他の解析技術を用いて生成したマップを用いて決定してもよい。
また、上記第１乃至第３の実施形態では、注目度合いマップの所定レベルの領域に対応する画像部分を切り出す場合について説明した。しかしながら、切り出す領域は、注目度合いマップの所定レベルの領域に限定されず、例えば、誤推論画像をスーパーピクセルに分割し、スーパーピクセルごとに、切り出すようにしてもよい。
以下、第４の実施形態について、上記第１乃至第３の実施形態との相違点を中心に説明する。
＜誤推論原因抽出部の機能構成＞
はじめに、第４の実施形態に係る解析装置１００の、誤推論原因抽出部１４０の機能構成について説明する。図１７は、誤推論原因抽出部の機能構成の一例を示す第２の図である。図３を用いて説明した機能構成との相違点は、図１７に示す機能構成の場合、重要特徴指標マップ生成部１７１０と特定部１７２０とを有する点、及び、詳細原因解析部１４３とは異なる機能を有する詳細原因解析部１７３０を有する点である。
以下、重要特徴指標マップ生成部１７１０、特定部１７２０、詳細原因解析部１７３０について詳細を説明する。
（１）重要特徴指標マップ生成部の詳細
はじめに、重要特徴指標マップ生成部１７１０の詳細について説明する。図１７に示すように、重要特徴指標マップ生成部１７１０は、重要特徴マップ生成部１７１１、劣化尺度マップ生成部１７１２、重畳部１７１３を有する。
重要特徴マップ生成部１７１１は、スコア最大化リファイン画像を入力してラベルを推論した際の推論部構造情報を、推論部３０３より取得する。また、重要特徴マップ生成部１７１１は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法を用いることで、"グレイスケール化重要特徴マップ"を生成する。グレイスケール化重要特徴マップは、スコア最大化リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップを、グレイスケール化したものである。
なお、ＢＰ法は、推論したラベルが正解する入力画像（ここでは、スコア最大化リファイン画像）の推論を行うことで得た各スコアから各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配情報の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の大小のうち正値のみを画像化することで、特徴部分を可視化する方法である。
更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、正解ラベルのスコアに影響を与える特徴部分のみが可視化される。
劣化尺度マップ生成部１７１２は、誤推論画像とスコア最大化リファイン画像とに基づいて、"劣化尺度マップ"を生成する。劣化尺度マップは、スコア最大化リファイン画像を生成する際に変更がなされた各画素の変更度合いを示している。
重畳部１７１３は、重要特徴マップ生成部１７１１において生成されたグレイスケール化重要特徴マップと、劣化尺度マップ生成部１７１２において生成された劣化尺度マップとを重畳し、"重要特徴指標マップ"を生成する。重要特徴指標マップは、正解ラベルを推論するための各画素の重要度を示している。
（２）特定部の詳細
次に、特定部１７２０の詳細について説明する。図１７に示すように、特定部１７２０は、スーパーピクセル分割部１７２１、重要スーパーピクセル決定部１７２２、絞り込み部１７２３を有する。
スーパーピクセル分割部１７２１は、誤推論画像を、誤推論画像に含まれるオブジェクト（本実施形態では車両）の要素オブジェクト（本実施形態では、車両の部品）ごとの領域である"スーパーピクセル"に分割し、スーパーピクセル分割情報を出力する。なお、誤推論画像をスーパーピクセルに分割するにあたっては、既存の分割機能を利用するか、あるいは、車両の部品ごとに分割するように学習したＣＮＮ等を利用する。
重要スーパーピクセル決定部１７２２は抽出部の一例であり、スーパーピクセル分割部１７２１により出力されたスーパーピクセル分割情報に基づいて、重畳部１７１３により生成された重要特徴指標マップの各画素の画素値を、スーパーピクセルごとに加算する。
また、重要スーパーピクセル決定部１７２２は、各スーパーピクセルのうち、加算値が所定の条件を満たす（重要特徴指標閾値以上となる）スーパーピクセルを抽出し、抽出したスーパーピクセル（重要スーパーピクセル）を絞り込み部１７２３に通知する。
絞り込み部１７２３は、注目度合いマップ格納部３１２より注目度合いマップを読み出し、重要スーパーピクセル決定部１７２２より通知された重要スーパーピクセルのうち、注目度合いマップの所定レベルの領域に含まれる重要スーパーピクセルを絞り込む。
また、絞り込み部１７２３は、絞り込んだ重要スーパーピクセルを、絞り込み重要スーパーピクセルとして、詳細原因解析部１７３０に通知する。
（３）詳細原因解析部の詳細
次に、詳細原因解析部１７３０の詳細について説明する。詳細原因解析部１７３０は、スコア最大化リファイン画像と、誤推論画像と、推論部構造情報と、を取得する。また、詳細原因解析部１７３０は、スコア最大化リファイン画像と、誤推論画像と、推論部構造情報に基づいて生成された重要特徴マップのうち、絞り込み重要スーパーピクセルに対応する領域を切り出して画素単位で強度調整処理する。これにより、詳細原因解析部１７３０では、誤推論の原因となる画像箇所を可視化した作用結果画像を出力する。
＜誤推論原因抽出部の各部の処理の具体例＞
次に、誤推論原因抽出部１４０の各部（ここでは、重要特徴指標マップ生成部１７１０、特定部１７２０、詳細原因解析部１７３０）の処理の具体例について説明する。なお、以下では、誤推論画像内に、推論対象として、複数のオブジェクト（複数の車両）が含まれているものとして説明を行う。
（１）重要特徴指標マップ生成部の処理の具体例
（１−１）重要特徴マップ生成部、劣化尺度マップ、重畳部の処理の具体例
はじめに、重要特徴指標マップ生成部１７１０に含まれる、重要特徴マップ生成部１７１１、劣化尺度マップ生成部１７１２、重畳部１７１３の処理の具体例について説明する。図１８は、重要特徴指標マップ生成部の処理の具体例を示す図である。
図１８に示すように、重要特徴指標マップ生成部１７１０において重要特徴マップ生成部１７１１は、推論部３０３がスコア最大化リファイン画像を入力して正解ラベルを推論した際の推論部構造情報１８０１を、推論部３０３から取得する。また、重要特徴マップ生成部１７１１は、取得した推論部構造情報１８０１に基づいて、例えば、選択的ＢＰ法を用いて重要特徴マップを生成する。
なお、重要特徴マップ生成部１７１１では、スコア最大化リファイン画像に含まれるオブジェクトごとに、重要特徴マップを生成する。スコア最大化リファイン画像４２０の場合、車両４１１と車両４１２の２つのオブジェクトが含まれていることから、重要特徴マップ生成部１７１１では、選択的ＢＰ法を用いて、２つの重要特徴マップを生成する（詳細は後述）。
また、重要特徴マップ生成部１７１１では、２つのオブジェクトについて生成した２つの重要特徴マップをそれぞれグレイスケール化し、オブジェクト単位グレイスケール化重要特徴マップ１８１１、１８１２を生成する。
図１８に示すオブジェクト単位グレイスケール化重要特徴マップ１８１１、１８１２は、それぞれ、０から２５５の画素値でグレイスケール化されている。このため、オブジェクト単位グレイスケール化重要特徴マップ１８１１、１８１２において、画素値が２５５に近い画素は、推論時に注目度合いが高い画素（注目画素）であり、画素値が０に近い画素は、推論時に注目度合いが低い画素（非注目画素）である。
一方、劣化尺度マップ生成部１７１２は、リファイン画像格納部３０５よりスコア最大化リファイン画像４２０を読み出し、オブジェクトごとに、誤推論画像４１０との間でＳＳＩＭ（Structural Similarity）演算を行う。
スコア最大化リファイン画像４２０の場合、車両４１１と車両４１２の２つのオブジェクトが含まれることから、劣化尺度マップ生成部１７１２では、２つのオブジェクト単位劣化尺度マップ１８２１、１８２２を生成する。オブジェクト単位劣化尺度マップ１８２１、１８２２は０から１の値をとり、画素値が１に近いほど、変更度合いが小さいことを表し、画素値が０に近いほど、変更度合いが大きいことを表す。
重畳部１７１３は、重要特徴マップ生成部１７１１により生成された、オブジェクト単位グレイスケール化重要特徴マップ１８１１、１８１２と、劣化尺度マップ生成部１７１２により生成された、オブジェクト単位劣化尺度マップ１８２１、１８２２とを取得する。そして、重畳部１７１３は、オブジェクト単位重要特徴指標マップ１８３１、１８３２を生成する。
具体的には、重畳部１７１３は、下式に基づいて、オブジェクト単位重要特徴指標マップ１８３１、１８３２を生成する。
（式３）
オブジェクト単位重要特徴指標マップ＝オブジェクト単位グレイスケール化重要特徴マップ×（１−オブジェクト単位劣化尺度マップ）
上式において、（１−オブジェクト単位劣化尺度マップ）の項は、０から１の値をとり、１に近いほど変更度合いが大きく、０に近いほど変更度合いが小さい。つまり、オブジェクト単位重要特徴指標マップ１８３１、１８３２は、推論時に注目した各画素の注目度合いを示すオブジェクト単位グレイスケール化重要特徴マップに、変更度合いの大小による強弱をつけることで生成される。
具体的には、オブジェクト単位重要特徴指標マップ１８３１、１８３２は、
・オブジェクト単位劣化尺度マップ１８２１、１８２２において変更度合いが小さい部分について、オブジェクト単位グレイスケール化重要特徴マップの画素値を小さくし、
・オブジェクト単位劣化尺度マップ１８２１、１８２２において変更度合いが大きい部分について、オブジェクト単位グレイスケール化重要特徴マップの画素値を大きくする、
ことで生成される。
なお、より見やすくするために、オブジェクト単位重要特徴指標マップは白黒を反転させてもよい。図１８に示すオブジェクト単位重要特徴指標マップは、下式に基づいて白黒を反転させたものを表示している。
（式４）
（反転した）オブジェクト単位重要特徴指標マップ＝２５５−［オブジェクト単位グレイスケール化重要特徴マップ×（１−オブジェクト単位劣化尺度マップ）］
ここで、重畳部１７１３が、上式に基づいて、オブジェクト単位グレイスケール化重要特徴マップ１８１１、１８１２とオブジェクト単位劣化尺度マップ１８２１、１８２２とを重畳することによる利点について説明する。
上述したように、重要特徴マップ生成部１７１１において生成される、オブジェクト単位グレイスケール化重要特徴マップ１８１１、１８１２は、正解ラベルのスコアが最大となった際に推論部３０３が注目した注目部分に他ならない。
一方、劣化尺度マップ生成部１７１２において生成される、オブジェクト単位劣化尺度マップ１８２１、１８２２は、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分を表しており、誤推論の原因となる部分を表している。ただし、劣化尺度マップ生成部１７１２において生成されるオブジェクト単位劣化尺度マップ１８２１、１８２２は、正解ラベルを推論するための最小限の部分ではない。
重畳部１７１３では、正解ラベルのスコアが最大化するように誤推論画像を変更した際の変更部分と、推論部３０３が注目した注目部分とを重畳することで、正解ラベルを推論するための最小限の部分を、正解ラベルを推論するための重要な部分として可視化する。
なお、図１８の例では、画像リファイナ部３０１が、第２の生成方法によりスコア最大化リファイン画像を生成する場合について示した。第２の生成方法の場合、図１８に示すように、オブジェクトごとに劣化尺度マップが生成されるため、対応するオブジェクト単位グレイスケール化重要特徴マップに重畳することで、オブジェクト単位重要特徴指標マップが生成されることになる。
一方、画像リファイナ部３０１が、第１の生成方法によりスコア最大化リファイン画像を生成する場合、劣化尺度マップ生成部１７１２では、全てのオブジェクトを含む大きさの１の劣化尺度マップを生成する。この場合、重畳部１７１３では、当該１の劣化尺度マップを共通に用いて、各オブジェクトのオブジェクト単位グレイスケール化重要特徴マップを重畳する。これにより、オブジェクト単位重要特徴指標マップが生成されることになる。
（１−２）選択的ＢＰ法を用いた重要特徴マップの生成方法の詳細
次に、重要特徴マップ生成部１７１１が、選択的ＢＰ法を用いて、オブジェクトごとに重要特徴マップを生成する生成方法の詳細について説明する。上述したように、重要特徴マップ生成部１７１１では、スコア最大化リファイン画像に含まれるオブジェクトごとに、重要特徴マップを生成する。
図１９は、選択的ＢＰ法を用いた重要特徴マップの生成方法の一例を示す図である。このうち、図１９（ａ）は、スコア最大化リファイン画像４２０に含まれる全てのオブジェクトについての重要特徴マップを生成する様子を示したものである。
上述したように、スコア最大化リファイン画像４２０には、２つのオブジェクト（車両４１１、４１２）が含まれ、互いに異なる車種である。このため、２つのオブジェクトに対して同時に選択的ＢＰ法を用いると、２つのオブジェクトに対する注目領域の情報が互いに混在した重要特徴マップが生成されることになる。
一方、図１９（ｂ）は、スコア最大化リファイン画像４２０に含まれる、２つのオブジェクトについて、別々に重要特徴マップを生成する様子を示したものである。図１９（ｂ）に示すように、２つのオブジェクトに対して別々に選択的ＢＰ法を用いることで、２つのオブジェクトに対する注目領域の情報が混在することなく、重要特徴マップを生成することができる。
このようなことから、重要特徴マップ生成部１７１１では、スコア最大化リファイン画像に含まれるオブジェクトごとに、重要特徴マップを生成する。
（２）特定部の処理の具体例
次に、特定部１７２０の各部（ここでは、スーパーピクセル分割部１７２１、重要スーパーピクセル決定部１７２２、絞り込み部１７２３）の処理の具体例について説明する。
（２−１）スーパーピクセル分割部の処理の具体例
はじめに、特定部１７２０に含まれるスーパーピクセル分割部１７２１の処理の具体例について説明する。図２０は、スーパーピクセル分割部の処理の具体例を示す図である。図２０に示すように、スーパーピクセル分割部１７２１は、例えば、ＳＬＩＣ（Simple Linear Iterative Clustering）処理を行う分割部２０１０を有する。なお、分割されたピクセルの集合をスーパーピクセルと称す。
分割部２０１０は、誤推論画像４１０をオブジェクトごとに取得し、オブジェクト単位誤推論画像２００１、２００２それぞれに含まれるオブジェクトについて、要素オブジェクトごとの領域であるスーパーピクセルに分割する。また、スーパーピクセル分割部１７２１は、分割部２０１０によりスーパーピクセルに分割されることで生成された、オブジェクト単位スーパーピクセル分割情報２０１１、２０１２を出力する。
なお、図２０の例では、画像リファイナ部３０１が、第２の生成方法によりスコア最大化リファイン画像を生成する場合について示した。第２の生成方法の場合、オブジェクトの数に応じた数のオブジェクト単位重要特徴指標マップが生成されるため、スーパーピクセル分割部１７２１においても、オブジェクトの数に応じた数のオブジェクト単位スーパーピクセル分割情報が生成されることになる。
一方、画像リファイナ部３０１が、第１の生成方法によりスコア最大化リファイン画像を生成する場合、スーパーピクセル分割部１７２１では、全てのオブジェクトを含む大きさの１のスーパーピクセル分割情報を生成する。
（２−２）重要スーパーピクセル決定部の処理の具体例
次に、特定部１７２０に含まれる重要スーパーピクセル決定部１７２２の処理の具体例について説明する。図２１は、重要スーパーピクセル決定部の処理の具体例を示す図である。図２１に示すように、重要スーパーピクセル決定部１７２２では、
・重畳部１７１３より出力された、オブジェクト単位重要特徴指標マップ１８３１、１８３２と、
・スーパーピクセル分割部１７２１より出力されたオブジェクト単位スーパーピクセル分割情報２０１１、２０１２と、
を重ね合わせる。これにより、重要スーパーピクセル決定部１７２２では、オブジェクト単位重要スーパーピクセル画像２１０１、２１０２を生成する。なお、図２１では、オブジェクト単位重要特徴指標マップ１８３１、１８３２として、（白黒を反転した）重要特徴指標マップを用いた場合を示している。
また、重要スーパーピクセル決定部１７２２では、生成したオブジェクト単位重要スーパーピクセル画像２１０１内のスーパーピクセルごとに、オブジェクト単位重要特徴指標マップ１８３１の各画素の画素値を加算する。同様に、重要スーパーピクセル決定部１７２２では、生成したオブジェクト単位重要スーパーピクセル画像２１０２内のスーパーピクセルごとに、オブジェクト単位重要特徴指標マップ１８３２の各画素の画素値を加算する。なお、図２１において、オブジェクト単位重要スーパーピクセル画像２１１１、２１１２は、それぞれのオブジェクトについて、スーパーピクセルごとの加算値の一例を明示したものである。
また、重要スーパーピクセル決定部１７２２では、各スーパーピクセルについて、加算値が、重要特徴指標閾値以上であるかを判定し、加算値が重要特徴指標閾値以上であると判定したスーパーピクセルを抽出する。図２１において、斜線で示した領域（車両４１１のフロントグリル、及び、フロントグリルと左側ヘッドライトとの間）は、抽出されたスーパーピクセルを示している。
また、重要スーパーピクセル決定部１７２２は、抽出したスーパーピクセルを、オブジェクト単位重要スーパーピクセルとして、絞り込み部１７２３に通知する。
なお、図２１の例では、画像リファイナ部３０１が、第２の生成方法によりスコア最大化リファイン画像を生成する場合について示した。第２の生成方法の場合、図２１に示すように、オブジェクトごとの大きさのオブジェクト単位スーパーピクセル分割情報及びオブジェクト単位特徴指標マップが生成される。このため、オブジェクトごとの大きさのオブジェクト単位重要スーパーピクセル画像が生成される。
この結果、オブジェクト単位重要特徴指標マップの画素値も、オブジェクト単位重要スーパーピクセル画像を用いて、オブジェクトごとに加算する。また、重要スーパーピクセルも、オブジェクト単位重要スーパーピクセル画像を用いて、それぞれのオブジェクトについて抽出される。
一方、画像リファイナ部３０１が、第１の生成方法によりスコア最大化リファイン画像を生成する場合、全てのオブジェクトを含む大きさの１のスーパーピクセル分割情報が生成される。このため、重要スーパーピクセル決定部１７２２では、１のスーパーピクセル分割情報に対して、オブジェクトごとの大きさのオブジェクト単位重要特徴指標マップをそれぞれ重畳する。これにより、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像が、オブジェクトの数だけ生成される。
この結果、オブジェクト単位重要特徴指標マップの画素値も、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像を用いて、オブジェクトごとに加算する。また、重要スーパーピクセルも、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像を用いて、それぞれのオブジェクトについて抽出される。
（２−３）絞り込み部の処理の具体例
次に、特定部１７２０に含まれる絞り込み部１７２３の処理の具体例について説明する。図２２は、絞り込み部の処理の具体例を示す図である。
図２２に示すように、絞り込み部１７２３は、オブジェクト単位重要スーパーピクセル２２０１、２２０２に対して、注目度合いマップ１０１０の領域１０１１＿１〜１０１１＿３、１０１２＿１〜１０１２＿３を重畳する。
図２２において、符号２２１１は、オブジェクト単位重要スーパーピクセル１３１１に対して、注目度合いマップ１０１０の領域１０１１＿１〜１０１１＿３を重畳した様子を示している。
このように、オブジェクト単位重要スーパーピクセルと注目度合いマップとを用いることで、絞り込み部１７２３では、オブジェクト単位重要スーパーピクセルを、注目度合いマップの所定レベルの領域に絞り込むことができる。
絞り込み部１７２３では、絞り込んだオブジェクト単位重要スーパーピクセルを、オブジェクト単位絞り込み重要スーパーピクセルとして、詳細原因解析部１７３０に通知する。
なお、図２２の例では、重要スーパーピクセル決定部１７２２より、オブジェクトごとの大きさのオブジェクト単位重要スーパーピクセル画像を用いて抽出されたオブジェクト単位重要スーパーピクセルが通知される場合について示した。図２２の例の場合、絞り込み部１７２３では、オブジェクトごとの大きさのオブジェクト単位重要スーパーピクセルに、オブジェクトごとの大きさの注目度合いマップを重畳する。
一方、重要スーパーピクセル決定部１７２２より、全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセル画像を用いて抽出されたオブジェクト単位重要スーパーピクセルが通知される場合、絞り込み部１７２３では、
・全てのオブジェクトを含む大きさのオブジェクト単位重要スーパーピクセルに、
・オブジェクトごとの大きさの注目度合いマップを、
重畳することで、オブジェクトごとのオブジェクト単位絞り込み重要スーパーピクセルを、詳細原因解析部１７３０に通知する。
（３）詳細原因解析部の処理の具体例
次に、詳細原因解析部１７３０の処理の具体例について説明する。説明に際しては、まず、詳細原因解析部１７３０の機能構成について説明する。
（３−１）詳細原因解析部の機能構成
図２３は、詳細原因解析部の機能構成の一例を示す第２の図である。図１１に示した機能構成との相違点は、図２３の場合、ＢＰ演算部２３０１を有する点、及び、切り出し部２３０２の機能が、図１１の切り出し部１１０３の機能とは異なる点である。
ＢＰ演算部２３０１は、スコア最大化リファイン画像を入力してラベルを推論した際の推論部構造情報を、推論部３０３より取得する。また、ＢＰ演算部２３０１は、例えば、選択的ＢＰ法を用いることで、推論部構造情報に基づいて、オブジェクト単位重要特徴マップを生成する。
切り出し部２３０２は、切り出し部１１０３と同様に、差分画像及びＳＳＩＭ画像から、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分を切り出す。加えて、切り出し部２３０２は、オブジェクト単位重要特徴マップから、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分を切り出す。更に、切り出し部２３０２は、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分を切り出した、差分画像とＳＳＩＭ画像と各オブジェクト単位重要特徴マップとを乗算して、乗算画像を生成する。
このように、差分画像とＳＳＩＭ画像と各オブジェクト単位重要特徴マップとを乗算することで、作用結果画像において、誤推論の原因となる画像箇所を画素単位で可視化することができる。
なお、乗算の際に差分画像を用いることで、作用結果画像は、正解ラベルのスコアが上がる画像に自動的に修正されることになる。したがって、差分画像を作用結果画像として出力してもよい。更に、このような利点を考慮しないのであれば、詳細原因解析部１７３０は、（差分画像を用いずに）ＳＳＩＭ画像と各オブジェクト単位重要特徴マップとを用いて乗算を行い、作用結果画像を出力してもよい。
（３−２）詳細原因解析部の処理の具体例
次に、詳細原因解析部１７３０の処理の具体例について説明する。図２４は、詳細原因解析部の処理の具体例を示す第２の図である。なお、図１２に示した詳細原因解析部１４３の処理の具体例との相違点は、ＢＰ演算部２３０１において、推論部構造情報（Ｉ）に基づいて、選択的ＢＰ法を用いた処理が行われ、オブジェクト単位重要特徴マップが生成されている点である。また、切り出し部２３０２において、オブジェクト単位重要特徴マップから、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分が切り出され、切り出し画像（Ｊ）が出力されている点である。更に、切り出し部２３０２において、切り出し画像（Ｃ）と切り出し画像（Ｄ）と切り出し画像（Ｊ）とが乗算され、乗算画像（Ｇ）が生成されている点である。
＜誤推論原因抽出処理の流れ＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の流れについて説明する。図２５は、誤推論原因抽出処理の流れを示す第２のフローチャートである。図１３に示したフローチャートとの相違点は、ステップＳ２５０１、Ｓ２５０２である。
ステップＳ２５０１において、重要特徴指標マップ生成部１７１０及び特定部１７２０は、オブジェクト単位絞り込み重要スーパーピクセル抽出処理を実行する。なお、オブジェクト単位絞り込み重要スーパーピクセル抽出処理の詳細は後述する。
ステップＳ２５０２において、詳細原因解析部１７３０は、詳細原因解析処理を実行する。なお、詳細原因解析処理の詳細は、後述する。
＜オブジェクト単位絞り込み重要スーパーピクセル抽出処理の流れ＞
次に、図２５のステップＳ２５０１（オブジェクト単位絞り込み重要スーパーピクセル抽出処理）の流れについて説明する。図２６は、オブジェクト単位絞り込み重要スーパーピクセル抽出処理の流れを示すフローチャートである。
ステップＳ２６０１において、重要特徴マップ生成部１７１１は、推論部３０３よりスコア最大化リファイン画像を入力してラベルが推論された際の推論部構造情報を取得する。また、重要特徴マップ生成部１７１１は、取得した推論部構造情報に基づいて、オブジェクト単位グレイスケール化重要特徴マップを生成する。
ステップＳ２６０２において、劣化尺度マップ生成部１７１２は、オブジェクト単位誤推論画像と、オブジェクト単位スコア最大化リファイン画像とに基づいて、オブジェクト単位劣化尺度マップを生成する。
ステップ２６０３において、重畳部１７１３は、オブジェクト単位グレイスケール化重要特徴マップと、オブジェクト単位劣化尺度マップとに基づいて、オブジェクト単位重要特徴指標マップを生成する。
ステップＳ２６０４において、スーパーピクセル分割部１７２１は、誤推論画像を要素オブジェクトごとの領域であるスーパーピクセルに分割し、オブジェクト単位スーパーピクセル分割情報を生成する。
ステップＳ２６０５において、重要スーパーピクセル決定部１７２２は、オブジェクト単位重要特徴指標マップの各画素の画素値を、スーパーピクセルごとに加算する。
ステップＳ２６０６において、重要スーパーピクセル決定部１７２２は、加算値が重要特徴指標閾値以上となるスーパーピクセルを、オブジェクト単位重要スーパーピクセルとして抽出する。
ステップＳ２６０７において、絞り込み部１７２３は、抽出されたオブジェクト単位重要スーパーピクセルを、注目度合いマップの所定レベルの領域に絞り込む。また、絞り込み部１７２３は、絞り込んだオブジェクト単位重要スーパーピクセルを、オブジェクト単位絞り込み重要スーパーピクセルとして、詳細原因解析部１７３０に通知する。
＜詳細原因解析処理の流れ＞
次に、詳細原因解析部１７３０による詳細原因解析処理の流れについて説明する。図２７は、詳細原因解析処理の流れを示す第２のフローチャートである。図１５に示したフローチャートとの相違点は、ステップＳ２７０１〜Ｓ２７０５である。
ステップＳ２７０１において、ＢＰ演算部２３０１は、推論部構造情報に基づき、オブジェクト単位重要特徴マップを生成する。
ステップＳ２７０２において、切り出し部２３０２は、差分画像から、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分を切り出す。
ステップＳ２７０３において、切り出し部２３０２は、ＳＳＩＭ画像から、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分を切り出す。
ステップＳ２７０４において、切り出し部２３０２は、オブジェクト単位重要特徴マップから、オブジェクト単位絞り込み重要スーパーピクセルに対応する画像部分を切り出す。
ステップＳ２７０５において、切り出し部１１０３は、切り出した差分画像と、切り出したＳＳＩＭ画像と、切り出したオブジェクト単位重要特徴マップとを乗算し、乗算画像を生成する。
＜誤推論原因抽出処理の具体例＞
次に、誤推論原因抽出部１４０による誤推論原因抽出処理の具体例について説明する。図２８は、誤推論原因抽出処理の具体例を示す第２の図である。
図２８に示すように、はじめに、リファイン画像生成部１４１によって、誤推論画像からスコア最大化リファイン画像が生成される。続いて、重要特徴指標マップ生成部１７１０によって、オブジェクト単位重要特徴指標マップが生成される。続いて、注目度合いマップ生成部１４２によって、注目度合いマップが生成される。
続いて、誤推論画像がオブジェクト単位で読み出されると、スーパーピクセル分割部１７２１では、オブジェクト単位スーパーピクセル分割情報を生成する。
続いて、重要スーパーピクセル決定部１７２２では、オブジェクト単位重要特徴指標マップの画素値を、オブジェクト単位スーパーピクセル分割情報に基づいて分割されたスーパーピクセルごとに加算し、オブジェクト単位重要スーパーピクセル画像を生成する。
続いて、重要スーパーピクセル決定部１７２２では、オブジェクト単位重要スーパーピクセル画像より、重要特徴指標閾値以上となるスーパーピクセルを、オブジェクト単位重要スーパーピクセルとして抽出する。
続いて、絞り込み部１７２３では、重要スーパーピクセル決定部１７２２により抽出された、オブジェクト単位重要スーパーピクセルのうち、注目度合いマップの各レベルの領域に対応する、オブジェクト単位絞り込み重要スーパーピクセルを抽出する。
続いて、詳細原因解析部１７３０では、スコア最大化リファイン画像と、誤推論画像と、推論部構造情報とを用いて、オブジェクト単位絞り込み重要スーパーピクセルのもとで詳細原因解析処理を行い、作用結果画像を出力する。
以上の説明から明らかなように、第４の実施形態に係る解析装置１００は、画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたスコア最大化リファイン画像を生成する。
また、第４の実施形態に係る解析装置１００は、スコア最大化リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成する。
また、第４の実施形態に係る解析装置１００は、正解ラベルを推論するための各画素の重要度を示すオブジェクト単位重要特徴指標マップを生成する。
また、第４の実施形態に係る解析装置１００は、オブジェクト単位重要特徴指標マップの画素値を、スーパーピクセル単位（ピクセルの集合単位）で加算し、加算値が所定の条件を満たすオブジェクト単位重要スーパーピクセルを抽出する。そして、第４の実施形態に係る解析装置１００は、抽出したオブジェクト単位重要スーパーピクセルを、注目度合いマップの所定レベルの領域に絞り込む。
また、第４の実施形態に係る解析装置１００は、誤推論画像とスコア最大化リファイン画像とに基づいて演算される画像（差分画像、ＳＳＩＭ画像）と、重要特徴マップとから、絞り込んだオブジェクト単位重要スーパーピクセルに対応する領域を切り出す。そして、第４の実施形態に係る解析装置１００は、切り出した画像を画素単位で強度調整処理する。
このように、注目度合いマップの所定レベルの領域に絞り込まれたオブジェクト単位重要スーパーピクセルについて、画素単位で強度調整処理することで、第４の実施形態によれば、誤推論の原因となる画像箇所を特定する際の精度を向上させることができる。
［第５の実施形態］
上記第４の実施形態では、誤推論画像抽出部１２０により誤推論画像として抽出された入力画像について、誤推論原因抽出処理を行うものとして説明した。しかしながら、誤推論原因抽出処理を行う入力画像は、誤推論画像抽出部１２０により誤推論画像として抽出された入力画像に限定されない。
例えば、誤推論画像抽出部１２０により、正解ラベルと一致すると判定された入力画像（正推論画像と称す）の一部を変形することで、正解ラベルと一致しなくなった誤推論画像について、誤推論原因抽出処理を行ってもよい。
この場合、正推論画像をスコア最大化リファイン画像として誤推論原因抽出処理が行われることとなる。つまり、誤推論原因抽出部１４０では、リファイン画像生成部１４１によるスコア最大化リファイン画像を生成する処理を省略することができる。
［第６の実施形態］
上記第４の実施形態では、誤推論画像に２つのオブジェクトが含まれる場合について説明したが、誤推論画像に含まれるオブジェクトの数は、２つに限定されず、１つであってもよいし、３つ以上であってもよい。
また、上記第４の実施形態では、注目度合いマップの各レベルの領域について詳細原因解析処理を行うものとして説明した。しかしながら、詳細原因解析処理の方法はこれに限定されない。例えば、誤推論画像に含まれるオブジェクトごとに異なるレベルを設定し、設定したレベルの領域について、詳細原因解析処理を行ってもよい。
［第７の実施形態］
上記第４の実施形態では、オブジェクト単位重要スーパーピクセルを、注目度合いマップの所定レベルの領域に絞り込むものとして説明した。しかしながら、絞り込み部１７２３による絞り込み方法はこれに限定されず、レベルに応じた絞り込み処理を行うようにしてもよい。
図２９は、絞り込み部の処理の詳細を示す第１の図である。なお、図２９では、説明を簡略化するために、スーパーピクセルの形状を正方形としている。また、図２９に示すように、注目度合いマップ１０１０のレベル１の領域１０１１＿１〜レベル３の領域１０１１＿３が、オブジェクト単位重要スーパーピクセル２９００上に位置しているものとする。
この場合、絞り込み部１７２３では、各レベルに応じたオブジェクト単位絞り込み重要スーパーピクセルに絞り込む。図２９の右側上段は、オブジェクト単位重要スーパーピクセル２９００に対して、レベル１の領域１０１１＿１（ハッチングした領域）に絞り込んだ様子を示している。
同様に、図２９の右側中段は、オブジェクト単位重要スーパーピクセル２９００に対して、レベル２の領域１０１１＿２（ハッチングした領域）に絞り込んだ様子を示している。
同様に、図２９の右側下段は、オブジェクト単位重要スーパーピクセル２９００に対して、レベル３の領域１０１１＿３（ハッチングした領域）に絞り込んだ様子を示している。
このように、絞り込み部１７２３では、オブジェクト単位重要スーパーピクセルを、注目度合いマップの各レベルに応じた領域に絞り込むことができる。
また、上記第４の実施形態では、オブジェクト単位重要スーパーピクセルと、注目度合いマップの所定レベルの領域との形状の違いについて言及しなかったが、オブジェクト単位重要スーパーピクセルと、注目度合いマップの所定レベルの領域とは、形状が異なる。このため、注目度合いマップの所定レベルの領域と、オブジェクト単位重要スーパーピクセルとは、境界が一致しない。
図３０は、絞り込み部の処理の詳細を示す第２の図である。図３０に示すように、絞り込み部１７２３では、図３０（ａ）〜（ｃ）のいずれかのハッチング領域を、オブジェクト単位絞り込み重要スーパーピクセルとして出力することができる。
このうち、図３０（ａ）は、オブジェクト単位重要スーパーピクセル２９００を、注目度合いマップ１０１０のレベル１の領域１０１１＿１に絞り込む際、
・領域１０１１＿１内に位置するオブジェクト単位重要スーパーピクセルと、
・領域１０１１＿１の境界線を含むオブジェクト単位重要スーパーピクセルと、
をオブジェクト単位絞り込み重要スーパーピクセルとして出力する場合を示している。
一方、図３０（ｂ）は、オブジェクト単位重要スーパーピクセル２９００を、注目度合いマップ１０１０のレベル１の領域１０１１＿１に絞り込む際、
・領域１０１１＿１内に位置するオブジェクト単位重要スーパーピクセル、
をオブジェクト単位絞り込み重要スーパーピクセルとして出力する場合を示している。
また、図３０（ｃ）は、オブジェクト単位重要スーパーピクセル２９００を、注目度合いマップ１０１０のレベル１の領域１０１１＿１に絞り込む際、
・領域１０１１＿１内に位置するオブジェクト単位重要スーパーピクセルと、
・領域１０１１＿１の境界線に沿って分割されたオブジェクト単位重要スーパーピクセルと、
をオブジェクト単位絞り込み重要スーパーピクセルとして出力する場合を示している。
このように、絞り込み部１７２３では、オブジェクト単位重要スーパーピクセルと、注目度合いマップの所定レベルの領域との形状が異なっていた場合でも、様々な方法で絞り込みを行うことができる。
［第８の実施形態］
上記第１の実施形態では、誤推論画像に含まれる２つのオブジェクトが、いずれも車両である場合について説明した。しかしながら、誤推論画像に含まれる２つのオブジェクトは、車両に限定されず、車両以外のオブジェクトであってもよい。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成する注目度合いマップ生成部と、
前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する可視化部と
を有する解析装置。
（付記２）
前記注目度合いマップ生成部は、Ｇｒａｄ−ＣＡＭ法を用いることで、前記注目度合いマップを生成する、付記１に記載の解析装置。
（付記３）
前記可視化部は、
前記誤推論画像と前記リファイン画像との差分に基づいて演算される差分画像から、前記注目度合いマップの所定レベルの領域を切り出した画像と、
前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記注目度合いマップの所定レベルの領域を切り出した画像と、
を乗算することで得られる乗算画像を、画素単位で強度調整処理する、付記１または２に記載の解析装置。
（付記４）
前記可視化部は、
前記注目度合いマップの所定レベルの領域に対応する画像を、ピクセルの集合単位で切り出して画素単位で強度調整処理する、付記１または２に記載の解析装置。
（付記５）
前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示すマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップとを、重畳することで、正解ラベルを推論するための各画素の重要度を示す重要特徴指標マップを生成する重要特徴指標マップ生成部と、
前記重要特徴指標マップの画素値をピクセルの集合単位で加算し、加算値が所定の条件を満たすピクセルの集合を抽出する抽出部と、
抽出されたピクセルの集合を、前記注目度合いマップの所定レベルの領域に絞り込む絞り込み部と、を有し、
前記可視化部は、前記注目度合いマップの所定レベルの領域に対応する画像を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出して画素単位で強度調整処理する、付記４に記載の解析装置。
（付記６）
前記可視化部は、
前記誤推論画像と前記リファイン画像との差分に基づいて算出される差分画像から、前記注目度合いの所定レベルの領域を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出した画像と、
前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記注目度合いマップの所定レベルの領域を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出した画像と、
前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップから、前記注目度合いマップの所定レベルの領域を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出した画像と、
を乗算することで得られる乗算画像を、画素単位で強度調整処理する、付記５に記載の解析装置。
（付記７）
前記強度調整処理は、画素値の強弱を調整する処理である、付記６に記載の解析装置。
（付記８）
前記画像生成部は、推論時に算出する、前記誤推論画像に含まれる推論対象に関する情報を用いて、前記誤推論画像から前記リファイン画像を生成する、付記１に記載の解析装置。
（付記９）
前記画像生成部は、推論時に、前記推論対象に関する情報として、前記誤推論画像における推論対象の位置及び大きさ、存在確率、推論対象を正しく検出できたか否かを示す評価指標、推論対象が外接矩形に含まれる確率、のいずれかを算出する、付記８に記載の解析装置。
（付記１０）
前記画像生成部は、推論時に算出する前記推論対象に関する情報と、前記誤推論画像に含まれる推論対象に関する正解情報との誤差を用いて、前記誤推論画像から前記リファイン画像を生成する、付記８に記載の解析装置。
（付記１１）
前記画像生成部は、前記誤推論画像に複数の推論対象が含まれる場合、該複数の推論対象全ての推論の正解ラベルのスコアを最大化させた１のリファイン画像を生成する、付記８乃至１０のいずれかの付記に記載の解析装置。
（付記１２）
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成し、
前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する、
処理をコンピュータに実行させるための解析プログラム。
（付記１３）
画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成し、
前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する、
処理をコンピュータが実行する解析方法。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：解析装置
１４０ ：誤推論原因抽出部
１４１ ：リファイン画像生成部
１４２ ：注目度合いマップ生成部
１４３ ：詳細原因解析部
３０１ ：画像リファイナ部
３０２ ：画像誤差演算部
３０３ ：推論部
３０４ ：誤差演算部
３１１ ：注目領域導出部
１１０１ ：画像差分演算部
１１０２ ：ＳＳＩＭ演算部
１１０３ ：切り出し部
１１０４ ：作用部
１７１０ ：重要特徴指標マップ生成部
１７１１ ：重要特徴マップ生成部
１７１２ ：劣化尺度マップ生成部
１７１３ ：重畳部
１７２０ ：特定部
１７２１ ：スーパーピクセル分割部
１７２２ ：重要スーパーピクセル決定部
１７２３ ：絞り込み部
１７３０ ：詳細原因解析部
２０１０ ：分割部
２３０１ ：ＢＰ演算部
２３０２ ：切り出し部

Claims (9)

  1. 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成する画像生成部と、
    前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成する注目度合いマップ生成部と、
    前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する可視化部と
    を有する解析装置。
  2. 前記注目度合いマップ生成部は、Ｇｒａｄ−ＣＡＭ法を用いることで、前記注目度合いマップを生成する、請求項１に記載の解析装置。
  3. 前記可視化部は、
    前記誤推論画像と前記リファイン画像との差分に基づいて演算される差分画像から、前記注目度合いマップの所定レベルの領域を切り出した画像と、
    前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記注目度合いマップの所定レベルの領域を切り出した画像と、
    を乗算することで得られる乗算画像を、画素単位で強度調整処理する、請求項１または２に記載の解析装置。
  4. 前記可視化部は、
    前記注目度合いマップの所定レベルの領域に対応する画像を、ピクセルの集合単位で切り出して画素単位で強度調整処理する、請求項１または２に記載の解析装置。
  5. 前記誤推論画像の複数の画素のうち前記リファイン画像を生成する際に変更がなされた画素を示すマップと、前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップとを、重畳することで、正解ラベルを推論するための各画素の重要度を示す重要特徴指標マップを生成する重要特徴指標マップ生成部と、
    前記重要特徴指標マップの画素値をピクセルの集合単位で加算し、加算値が所定の条件を満たすピクセルの集合を抽出する抽出部と、
    抽出されたピクセルの集合を、前記注目度合いマップの所定レベルの領域に絞り込む絞り込み部と、を有し、
    前記可視化部は、前記注目度合いマップの所定レベルの領域に対応する画像を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出して画素単位で強度調整処理する、請求項４に記載の解析装置。
  6. 前記可視化部は、
    前記誤推論画像と前記リファイン画像との差分に基づいて算出される差分画像から、前記注目度合いマップの所定レベルの領域を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出した画像と、
    前記誤推論画像と前記リファイン画像とをＳＳＩＭ演算することで得られるＳＳＩＭ画像から、前記注目度合いマップの所定レベルの領域を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出した画像と、
    前記リファイン画像の複数の画素のうち推論時に注目した各画素の注目度合いを示すマップから、前記注目度合いマップの所定レベルの領域を、前記絞り込み部により絞り込まれたピクセルの集合単位で切り出した画像と、
    を乗算することで得られる乗算画像を、画素単位で強度調整処理する、請求項５に記載の解析装置。
  7. 前記強度調整処理は、画素値の強弱を調整する処理である、請求項６に記載の解析装置。
  8. 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
    前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成し、
    前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する、
    処理をコンピュータに実行させるための解析プログラム。
  9. 画像認識処理の際に誤ったラベルが推論される誤推論画像から、推論の正解ラベルのスコアを最大化させたリファイン画像を生成し、
    前記リファイン画像の複数の画素のうち推論時に注目した注目度合いが同レベルとなる画素の領域を示す注目度合いマップを生成し、
    前記誤推論画像と前記リファイン画像とに基づいて演算される画像のうち、前記注目度合いマップの所定レベルの領域に対応する画像を切り出して画素単位で強度調整処理することで、誤推論の原因となる画像箇所を可視化する、
    処理をコンピュータが実行する解析方法。
JP2019200866A 2019-11-05 2019-11-05 解析装置、解析プログラム及び解析方法 Active JP7363384B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019200866A JP7363384B2 (ja) 2019-11-05 2019-11-05 解析装置、解析プログラム及び解析方法
US17/063,742 US11341361B2 (en) 2019-11-05 2020-10-06 Analysis apparatus, storage medium storing analysis program, and analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019200866A JP7363384B2 (ja) 2019-11-05 2019-11-05 解析装置、解析プログラム及び解析方法

Publications (2)

Publication Number Publication Date
JP2021076927A true JP2021076927A (ja) 2021-05-20
JP7363384B2 JP7363384B2 (ja) 2023-10-18

Family

ID=75687412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019200866A Active JP7363384B2 (ja) 2019-11-05 2019-11-05 解析装置、解析プログラム及び解析方法

Country Status (2)

Country Link
US (1) US11341361B2 (ja)
JP (1) JP7363384B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7229795B2 (ja) * 2019-02-01 2023-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ アノテーション装置、アノテーション方法、及び、プログラム
US11410433B2 (en) * 2020-03-31 2022-08-09 Robert Bosch Gbmh Semantically-consistent augmented training data for traffic light detection
US11983241B2 (en) * 2021-03-01 2024-05-14 Fotonation Limited Method and system for training a neural network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223414A (ja) * 2008-03-13 2009-10-01 Hitachi High-Technologies Corp 一致度計算装置及び方法、プログラム
JP2013131077A (ja) * 2011-12-21 2013-07-04 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム、画像処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868530B2 (ja) 2007-09-28 2012-02-01 Ｋｄｄｉ株式会社 画像認識装置
JP4993615B2 (ja) 2008-03-05 2012-08-08 Ｋｄｄｉ株式会社 画像認識方法および装置
JP5823270B2 (ja) 2011-11-30 2015-11-25 Kddi株式会社 画像認識装置及び方法
JP6598746B2 (ja) 2016-08-22 2019-10-30 Ｋｄｄｉ株式会社 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法
JP6697356B2 (ja) 2016-09-13 2020-05-20 Kddi株式会社 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法
JP2018097807A (ja) 2016-12-16 2018-06-21 株式会社デンソーアイティーラボラトリ 学習装置
CA3055597A1 (en) * 2017-03-17 2018-09-20 Magic Leap, Inc. Room layout estimation methods and techniques
US20190313963A1 (en) * 2018-04-17 2019-10-17 VideaHealth, Inc. Dental Image Feature Detection
WO2020047177A1 (en) * 2018-08-28 2020-03-05 Essenlix Corporation Assay accuracy improvement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223414A (ja) * 2008-03-13 2009-10-01 Hitachi High-Technologies Corp 一致度計算装置及び方法、プログラム
JP2013131077A (ja) * 2011-12-21 2013-07-04 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム、画像処理システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAMPRASAATH R. SELVARAJU ET AL.: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV), JPN6023022600, October 2017 (2017-10-01), pages 618 - 626, ISSN: 0005076211 *
久保田智規他: "ＣＮＮを用いた物体認識における誤認識の原因を可視化する一手法", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１９−ＣＶＩＭ−２１, JPN6023022601, 28 August 2019 (2019-08-28), JP, pages 99 - 104, ISSN: 0005076210 *

Also Published As

Publication number Publication date
US11341361B2 (en) 2022-05-24
US20210133485A1 (en) 2021-05-06
JP7363384B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
US9530071B2 (en) Hierarchical interlinked multi-scale convolutional network for image parsing
US10803352B2 (en) Image processing apparatus, image processing method, and image processing program
JP7363384B2 (ja) 解析装置、解析プログラム及び解析方法
JP7279526B2 (ja) 解析プログラム、解析装置及び解析方法
CN111507153A (zh) 用分割得分图和聚类图检测车道线的后处理方法以及装置
JP7363382B2 (ja) 解析装置、解析プログラム及び解析方法
CN110889421A (zh) 目标物检测方法及装置
US11443526B2 (en) Road obstacle detection device, road obstacle detection method, and recording medium storing a road obstacle detection program
Talwar et al. Evaluating validity of synthetic data in perception tasks for autonomous vehicles
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
JP7363383B2 (ja) 解析装置、解析プログラム及び解析方法
CN113221757B (zh) 一种改善行人属性识别准确率的方法、终端及介质
JP7351186B2 (ja) 解析装置、解析プログラム及び解析方法
US10997467B1 (en) Visual analytics exposure of image object detector weakness
Lu et al. Hallucinating beyond observation: Learning to complete with partial observation and unpaired prior knowledge
CN111091581A (zh) 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质
US20230005255A1 (en) Analysis device and computer-readable recording medium storing analysis program
US20220415026A1 (en) Analysis device and computer-readable recording medium storing analysis program
JP7535934B2 (ja) 不良箇所検出装置、不良箇所検出方法、およびコンピュータプログラム
EP4325463A1 (en) Image processing algorithm evaluation device
Boreiko et al. Identification of Fine-grained Systematic Errors via Controlled Scene Generation
Krämer et al. Real-time visual off-road path detection
CN116152734A (zh) 一种基于多模型的行人检测方法、装置及存储介质
Wang et al. OccludedInst: An Efficient Instance Segmentation Network for Automatic Driving Occlusion Scenes
CN116012585A (zh) 一种基于类别核化动态卷积的实例分割方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R150 Certificate of patent or registration of utility model

Ref document number: 7363384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150