JP2022046085A - 重要度解析装置、方法及びプログラム - Google Patents

重要度解析装置、方法及びプログラム Download PDF

Info

Publication number
JP2022046085A
JP2022046085A JP2020151951A JP2020151951A JP2022046085A JP 2022046085 A JP2022046085 A JP 2022046085A JP 2020151951 A JP2020151951 A JP 2020151951A JP 2020151951 A JP2020151951 A JP 2020151951A JP 2022046085 A JP2022046085 A JP 2022046085A
Authority
JP
Japan
Prior art keywords
importance
input data
distribution
graph
analysis device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020151951A
Other languages
English (en)
Other versions
JP7419200B2 (ja
Inventor
健太郎 高木
Kentaro Takaki
康太 中田
Kota Nakata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020151951A priority Critical patent/JP7419200B2/ja
Priority to US17/187,374 priority patent/US20220076049A1/en
Publication of JP2022046085A publication Critical patent/JP2022046085A/ja
Application granted granted Critical
Publication of JP7419200B2 publication Critical patent/JP7419200B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】機械学習における特徴量の重要度の解析精度を向上させること。【解決手段】 実施形態に係る重要度解析装置は、重要度算出部と分布算出部とを有する。重要度算出部は、学習済みモデルと複数個の入力データとに基づいて前記複数個の入力データ各々の複数の特徴量毎の重要度を算出する。分布算出部は、前記複数個の入力データに亘る前記複数の特徴量毎の前記重要度の分布を算出する。【選択図】 図２

Description

本発明の実施形態は、重要度解析装置、方法及びプログラムに関する。
機械学習の実用において、学習済みモデルから入力データに関する特徴量の重要度を算出したい場合がある。例えば、重要度を参照することにより、入力データの特徴量が多く、次元数が多いときに必要のない次元を削減することが考えられる。他には、歩留まりや出来栄えの予測モデルを構築し、歩留まりや出来栄えに影響の大きい特徴量を抽出することも考えられる。
機械学習における重要度として、複数個の入力データ全体に対する特徴量の平均重要度を算出する方法がある。複数個の入力データに亘る平均重要度が算出されるため、全入力データのうちの一部の入力データのみに重要度が高い特徴量がある場合や重要度の分布に多峰性がある場合などを見逃してしまう可能性がある。入力データ毎に特徴量の重要度を算出する手法もあるが複数個の入力データ全体に亘る重要度を算出することはできない。
Andre Altmann, Laura Tolosi, Oliver Sander, Thomas Lengauer, "Permutation importance: a corrected feature importance measure", Bioinformatics, Volume 26, Issue 10, 15 May 2010, Pages 1340－1347. Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, "Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps", arXiv:1312.6034v2 [cs.CV], 19 Apr 2014.
本発明が解決しようとする課題は、機械学習における特徴量の重要度の解析精度を向上させることが可能な重要度解析装置、方法及びプログラムを提供することである。
実施形態に係る重要度解析装置は、重要度算出部と分布算出部とを有する。重要度算出部は、学習済みモデルと複数個の入力データとに基づいて前記複数個の入力データ各々の複数の特徴量毎の重要度を算出する。分布算出部は、前記複数個の入力データに亘る前記複数の特徴量毎の前記重要度の分布を算出する。
本実施形態に係る重要度解析装置の構成例を示す図 図１の処理回路による重要度可視化処理の流れの一例を示す図 入力データ＃ｉ毎の特徴量ｘｉ ｊの一例を示す図 入力データ＃ｉ毎の特徴量ｘｉ ｊ及び推定出力値ｙｉの一例を示す図 入力データ＃ｉ毎の重要度ｃｉ ｊの一例を示す図 バイオリンプロットの表示例（グループ分け有り）を示す図 リッジラインプロットの表示例を示す図 バイオリンプロットの他の表示例（グループ分け無し）を示す図 ボックスプロットの表示例（グループ分け無し）を示す図 ジッタープロットの表示例（グループ分け無し）を示す図 スワームプロットの表示例（グループ分け無し）を示す図
以下、図面を参照しながら本実施形態に係わる重要度解析装置、方法及びプログラムを説明する。
図１は、本実施形態に係る重要度解析装置１００の構成例を示す図である。重要度解析装置１００は、機械学習における特徴量の重要度を解析するためのコンピュータである。図１に示すように、重要度解析装置１００は、処理回路１、記憶装置２、入力機器３、通信機器４及び表示機器５を有する。
処理回路１は、ＣＰＵ（Central Processing Unit）等のプロセッサとＲＡＭ（Random Access Memory）等のメモリとを有する。処理回路１は、機械学習における特徴量の重要度を算出し可視化するための重要度可視化処理を実行する。処理回路１は、記憶装置２に記憶されているプログラムを実行することにより推定部１１、重要度算出部１２、分布算出部１３及び表示制御部１４を実現する。処理回路１のハードウェア実装は上記態様のみに限定されない。例えば、推定部１１、重要度算出部１２、分布算出部１３及び／又は表示制御部１４を実現する特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）等の回路により構成されても良い。推定部１１、重要度算出部１２、分布算出部１３及び／又は表示制御部１４は、単一の集積回路に実装されても良いし、複数の集積回路に個別に実装されても良い。
推定部１１は、学習済みモデルに複数個の入力データ各々を適用して出力値（以下、推定出力値と呼ぶ）を算出する。本実施形態に係る学習済みモデルは、入力データを入力して推定出力値を出力するように学習されたニューラルネットワークである。本実施形態に係る学習済みモデルは、クラス分類や回帰を行うニューラルネットワークである。入力データは、数値データでもよいし画像データでもよい。出力値は、各クラスのスコアや確率、割合等の数値である。なお、出力層の前段において画像データが出力され、出力層から当該画像データに基づく推定出力値が出力されてもよい。
重要度算出部１２は、学習済みモデルと複数個の入力データとに基づいて、複数個の入力データ各々の複数の特徴量毎の重要度を算出する。重要度は、特徴量毎に推定出力値に与える影響の度合いを評価するための指標である。
分布算出部１３は、複数個の入力データに亘る複数の特徴量毎の重要度の分布を算出する。分布は、重要度の数値毎の発生頻度や確率、確率密度等に関する分布である。典型的には、分布として確率密度関数が算出される。
表示制御部１４は、種々の情報を表示機器５を介して表示する。例えば、表示制御部１４は、分布を可視化する。より詳細には、表示制御部１４は、複数の特徴量毎に分布を表すグラフを生成し、グラフを表示機器５に表示する。
記憶装置２は、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等により構成される。記憶装置２は、処理回路１による種々の演算結果や処理回路１が実行する種々のプログラム等を記憶する。また、記憶装置２は、学習済みモデルや複数個の入力データ等を記憶する。
入力機器３は、ユーザからの各種指令を入力する。入力機器３としては、キーボードやマウス、各種スイッチ、タッチパッド、タッチパネルディスプレイ等が利用可能である。入力機器３からの出力信号は処理回路１に供給される。なお、入力機器３としては、処理回路１に有線又は無線を介して接続されたコンピュータであっても良い。
通信機器４は、重要度解析装置１００にネットワークを介して接続された外部機器との間で情報通信を行うためのインタフェースである。
表示機器５は、種々の情報を表示する。例えば、表示機器５は、表示制御部１４による制御に従い、分布を表すグラフを表示する。表示機器５としては、ＣＲＴ（Cathode-Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＬＥＤ（Light-Emitting Diode）ディスプレイ、プラズマディスプレイ又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。
以下、本実施形態に係る重要度解析装置１００について詳細に説明する。
図２は、処理回路１による重要度可視化処理の流れの一例を示す図である。処理回路１は、ユーザにより入力機器３等を介して重要度可視化処理の開始指示がなされたことを契機として重要度可視化処理に関するプログラムを記憶装置２から読み出して実行する。当該プログラムを実行することにより処理回路１は、図２に示す一連の処理及び機能を実現する。なおプログラムは、図２に示す一連の処理及び機能を実現する単一のモジュールにより構成されてもよいし、一連の処理及び機能を分担する複数のモジュールにより構成されてもよい。
図２に示すように、推定部１１は、学習済みモデルにＮ個の入力データ＃ｉを適用して入力データ＃ｉ毎に推定出力値ｙｉを算出する（ステップＳ１）。Ｎは、入力データの個数を示す２以上の整数である。ｉは、入力データの番号を示す１≦ｉ≦Ｎの整数である。入力データは数値データでもよいし画像データでもよいし他のデータでもよい。
ステップＳ１において推定部１１は、学習済みモデルに入力データ＃ｉを適用して順伝播処理を行うことにより、学習済みモデルの目的変数である推定出力値ｙｉを推定する。本実施形態に係る学習済みモデルは、多クラス分類や回帰のためのニューラルネットワークであり、推定出力値ｙｉは、複数の離散値又は連続値であるとする。推定部１１は、順伝播処理の過程において推定過程においてＪ次元（個）の特徴量ｘｉ ｊを算出する。Ｊは特徴量の次元数（個数）を示す２以上の整数である。ｊは、特徴量の次元番号を示す１≦ｊ≦Ｊの整数である。特徴量ｘｉ ｊは、ｉ番目の入力データ＃ｉに含まれるＪ次元の特徴量のうちのｊ次元目の特徴量である。特徴量ｘｉ ｊは、入力データ＃ｉの特徴量を表す指標値である。特徴量ｘｉ ｊは、例えば、学習済みモデルに含まれる畳み込み層の順伝播により得られる特徴マップ又は特徴ベクトルに対応する。推定部１１は、入力データ＃ｉからＪ次元の特徴量ｘｉ ｊを経て推定出力値ｙｉを推定する。なお、特徴量ｘｉ ｊは、学習済みモデルの順伝播により推定する方法に限定されない。例えば、入力データ＃ｉが製造データである場合、特徴量ｘｉ ｊは、製造データを表す数値でもよいし、製造データに基づく平均値や分散値、標準偏差等の統計演算値でもよい。また、入力データ＃ｉが画像データである場合、特徴量ｘｉ ｊは、輝度等の画素値でもよいし、輝度分布に基づくエッジや粒度等のテクスチャ解析により算出される特徴量でもよい。これら特徴量ｘｉ ｊは、学習済みモデルを介さずに解析学的手法により算出されてもよい。
図３は、入力データ＃ｉ毎の特徴量ｘｉ ｊの一例を示す図である。図３においては、特徴量の次元数Ｊは４であるとする。例えば、入力データ＃１は、１次元目の特徴量ｘ１ １，２次元目の特徴量ｘ１ ２，３次元目の特徴量ｘ１ ３，４次元目の特徴量ｘ１ ４を有しており、それぞれ、０．１，０．４，０．１，０．８である。他の入力データ＃ｉも同様である。
図４は、入力データ＃ｉ毎の特徴量ｘｉ ｊ及び推定出力値ｙｉの一例を示す図である。図４の入力データは図３と同一である。例えば、入力データ＃１に関する推定出力値ｙ１は０．９である。他の推定出力値ｙｉも同様である。推定出力値ｙｉは入力データ＃ｉに関連付けて記憶装置２に格納される。
ここで、学習済みモデル、入力データ及び推定出力値の一例について説明する。例えば、学習済みモデルとしては、半導体製造チップの歩留まり予測モデルが挙げられる。歩留まり予測モデルの入力データとしては、複数の半導体チップを光学撮影することにより得られた光学画像データが用いられる。歩留まり予測モデルに光学画像データが入力されることにより、光学画像データに描画されている半導体チップの良品及び／又は不良品の判定結果である推定出力値が得られる。推定出力値としては、例えば、光学画像データに描画されている複数の半導体チップの良品及び／又は不良品の個数、良品及び／又は不良品である確率、不良品の欠陥種を示すラベル等が得られる。推定出力値は、光学画像データに描画されている半導体チップ毎又は画素毎に得ることが可能である。
学習済みモデルの他の例としては、病気の罹患予測モデルが挙げられる。罹患予測モデルの入力データとしては、患者を各種医用画像診断装置により医用撮像することにより得られた医用画像データが用いられる。罹患予測モデルに医用画像データが入力されることにより、医用画像データに描画されている患者の正常／又は罹患の判定結果である推定出力値が得られる。推定出力値としては、例えば、医用画像データに描画されている人体部位に関する特定疾患の罹患の有無、特定疾患の罹患の確率等が得られる。推定出力値は、医用画像データ又は医用画像データの関心領域毎又は画素毎に得ることが可能である。
ステップＳ１が行われると重要度算出部１２は、学習済みモデルとＮ個の入力データ＃１～＃Ｎとに基づいて、入力データ＃ｉ各々について、特徴量ｘｉ ｊ毎の重要度ｃｉ ｊを算出する（ステップＳ２）。より詳細には、ステップＳ２において重要度算出部１２は、特徴量ｘｉ ｊの変化に対する学習済みモデルの推定出力値ｙｉの変化を測定することにより、特徴量ｘｉ ｊ毎の重要度ｃｉ ｊを算出する。重要度は、Saliency MapやOcculusion Sensitivity等の方法により算出可能である。例えば、Saliency Mapの手法を用いる場合、重要度算出部１２は、推定出力値ｙｉを特徴量ｘｉ ｊで微分することにより、各特徴量ｘｉ ｊに対する重要度ｃｉ ｊを算出する。
図５は、入力データ＃ｉ毎の重要度ｃｉ ｊの一例を示す図である。図５の入力データは図３及び図４と同一である。例えば、入力データ＃１については、１次元目の特徴量ｘ１ １に対応する重要度ｃ１ １，２次元目の特徴量ｘ１ ２に対応する重要度ｃ１ ２，３次元目の特徴量ｘ１ ３に対応する重要度ｃ１ ３，４次元目の特徴量ｘ１ ４に対応する重要度ｃ１ ４は、それぞれ、０．４，０．１，０．４，０．８である。他の重要度ｃｉ ｊも同様である。重要度ｃｉ ｊは入力データ＃ｉ及び推定出力値ｙｉに関連付けて記憶装置２に格納される。
ステップＳ２が行われると分布算出部１３は、グループ化閾値を設定する（ステップＳ３）。グループ化閾値は、推定出力値ｙｉに応じて入力データ＃１～＃Ｎをグループ分けするための閾値である。グループ化閾値は、例えば、表示制御部１４の有するユーザインタフェースにおいてユーザにより指定された値に設定されればよい。グループ化閾値は、１個でもよいし、２個以上でもよい。グループ化閾値は、推定出力値ｙｉの取り得る値であれば如何なる値に設定されてもよい。本実施例においてグループ化閾値は、１個であり、０．５であるとする。
ステップＳ３が行われると分布算出部１３は、グループ化閾値を用いてＮ個の入力データ＃１～＃Ｎをグループ分けする（ステップＳ４）。ステップＳ４において分布算出部１３は、複数の推定出力値ｙｉにグループ化閾値を適用してＮ個の入力データ＃１～＃Ｎを複数のグループに分ける。グループ化閾値が１個である場合、分布算出部１３は、入力データ＃ｉ各々について、推定出力値ｙｉとグループ化閾値との大小関係を判定し、推定出力値ｙｉがグループ化閾値未満の場合、入力データ＃ｉをグループＧ１に、推定出力値ｙｉがグループ化閾値以上の場合、入力データ＃ｉをグループＧ２に分類する。例えば、図４の場合、入力データ＃２の推定出力値ｙ２が０．１であり、入力データ＃３の推定出力値ｙ３が０．４であり、両者はグループ化閾値未満であるので、入力データ＃２及び＃３はグループＧ１に分類される。入力データ＃１の推定出力値ｙ２が０．９であり、入力データ＃Ｎの推定出力値ｙＮが０．９であり、両者はグループ化閾値以上であるので、入力データ＃１及び＃ＮはグループＧ２に分類される。
ステップＳ４が行われると分布算出部１３は、グループ毎に特徴量ｘｊ毎の重要度ｃｊの分布を算出する（ステップＳ５）。特徴量ｘｊは、全入力データ＃１～＃Ｎに関するｊ番目の特徴量を表す。ステップＳ５において算出される分布は、表示制御部１４による分布の表示形式に応じて設定可能である。分布としては、確率密度関数、平均、標準偏差及び分位点等から任意に設定可能である。例えば、確率密度関数に設定された場合、分布算出部１３は、ｊ番目の特徴量ｘｊについて、グループＧ１に属する全入力データ＃１～＃Ｎの重要度ｃｊに基づいて重要度ｃｊの確率密度関数を算出する。同様に、分布算出部１３は、ｊ番目の特徴量について、グループＧ２に属する全入力データ＃１～＃Ｎの重要度ｃｊに基づいて重要度ｃｊの確率密度関数を算出する。同様に、Ｊ個の全ての特徴量ｘｊについてグループ毎に確率密度関数が算出される。確率密度関数は既存の方法により算出されればよい。
ステップＳ５が行われると表示制御部１４は、分布を表すグラフを生成し（ステップＳ６）、ステップＳ６が行われると表示制御部１４は、グラフを表示する（ステップＳ７）。表示制御部１４は、グループ毎にＪ個の特徴量ｘｊ毎の分布を表すグラフを生成し、生成されたグラフを表示機器５に表示する。グラフは、重要度ｃｊとＪ個の特徴量ｘｊとにより規定された第１のグラフを有する。Ｊ個の特徴量ｘｊ毎の分布は、重要度ｃｊと当該重要度ｃｊの出現度合いを示す分布値とにより規定された第２のグラフにより表される。第２のグラフはグループ毎に生成される。Ｊ個の特徴量ｘｊ毎の第２のグラフは、第１のグラフに重要度ｃｊの軸の方向を一致させて並べられる。
表示制御部１４は、ステップＳ５において算出された分布の種類に応じた種類のグラフを生成する。例えば、分布が確率密度関数である場合、グラフとしてバイオリンプロットが生成されるとよい。
図６は、バイオリンプロットの表示例を示す図である。図６に示すバイオリンプロットは、グループ化閾値が１個、分布が確率密度関数の場合を例示している。図６に示すように、バイオリンプロットは、縦軸に重要度ｃｊが規定され、横軸にＪ個の特徴量ｘｊに規定された第１のグラフＧｒ１Ａを有する。また、バイオリンプロットは、各特徴量ｘｊについて、縦軸が重要度ｃｊに規定され、横軸がｃｊの確率密度に規定された第２のグラフＧｒ２Ａを有する。各第２のグラフＧｒ２Ａは、重要度軸が第１のグラフＧｒ１Ａの重要度軸と同一方向を向き、特徴量ｘｊ軸に沿って並べられる。第２のグラフＧｒ２Ａは、グループＧ１のグラフＧｒ２１ＡとグループＧ２のグラフＧｒ２２Ａとを有する。グラフＧｒ２１Ａは、縦軸が重要度ｃｊに規定され、横軸が確率密度に規定され紙面左方向がプラス方向に規定される。グラフＧｒ２２Ａは、縦軸が重要度ｃｊに規定され、横軸が確率密度に規定され紙面右方向がプラス方向に規定される。グラフＧｒ２１ＡとグラフＧｒ２２Ａとは縦軸が共有される。
グラフＧｒ２１Ａの確率密度関数の波形とグラフＧｒ２２Ａの確率密度関数の波形とは、色や線種等の視覚態様が異なるように表示される。例えば、グラフＧｒ２１Ａの確率密度関数の波形は青色で表示され、グラフＧｒ２２Ａの確率密度関数の波形は橙色で表示されるとよい。これにより、グループ間の波形を視覚的に容易に区別して観察することが可能になる。
図６の表示例によれば、特徴量毎にＮ個の入力データ全体に亘る重要度の確率密度関数をグループ毎に観察し解析することが可能になる。推定出力値に応じたグループ毎に重要度が可視化されるので、推定出力値に応じた重要度の振る舞いを観察し解析することができる。また、グループ毎に特徴量毎の重要度が可視化されるので、特徴量に応じた重要度の振る舞い、推定出力値に応じた当該振る舞いの違い等を観察し解析することができる。例えば、特徴量ｘ１や特徴量ｘ３のように、グループＧ１とグループＧ２とで重要度の確率密度関数が異なることを見出すことが可能になる。
特徴量１に関しては、グループＧ２の入力データは、２つの重要度に確率密度のピークを有する多峰性（二峰性）を有していることが分かる。また、グループＧ１の入力データは、１つの重要度に確率密度のピークを有する単峰性を有していることが分かる。特徴量３に関しては、グループＧ１の入力データは、高い重要度に確率密度のピークがあり、グループＧ２の入力データに関しては低い重要度に確率密度のピークがあることが分かる。すなわち、推定出力値に応じて重要度が異なり、特にグループＧ１に属する入力データに対して特徴量３の重要度が高いことが分かる。グループ分けせず平均重要度を可視化した場合、１個の値（平均重要度）が可視化されるだけなので、グループＧ１に属する入力データに対して特徴量３の重要度が高いことを見逃してしまう。本表示例によれば、特徴量３がグループＧ１に属する入力データに対して重要度が高いことを可視化することができるので、重要な特徴量を見逃す可能性を低減することができる。重要度の高い特徴量を見出すことができれば、例えば、当該特徴量に関する演算部分のみが抽出された低コストの学習済みモデルを生成したり、当該特徴量を解析したりすることが可能である。また、歩留まり予測モデル等においては、歩留まりが悪い一部の入力データに対する重要度の高い特徴量を抽出することができるので、当該特徴量に関係する製造装置等を特定することにより、歩留まり悪化の原因と思われる当該製造装置を迅速且つ容易に特定することができる。
表示制御部１４は、Ｊ個の特徴量ｘｊ毎の分布を、グループ間で分布の差が大きい順番に並べてもよい。例えば、図６の例の場合、表示制御部１４は、各特徴量ｘｊについて、グループＧ１の確率密度とグループＧ２の確率密度との差分値を算出し、差分値が大きい順に左から並べてグラフＧｒ２を表示してもよい。これによりユーザは、グループ間で確率密度の差が大きいグラフＧｒ２をより効率的且つより確実に観察し解析することが可能になる。表示制御部１４は、特定の重要度におけるグループＧ１の確率密度とグループＧ２の確率密度との差分を算出し、差分値が大きい順に左から並べてグラフＧｒ２を表示してもよい。特定の重要度は、例えば、各確率密度関数におけるピーク値等に設定されるとよい。
表示制御部１４は、Ｊ個の特徴量ｘｊ毎の分布のうち、グループ間での分布の差が閾値よりも大きい分布を強調してもよい。例えば、図６の例の場合、表示制御部１４は、各特徴量ｘｊについて、グループＧ１の確率密度とグループＧ２の確率密度との差分値を算出し、差分値が閾値よりも大きいグラフＧｒ２を色や点滅等の視覚効果で強調する。また、差分値が閾値よりも大きいことを示すマークやメッセージを当該グラフＧｒ２に付してもよい。これによりユーザは、グループ間で確率密度関数の差が大きいグラフＧｒ２をより効率的且つより確実に観察し解析することが可能になる。
以上により、重要度可視化処理が終了する。
なお、上記の重要度可視化処理は一例であり種々の変形が可能である。
例えば、グループ化閾値は２個以上設定されてもよい。この場合、分布算出部１３は、２個以上のグループ化閾値を用いてＮ個の入力データ＃１～＃Ｎを、３個以上のグループに分けてもよい。この場合、分布算出部１３は、３個以上のグループから任意の２個のグループを選択し、選択された２個のグループに関して、上記の通り、重要度の分布を算出してもよい。２個のグループは、ユーザにより入力機器３を介して指定されたグループが選択されてもよいし、自動的に選択されてもよい。また、分布算出部１３は、３個以上のグループ各々について重要度の分布を算出してもよい。この場合、表示制御部１４は、分布を表すグラフとしてリッジラインプロットを生成及び表示するとよい。
図７は、リッジラインプロットの表示例を示す図である。図７に示すリッジラインプロットＧｒ２Ｂは、単一の特徴量に関する５個のグループＧ１～Ｇ５にそれぞれ対応する５個のグラフＧｒ２１Ｂ～Ｇｒ２５Ｂの集合である。各グラフは、縦軸が確率密度に規定され横軸が重要度に規定された確率密度関数を示している。表示制御部１４は、単一の特徴量に関する５個のグラフＧｒ２１Ｂ～Ｇｒ２５Ｂを並べて表示する。これによりユーザは、５個のグループＧ１～Ｇ５に亘る重要度の確率密度関数を俯瞰することができる。
なお、３個以上のグループの場合のグラフはリッジラインプロットに限定されない。例えば、３Ｄバイオリンプロットでもよい。この場合、表示制御部１４は、複数のグループそれぞれに対応する複数の重要度の確率密度関数のグラフを生成し、重要度軸を共有して複数のグラフを３次元空間に配置することにより３Ｄバイオリンプロットを生成し表示すればよい。３Ｄバイオリンプロットは、ユーザにより入力機器３を介した指示に従い視点を変更可能に表示されるとよい。また、表示制御部１４は、複数のグラフが視認可能であれば如何なる表示方法でもよく、例えば、複数のグラフを色等の視覚効果を変えて重ねて表示してもよいし、積み上げ表示してもよいし、他の方法で表示してもよい。
上記の実施例において学習済みモデルは１チャネルの推定出力値を出力するものとした。しかしながら、本実施形態はこれに限定されず、学習済みモデルは複数チャネルの推定出力値を出力してもよい。この場合、各チャネルについてステップＳ２～ステップＳ７が行われればよい。
上記の実施例において分布算出部１３は、グループ化閾値を用いて入力データ＃１～＃Ｎを複数のグループに分類するものとした。しかしながら、本実施形態はこれに限定されず、分布算出部１３は、入力データ＃１～＃Ｎを複数のグループに分類しなくてもよい。この場合、分布算出部１３は、Ｎ個の入力データ＃１～＃Ｎ全体に亘るＪ個の特徴量ｘｊ毎の重要度ｃｊの分布を算出する。そして表示制御部１４は、分布を表すグラフを生成し、グラフを表示する。この場合においても、分布は、確率密度関数、平均、標準偏差及び分位点等から任意に設定可能である。例えば、分布が確率密度関数である場合、グラフとしてバイオリンプロットが生成される。
図８は、バイオリンプロットの他の表示例を示す図である。図８に示すバイオリンプロットは、グループ分けがされていない場合を例示している。図８に示すように、バイオリンプロットは、縦軸が重要度ｃｊに規定され、横軸がＪ個の特徴量ｘｊに規定された第１のグラフＧｒ１Ｃを有する。また、バイオリンプロットは、各特徴量ｘｊについて、縦軸が重要度ｃｊに規定され、横軸がｃｊの確率密度に規定された第２のグラフＧｒ２Ｃを有する。グループ分けされていないため、第２のグラフＧｒ２Ｃは、単一の確率密度関数を左右対称で表示している。図８の表示例においても、Ｎ個の入力データ＃１～＃Ｎ全体に亘る特徴量ｘｊ毎の重要度の分布を観察することができる。
なお、グラフは、バイオリンプロットに限定されず、ボックスプロット、ジッタープロット又はスワームプロットでもよい。図９は、ボックスプロットの表示例を示す図であり、図１０は、ジッタープロットの表示例を示す図であり、図１１は、スワームプロットの表示例を示す図である。図９、図１０及び図１１は、図８に示すバイオリンプロットと同様、グループ化無しの場合を例示している。図９、図１０及び図１１に示すように、ボックスプロット、ジッタープロット及びスワームプロットは、図８に示すバイオリンプロットと同様、縦軸に重要度ｃｊが規定され、横軸にＪ個の特徴量ｘｊにそれぞれ対応するＪ個のグラフが並べられている。
図９に示すボックスプロットにおいては、各特徴量ｘｊに対応するグラフとして、重要度ｃｊの密集度を箱の大きさで示す図が生成される。図１０に示すジッタープロットにおいては、各特徴量ｘｊに対応するグラフとして、重要度ｃｊのプロットを左右に散らばらせた散布図が生成される。図１１に示すスワームプロットにおいては、各特徴量ｘｊに対応するグラフとして、重要度ｃｊのプロットを重複無く左右に散らばらせた散布図が生成される。これらグラフによっても重要度の各種分布を観察することが可能である。なお、ボックスプロット、ジッタープロット及びスワームプロットは、２以上のグループに関する重要度ｃｊの分布を表すグラフに使用されてもよい。
また、上記の実施例において学習済みモデルは、多クラス分類や回帰のためのニューラルネットワークであるとしたが、本実施形態に係る学習済みモデルは、特徴量毎の重要度を定義可能であれば、これに限定されない。例えば、本実施形態に係る学習済みモデルは、ランダムフォレストやＧＢＤＴ（Gradient Boosting Decision Tree）等の決定木アンサンブル系の機械学習モデルでもよいし、任意のブラックボックスでもよい。この場合、入力データとして、数値が表形式に並べられた表形式データが入力されればよい。
上記の通り、重要度解析装置１００は、重要度算出部１２と分布算出部１３とを有する。重要度算出部１２は、学習済みモデルと複数個の入力データとに基づいて複数個の入力データ各々の複数の特徴量毎の重要度を算出する。分布算出部１３は、複数個の入力データに亘る複数の特徴量毎の重要度の分布を算出する。
上記の構成によれば、複数個の入力データ全体に亘る重要度を算出することが可能であるので、複数個の入力データ全体に亘る各特徴量の重要性を評価することが可能になる。また、上記の構成によれば、複数個の入力データ全てのうちの一部の入力データのみに重要度が高い特徴量がある場合や重要度の分布に多峰性がある場合などを見逃すおそれが低減する。
かくして、本実施形態によれば、機械学習における特徴量の重要度の解析精度を向上させることが可能になる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…処理回路、２…記憶装置、３…入力機器、４…通信機器、５…表示機器、１１…推定部、１２…重要度算出部、１３…分布算出部、１４…表示制御部、１００…重要度解析装置。

Claims (16)

  1. 学習済みモデルと複数個の入力データとに基づいて前記複数個の入力データ各々の複数の特徴量毎の重要度を算出する重要度算出部と、
    前記複数個の入力データに亘る前記複数の特徴量毎の前記重要度の分布を算出する分布算出部と、
    を具備する重要度解析装置。
  2. 前記学習済みモデルに前記複数個の入力データ各々を適用して推定出力値を算出する推定部を更に備え、
    前記分布算出部は、前記複数の推定出力値に応じて前記複数個の入力データを複数のグループに分け、前記グループ毎に前記分布を算出する、
    請求項１記載の重要度解析装置。
  3. 前記分布算出部は、前記複数の推定出力値に閾値を適用して前記複数個の入力データを前記複数のグループに分ける、請求項２記載の重要度解析装置。
  4. 前記閾値は、１個である、請求項３記載の重要度解析装置。
  5. 前記閾値は、２個以上である、請求項３記載の重要度解析装置。
  6. 前記グループ毎に前記複数の特徴量毎の前記分布を表すグラフを生成し、前記グラフを表示機器に表示する表示制御部、を更に備える、請求項２記載の重要度解析装置。
  7. 前記グラフは、前記重要度と前記複数の特徴量とにより規定された第１のグラフであり、
    前記複数の特徴量毎の前記分布は、前記重要度と前記重要度の出現度合いを示す分布値とにより規定され、前記グループ毎に生成される第２のグラフであり、
    前記複数の特徴量毎の前記第２のグラフは、前記第１のグラフに前記重要度の軸の方向を一致させて並べられる、
    請求項６記載の重要度解析装置。
  8. 前記表示制御部は、前記複数の特徴量毎の前記分布を、前記グループ間で前記分布の差が大きい順番に並べる、請求項６記載の重要度解析装置。
  9. 前記表示制御部は、前記複数の特徴量毎の前記分布のうち、前記グループ間での分布値の差が閾値よりも大きい前記分布を強調する、請求項６記載の重要度解析装置。
  10. 前記表示制御部は、前記グループ毎に異なる視覚態様で前記分布を表示する、請求項６記載の重要度解析装置。
  11. 前記グラフは、バイオリンプロット、ボックスプロット、ジッタープロット、スワームプロット又はリッジラインプロットである、請求項６記載の重要度解析装置。
  12. 前記分布算出部は、前記分布として、前記複数のデータセットに亘る前記複数の特徴量毎の前記重要度の確率密度関数を算出する、請求項１記載の重要度解析装置。
  13. 前記複数の特徴量毎に前記分布を表すグラフを生成し、前記グラフを表示機器に表示する表示制御部、を更に備える、請求項１記載の重要度解析装置。
  14. 前記学習済みモデルに前記複数個の入力データ各々を適用して前記複数の特徴量を算出する推定部を更に備える、請求項１記載の重要度解析装置。
  15. 学習済みモデルと複数個の入力データとに基づいて前記複数個の入力データ各々の複数の特徴量毎の重要度を算出し、
    前記複数個の入力データに亘る前記複数の特徴量毎の前記重要度の分布を算出する、
    ことを具備する重要度解析方法。
  16. コンピュータに、
    学習済みモデルと複数個の入力データとに基づいて前記複数個の入力データ各々の複数の特徴量毎の重要度を算出する機能と、
    前記複数個の入力データに亘る前記複数の特徴量毎の前記重要度の分布を算出する機能と、
    を実現させる重要度解析プログラム。
JP2020151951A 2020-09-10 2020-09-10 重要度解析装置、方法及びプログラム Active JP7419200B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020151951A JP7419200B2 (ja) 2020-09-10 2020-09-10 重要度解析装置、方法及びプログラム
US17/187,374 US20220076049A1 (en) 2020-09-10 2021-02-26 Importance analysis apparatus, method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020151951A JP7419200B2 (ja) 2020-09-10 2020-09-10 重要度解析装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022046085A true JP2022046085A (ja) 2022-03-23
JP7419200B2 JP7419200B2 (ja) 2024-01-22

Family

ID=80470726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020151951A Active JP7419200B2 (ja) 2020-09-10 2020-09-10 重要度解析装置、方法及びプログラム

Country Status (2)

Country Link
US (1) US20220076049A1 (ja)
JP (1) JP7419200B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020026873A1 (ja) * 2018-08-02 2021-08-02 シャープ株式会社 表示データ生成装置、表示データ生成方法、プログラム、及び、プログラムの記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154615A (ja) * 2019-03-19 2020-09-24 株式会社デンソーアイティーラボラトリ 情報推定装置及び情報推定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154615A (ja) * 2019-03-19 2020-09-24 株式会社デンソーアイティーラボラトリ 情報推定装置及び情報推定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDRE ALTMANN ET AL.: "Permutation importance: a corrected feature importance measure", [ONLINE], JPN7023002956, 2010, ISSN: 0005118738 *
PROJECT CABINET BLOG: "進化形？箱ひげ図", [ONLINE], JPN7023002955, 2018, ISSN: 0005118739 *

Also Published As

Publication number Publication date
JP7419200B2 (ja) 2024-01-22
US20220076049A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
Fuhrman et al. A review of explainable and interpretable AI with applications in COVID‐19 imaging
CN109643399B (zh) 多类别分类器的交互式性能可视化
Long et al. Visualization and analysis of 3D microscopic images
WO2021093451A1 (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN110419057A (zh) 用于确定分段的混合式主动机器学习系统和方法
Martins et al. Explaining Neighborhood Preservation for Multidimensional Projections.
CN108426994A (zh) 分析数字全息显微术数据以用于血液学应用
CN111986189B (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
JP6480918B2 (ja) フローサイトメトリにおける効率的なコンター及びゲーティング
Manninen et al. Leukemia prediction using sparse logistic regression
Acosta-Mesa et al. Application of time series discretization using evolutionary programming for classification of precancerous cervical lesions
JP2021002354A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP7419200B2 (ja) 重要度解析装置、方法及びプログラム
Cao et al. Untangle map: Visual analysis of probabilistic multi-label data
Sallam et al. An efficient EGWO algorithm as feature selection for B-ALL diagnoses and its subtypes classification using peripheral blood smear images
JP6665999B2 (ja) データ処理装置、決定木生成方法、識別装置及びプログラム
Ain et al. Genetic programming for multiple feature construction in skin cancer image classification
CN114580501A (zh) 骨髓细胞分类方法、系统、计算机设备及存储介质
Geurts et al. Visual comparison of 3D medical image segmentation algorithms based on statistical shape models
de Sousa et al. Evolved explainable classifications for lymph node metastases
US20210201053A1 (en) Visual analytics platform for updating object detection models in autonomous driving applications
Ma et al. Gaussian mixture model-based target feature extraction and visualization
Areosa et al. Explaining the performance of black box regression models
WO2018165530A1 (en) Method of constructing a reusable low-dimensionality map of high-dimensionality data
Walker Visualising multi-objective populations with treemaps

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240110

R150 Certificate of patent or registration of utility model

Ref document number: 7419200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150