JP2020190935A - 機械学習プログラム、機械学習方法および機械学習装置 - Google Patents

機械学習プログラム、機械学習方法および機械学習装置 Download PDF

Info

Publication number
JP2020190935A
JP2020190935A JP2019096003A JP2019096003A JP2020190935A JP 2020190935 A JP2020190935 A JP 2020190935A JP 2019096003 A JP2019096003 A JP 2019096003A JP 2019096003 A JP2019096003 A JP 2019096003A JP 2020190935 A JP2020190935 A JP 2020190935A
Authority
JP
Japan
Prior art keywords
samples
sample
machine learning
value
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019096003A
Other languages
English (en)
Other versions
JP7197795B2 (ja
Inventor
勝彦 村上
Katsuhiko Murakami
勝彦 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019096003A priority Critical patent/JP7197795B2/ja
Priority to US16/875,036 priority patent/US11450436B2/en
Publication of JP2020190935A publication Critical patent/JP2020190935A/ja
Application granted granted Critical
Publication of JP7197795B2 publication Critical patent/JP7197795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

【課題】機械学習の結果の精度を向上させる。【解決手段】第１の値および第２の値の一方を示すラベルと特徴量とを含むサンプルを、特徴量に応じて３個以上のクラスタに分類する。ラベルが第１の値を示すサンプルの個数の情報に基づいて、一部のクラスタを統合した統合クラスタを生成する。統合クラスタと残りのクラスタとへの分類結果に基づいて、複数のサンプルそれぞれについて、第１の値または第２の値に対する確度を算出する。確度が所定条件を満たさないサンプルを、確度が所定条件を満たすサンプルよりも優先的に用いて、機械学習を実行する。【選択図】図６

Description

本発明は機械学習プログラム、機械学習方法および機械学習装置に関する。
コンピュータを利用したデータ分析として、機械学習が行われることがある。機械学習では、結果が既知である複数のサンプルを示すデータをコンピュータに入力する。コンピュータは、データを分析して、要因（説明変数や独立変数と言うことがある）と結果（目的変数や従属変数と言うことがある）との間の関係を一般化したモデルを生成する。生成されたモデルを用いることで、未知の結果を予測することができる。
機械学習の応用例として、バイオマーカー探索がある。バイオマーカーは、タンパク質や遺伝子などの生体物質に関する特徴量であって、特定の疾病の有無または進行度と相関のある指標である。バイオマーカーは、特定の疾病の診断や治療効果の確認に利用することができる。バイオマーカー探索では、タンパク質の濃度や遺伝子の発現量など生体物質から測定された特徴量と、医師など人により判断された疾病の有無を示すラベルとを対応付けたサンプルを用いて機械学習が行われる。そして、疾病の有無の判定結果への影響が大きい少数の特徴量がバイオマーカーとして抽出され、バイオマーカーと疾病の有無との間の関係を一般化したモデルが生成される。新規に測定されたバイオマーカーの値をモデルに入力することで、疾病の有無を予測することができる。
国際公開第２０１０／０５１３２０号
機械学習では、測定された特徴量とＹＥＳ／ＮＯのような二値のラベルとを含むサンプルを利用して、入力を２つのクラスに分類するモデルの生成を試みることがある。しかし、サンプルの集合の中には、サンプルを用意する過程の事情により、２つのクラスの中間的な特徴量をもつ混合サンプルが含まれてしまうことがある。この場合、混合サンプルがノイズとなって、機械学習の結果の精度が低下することがあるという問題がある。
例えば、バイオマーカー探索では、疾病ありを示すラベルが付与されたサンプルは、純粋な異常細胞から測定された特徴量を示していることが好ましい。しかし、採取した異常細胞群の中に正常細胞が混入していることがあり、採取した異常細胞が疾病の進行途上の細胞であることもある。その場合、純粋な異常細胞の特徴量と純粋な正常細胞の特徴量の間の中間的な特徴量を示す混合サンプルが発生する。このような混合サンプルが存在すると、入力を疾病ありのクラスと疾病なしのクラスに明確に分類することが難しくなることがあり、有用なバイオマーカーを見逃すリスクが生じる。
１つの側面では、本発明は、機械学習の結果の精度を向上させる機械学習プログラム、機械学習方法および機械学習装置を提供することを目的とする。
１つの態様では、コンピュータに以下の処理を実行させる機械学習プログラムが提供される。第１の値および第２の値の一方を示すラベルと特徴量とをそれぞれ含む複数のサンプルを、特徴量に応じて３個以上のクラスタに分類する。複数のサンプルのうちラベルが第１の値を示すサンプルの個数の情報に基づいて、３個以上のクラスタのうちの一部のクラスタを統合した統合クラスタを生成する。統合クラスタと３個以上のクラスタのうちの残りのクラスタとへの複数のサンプルの分類結果に基づいて、複数のサンプルそれぞれについて、第１の値または第２の値に対する確度を算出する。複数のサンプルのうち確度が所定条件を満たさないサンプルを、確度が所定条件を満たすサンプルよりも優先的に用いて、機械学習を実行する。
また、１つの態様では、コンピュータが実行する機械学習方法が提供される。また、１つの態様では、記憶部と処理部とを有する機械学習装置が提供される。
１つの側面では、機械学習の結果の精度が向上する。
第１の実施の形態の機械学習装置の例を説明する図である。 第２の実施の形態の機械学習装置のハードウェア例を示す図である。 機械学習装置の機能例を示すブロック図である。 サンプルテーブルの例を示す図である。 サンプルの分布例を示すグラフである。 混合サンプルの除外例を示す図である。 混合サンプルの他の除外例を示す図である。 バイオマーカー探索の手順例を示すフローチャートである。 データ前処理の手順例を示すフローチャートである。
以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
図１は、第１の実施の形態の機械学習装置の例を説明する図である。
第１の実施の形態の機械学習装置１０は、複数のサンプルのうちの少なくとも一部を訓練データとして使用して機械学習を行う。第１の実施の形態の機械学習では、入力を２つのクラスに分類するモデルを生成する。例えば、機械学習装置１０は、生体物質に関する特徴量と疾病の有無との間の関係を示す医療診断用モデルを学習する。機械学習装置１０を、疾病の有無と相関のある特徴量であるバイオマーカーの探索に使用することもできる。ただし、第１の実施の形態の機械学習方法は、医療分野に限定されず、様々な分野のデータ分析に応用できる。機械学習装置１０を、情報処理装置やコンピュータを言うこともできる。機械学習装置１０は、クライアント装置でもよいしサーバ装置でもよい。
機械学習装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、メモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
記憶部１１は、それぞれラベルと１以上の特徴量とを含む複数のサンプルを記憶する。サンプルを、データレコードやデータブロックと言うこともできる。ラベルは、機械学習における教師データであり、第１の値（Ｌ１）および第２の値（Ｌ２）の何れか一方を示す二値データである。ラベルは、例えば、人手により各サンプルに対して付与される。第１の値および第２の値の一方は、特定の事象が生じていること（「ＹＥＳ」や「ＯＮ」）を表し、他方は特定の事象が生じていないこと（「ＮＯ」や「ＯＦＦ」）を表す。特徴量は、ラベルが示す結果に関連して測定される数値である。各サンプルは、ｍ個（ｍは１以上の整数）の特徴量を含み、ｍ次元空間上の点として表すことができる。各サンプルの特徴量はｍ次元のベクトル（Ｘ１，Ｘ２，Ｘ３など）で表現される。これを以下、「特徴量ベクトル」と呼ぶ。
バイオマーカー探索を目的とする場合、例えば、特徴量は、タンパク質の濃度や遺伝子の発現量など、生体組織や体液などの生体物質から測定された測定値である。遺伝子発現は、遺伝情報がＲＮＡ（Ribonucleic Acid）の転写やタンパク質の合成を通じて生体の機能として現れることである。遺伝子の発現量は、対象の遺伝子に対応するｍＲＮＡの濃度として測定し得る。比較的少数の特徴量の集合が、特定の疾病の有無と相関のある指標であるバイオマーカーとなり得る。ラベルは、疾病の有無を示す。ラベルは、例えば、医師などの専門家による診断結果を示している。例えば、第１の値が疾病なしを表し、第２の値が疾病ありを表す。第１の値のラベルが付与されたサンプルは、疾病のない正常な生体物質に対応するデータであることが期待される。第２の値のラベルが付与されたサンプルは、疾病がある異常な生体物質に対応するデータであることが期待される。
ただし、記憶部１１に記憶されたサンプルの中には、サンプルを用意する過程の事情により、２つのクラスの中間的な特徴量をもつ混合サンプルが含まれている。例えば、医療データの場合、疾病ありを示すラベルが付与されたサンプルは、純粋な異常細胞から測定された特徴量を示していることが好ましく、疾病なしを示すラベルが付与されたサンプルは、純粋な正常細胞から測定された特徴量を示していることが好ましい。しかし、採取した異常細胞群の中に正常細胞が混入していることがあり、採取した異常細胞が疾病の進行途上の細胞であることもある。その場合、純粋な異常細胞の特徴量と純粋な正常細胞の特徴量の間の中間的な特徴量を示す混合サンプルが発生する。
混合サンプルを含むサンプル群を用いて機械学習を行うと、混合サンプルの影響を受けて、入力を２つのクラスに分類するモデルの精度が低下するおそれがある。よって、バイオマーカー探索の場合、有用なバイオマーカーを見逃すリスクが生じる。そこで、機械学習装置１０は、混合サンプルの影響を抑制するように機械学習用データの前処理を行う。
処理部１２は、記憶部１１に記憶された複数のサンプルを、特徴量ベクトルに応じて３個以上のクラスタに分類する。互いに近い特徴量ベクトルをもつサンプル群が１つのクラスタを形成する。クラスタリングには、ｋ平均法（ｋ−ｍｅａｎｓ法）や混合ガウス分布（ＧＭＭ：Gaussian Mixture Model）法などの様々なクラスタリングアルゴリズムを利用できる。クラスタ数は、固定であってもよいし、ユーザが指定できるようにしてもよいし、自動的に調整されるようにしてもよい。図１の例では、複数のサンプルがクラスタ１３ａ，１３ｂ，１３ｃ，１３ｄの４つのクラスタに分類されている。なお、白点は第１の値（Ｌ１）のラベルをもつサンプルを表し、黒点は第２の値（Ｌ２）のラベルをもつサンプルを表す。特徴空間上で白点と黒点が混在した領域が存在するのは、混合サンプルが存在するためである。
処理部１２は、記憶部１１に記憶された複数のサンプルのうちラベルが第１の値（Ｌ１）を示すサンプルの個数をカウントする。処理部１２は、ラベルが第１の値を示すサンプルの個数の情報に基づいて、上記の３個以上のクラスタのうち一部のクラスタを選択し、選択した一部のクラスタを統合した統合クラスタ１４を生成する。
例えば、処理部１２は、ラベルが第１の値を示すサンプルのうち所定割合以上のサンプルが統合クラスタ１４に属するように、統合するクラスタを選択する。所定割合は、９０％のように予め決めておく。統合するクラスタは、例えば、ラベルが第１の値を示すサンプル群の中心、すなわち、ラベルが第１の値を示すサンプルの平均特徴量ベクトルに近いクラスタから優先的に選択するようにする。図１の例では、クラスタ１３ａ，１３ｂ，１３ｃ，１３ｄのうちクラスタ１３ａ，１３ｂを統合して統合クラスタ１４が生成されている。
処理部１２は、統合クラスタ１４と統合しなかった残りのクラスタとへのサンプルの分類結果に基づいて、サンプル毎に第１の値（Ｌ１）または第２の値（Ｌ２）に対する確度を算出する。確度は、あるサンプルが混合サンプルにあたる程度を評価した結果を表しており、純粋な第１の値に相当するサンプルとの近さまたは純粋な第２の値に相当するサンプルとの近さの推定値である。確度は、ラベルと相関があるものの、ラベルとは異なる指標である。確度は、混合サンプルの程度を表すという点で、混合度、純度、混在率などと言うこともできる。確度は、例えば、０以上１以下の実数とする。その場合、確度が０．５に近いサンプルほど混合サンプルである可能性が高い。例えば、医療データの場合、確度は、純粋な正常細胞のサンプルとの近さまたは純粋な異常細胞のサンプルとの近さの推定値である。この場合、確度を、正常度、異常度、進行度などと言うこともできる。
例えば、処理部１２は、クラスタリングにおいて、サンプル毎に当該サンプルが３個以上のクラスタそれぞれに属する確率を算出しておく。処理部１２は、サンプル毎に、３個以上のクラスタに対する確率のうち統合クラスタ１４として選択した一部のクラスタに対する確率を合計し、その合計値を確度として定義する。この場合、統合クラスタ１４に近い特徴量ベクトルをもつサンプルほど確度が１に近くなり、統合クラスタ１４から遠い特徴量ベクトルをもつサンプルほど確度が０に近くなる。図１の例では、特徴量ベクトルＸ１，Ｘ２，Ｘ３，…に対応する確度λ１，λ２，λ３，…が算出されている。
処理部１２は、記憶部１１に記憶された複数のサンプルのうち、確度が所定条件を満たさないサンプルを、確度が所定条件を満たすサンプルよりも優先的に用いて機械学習を行う。所定条件は、例えば、混合サンプルである可能性が高いことを示す所定範囲に確度が属していることである。所定範囲は、例えば、０．２〜０．８のように、最大値と最小値を含まず、最大値と最小値の間の中点（例えば、０．５）を含むように予め定められる。確度が所定条件を満たすサンプルは、混合サンプルと推定される。
確度が所定条件を満たさないサンプルの優先使用として、処理部１２は、記憶部１１に記憶された複数のサンプルのうち確度が所定条件を満たすサンプルを除外し、所定条件を満たさないサンプルのみを訓練データとして使用して機械学習を行うようにしてもよい。
また、処理部１２は、確度が所定条件を満たすサンプルに対して、所定条件を満たさないサンプルよりも小さい重みを付与し、記憶部１１に記憶された複数のサンプルを重みに応じて使用して機械学習を行うようにしてもよい。例えば、機械学習の途中でモデルの出力とラベルとの間の誤差を評価する際に、誤差を重み付けし、重みが小さいサンプルに対応する誤差のフィードバックを小さくすることが考えられる。処理部１２は、確度が０．５に近いほど小さい重みを付与し、確度が０．５から遠いほど大きい重みを付与してもよい。確度が０．５であるサンプルの重みを０にしてもよい。重みが０のサンプルは、実質的に訓練データから除外され機械学習に使用されないことになる。
図１の例では、第１の値（Ｌ１）のラベルが付与された白点のサンプルと第２の値（Ｌ２）のラベルが付与された黒点のサンプルとが混在した領域のサンプルに対して、０．５に近い確度が算出されている。これらのサンプルは混合サンプルである可能性が高いと推定される。そして、これらのサンプルが訓練データから除外され、除外されずに残ったサンプルを用いて、入力を２つのクラスに分類するモデルが学習されている。
第１の実施の形態の機械学習装置１０によれば、複数のサンプルが特徴量ベクトルに応じて３個以上のクラスタに分類される。第１の値のラベルをもつサンプルの個数に基づいて、一部のクラスタを統合した統合クラスタが生成され、統合クラスタと残りのクラスタとへのサンプルの分類結果に基づいて各サンプルの確度が算出される。確度が所定条件を満たさないサンプルが、所定条件を満たすサンプルよりも優先的に使用されて機械学習が行われる。
これにより、サンプルを用意する過程の事情により生じた混合サンプルの影響を、機械学習において抑制することができる。例えば、医療データの場合、正常細胞と異常細胞が混在した細胞群を採取することや疾病の進行途上の細胞を採取することによって生じた混合サンプルの影響を抑制することができる。よって、入力を２つのクラスに分類するモデルの精度を向上させることができるなど、機械学習の結果の精度を向上させることができる。これは、混合サンプルと他のサンプルを同等に扱うと、混合サンプルの影響により２つのクラスの境界を正確に検出することが難しくなり、誤ったモデルが生成されるリスクが高くなるためである。機械学習を利用してバイオマーカー探索を行う場合、第１の実施の形態によれば、有用なバイオマーカーを見逃すリスクを低減できる。
［第２の実施の形態］
次に、第２の実施の形態を説明する。
第２の実施の形態の機械学習装置は、機械学習を利用して癌に関するバイオマーカーを探索する。機械学習装置は、クライアント装置でもよいしサーバ装置でもよい。機械学習装置を、コンピュータや情報処理装置と言うこともできる。
図２は、第２の実施の形態の機械学習装置のハードウェア例を示す図である。
機械学習装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像インタフェース１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。機械学習装置１００が有するこれらのユニットは、機械学習装置１００の内部でバスに接続されている。機械学習装置１００は、第１の実施の形態の機械学習装置１０に対応する。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。ＣＰＵ１０１は複数のプロセッサコアを備えてもよく、機械学習装置１００は複数のプロセッサを備えてもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。
ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムやＣＰＵ１０１が演算に使用するデータを一時的に記憶する揮発性の半導体メモリである。機械学習装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。
ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。機械学習装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。
画像インタフェース１０４は、ＣＰＵ１０１からの命令に従って、機械学習装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１として、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイ、プロジェクタなど、任意の種類の表示装置を使用することができる。機械学習装置１００に、プリンタなど表示装置１１１以外の出力デバイスが接続されてもよい。
入力インタフェース１０５は、機械学習装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用することができる。機械学習装置１００に複数種類の入力デバイスが接続されてもよい。
媒体リーダ１０６は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、半導体メモリなど、任意の種類の記録媒体を使用することができる。媒体リーダ１０６は、例えば、記録媒体１１３から読み取ったプログラムやデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、ＣＰＵ１０１によって実行される。なお、記録媒体１１３は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体１１３やＨＤＤ１０３を、コンピュータ読み取り可能な記録媒体と言うことがある。
通信インタフェース１０７は、ネットワーク１１４に接続され、ネットワーク１１４を介して他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
図３は、機械学習装置の機能例を示すブロック図である。
機械学習装置１００は、サンプル記憶部１２１、モデル記憶部１２２、データ前処理部１２３、モデル生成部１２４および疾病判定部１２５を有する。サンプル記憶部１２１およびモデル記憶部１２２は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実現される。データ前処理部１２３、モデル生成部１２４および疾病判定部１２５は、例えば、ＣＰＵ１０１が実行するプログラムを用いて実現される。
サンプル記憶部１２１は、機械学習用データとして予め用意された複数のサンプルを記憶する。各サンプルは、人から採取された生体組織に対応し、同じ生体組織から測定された異なる遺伝子の発現量を示すｍ個の特徴量を含む。特徴量の個数は、１０，０００など非常に大きい個数であってもよい。遺伝子発現は、遺伝情報がＲＮＡの転写やタンパク質の合成を通じて生体の機能として現れることであり、遺伝子発現量は、対象の遺伝子に対応するｍＲＮＡの濃度として測定することができる。
複数のサンプルの中には、癌患者の癌細胞から測定されたｍ個の遺伝子の発現量を示す癌サンプルと、正常細胞から測定されたｍ個の遺伝子の発現量を示す正常サンプルとが含まれる。各サンプルには、正常サンプルか癌サンプルかを示すラベルが付与されている。ラベルは、医師などの専門家の診断結果を示し、人手で付与される。ラベルは、正常サンプルを意味する値と癌サンプルを意味する値の二者択一であるという点でフラグと言うこともでき、「０」または「１」の値をもつ１ビットで表現することもできる。ラベルは、教師あり機械学習における教師データとして使用される。
ただし、各サンプルが示すｍ個の特徴量の全てが癌と関連があるわけではない。機械学習装置１００は、上記の複数のサンプルを用いた機械学習を通じて、癌と関連がある少数の特徴量の集合をバイオマーカーとして検出するバイオマーカー探索を行う。バイオマーカーを形成する特徴量の個数は、２０個など１００個以下が目安であり、各サンプルに含まれる特徴量の個数に対して十分少ない。バイオマーカーは、生体物質に関する特徴量であって特定の疾病の有無または進行度と相関のある指標であり、特定の疾病の診断や治療効果の確認に利用される。機械学習装置１００は、機械学習を通じて、バイオマーカーの値から癌の有無またはその尤度を判定するモデルを生成する。このモデルは、判別モデル、予測モデル、判定モデル、診断モデルなどと言うこともできる。
モデル記憶部１２２は、機械学習により検出されたバイオマーカーを示すバイオマーカー情報を記憶する。バイオマーカー情報は、ｍ個の遺伝子のうちバイオマーカーを形成する少数の遺伝子（例えば、２０個程度の遺伝子）を示す。また、モデル記憶部１２２は、バイオマーカーの値と癌の有無との間の関係を示すモデルを記憶する。
データ前処理部１２３は、サンプル記憶部１２１に記憶された複数のサンプルに対して前処理を行う。データ前処理部１２３は、前処理済みのサンプルの集合を訓練データとしてモデル生成部１２４に出力する。後述するように、前処理として、データ前処理部１２３は、サンプル記憶部１２１に記憶された複数のサンプルのうちの一部のサンプルを訓練データから除外することがある。また、データ前処理部１２３は、サンプル記憶部１２１に記憶された複数のサンプルを重み付けすることがある。一部のサンプルに対して他のサンプルよりも小さい重みが付与される。ユーザは、前処理方法を予め設定してもよい。例えば、ユーザは、一部のサンプルの除外と重み付けの何れか一方を予め選択する。
モデル生成部１２４は、データ前処理部１２３から訓練データを取得し、取得した訓練データを用いて機械学習を行う。モデル生成部１２４は、機械学習により癌のバイオマーカーを決定し、機械学習によりバイオマーカーの値から癌判定を行うモデルを生成する。モデル生成部１２４は、バイオマーカー情報とモデルをモデル記憶部１２２に格納する。
バイオマーカー探索では、モデル生成部１２４は、訓練データのサンプルに含まれるｍ個の特徴量を全て用いて、ｍ個の特徴量と癌の有無との間の関係を示すモデルの生成を試みる。モデル生成部１２４は、生成したモデルに基づいて、ｍ個の遺伝子のうち癌の有無の判定結果への影響が大きい少数の遺伝子をバイオマーカーとして選択する。例えば、モデル生成部１２４は、ｍ個の遺伝子のうちモデルの係数の絶対値が大きい方から所定個の遺伝子をバイオマーカーとして選択する。バイオマーカーが決定されると、モデル生成部１２４は、訓練データのサンプルに含まれるｍ個の特徴量のうちバイオマーカーに相当する特徴量を用いて、バイオマーカーと癌の有無との間の関係を示すモデルを生成する。
ただし、モデル生成部１２４は、バイオマーカー探索とバイオマーカーから癌判定を行うモデルの生成とを一体的に行うようにしてもよく、上記と異なる手順でバイオマーカー情報とモデルを生成するようにしてもよい。例えば、バイオマーカーの候補として少数の特徴量を選択し、選択した特徴量と癌の有無との間の関係を示すモデルを生成することを、精度のよいモデルが生成されるまで繰り返す方法も考えられる。
機械学習には、回帰分析やサポートベクタマシン（ＳＶＭ：Support Vector Machine）などの機械学習アルゴリズムを使用することができる。入力を２つのクラスに分類するクラス分類に適した機械学習アルゴリズムを使用することが好ましい。データ前処理部１２３が一部のサンプルを訓練データから除外した場合、モデル生成部１２４は、除外されずに残ったサンプルを用いて機械学習を行う。データ前処理部１２３が複数のサンプルの重み付けを行った場合、モデル生成部１２４は、重みを考慮して機械学習を行う。例えば、モデル生成部１２４は、モデルの出力とラベルとの間の誤差をフィードバックする際に、サンプルに付与された重みを用いて誤差を補正する。重みが大きいほど誤差が強くフィードバックされ、重みが小さいほど誤差が弱くフィードバックされる。よって、重みが小さいサンプルについては、学習されるモデルへの影響が小さくなる。
モデル生成部１２４は、機械学習の結果を表示装置１１１に表示する。例えば、モデル生成部１２４は、検出したバイオマーカーを示すバイオマーカー情報を表示装置１１１に表示する。ただし、モデル生成部１２４は、機械学習の結果を、表示装置１１１以外の出力デバイスに出力してもよく、他の情報処理装置に送信してもよい。
疾病判定部１２５は、ユーザからバイオマーカーの値の入力を受け付ける。受け付けるバイオマーカーの値は、サンプル記憶部１２１に記憶されたサンプルとは異なるものであり、新規に採取された細胞から測定された遺伝子発現量である。採取された細胞は、癌検査を受ける人のものであることもあるし、治療中の癌患者のものであることもある。すると、疾病判定部１２５は、モデル記憶部１２２に記憶されたモデルにバイオマーカーの値を入力し、癌判定の結果をモデルから取得する。モデルの出力は、癌ありまたは癌なしを示す離散値であることもあるし、癌ありの尤度を示す連続値であることもある。
疾病判定部１２５は、癌判定の結果を表示装置１１１に表示する。ただし、疾病判定部１２５は、癌判定の結果を、表示装置１１１以外の出力デバイスに出力してもよく、他の情報処理装置に送信してもよい。また、第２の実施の形態では、機械学習装置１００がバイオマーカー探索とモデルを利用した癌判定の両方を行っているが、バイオマーカー探索とモデルを利用した癌判定を異なる情報処理装置が行うこともできる。
図４は、サンプルテーブルの例を示す図である。
サンプルテーブル１２６は、サンプル記憶部１２１に記憶されている。サンプルテーブル１２６には、サンプルＩＤ、ｍ個の特徴量およびラベルをそれぞれ含む複数のサンプルが登録されている。サンプルテーブル１２６の１行が１つのサンプルに対応する。サンプルを、データレコードやデータブロックと言うこともある。
サンプルＩＤは、サンプルを識別する識別情報である。サンプルＩＤは、例えば、非負整数の識別番号である。サンプルテーブル１２６には、癌ありを示すラベルが付与されたｐ個の癌サンプルと、癌なしを示すラベルが付与されたｃ個の正常サンプルとが登録されている。よって、サンプルテーブル１２６には、合わせてｐ＋ｃ個のサンプルが登録されている。ｍ個の特徴量は、同一の生体組織から測定されたｍ個の異なる遺伝子の発現量である。ラベルは、癌ありまたは癌なしを示す。例えば、ラベル＝０が癌あり（Patient）を示し、ラベル＝１が癌なし（ControlまたはNormal）を示す。正常サンプルと癌サンプルは、肺や肝臓や大腸などのうち、同じ種類の生体組織から測定されたものである。
次に、混合サンプルの問題と混合サンプルの影響を抑制するための前処理を説明する。
図５は、サンプルの分布例を示すグラフである。
サンプルテーブル１２６に登録された複数のサンプルを、ｍ個の特徴量に対応するｍ個の軸をもつｍ次元特徴空間にマッピングすることを考える。第２の実施の形態では、説明を簡単にするため２次元特徴空間を図示している。
複数のサンプルを特徴空間にマッピングすると、正常ラベルが付与された正常サンプルを含む正常サンプルグループ１３１と、癌ラベルが付与された癌サンプルを含む癌サンプルグループ１３２とが形成される。複数の正常サンプルの点は互いに近い位置にあり、複数の癌サンプルの点は互いに近い位置にあることが期待される。正常サンプルグループ１３１と癌サンプルグループ１３２とは明確に分離していることが好ましい。しかし、正常サンプルグループ１３１と癌サンプルグループ１３２とがオーバーラップすることがある。すなわち、特徴空間上に、正常サンプルの点と癌サンプルの点が混在する領域が現れることがある。これは、いわゆる混合サンプルが存在するためである。
混合サンプルは、生体組織の採取に起因して生じる。正常サンプルは、純粋な正常細胞のみから生成されることが好ましく、癌サンプルは、純粋な癌細胞のみから生成されることが好ましい。しかし、実際には採取した癌細胞群の中に正常細胞が混入していることがあり、癌の進行途上の細胞が採取されることもある。このような細胞からは、純粋な正常細胞と純粋な癌細胞の中間的な特徴量をもつ混合サンプルが生成される。
混合サンプルを含む全てのサンプルを同等に扱って機械学習を行うと、正常サンプルグループ１３１と癌サンプルグループ１３２の間に明確な境界を検出することが難しくなる。特に、ＳＶＭでは、境界付近に異なるラベルのサンプルが混在していると、境界を正しく検出することが難しくなる。その結果、生成されるモデルの分類精度が低下し、バイオマーカーの探索が困難になるおそれがある。
そこで、機械学習装置１００は、複数のサンプルの中から混合サンプルを自動的に推定し、混合サンプルの機械学習への影響を抑制するようにする。具体的には、機械学習装置１００は、混合サンプルを訓練データから除外するか、または、混合サンプルに対して他のサンプルよりも小さい重みを付与するようにする。
図６は、混合サンプルの除外例を示す図である。
ここでは、データ前処理として混合サンプルを除外する場合を考える。
データ前処理部１２３は、サンプルテーブル１２６に登録されたサンプルの集合であるサンプルデータ１４１を、正常サンプルグループ１４４と癌サンプルグループ１４５と混合サンプルグループ１４６とに分類する。
混合サンプルグループ１４６は、混合サンプルであると推定されたサンプルの集合である。正常サンプルグループ１４４は、正常ラベルが付与されたサンプルのうち、混合サンプルグループ１４６に分類されたものを除いたサンプルの集合である。正常サンプルグループ１４４に属するサンプルは、純粋な正常細胞のサンプルであると推定される。癌サンプルグループ１４５は、癌ラベルが付与されたサンプルのうち、混合サンプルグループ１４６に分類されたものを除いたサンプルの集合である。癌サンプルグループ１４５に属するサンプルは、純粋な癌細胞のサンプルであると推定される。
データ前処理部１２３は、サンプルデータ１４１から混合サンプルグループ１４６のサンプルを除外し、正常サンプルグループ１４４と癌サンプルグループ１４５のサンプルから形成される訓練データ１４２を生成する。モデル生成部１２４は、訓練データ１４２を用いて機械学習を行いモデル１４３を生成する。この機械学習は、混合サンプルを無視して、正常ラベルのサンプルと癌ラベルのサンプルの境界を検出することに相当する。
第２の実施の形態では、混合サンプルを抽出するために、各サンプルについて隠れ変数として正常度λを算出する。正常度λは、当該サンプルを純粋な正常細胞のサンプルとみなすことができる程度を表す指標である。正常度λは、採取した生体組織の中に含まれる正常細胞の割合の推定値と解釈することもできる。この点で、正常度λを、混在率、混合度、確度、純度などと表現することもできる。また、正常度λは、癌の未進行の程度と解釈することもできる。この点で、正常度λを、非進行度と表現することもできる。
正常度λは、０以上１以下の実数である。正常度λが１に近いほど、純粋な正常細胞のサンプルである可能性が高く、正常度λが０に近いほど、純粋な癌細胞のサンプルである可能性が高い。正常度λが０．５に近いほど、混合サンプルである可能性が高い。正常度λは、ラベルと高い相関があるものの、ラベルとは異なる指標である。
以下、正常度λの計算方法および混合サンプルの抽出方法を説明する。
まず、データ前処理部１２３は、各サンプルの特徴量を規格化する。例えば、データ前処理部１２３は、遺伝子毎に発現量の数値が一定の数値範囲に分布するように、サンプル間の特徴量の大小関係が保持されるようにしつつ数値変換を行う。また、データ前処理部１２３は、特徴空間の次元削減を行い、１０，０００程度の特徴量ベクトルの次元を１００程度の次元に圧縮する。次元削減には、例えば、特異値分解（ＳＶＤ：Singular Value Decomposition）が用いられる。次元削減によれば、特徴空間上でのサンプル間の近さの関係をできる限り保持しつつ特徴空間の次元数を減らすことができる。特徴量の規格化および次元削減は、混合サンプルの抽出のために一時的に行われる数値変換である。
次に、データ前処理部１２３は、次元削減後の特徴空間上で、サンプルをその位置に応じて複数のクラスタに分類するクラスタリングを行う。クラスタリングでは、近い位置のサンプルが同じクラスタに分類され、離れた位置のサンプルが異なるクラスタに分類される。クラスタ数ｎは、５個など予め決めておく。クラスタリングには、ｋ平均法や混合ガウス分布法など様々なクラスタリングアルゴリズムを用いることができる。第２の実施の形態では、クラスタリングに混合ガウス分布法を用いることを想定する。
混合ガウス分布法では、特徴空間上にｎ個のクラスタに対応するｎ個のガウス分布が重なった結果として、確率的に今回のサンプルの集合が生成されているとみなす。混合ガウス分布法では、サンプル毎に数式（１）の生成確率Ｐが定義され、全てのサンプルの生成確率Ｐの合計が最大化されるようにｎ個のクラスタのパラメータが決定される。
数式（１）において、ｘｉは、ｐ＋ｃ個のサンプルのうちのｉ番目のサンプルの特徴ベクトルを表し、特徴空間でのサンプルの位置に相当する。μｌは、ｎ個のクラスタのうちのｌ番目のクラスタの中心ベクトルを表し、特徴空間でのクラスタの中心位置に相当する。σｌは、ｎ個のクラスタのうちのｌ番目のクラスタの標準偏差を表し、クラスタの特徴空間における大きさに相当する。ただし、クラスタの大きさは、クラスタのメンバー数とは必ずしも関係しない。πｉｌは、ｉ番目のサンプルがｌ番目のクラスタに属する比率である帰属比率を表す。混合ガウス分布法では、各サンプルが何れのクラスタに属するかが割合的に算出される。帰属比率πｉｌは０以上１以下の実数であり、数式（２）の制約条件を満たす。すなわち、各サンプルについてのｎ個のクラスタの帰属比率の合計は１である。Ｃｌは、ｎ個のクラスタのうちｌ番目のクラスタに適用される規格化パラメータである。規格化パラメータＣｌは、ｌ番目のクラスタの標準偏差σｌに依存して算出される。
あるサンプルの生成確率Ｐは、仮定したｎ個のガウス分布の重なりもとで当該サンプルが生成される確率を表す。混合ガウス分布法によるクラスタリングは、中心ベクトルμｌと標準偏差σｌと帰属比率πｉｌを変動させて、全てのサンプルの生成確率Ｐの合計を最大化する最適化問題として定義される。この最適化問題を解くために、各サンプルが属するクラスタを仮に１つ選択することを示す隠れ変数を導入することがある。その場合、各サンプルが仮にｎ個のクラスタのうちの何れか１つのクラスタに分類される。その分類結果に基づいて、ｎ個のクラスタの中心ベクトルμｌや標準偏差σｌが更新される。そして、更新した中心ベクトルμｌや標準偏差σｌに基づいて、各サンプルの分類先のクラスタを見直す。この処理が、生成確率Ｐの合計の上昇が収束するまで繰り返される。
Figure 2020190935
Figure 2020190935
次に、データ前処理部１２３は、ｐ＋ｃ個のサンプルのうち正常ラベルが付与されたｃ個のサンプルの特徴ベクトルの平均を、平均ベクトルｘｖとして算出する。データ前処理部１２３は、ｎ個のクラスタを、中心ベクトルμｌが平均ベクトルｘｖに近い順にソートする。また、データ前処理部１２３は、サンプル毎に当該サンプルが属する可能性が最大である１つのクラスタを判断する。ここで言う１つのクラスタは、当該サンプルにとって帰属比率πｉｌが最大のクラスタである。データ前処理部１２３は、ｎ個のクラスタそれぞれについて、そのクラスタに属する正常ラベルのサンプルの個数をカウントする。
データ前処理部１２３は、ｎ個のクラスタのうち、中心ベクトルμｌが平均ベクトルｘｖに近い方から優先的に１つクラスタを選択し、選択したクラスタを「正常クラスタ」に分類する。データ前処理部１２３は、正常クラスタに分類されている１以上のクラスタに属する正常ラベルのサンプルの個数を合計し、正常ラベルのサンプルの総数ｃに対する合計個数の割合を正常カバー率として算出する。データ前処理部１２３は、正常カバー率が所定の閾値（例えば、９０％）以上になるまで、上記の正常クラスタへの分類を繰り返す。これにより、ｎ個のクラスタのうちｎｎ個のクラスタが正常クラスタに分類され、残ったｎａ＝ｎ−ｎｎ個のクラスタが異常クラスタに分類される。
次に、データ前処理部１２３は、各サンプルについて、ｎ個のクラスタへの帰属比率πｉｌのうちｎｎ個の正常クラスタへの帰属比率を合計して正常度λとして定義する。クラスタリングを通じて、ｉ番目のサンプルに対して数式（３）の帰属比率ベクトルπｉが算出されている。ｉ番目のサンプルの正常度λｉは、数式（４）のように定義される。数式（４）において、Ｎは正常クラスタの集合である。
Figure 2020190935
Figure 2020190935
データ前処理部１２３は、最大値１および最小値０を含まず中心値０．５を含む所定の数値範囲と、各サンプルの正常度λとを比較する。所定の数値範囲は、０．２以上０．８以下のように予め定義される。データ前処理部１２３は、正常度λが所定の数値範囲に属するサンプルを混合サンプルと推定し、混合サンプルグループＭに分類する。データ前処理部１２３は、ｐ＋ｃ個のサンプルの中から混合サンプルグループＭに分類したサンプルを除外して訓練データを生成する。または、データ前処理部１２３は、正常度λに応じてｐ＋ｃ個のサンプルに対して重みを付与する。
重みの付与では、混合サンプルグループＭに属するサンプルに対して、他のサンプルよりも小さい重みが付与される。正常度λが０．５に近いほど重みが小さくなるようにすることが考えられる。例えば、ｉ番目のサンプルの重みｗｉが、ｗｉ＝｜λｉ−０．５｜×２、すなわち、正常度λと０．５の差の絶対値の２倍と定義される。この場合、正常度λが１であるサンプルの重みは１になり、正常度λが０であるサンプルの重みは１になり、正常度λが０．５であるサンプルの重みは０になる。
なお、混合サンプルを抽出するための指標として、第２の実施の形態では正常サンプルらしさを表す正常度λを定義したが、異常サンプルらしさを表す異常度λ’＝１−λを定義するようにしてもよい。また、第２の実施の形態では、正常ラベルのサンプルの平均ベクトルに近い方から正常クラスタに分類し、正常カバー率に応じて、残りを異常クラスタに分類している。これに対して、癌ラベルのサンプルの平均ベクトルに近い方から異常クラスタに分類し、異常カバー率に応じて、残りを正常クラスタに分類してもよい。また、異常クラスタへの帰属比率の合計を異常度λ’として算出してもよい。第２の実施の形態では、「正常」と「異常」が対称の関係にあると共に、その中間的存在である混合サンプルを抽出することが目的である。そのため、正常と異常の対称関係を利用して、上記の混合サンプルの抽出手順を変形することが可能である。
図７は、混合サンプルの他の除外例を示す図である。
ここでは、データ前処理として混合サンプルを除外する場合を考える。図７では、正常サンプルを丸形のマークで表現し、混合サンプルをひし形のマークで表現し、癌サンプルを三角形のマークで表現している。図７の正常サンプルは、正常ラベルが付与されたサンプルである。図７の混合サンプルは、癌ラベルが付与されたサンプルのうち、正常細胞と癌細胞が混在したサンプルや癌の進行途上のサンプルなど、客観的に混合サンプルと言えるサンプルである。図７の癌サンプルは、癌ラベルが付与されたサンプルのうち、混合サンプル以外のサンプルである。ただし、癌ラベルが付与されたサンプルが混合サンプルであるか否かの客観的情報を、機械学習装置１００は入手できない。
全てのサンプルを同等に扱って機械学習を行った場合、特徴空間を境界線１５１で分割するモデルが生成されてしまう。境界線１５１は、混合サンプルの影響を強く受けて算出されており、実際には誤った境界線であると言える。
これに対して、第２の実施の形態では、特徴空間にクラスタ１５３，１５４，１５５，１５６，１５７の５個のクラスタが生成される。また、正常ラベルのサンプルの平均ベクトル１５８が算出される。すると、平均ベクトル１５８に近い方からクラスタ１５３、クラスタ１５４の順に選択され、クラスタ１５３，１５４が正常クラスタに分類される。クラスタ１５３，１５４は、正常サンプルの大部分をカバーしている。よって、残りのクラスタ１５５，１５６，１５７が異常クラスタに分類される。
そして、各サンプルについて、クラスタ１５３，１５４の帰属比率の合計が正常度λとして算出される。図７の混合サンプルの多くは、正常クラスタに分類されたクラスタ１５４と異常クラスタに分類されたクラスタ１５５の境界付近に位置する。クラスタ１５４への帰属比率が正常度λに加算され、クラスタ１５５への帰属比率が正常度λに加算されないため、混合サンプルの多くは０．５に近い正常度λをもつことになる。その結果、図７の混合サンプルの多くが訓練データから除外される。
このような訓練データを用いて機械学習を行った場合、特徴空間を境界線１５２で分割するモデルが生成される。境界線１５２は、ノイズとなっていた混合サンプルの大部分の影響を受けずに算出されており、正しい境界線であると言える。よって、有用なバイオマーカーを検出することが可能となる。また、バイオマーカーの値から癌の有無を判別するモデルの判別精度を向上させることができる。
なお、第２の実施の形態では、少なくとも混合サンプルグループＭに属さないサンプルの全体を用いてモデルを生成している。これに対して、癌サンプルを複数のサブグループに分類し、正常サンプルの全体と１つのサブグループに属する癌サンプルとを用いてモデルを生成することで、複数のサブループに対応する複数のモデルを生成することも可能である。これは、癌細胞が進行度に応じて異なる特徴量をもつ場合、異なる進行度に応じた異なる判別モデルを生成することも有用であるためである。その場合、前述の正常クラスタ以外の残りのクラスタの全てを異常クラスタとして同等に扱う代わり、残りのクラスタそれぞれを癌サンプルのサブグループとして扱うことが考えられる。
次に、機械学習装置１００の処理手順について説明する。
図８は、バイオマーカー探索の手順例を示すフローチャートである。
（Ｓ１０）データ前処理部１２３は、サンプル記憶部１２１に記憶されたサンプルテーブル１２６の複数のサンプルに対して前処理を行い、前処理済みの訓練データをモデル生成部１２４に提供する。データ前処理の詳細は後述する。
（Ｓ１１）モデル生成部１２４は、前処理された訓練データを用いて、ｍ個の特徴量とラベルとの間の関係を示すモデルを生成する。例えば、モデル生成部１２４は、ｍ個の遺伝子発現量からサンプルを癌ありと癌なしに分類するＳＶＭモデルを生成する。
（Ｓ１２）モデル生成部１２４は、ステップＳ１１のモデルの学習結果からバイオマーカーを決定する。例えば、モデル生成部１２４は、ｍ個の遺伝子発現量に対応するｍ個のモデル係数のうち絶対値が大きい方から所定個（例えば、２０個程度）のモデル係数を選択し、選択したモデル係数に対応する遺伝子の集合をバイオマーカーに決定する。
（Ｓ１３）モデル生成部１２４は、前処理された訓練データを用いて、バイオマーカーとラベルとの間の関係を示すモデルを生成する。例えば、訓練データの各サンプルからｍ個の遺伝子発現量のうちバイオマーカーの遺伝子発現量を抽出し、バイオマーカーの遺伝子発現量からサンプルを癌ありと癌なしに分類するＳＶＭモデルを生成する。
（Ｓ１４）モデル生成部１２４は、バイオマーカーに含まれる遺伝子の識別情報など、決定したバイオマーカーを示すバイオマーカー情報をモデル記憶部１２２に保存する。また、モデル生成部１２４は、ステップＳ１３で生成したバイオマーカーとラベルとの間の関係を示すモデルをモデル記憶部１２２に保存する。モデル生成部１２４は、バイオマーカー情報を表示装置１１１に表示する。モデル生成部１２４は、バイオマーカーとラベルとの間の関係を示すモデルを表示装置１１１に表示してもよい。
（Ｓ１５）疾病判定部１２５は、ユーザからバイオマーカーの値の入力を受け付ける。バイオマーカーの値は、バイオマーカーに含まれる所定個の遺伝子の発現量である。
（Ｓ１６）疾病判定部１２５は、モデル記憶部１２２からモデルを読み出し、ステップＳ１５で受け付けたバイオマーカーの値をモデルに入力する。疾病判定部１２５は、モデルから、癌の有無または癌の尤度を示す判定結果を取得する。疾病判定部１２５は、モデルによる判定結果を表示装置１１１に表示する。
図９は、データ前処理の手順例を示すフローチャートである。
データ前処理は、前述のステップＳ１０で実行される。
（Ｓ２０）データ前処理部１２３は、サンプルテーブル１２６の複数のサンプルについて特徴量ベクトルを規格化する。例えば、データ前処理部１２３は、遺伝子毎に発現量の分布が所定の数値範囲になるように数値変換を行う。また、データ前処理部１２３は、特異値分解により特徴空間の次元数を削減する。例えば、データ前処理部１２３は、１０，０００程度の特徴量の個数を１００程度に削減する。
（Ｓ２１）データ前処理部１２３は、ステップＳ２０の規格化および次元削減を行った後の特徴量ベクトルに基づいて、複数のサンプルのクラスタリングを行う。クラスタリングには、例えば、混合ガウス分布法が用いられる。クラスタリングでは、所定数のクラスタが生成され、サンプル毎に所定数のクラスタそれぞれへの帰属比率πが算出される。
（Ｓ２２）データ前処理部１２３は、複数のサンプルのうち正常ラベルが付与されたサンプルの特徴量ベクトルを平均化して、平均ベクトルを算出する。
（Ｓ２３）データ前処理部１２３は、ステップＳ２１で生成されたクラスタのうち、中心ベクトルがステップＳ２２の平均ベクトルに近い方からクラスタを１つ選択する。
（Ｓ２４）データ前処理部１２３は、選択済みの１以上のクラスタが、正常ラベルが付与されたサンプルの９０％以上をカバーしているか判断する。９０％以上をカバーしている場合はステップＳ２５に進み、それ以外の場合はステップＳ２３に戻る。
（Ｓ２５）データ前処理部１２３は、ステップＳ２３で選択された１以上のクラスタを正常クラスタに分類し、残りのクラスタを異常クラスタに分類する。
（Ｓ２６）データ前処理部１２３は、サンプル毎に、正常クラスタに分類されたクラスタへの帰属比率πを合計して正常度λとして算出する。
（Ｓ２７）データ前処理部１２３は、正常度λが０．２以上かつ０．８以下であるサンプルを検索し、該当するサンプルが混合サンプルであると推定する。
（Ｓ２８）データ前処理部１２３は、サンプルテーブル１２６の複数のサンプルの中からステップＳ２７で推定した混合サンプルを除外し、除外されずに残ったサンプルから形成される訓練データを生成する。または、データ前処理部１２３は、サンプルテーブル１２６の複数のサンプルに対して、ステップＳ２７で算出された正常度λに応じた重みを付与する。正常度λが０．５に近いほど重みが小さくなり、正常度λが０．５から遠いほど重みが大きくなる。ステップＳ２７で推定した混合サンプルには、小さい重みが付与されることになる。データ前処理部１２３は、サンプルテーブル１２６の全てのサンプルを含み、各サンプルに重みが付与された訓練データを生成する。そして、データ前処理部１２３は、訓練データをモデル生成部１２４に提供する。
第２の実施の形態の機械学習装置１００によれば、多数の遺伝子発現量と癌の有無を示すラベルとをそれぞれ含む複数のサンプルを用いて機械学習が行われ、癌の有無と相関のある少数の遺伝子の集合がバイオマーカーとして検出される。また、バイオマーカーの値と癌の有無との間の関係を示すモデルが生成される。よって、バイオマーカーを利用した癌の診断や癌治療の効果の評価が可能となる。
また、複数のサンプルの特徴量ベクトルの分布から、サンプル毎に正常サンプルらしさを表す正常度が算出される。そして、正常度が０．５に近いサンプルが混合サンプルと推定され、機械学習において混合サンプルの影響が抑制されるようにデータ前処理が行われる。例えば、混合サンプルが訓練データから除外されるか、または、混合サンプルの重みが他のサンプルよりも小さく設定される。よって、混合サンプルの影響で正常サンプルと癌サンプルの境界が不明確になることを抑制でき、バイオマーカーの値から癌の有無を判別するモデルの判別精度を向上させることができる。また、癌と相関のあるバイオマーカーを検出するバイオマーカー探索が成功する可能性が高くなる。
１０ 機械学習装置
１１ 記憶部
１２ 処理部
１３ａ，１３ｂ，１３ｃ，１３ｄ クラスタ
１４ 統合クラスタ

Claims (10)

  1. コンピュータに、
    第１の値および第２の値の一方を示すラベルと特徴量とをそれぞれ含む複数のサンプルを、前記特徴量に応じて３個以上のクラスタに分類し、
    前記複数のサンプルのうち前記ラベルが前記第１の値を示すサンプルの個数の情報に基づいて、前記３個以上のクラスタのうちの一部のクラスタを統合した統合クラスタを生成し、
    前記統合クラスタと前記３個以上のクラスタのうちの残りのクラスタとへの前記複数のサンプルの分類結果に基づいて、前記複数のサンプルそれぞれについて、前記第１の値または前記第２の値に対する確度を算出し、
    前記複数のサンプルのうち前記確度が所定条件を満たさないサンプルを、前記確度が前記所定条件を満たすサンプルよりも優先的に用いて、機械学習を実行する、
    処理を実行させる機械学習プログラム。
  2. 前記所定条件は、前記確度の最大値および最小値の何れも含まず、前記最大値と前記最小値の間の中点を含む所定の数値範囲に、前記確度が含まれることである、
    請求項１記載の機械学習プログラム。
  3. 前記機械学習では、前記複数のサンプルの中から前記確度が前記所定条件を満たすサンプルを除外する、
    請求項１記載の機械学習プログラム。
  4. 前記機械学習では、前記確度が前記所定条件を満たすサンプルに、前記確度が前記所定条件を満たさないサンプルよりも小さい重みを付与する、
    請求項１記載の機械学習プログラム。
  5. 前記機械学習では、前記特徴量と前記ラベルとの間の関係を示すモデルを生成し、
    前記コンピュータに更に、ある特徴量を受け付け、前記モデルを用いて、前記受け付けた特徴量に対して前記第１の値および前記第２の値の一方を判定する処理を実行させる、
    請求項１記載の機械学習プログラム。
  6. 前記統合クラスタの生成では、前記ラベルが前記第１の値を示すサンプルのうち所定割合以上のサンプルが、前記統合クラスタに属するように、前記３個以上のクラスタの中から前記一部のクラスタを選択する、
    請求項１記載の機械学習プログラム。
  7. 前記３個以上のクラスタへの分類では、前記複数のサンプルそれぞれについて、前記３個以上のクラスタそれぞれに属する確率を算出し、
    前記確度の算出では、前記３個以上のクラスタに対する前記確率のうち前記一部のクラスタに対する前記確率の合計を、前記第１の値に対する前記確度として算出する、
    請求項１記載の機械学習プログラム。
  8. 前記特徴量は、生体物質から測定された測定値を含み、
    前記第１の値は、疾病なしを表し、前記第２の値は、疾病ありを表し、
    前記機械学習では、前記確度が前記所定条件を満たすサンプルを、疾病なしの生体物質と疾病ありの生体物質の混合物から測定された測定値を示す混合サンプルと推定する、
    請求項１記載の機械学習プログラム。
  9. コンピュータが、
    第１の値および第２の値の一方を示すラベルと特徴量とをそれぞれ含む複数のサンプルを、前記特徴量に応じて３個以上のクラスタに分類し、
    前記複数のサンプルのうち前記ラベルが前記第１の値を示すサンプルの個数の情報に基づいて、前記３個以上のクラスタのうちの一部のクラスタを統合した統合クラスタを生成し、
    前記統合クラスタと前記３個以上のクラスタのうちの残りのクラスタとへの前記複数のサンプルの分類結果に基づいて、前記複数のサンプルそれぞれについて、前記第１の値または前記第２の値に対する確度を算出し、
    前記複数のサンプルのうち前記確度が所定条件を満たさないサンプルを、前記確度が前記所定条件を満たすサンプルよりも優先的に用いて、機械学習を実行する、
    機械学習方法。
  10. 第１の値および第２の値の一方を示すラベルと特徴量とをそれぞれ含む複数のサンプルを記憶する記憶部と、
    前記複数のサンプルを前記特徴量に応じて３個以上のクラスタに分類し、前記複数のサンプルのうち前記ラベルが前記第１の値を示すサンプルの個数の情報に基づいて、前記３個以上のクラスタのうちの一部のクラスタを統合した統合クラスタを生成し、前記統合クラスタと前記３個以上のクラスタのうちの残りのクラスタとへの前記複数のサンプルの分類結果に基づいて、前記複数のサンプルそれぞれについて、前記第１の値または前記第２の値に対する確度を算出し、前記複数のサンプルのうち前記確度が所定条件を満たさないサンプルを、前記確度が前記所定条件を満たすサンプルよりも優先的に用いて、機械学習を実行する処理部と、
    を有する機械学習装置。
JP2019096003A 2019-05-22 2019-05-22 機械学習プログラム、機械学習方法および機械学習装置 Active JP7197795B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019096003A JP7197795B2 (ja) 2019-05-22 2019-05-22 機械学習プログラム、機械学習方法および機械学習装置
US16/875,036 US11450436B2 (en) 2019-05-22 2020-05-15 Method and apparatus for machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096003A JP7197795B2 (ja) 2019-05-22 2019-05-22 機械学習プログラム、機械学習方法および機械学習装置

Publications (2)

Publication Number Publication Date
JP2020190935A true JP2020190935A (ja) 2020-11-26
JP7197795B2 JP7197795B2 (ja) 2022-12-28

Family

ID=73453742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096003A Active JP7197795B2 (ja) 2019-05-22 2019-05-22 機械学習プログラム、機械学習方法および機械学習装置

Country Status (2)

Country Link
US (1) US11450436B2 (ja)
JP (1) JP7197795B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913402A (zh) * 2022-07-18 2022-08-16 深圳比特微电子科技有限公司 一种深度学习模型的融合方法、装置
WO2023181319A1 (ja) * 2022-03-25 2023-09-28 三菱電機株式会社 情報処理装置
WO2024024587A1 (ja) * 2022-07-26 2024-02-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007020897A1 (ja) * 2005-08-17 2007-02-22 Matsushita Electric Industrial Co., Ltd. 映像シーン分類装置および映像シーン分類方法
JP2008059080A (ja) * 2006-08-29 2008-03-13 Matsushita Electric Works Ltd 信号識別装置の学習データの選択方法
WO2010119615A1 (ja) * 2009-04-15 2010-10-21 日本電気株式会社 学習データ生成装置、及び固有表現抽出システム
JP2017167834A (ja) * 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置
JP2018155522A (ja) * 2017-03-16 2018-10-04 株式会社島津製作所 データ解析装置
JP2018530803A (ja) * 2015-07-14 2018-10-18 サイオス テクノロジー コーポレーションＳｉｏｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎ コンピュータ環境における根本原因分析および修復のために機械学習原理を活用する装置および方法
US20180307741A1 (en) * 2017-04-25 2018-10-25 Intel Corporation Filtering training data for simpler rbf models

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957350B2 (en) 2008-07-18 2011-06-07 Telefonaktiebolaget L M Ericsson (Publ) Access network selection
MX2011004589A (es) 2008-10-31 2011-05-25 Abbott Lab Metodos para ensamblar paneles de lineas de celulas de cancer para uso para probar la eficiencia de una o mas composiciones farmaceuticas.
US11727301B2 (en) * 2017-07-21 2023-08-15 Sap Se Exploiting local inter-task relationships in adaptive multi-task learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007020897A1 (ja) * 2005-08-17 2007-02-22 Matsushita Electric Industrial Co., Ltd. 映像シーン分類装置および映像シーン分類方法
JP2008059080A (ja) * 2006-08-29 2008-03-13 Matsushita Electric Works Ltd 信号識別装置の学習データの選択方法
WO2010119615A1 (ja) * 2009-04-15 2010-10-21 日本電気株式会社 学習データ生成装置、及び固有表現抽出システム
JP2018530803A (ja) * 2015-07-14 2018-10-18 サイオス テクノロジー コーポレーションＳｉｏｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎ コンピュータ環境における根本原因分析および修復のために機械学習原理を活用する装置および方法
JP2017167834A (ja) * 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置
JP2018155522A (ja) * 2017-03-16 2018-10-04 株式会社島津製作所 データ解析装置
US20180307741A1 (en) * 2017-04-25 2018-10-25 Intel Corporation Filtering training data for simpler rbf models

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181319A1 (ja) * 2022-03-25 2023-09-28 三菱電機株式会社 情報処理装置
JP7466815B2 (ja) 2022-03-25 2024-04-12 三菱電機株式会社 情報処理装置
CN114913402A (zh) * 2022-07-18 2022-08-16 深圳比特微电子科技有限公司 一种深度学习模型的融合方法、装置
CN114913402B (zh) * 2022-07-18 2022-10-18 深圳比特微电子科技有限公司 一种深度学习模型的融合方法、装置
WO2024024587A1 (ja) * 2022-07-26 2024-02-01 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Also Published As

Publication number Publication date
JP7197795B2 (ja) 2022-12-28
US20200373012A1 (en) 2020-11-26
US11450436B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
JP6063447B2 (ja) 細胞におけるバイオマーカーの発現のクラスターによる解析
KR20200077852A (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US11450436B2 (en) Method and apparatus for machine learning
US9940383B2 (en) Method, an arrangement and a computer program product for analysing a biological or medical sample
US20220327693A1 (en) System and Method for Prediction of Disease Progression of Pulmonary Fibrosis Using Medical Images
Cao et al. ROC curves for the statistical analysis of microarray data
WO2021161901A1 (ja) 特徴量選択方法、特徴量選択プログラム、マルチクラス分類方法、マルチクラス分類プログラム、特徴量選択装置、マルチクラス分類装置、及び特徴量セット
CN112561869B (zh) 一种胰腺神经内分泌肿瘤术后复发风险预测方法
Yan et al. Radiomics analysis using stability selection supervised component analysis for right-censored survival data
CA2885634C (en) Device for detecting a dynamical network biomarker, method for detecting same, and program for detecting same
Kumar et al. Integrating Diverse Omics Data Using Graph Convolutional Networks: Advancing Comprehensive Analysis and Classification in Colorectal Cancer
AU2021102593A4 (en) A Method for Detection of a Disease
Manikandan et al. Hybrid computational intelligence for healthcare and disease diagnosis
Gupta et al. Keeping up with innovation: A predictive framework for modeling healthcare data with evolving clinical interventions
US20090006055A1 (en) Automated Reduction of Biomarkers
Zhang et al. Radio-iBAG: Radiomics-based integrative Bayesian analysis of multiplatform genomic data
Silva et al. On the way for the best imaging features from CT images to predict EGFR Mutation Status in Lung Cancer
Khosravi et al. Biopsy-free prediction of prostate cancer aggressiveness using deep learning and radiology imaging
EP4369354A1 (en) Method and apparatus for analyzing pathological slide images
WO2023136297A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Oh et al. Deepbiogen: Generalizing predictions to unseen sequencing profiles via visual data augmentation
El-Sherbiny et al. Visual Analytics for the Integrated Exploration and Sensemaking of Cancer Cohort Radiogenomics and Clinical Information
KR20230172386A (ko) 바이오마커를 분석하는 방법 및 장치
Ajil et al. Enhancing the Healthcare by an Automated Detection Method for PCOS Using Supervised Machine Learning Algorithm
Buri et al. Early-Stage Prediction of Breast Cancer Using Suggested Machine Learning Techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7197795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150