JP2019101485A - Information processing method, information processing device, information processing system and program - Google Patents
Information processing method, information processing device, information processing system and program Download PDFInfo
- Publication number
- JP2019101485A JP2019101485A JP2017228150A JP2017228150A JP2019101485A JP 2019101485 A JP2019101485 A JP 2019101485A JP 2017228150 A JP2017228150 A JP 2017228150A JP 2017228150 A JP2017228150 A JP 2017228150A JP 2019101485 A JP2019101485 A JP 2019101485A
- Authority
- JP
- Japan
- Prior art keywords
- label
- data group
- machine learning
- medical data
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 56
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 212
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000013016 learning Effects 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 238000009534 blood test Methods 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本明細書の開示は、情報処理方法、情報処理装置、情報処理システム及びプログラムに関する。 The disclosure of the present specification relates to an information processing method, an information processing apparatus, an information processing system, and a program.
あるデータを用いて機械学習した結果を利用して、他のデータに有効な機械学習を効率的に行う転移学習の技術が知られている(非特許文献1)。 There is known a transfer learning technique for efficiently performing machine learning effective for other data by using a result of machine learning using certain data (Non-Patent Document 1).
特許文献1には、同一のデータに付与された異なるラベルを用いて、第1のラベルを分類するように学習した分類器を基に、第2のラベルを分類する分類器に転移学習する技術が記載されている。 Patent Document 1 discloses a technique of performing transfer learning to a classifier that classifies a second label based on a classifier that has learned to classify the first label using different labels attached to the same data. Is described.
医療分野のように、データの分野によっては付与されるラベルの量が異なる場合がある。例えば、第1のラベルを年齢、第2のラベルを血液検査値とすると、第1のラベルは全例に付与されるが、第2のラベルは血液検査を行った例にのみ付与される。特許文献1は、ラベルの種別でデータ数が異なる場合については開示していない。 As in the medical field, the amount of label provided may differ depending on the field of data. For example, assuming that the first label is age and the second label is a blood test value, the first label is given to all the cases, but the second label is given only to the example of the blood test. Patent Document 1 does not disclose the case where the number of data differs depending on the type of label.
本発明の実施形態に係る情報処理方法は、第1のラベルと第2のラベルとのうち、前記第1のラベルのみが付与された第1の医用データ群と、前記第1のラベルと前記第2のラベルとのうち、前記第2のラベルのみが付与された第2の医用データ群とを取得する取得工程と、前記第1の医用データ群に基づいて第1の機械学習を行う第1の学習工程と、前記第1の機械学習におけるパラメータと前記第2の医用データ群とに基づいて第2の機械学習を行う第2の学習工程と、を有することを特徴とする。 An information processing method according to an embodiment of the present invention includes a first medical data group to which only the first label is attached among the first label and the second label, the first label, and the first label. An acquisition step of acquiring a second medical data group to which only the second label is attached among the second labels, and a first machine learning based on the first medical data group It is characterized by having 1 learning process and the 2nd learning process which performs the 2nd machine learning based on the parameter in the 1st machine learning, and the 2nd medical data group.
本発明の実施形態にかかる情報処理方法によれば、データ群ごとに異なる種別のラベルが付与されている場合であっても、第1のラベルに係る機械学習の結果に基づいて、第2のラベルに係る機械学習を適切に行うことができる。 According to the information processing method according to the embodiment of the present invention, even when labels of different types are given to each data group, the second information processing method is performed based on the result of machine learning according to the first label. Machine learning related to labels can be appropriately performed.
以下、本発明を実施するための形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<実施形態1>
医療分野において、医用画像から医師の診断の補助となるような情報を推論して提示する診断支援装置の開発が進められている。当該推論のために、医用画像とそのラベルに基づく機械学習が行われる場合がある。機械学習には多数の学習用データが求められるが、診断に用いられる様々な情報のうち、推論の対象となる情報のラベルを含むデータを多数入手できない場合がある。実施形態1は、推論の対象となる情報のラベルを含むデータが少数である場合にも、精度良く機械学習を行えるようにすることを目的とする。
First Embodiment
In the medical field, development of a diagnostic support apparatus has been advanced, which infers and presents information that assists a doctor in diagnosis from medical images. Machine learning based on medical images and their labels may be performed for the reasoning. Machine learning requires a large number of learning data, but among various information used for diagnosis, it may not be possible to obtain many data including labels of information to be inferred. The object of the first embodiment is to enable accurate machine learning even when there are a small number of data including labels of information to be inferred.
実施形態1における情報処理装置は、多数のデータから構築された第1のラベルを分類する分類器を転移させて、少数のデータを用いて第2のラベルを分類する分類器を構築する。 The information processing apparatus according to the first embodiment transfers a classifier that classifies a first label constructed from a large number of data, and constructs a classifier that classifies a second label using a small amount of data.
以下では、学習に用いる医用画像は胸部X線CT画像とし、第1のラベルと第2のラベルとして医用情報を用いるものとする。第1のラベル及び第2のラベルはそれぞれ、医用画像の被検体の状態を表す医用情報である。より具体的には、第1のラベルとして肺結節の診断名を、第2のラベルとして肺結節の画像所見を用いるものとする。 Hereinafter, a medical image used for learning is a chest X-ray CT image, and medical information is used as a first label and a second label. The first label and the second label are medical information representing the state of the subject of the medical image. More specifically, the diagnostic name of the pulmonary nodule is used as the first label, and the imaging finding of the pulmonary nodule is used as the second label.
図1は、実施形態1における情報処理装置100の機能構成の一例を示す図である。情報処理装置100は本発明の実施形態に係る情報処理方法を実行する装置の一例である。本実施形態における情報処理装置100は、記憶部200は学習に用いる医用画像と、ラベルとなる当該医用画像に関する診断名や画像所見等の医用情報を保持している。記憶部200は、PACSや電子カルテ、読影レポートから抽出された情報を保持する。あるいは、記憶部200はPACSや電子カルテ、読影レポートでもよく、記憶部200は情報処理装置100からの要求に従い、必要となる情報を情報処理装置100に出力する。
FIG. 1 is a diagram illustrating an example of a functional configuration of the
情報処理装置100は、取得部102と、選択部104と、第1の機械学習部106と、第2の機械学習部108とを含む。取得部102は記憶部200に要求を行い、医用画像と診断名(第1のラベル)の組を複数有する第1の医用データ群と、医用画像と画像所見(第2のラベル)の組を複数有する第2の医用データ群を取得する。選択部104は第1のラベルと第2のラベルとが付与されたデータの少なくとも一部を第3の医用データ群として選択する。第1の機械学習部106は、第1の医用データ群に基づいて診断名を分類する第1の機械学習を行う。第2の機械学習部108は、第1の機械学習の結果に基づいて、第2の医用データ群と第3の医用データ群に基づいて画像所見を分類する第2の機械学習を行う。
The
なお、図1に示した情報処理装置100の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。
Note that at least a part of each part of the
図2は、情報処理装置100のハードウェア構成の一例を示す図である。CPU1001は、主として各構成要素の動作を制御する。主メモリ1002は、CPU1001が実行する制御プログラムを格納したり、CPU1001によるプログラム実行時の作業領域を提供したりする。磁気ディスク1003は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。CPU1001が主メモリ1002、磁気ディスク1003等に格納されているプログラムを実行することにより、図1に示した情報処理装置100の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。
FIG. 2 is a diagram illustrating an example of a hardware configuration of the
表示メモリ1004は、表示用データを一時記憶する。モニタ1005は、例えばCRTモニタや液晶モニタ等であり、表示メモリ1004からのデータに基づいて画像やテキスト等の表示を行う。マウス1006及びキーボード1007は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス1008により互いに通信可能に接続されている。
The
CPU1001はプロセッサの一例である。情報処理装置100は、CPU1001に加えて、GPUやFPGA(Field−Programmable Gate Array)の少なくともいずれかを有していてもよい。主メモリ1002、磁気ディスク1003はメモリの一例である。情報処理装置100は、メモリとしてSSD(Solid State Drive)を有していてもよい。
The
次に、図3のフローチャートを用いて、情報処理装置100が行う全体の処理を説明する。図3は、情報処理装置100が行う処理の一例を示すフローチャートである。本実施形態では、CPU1001が主メモリ1002に格納されている各部の機能を実現するプログラムを実行することにより図3に示す処理が実現される。
Next, the entire process performed by the
なお、本実施形態では、第1の機械学習で用いるデータ(第1の医用データ群)と第2の機械学習で用いるデータ(第2の医用データ群と第3の医用データ群の和)でデータが重複しないようにする。これは、第1の機械学習と第2の機械学習の関係が独立ではないため、データが重複したことによる機械学習への影響を避けるためである。なお、本実施形態では第1の機械学習と第2の機械学習とで学習用データに重複がないようにする場合を例に説明するが、後述の変形例等に示すように、重複があってもよい。 In the present embodiment, the data used in the first machine learning (first medical data group) and the data used in the second machine learning (sum of the second medical data group and the third medical data group) are used. Avoid duplicate data. This is to avoid an influence on machine learning due to data duplication because the relationship between the first machine learning and the second machine learning is not independent. In the present embodiment, an example in which there is no duplication in the learning data in the first machine learning and the second machine learning will be described as an example. May be
ステップS310において、取得部102は、記憶部200に要求を行い第1の医用データ群と第2の医用データ群を取得する。本実施形態では、第1の医用データ群として診断名が付与された複数の医用画像と、第2の医用データ群として画像所見の一つである全体形状が付与された複数の医用画像を取得する。ただし本実施形態では、第1の医用データ群は画像所見が付与されたデータを含まないこととする。診断名と全体形状の両方が付与された医用画像を、後述の第3の医用データ群とする。具体的には、取得部102は記憶部200に、診断名が付与された複数の医用画像と、全体形状の画像所見が付与された複数の医用画像とを要求する。取得部102は、記憶部200から取得したこれらのデータ群のうち、診断名が付与され、全体形状の画像所見が付与されていない複数の医用画像を第1の医用データ群として取得する。取得部102は、記憶部200から取得したこれらのデータ群のうち、全体形状の画像所見が付与され、診断名が付与されていない複数の医用画像を第2の医用データ群として取得する。すなわち、第1のラベル(たとえば診断名)と第2のラベル(たとえば画像所見)とのうち、第1のラベルのみが付与されたデータ群が第1の医用データ群である。当該第1のラベルと当該第2のラベルとのうち、第2のラベルのみが付与されたデータ群が第2の医用データ群である。ステップS310は、第1の医用データ群と第2の医用データ群とを取得する取得工程の一例である。
In step S310, the
ここで、診断名としては原発性肺癌、癌の肺転移、良性結節の3つのうちいずれかが付与されているものとする。画像所見とは医用画像の特徴を表現するものであり、たとえば文言で表現される。全体形状としては球形、楔形、不整形、平面状の4つのうちいずれかが付与されているものとする。また、第1の医用データ群のデータ数は第2の医用データ群のデータ数よりも多い(例えば5倍以上存在する)ものとする。 Here, as a diagnostic name, any one of primary lung cancer, lung metastasis of cancer, and benign nodule is assumed to be given. An imaging finding is a feature of a medical image and is represented by, for example, a word. It is assumed that one of four shapes, spherical, wedge-shaped, irregular and planar, is given as the overall shape. Further, it is assumed that the number of data in the first medical data group is larger (for example, five times or more) than the number of data in the second medical data group.
第1の医用データ群及び第2の医用データ群について示した数量は一例であり、必ずしもこの条件を満たす必要はない。第1の医用データ群及び第2の医用データ群についての数量の一例を示したが、第1の医用データ群と第3の医用データ群の和と、第2の医用データ群と第3の医用データ群の和とのデータ数ととらえてもよい。また、第1のラベルを有するデータのデータ数と第2のラベルを有するデータのデータ数との関係は、例えば前者が少数で後者が多数であってもよいし、両者が同程度の数であってもよい。 The quantities shown for the first medical data group and the second medical data group are an example, and the conditions do not necessarily have to be satisfied. An example of the quantities for the first medical data group and the second medical data group is shown, but the sum of the first medical data group and the third medical data group, the second medical data group and the third medical data group It may be regarded as the number of data with the sum of medical data groups. Further, the relationship between the number of data having the first label and the number of data having the second label may be, for example, a small number of the former and a large number of the latter, It may be.
ステップS320において、選択部104は、ステップS310で記憶部200から取得したデータ群のうち、診断名と全体形状の画像所見とが付与された複数の医用画像を第3の医用データ群として選択する。本実施形態では、診断名と全体形状の画像所見とがともに付与された全てのデータを第3の医用データ群として選択するものとする。すなわち第1のラベル(たとえば診断名)と第2のラベル(たとえば画像所見)とが付与されたデータ群が第3の医用データ群である。ステップS320の処理とステップS310の処理を統合して取得部102が行ってもよい。
In step S320, the
ステップS330において、第1の機械学習部106は、ステップS310で取得した第1の医用データ群に基づいて、診断名を分類する第1の機械学習を行う。第1の機械学習は深層畳み込みニューラルネットワーク(DCNN:Deep Convolutional Neural Network)の学習をするものとする。DCNNは一般に入力層と複数の畳み込み層と全結合層、出力層から構成される。以下では、全層数をNで示し、出力層をN番目の層とする。ステップS330は、第1の医用データ群に基づいて第1の機械学習を行う第1の学習工程の一例である。
In step S330, the first
ステップS340において、第2の機械学習部108は、ステップS310で取得した第2の医用データ群と、ステップS320で選択した第3の医用データ群に基づいて、第2の機械学習を行う。第2の機械学習は、ステップS330で行った第1の機械学習結果に基づいて、画像所見を分類する機械学習である。第1の機械学習結果とは、たとえば第1の機械学習で学習されたパラメータや、当該パラメータに基づいて算出される出力値のことであり、以下では第1の機械学習におけるパラメータと称する。本実施形態では、第2の医用データ群と第3の医用データ群の和のデータを用いて、第1の機械学習結果をfine―tuningすることにより第2の機械学習を行うものとする。すなわち第2の機械学習部108は、第2の機械学習においてDCNNの学習を行う。DCNNにおけるfine−tuningとは、第1のラベルを有するデータで学習したモデルの出力層を第2のラベルに適合するように入れ替え、学習済みのモデルのパラメータを初期値として、第2のラベルを有するデータで再学習を実施する手法のことを指す。この手法を用いると、初期値なしで学習を行うのに対して、少ないデータ数で同等の性能を達成することができる。ステップS340は、第1の機械学習におけるパラメータと前記第2の医用データ群とに基づいて第2の機械学習を行う第2の学習工程の一例である。
In step S340, the second
なお、機械学習の手法はDCNNに限定されない。第1の機械学習部106及び第2の機械学習部108は、ベイジアンネットワーク、サポートベクターマシン、ランダムフォレストなどの手法を用いて機械学習を行ってもよい。
The machine learning method is not limited to DCNN. The first
図4は本実施形態におけるデータ群の関係とfine―tuningの例を示した図である。全データ中の2つの円はそれぞれ、診断名が付与された複数の医用画像の集合(左)と、全体形状の画像所見が付与された複数の医用画像の集合(右)を表す。第1の医用データ群410(図4中の濃色部分)と第2の医用データ群420(図4中の淡色部分)はステップS310で取得した夫々のデータ群の模式図である。第3の医用データ群430はステップS320で選択されたデータ群であり、診断名と、全体形状の画像所見とが付与された複数の医用画像のデータ群である。
FIG. 4 is a diagram showing the relationship between data groups and an example of fine-tuning in the present embodiment. Two circles in the whole data respectively represent a set of medical images given a diagnosis (left) and a set of medical images given an imaging finding of the entire shape (right). The first medical data group 410 (dark part in FIG. 4) and the second medical data group 420 (light part in FIG. 4) are schematic diagrams of each data group acquired in step S310. The third
第1の機械学習部106は、第1の医用データ群410(図4中の濃色部分)で第1の機械学習を行う(ステップS330)。第2の機械学習部108は第1の機械学習部106と出力層(第N層)以外は同一のモデル構造を有し、第1の機械学習結果における第1層から第N−1層までのパラメータ440を初期値として有する。この時、第1の機械学習部の出力層450が診断名(第1のラベル)となっているのに対し、第2の機械学習部の出力層460は全体形状(第2のラベル)に置き換わっている。そして、第2の医用データ群と第3の医用データ群の和(図4中の淡色部分と図4中の斜線部分。すなわち右側の円で表されるデータ群)のデータで第2の機械学習を行う(ステップS340)。第1の機械学習結果を基に第2の機械学習を行うため、有効な第2の機械学習に必要なデータ数を抑えることができる。
The first
実施形態1においては全体形状の画像所見が付与されたデータ群を用いて第2の機械学習を行う場合を例に説明するが、第2の機械学習は異なるそれぞれの画像所見ごとに行われてよい。すなわち、1つの機械学習(第1の機械学習)におけるパラメータを用いて、複数の転移学習(第2の機械学習)が行われてもよい。前述のように医用データ群においては、多数の種別の画像所見が用いられる一方、それぞれの画像所見が付与されたデータ群の数が少ない場合がある。1つの機械学習のパラメータに基づいて複数の転移学習を行うことは医用データ群を用いて機械学習を行う場合に特に有効である。 In the first embodiment, the case of performing the second machine learning using the data group to which the image findings of the entire shape is added is described as an example, but the second machine learning is performed for each different image finding. Good. That is, a plurality of transfer learning (second machine learning) may be performed using parameters in one machine learning (first machine learning). As described above, in the medical data group, while many types of image findings are used, the number of data groups to which each image finding is given may be small. Performing a plurality of transfer learnings based on one machine learning parameter is particularly effective when performing machine learning using medical data groups.
例えば、第1の医用データ群のデータ数が9000、第2の医用データ群のデータ数が500、第3の医用データ群のデータ数が1000である場合を考える。ラベルが重複しているデータ(第3の医用データ群)を機械学習に使わないようにすると、第1の機械学習に用いる学習データのデータ数は9000、第2の機械学習に用いる学習データのデータ数は500となる。一方で、本実施形態の処理を行うと、第1の機械学習に用いる学習データの数は変わらず9000、第2の機械学習に用いる学習データのデータ数は1500となる。したがって、第2の機械学習に用いる学習データは、第1の機械学習に用いる学習データとラベルが重複しているデータを除く場合に比べて、データ数が3倍になる。一般に、機械学習ではデータ数が多いほど精度の高い学習ができるので、重複したデータを両者の機械学習に使わない場合に比べ、第2の機械学習の精度に正の影響が出ることが期待できる。 For example, consider the case where the number of data in the first medical data group is 9000, the number of data in the second medical data group is 500, and the number of data in the third medical data group is 1000. If data for which the labels overlap (third medical data group) is not used for machine learning, the number of learning data used for the first machine learning is 9000, and the number of learning data used for the second machine learning is The number of data is 500. On the other hand, when the process of this embodiment is performed, the number of learning data used for the first machine learning does not change 9000, and the number of learning data for the second machine learning becomes 1,500. Therefore, in the learning data used for the second machine learning, the number of data is tripled as compared with the case where the data overlapping with the learning data used for the first machine learning is excluded. In general, machine learning can perform learning with higher accuracy as the number of data increases, so it can be expected that the accuracy of the second machine learning will be positively affected compared to the case where duplicate data is not used for machine learning of both. .
本実施形態では、第1のラベルと第2のラベルとのうち第1のラベルのみが付与された第1の医用データ群で第1の機械学習を行う。また、第1のラベルと第2のラベルとのうち第2のラベルのみが付与された第2の医用データ群と、第1のラベルと第2のラベルとが付与された第3の医用データ群とで第2の機械学習を行う。ラベル(第1のラベル、第2のラベル)が重複したデータを第2の機械学習のみに用いることで第2の機械学習に対するデータ数を増加させることができ、第1の機械学習に基づく第2の機械学習を適切に行うことが出来る。本実施形態の手法は、特に第2の医用データ群のデータ数が少ない場合に有効である。 In the present embodiment, the first machine learning is performed with the first medical data group to which only the first label is attached among the first label and the second label. In addition, a second medical data group to which only the second label is attached among the first label and the second label, and third medical data to which the first label and the second label are attached. Do a second machine learning with the group. The number of data for the second machine learning can be increased by using the data in which the labels (the first label, the second label) overlap only for the second machine learning, and the first based on the first machine learning The machine learning of 2 can be performed appropriately. The method of the present embodiment is particularly effective when the number of data in the second medical data group is small.
(実施形態1の変形例1)
実施形態1では、ステップS320において、記憶部200から取得したデータのうち、診断名と全体形状の画像所見とがともに付与されているデータを第3の医用データ群として選択していた。変形例1では、第1の医用データ群の一部に第2のラベルを付与することで第3の医用データ群を作成してもよい。あるいは、第1の医用データ群の一部に第2のラベルを付与し、第3の医用データ群に追加するようにしてもよい。なお、この処理は、情報処理装置100が不図示の付与部112を有し、付与部112が第1の医用データ群の一部に第2のラベルを付与することにより行われる。また別の例では、選択部104は第1のラベルと第2のラベルとをともに付与されているデータ群の一部のデータ群を第3の医用データ群として選択してもよい。
(Modification 1 of Embodiment 1)
In the first embodiment, in step S320, among the data acquired from the
例えば、第1の医用データ群のデータ数が9500、第2の医用データ群のデータ数が5000、初期の第3の医用データ群のデータ数が500である場合を考える。この場合、本実施形態の処理を適用すると、第1の機械学習に用いる学習データのデータ数は9500、第2の機械学習に用いる学習データのデータ数は1000となる。ここで、初期の第1の医用データ群9500のデータから500のデータを選択して第2のラベルを付与し、第3の医用データ群に追加した場合を考える。この場合、第1の機械学習に用いる学習データのデータ数は9000、第2の機械学習に用いる学習データのデータ数は1500となる。つまり、処理を行う前と比べて、第1の機械学習に用いる学習データのデータ数は約95%、第2の機械学習に用いる学習データのデータ数は150%となる。機械学習において、学習データのデータ数が95%になってもほぼ負の影響が出ないと考えられるのに対して、150%になった場合は大きく正の影響が出ることが期待できる。 For example, consider the case where the number of data in the first medical data group is 9500, the number of data in the second medical data group is 5000, and the number of data in the initial third medical data group is 500. In this case, when the process of this embodiment is applied, the number of learning data used in the first machine learning is 9500, and the number of learning data used in the second machine learning is 1000. Here, it is assumed that 500 data are selected from the data of the initial first medical data group 9500, a second label is attached, and the data is added to the third medical data group. In this case, the number of data of learning data used for the first machine learning is 9000, and the number of data of learning data used for the second machine learning is 1500. That is, compared with before processing, the number of data of learning data used for the first machine learning is about 95%, and the number of data of learning data used for the second machine learning is 150%. In machine learning, even if the number of data in learning data is 95%, it is considered that there is almost no negative effect, but if it is 150%, it can be expected that a large positive effect will be produced.
したがって、本変形例によれば、第2の医用データ群のデータ数が少ない場合でも、データを増やすことで第2の機械学習に対するデータ数を確保することができるため、第1の機械学習に基づく第2の機械学習を適切に行うことができる。 Therefore, according to the present modification, even when the number of data in the second medical data group is small, the number of data for the second machine learning can be secured by increasing the number of data. The second machine learning based on can be appropriately performed.
(実施形態1の変形例2)
実施形態1では、ステップS340において、第1の機械学習結果を転移(fine−tuning)させることで第2の機械学習を行っていた。しかし、第2のラベルが付与されたデータ群のデータ数が所定値より多い場合には、第1の機械学習結果を転移するよりも通常の機械学習の方が高精度になることがあるため、転移を行わずに通常の機械学習を行うようにしてもよい。すなわち、第1の機械学習と第2の機械学習を独立に行うようにしてもよい。
(
In the first embodiment, in step S340, the second machine learning is performed by transferring (fine-tuning) the first machine learning result. However, when the number of data in the data group to which the second label is attached is larger than the predetermined value, normal machine learning may be more accurate than transferring the first machine learning result. Normal machine learning may be performed without performing transfer. That is, the first machine learning and the second machine learning may be performed independently.
例えば、第1のラベルが付与されたデータ群のデータ数に対する、第2のラベルが付与されたデータ群のデータ数の比率が0.5を超える場合は第1の機械学習結果を転移するよりも通常の機械学習が高精度になると判断する。もちろんこの比率は一例であり、他の値であっても構わない。また、比率を用いない他の方法により判断しても構わない。 For example, if the ratio of the number of data in the second labeled data group to the number of data in the first labeled data group exceeds 0.5, it is better to transfer the first machine learning result than Judge that normal machine learning will be highly accurate. Of course, this ratio is an example, and may be another value. Also, the determination may be made by another method that does not use the ratio.
本変形例によれば、第1の機械学習結果を転移するよりも通常の機械学習が高精度になると判断した場合は転移を行わないことで、第2の機械学習をより適切に行うことができる。本変形例は特にデータを継続的に収集する場合に有効である。 According to the present modification, the second machine learning can be performed more appropriately by not performing the transfer when it is determined that the normal machine learning has high accuracy than the transfer of the first machine learning result. it can. This modification is particularly effective in the case of continuously collecting data.
(実施形態1の変形例3)
実施形態1では、ステップS330とステップS340において、第1の機械学習と第2の機械学習で同一の手法を用いて機械学習を行っていたが、第1の機械学習と第2の機械学習で異なる手法を用いてもよい。例えば、第1の機械学習はDCNNを用い、第2の機械学習は、DCNNの中間出力(第1の機械学習結果)を入力とするサポートベクターマシンを学習するようにしてもよい。もちろんこれらは一例であり、他の方法であっても構わない。
(Modification 3 of Embodiment 1)
In the first embodiment, in step S330 and step S340, the machine learning is performed using the same method in the first machine learning and the second machine learning, but in the first machine learning and the second machine learning Different approaches may be used. For example, the first machine learning may use DCNN, and the second machine learning may learn a support vector machine having DCNN intermediate output (first machine learning result) as an input. Of course, these are only examples and other methods may be used.
本変形例によれば、第1の機械学習と第2の機械学習の夫々で最適な手法を用いることで、第1の機械学習に基づく第2の機械学習をより適切に行うことができる。 According to this modification, the second machine learning based on the first machine learning can be more appropriately performed by using the optimal method in each of the first machine learning and the second machine learning.
(実施形態1の変形例4)
実施形態1では、ステップS320において第3の医用データ群を選択していた。しかし、これに限らず、第1のラベルが付与されたデータ群と第2のラベルが付与されたデータ群とで重複するデータが無いことが判明しているような場合には、ステップS320において第3の医用データ群を選択しなくてもよい。そして、第1の医用データ群と第2の医用データ群のみでステップS330とステップS340における学習を行うようにしてもよい。
(Modification 4 of Embodiment 1)
In the first embodiment, the third medical data group is selected in step S320. However, the present invention is not limited to this, and when it is found that there is no overlapping data between the data group to which the first label is attached and the data group to which the second label is attached, step S320 The third medical data group may not be selected. Then, learning in steps S330 and S340 may be performed using only the first medical data group and the second medical data group.
本変形例によれば、第1の医用データ群と第2の医用データ群で重複するデータが無い場合でも第1の機械学習に基づく第2の機械学習を適切に行うことができる。特に、第1の医用データ群と第2の医用データ群を異なるデータソースから取得する場合に有効である。 According to this modification, even when there is no overlapping data in the first medical data group and the second medical data group, the second machine learning based on the first machine learning can be appropriately performed. In particular, it is effective when acquiring the first medical data group and the second medical data group from different data sources.
<実施形態2>
実施形態2における情報処理装置500は、第3の医用データ群のデータ数に基づき、第1の機械学習と第2の機械学習で第3の医用データ群を学習に用いるかどうかを判定する。
Second Embodiment
The
図5は、実施形態2における情報処理装置500の機能構成の一例を示す図である。なお、図1と同一の符号が付与された構成部については、実施形態1との差異部分のみ説明する。
FIG. 5 is a diagram illustrating an example of a functional configuration of the
情報処理装置500は、取得部102と、選択部104と、判定部510と、第1の機械学習部506と、第2の機械学習部508とを備える。判定部510は、第3の医用データ群のデータ数に基づき、第1の機械学習部506と第2の機械学習部508において、第3の医用データ群を学習に用いるかどうかを判定する。第1の機械学習部506は、判定に基づき決定されたデータで診断名を分類する第1の機械学習を行う。第2の機械学習部508は、第1の機械学習の結果に基づいて、判定に基づき決定されたデータで画像所見を分類する第2の機械学習を行う。
The
本実施形態における情報処理装置500のハードウェア構成は、第一の実施形態における図2と同様である。
The hardware configuration of the
次に、図6のフローチャートを用いて、情報処理装置500が行う全体の処理を説明する。なお、図3と同一の符号が付与された処理については第一の実施形態との差異部分のみ説明する。
Next, the overall processing performed by the
ステップS610及びステップS620の処理は第一の実施形態におけるステップS310及びステップS320の処理と同様である。 The processes of steps S610 and S620 are the same as the processes of steps S310 and S320 in the first embodiment.
ステップS625において、判定部510は、ステップS620で選択した第3の医用データ群のデータ数に基づいて、ステップS630とステップS640の第1の機械学習と第2の機械学習において第3の医用データ群を用いるかどうかを判定する。
In step S625, based on the number of data of the third medical data group selected in step S620,
本実施形態において判定部510は、第3の医用データ群のデータ数が所定値より多い場合には第1の機械学習では第3の医用データ群を用いないと判定し、第2の機械学習では第3の医用データ群を用いると判定する。すなわち、ステップS630とステップS640では実施形態1と同様の処理を行う。
In the present embodiment, when the number of data in the third medical data group is larger than a predetermined value, the
判定部510は、第3の医用データ群のデータ数が所定値以下の場合には、ステップS630とステップS640で第3の医用データ群を用いないと判定するものとする。なお、この場合には第3の医用データ群は第1の機械学習手段と第2の機械学習手段の評価用データとして用いる。評価データを同一とすることで、第1の機械学習の精度と第2の機械学習の精度を同時に考慮した機械学習を行うことが出来る。
When the number of data in the third medical data group is equal to or less than a predetermined value, the
ステップS630において、第1の機械学習部506は、ステップS610で取得した第1の医用データ群に基づいて、診断名を分類する第1の機械学習を行う。なお、機械学習は実施形態1と同様にDCNNで行うものとし、説明は省略する。
In step S630, the first
ステップS640において、第2の機械学習部508は、ステップS610で取得した第2の医用データ群と、ステップS620で選択した第3の医用データ群に基づいて、ステップS630で行った第1の機械学習結果に基づき、画像所見を分類する第2の機械学習を行う。本実施形態では、ステップS625で第3の医用データ群を用いると判定された場合には実施形態1と同様に第2の医用データ群と第3の医用データ群の和のデータで学習を行う。一方、ステップS625で第3の医用データ群を用いないと判定された場合には、第2の医用データ群で学習を行う。なお、第2の機械学習は実施形態1と同様に、DCNNを用いて第1の機械学習結果をfine−tuningすることにより行うものとし、説明は省略する。
In step S640, the second
本実施形態では、第3の医用データ群のデータ数に基づき、第1の機械学習と第2の機械学習で第3の医用データ群を学習に用いるかどうかを判定する。第3の医用データ群の状態に応じて学習に用いるデータを柔軟に扱うことが出来るので、第1の機械学習に基づく第2の機械学習を適切に行うことが出来る。 In this embodiment, based on the number of data in the third medical data group, it is determined whether the third medical data group is to be used for learning in the first machine learning and the second machine learning. Since data used for learning can be flexibly handled according to the state of the third medical data group, the second machine learning based on the first machine learning can be appropriately performed.
(実施形態2の変形例1)
実施形態2では、ステップS625において、第3の医用データ群のデータ数に基づき、第1の機械学習と第2の機械学習で第3の医用データ群を学習に用いるかどうかを判定していた。しかし、第1の医用データ群のデータ数と第2の医用データ群のデータ数も考慮するようにしてもよい。より具体的には、第1の医用データ群のデータ数(|D1|)と第2の医用データ群のデータ数(|D2|)と第3の医用データ群のデータ数(|D3|)の比率に基づいて判定を行う。
(Modification 1 of Embodiment 2)
In the second embodiment, in step S625, it is determined whether to use the third medical data group for learning in the first machine learning and the second machine learning based on the number of data in the third medical data group. . However, the number of data in the first medical data group and the number of data in the second medical data group may be taken into consideration. More specifically, the number of data in the first medical data group (| D1 |), the number of data in the second medical data group (| D2 |), and the number of data in the third medical data group (| D3 |) Make a decision based on the ratio of
例えば判定部510は、|D3|が第1の所定値以下の場合には、第1の機械学習と第2の機械学習で第3の医用データ群を用いないと判定する。
For example, when | D3 | is equal to or less than the first predetermined value, the
判定部510は、|D3|が第1の所定値より大きい場合には、以下のように比率に基づいて判定を行う。|D3|/|D1|が第2の所定値以下で、|D3|/|D2|が第2の所定値より大きい場合には、第1の医用データ群に対する第3の医用データ群の割合が小さく、第2の医用データ群に対する第3の医用データ群の割合が大きいことを示す。この場合、第3の医用データ群を用いないことによる第1の機械学習への影響は小さいと考えられる。一方で、第3の医用データ群を用いず第2の医用データ群のみで学習を行うことによる第2の機械学習への影響が大きいと考えられる。判定部510は、第1の機械学習では第3の医用データ群を用いないと判定し、第2の機械学習では第3の医用データ群を用いると判定する。この場合、第2のラベルを有するデータの数を増加させることができ、第2の機械学習をより適切に行うことができる。
If | D3 | is larger than the first predetermined value,
|D3|/|D1|が第2の所定値以下で、|D3|/|D2|が第2の所定値以下の場合には、第1の医用データ群及び第2の医用データ群に対する第3の医用データ群の割合が小さいことを示す。この場合、第3の医用データ群を用いないことによる第1の機械学習及び第2の機械学習への影響は小さいと考えられる。したがって、判定部510は第1の機械学習と第2の機械学習両方で第3の医用データ群を用いないと判定する。このとき、上述のように第3の医用データ群を評価データとして用いてもよい。
If | D3 | / | D1 | is less than or equal to the second predetermined value and | D3 | / | D2 | is less than or equal to the second predetermined value, the first medical data group and the second medical data group may be subjected to the first Indicates that the ratio of 3 medical data groups is small. In this case, it is considered that the influence on the first machine learning and the second machine learning by not using the third medical data group is small. Therefore, the
|D3|/|D1|が第2の所定値より大きく、|D3|/|D2|が第2の所定値より大きい場合は、第1の医用データ群及び第2の医用データ群に対する第3の医用データ群の割合が大きいことを示す。この場合、第3の医用データ群を用いないことによる第1の機械学習及び第2の機械学習への影響は大きいと考えられる。ここで、第1の機械学習と第2の機械学習とで重複したデータを用いて学習を行うことによる、それぞれの機械学習への影響よりも、学習に用いるデータ数が低下することによるそれぞれの機械学習への影響が大きいと考えられる。したがって判定部510は、第1の機械学習と第2の機械学習両方で第3の医用データ群を用いると判定する。
If | D3 | / | D1 | is larger than the second predetermined value and | D3 | / | D2 | is larger than the second predetermined value, the third medical data group and the second medical data group may be subjected to the third method. Indicates that the proportion of medical data groups is large. In this case, it is considered that the influence on the first machine learning and the second machine learning by not using the third medical data group is large. Here, the number of data used for learning is lower than the influence on the respective machine learning by performing learning using data duplicated in the first machine learning and the second machine learning. The impact on machine learning is considered to be large. Therefore, the
|D3|/|D1|が第2の所定値より大きく、|D3|/|D2|が第2の所定値以下の場合は、第1の医用データ群に対する第3の医用データ群の割合が大きく、第2の医用データ群に対する第3の医用データ群の割合が小さいことを示す。すなわち、|D1|<|D2|であるので判定部510は、第1の機械学習と第2の機械学習両方で第3の医用データ群を用いると共に、実施形態1の変形例2と同様に第2の機械学習は第1の機械学習結果を転移せず、通常の機械学習を行うと判定する。
If | D3 | / | D1 | is greater than the second predetermined value and | D3 | / | D2 | is the second predetermined value or less, the ratio of the third medical data group to the first medical data group is It indicates that the ratio of the third medical data group to the second medical data group is large. That is, since | D1 | <| D2 |, the
すなわちステップS625は、第3の医用データ群のデータ数に基づいて、第3の医用データ群を第1の機械学習及び第2の機械学習の少なくともいずれか一方に用いるか否かを判定する判定工程の一例である。 That is, in step S625, it is determined whether or not the third medical data group is to be used for at least one of the first machine learning and the second machine learning based on the number of data of the third medical data group. It is an example of a process.
本変形例によれば、第3の医用データ群に加えて第1の医用データ群と第2の医用データ群の状態に応じて学習に用いるデータを判定することができるので、第1の機械学習に基づく第2の機械学習をより適切に行うことができる。 According to this modification, it is possible to determine the data to be used for learning according to the state of the first medical data group and the second medical data group in addition to the third medical data group. The second machine learning based on learning can be performed more appropriately.
(その他の実施形態)
上述の実施形態では、胸部X線CT画像における肺結節に関する学習を行う場合を例に説明したが、本発明はこれに限らない。また、対象とする医用画像は、CT装置、デジタルラジオグラフィ、MRI(Magnetic Resonance Imaging)装置、SPECT(Single Photon Emission CT)装置、PET(Positron Emission Tomography)装置、超音波診断装置、眼底カメラ、光音響装置といった撮影装置の少なくともいずれかを用いて取得された医用画像でもよい。対象とする病変は肺結節影に限らず、被検体のいかなる部位の病変であってよい。また、学習の対象は医療に限られず、例えば学習に用いる画像をカメラで撮影された画像とし、第1のラベルを画像のシーン、第2のラベルを画像中のオブジェクト(空、木など)の状態としてもよい。
(Other embodiments)
In the above-mentioned embodiment, although the case where learning about a lung nodule in a chest X-ray CT image was performed was explained to an example, the present invention is not limited to this. In addition, medical images of interest include CT devices, digital radiography, MRI (Magnetic Resonance Imaging) devices, SPECT (Single Photon Emission CT) devices, PET (Positron Emission Tomography) devices, ultrasound diagnostic devices, fundus cameras, light It may be a medical image acquired using at least one of imaging devices such as an acoustic device. The target lesion is not limited to lung nodules but may be a lesion at any site of a subject. Further, the target of learning is not limited to medical treatment, for example, an image used for learning is an image taken by a camera, the first label is a scene of the image, and the second label is an object (sky, tree, etc.) It may be in the state.
上述の実施形態では、第2のラベルとして全体形状の画像所見を用いる例を説明したが、本発明はこれに限らない。たとえば第2のラベルは任意の画像所見であってよい。画像所見は、たとえば病変の全体の形状を示す全体形状、病変の大きさ、解剖学的構造の状態を示す所見(たとえば気管支透瞭像に関する所見)、病変の詳細な形状を示す所見(たとえば病変の切れ込み形状に関する所見、棘状突起に関する所見)等が挙げられる。 Although the above-mentioned embodiment demonstrated the example which uses the image finding of the whole shape as a 2nd label, the present invention is not limited to this. For example, the second label may be any imaging finding. The imaging findings include, for example, an overall shape indicating the overall shape of the lesion, a size of the lesion, a finding indicating the state of the anatomical structure (eg, a finding related to bronchial view), a finding indicating the detailed shape of the lesion (eg, the lesion) Findings on the shape of the incision, and findings on the spinous processes).
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置及び情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。 The information processing apparatus in each of the above-described embodiments may be realized as a single apparatus, or a plurality of apparatuses may be communicably combined with each other to execute the above-described processing, either of which is an embodiment of the present invention. include. The above-described processing may be executed by a common server device or a group of servers. A plurality of devices constituting the information processing device and the information processing system may be able to communicate at a predetermined communication rate, and do not need to be present in the same facility or in the same country.
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。 According to an embodiment of the present invention, a program of software that implements the functions of the embodiments described above is supplied to a system or apparatus, and a computer of the system or apparatus reads and executes a code of the supplied program. Including the form.
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Therefore, the program code itself, which is installed in the computer to realize the processing according to the embodiment by the computer, is also one of the embodiments of the present invention. In addition, based on instructions included in a program read by a computer, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiment may be realized by the processing. .
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。 The form which combined the above-mentioned embodiment suitably is also contained in the embodiment of the present invention.
100 情報処理装置
102 取得部
104 選択部
106 第1の機械学習部
108 第2の機械学習部
510 判定部
512 付与部
100
Claims (20)
前記第1の医用データ群に基づいて第1の機械学習を行う第1の学習工程と、
前記第1の機械学習におけるパラメータと前記第2の医用データ群とに基づいて第2の機械学習を行う第2の学習工程と、
を有することを特徴とする情報処理方法。 The first medical data group to which only the first label is attached among the first label and the second label, and the second one of the first label and the second label Acquiring a second medical data group to which only a label is attached;
A first learning step of performing a first machine learning based on the first medical data group;
A second learning step of performing a second machine learning based on the parameter in the first machine learning and the second medical data group;
An information processing method characterized by comprising:
前記第2の医用データ群のデータ数が所定数より多いか否かを判定する判定工程と、
前記第1の医用データ群に基づいて第1の機械学習を行う第1の学習工程と、
前記第2のデータ数が所定数より多い場合に、前記第2の医用データ群に基づいて第2の機械学習を行い、
前記第2のデータ数が所定数以下の場合に、前記第1の機械学習におけるパラメータと前記第2の医用データ群とに基づいて第2の機械学習を行う第2の学習工程と、
を有することを特徴とする情報処理方法。 The first medical data group to which only the first label is attached among the first label and the second label, and the second one of the first label and the second label Acquiring a second medical data group to which only a label is attached;
A determination step of determining whether the number of data in the second medical data group is greater than a predetermined number;
A first learning step of performing a first machine learning based on the first medical data group;
If the second number of data is larger than a predetermined number, second machine learning is performed based on the second medical data group,
A second learning step of performing second machine learning based on the parameter in the first machine learning and the second medical data group when the second data number is equal to or less than a predetermined number;
An information processing method characterized by comprising:
前記判定工程は、前記第1の医用データ群のデータ数に対する前記第3の医用データ群のデータ数の割合と、前記第2の医用データ群のデータ数に対する前記第3の医用データ群のデータ数の割合と、に基づいて前記第3の医用データ群を前記第1の機械学習及び前記第2の機械学習の少なくともいずれか一方に用いるか否かを判定することを特徴とする請求項9に記載の情報処理方法。 The acquiring step further acquires a third medical data group to which the first label and the second label are given,
In the determining step, a ratio of the number of data of the third medical data group to the number of data of the first medical data group, and data of the third medical data group to the number of data of the second medical data group It is determined whether or not to use the third medical data group for at least one of the first machine learning and the second machine learning based on the ratio of the numbers. The information processing method described in.
前記第1の医用データ群に基づいて第1の機械学習を行う第1の学習手段と、
前記第1の機械学習におけるパラメータと前記第2の医用データ群とに基づいて第2の機械学習を行う第2の学習手段と、
を有することを特徴とする情報処理装置。 The first medical data group to which only the first label is attached among the first label and the second label, and the second one of the first label and the second label Acquiring means for acquiring a second medical data group to which only a label is attached;
First learning means for performing first machine learning based on the first group of medical data;
Second learning means for performing second machine learning based on the parameters in the first machine learning and the second medical data group;
An information processing apparatus comprising:
前記第2の学習手段は前記第3の医用データ群をさらに用いて前記第2の機械学習を行うことを特徴とする請求項12に記載の情報処理装置。 The acquisition unit further acquires a third medical data group to which the first label and the second label are given.
The information processing apparatus according to claim 12, wherein the second learning unit performs the second machine learning by further using the third medical data group.
前記第1のラベルと前記第2のラベルとのうち、前記第2のラベルのみが付与された第2の医用データ群を学習用データとし、前記第1の推論器のパラメータを用いて機械学習した第2の推論器に基づいて、前記第2のラベルに関する推論を行う第2の推論手段と、
を有することを特徴とする情報処理装置。 Of the first label and the second label, based on a first inferrer machine-learning as a learning data, a first medical data group to which only the first label is attached is used. First inference means for inferring labels;
The second medical data group to which only the second label is added among the first label and the second label is used as learning data, and machine learning using parameters of the first inferrer Second inference means for inferring the second label based on the second inference unit;
An information processing apparatus comprising:
前記第1の医用データ群に基づいて第1の機械学習を行う第1の学習手段と、
前記第1の機械学習におけるパラメータと前記第2の医用データ群とに基づいて第2の機械学習を行う第2の学習手段と、
を有することを特徴とする情報処理システム。 The first medical data group to which only the first label is attached among the first label and the second label, and the second one of the first label and the second label Acquiring means for acquiring a second medical data group to which only a label is attached;
First learning means for performing first machine learning based on the first group of medical data;
Second learning means for performing second machine learning based on the parameters in the first machine learning and the second medical data group;
An information processing system characterized by having.
前記記憶されているデータであって、第1のラベルと第2のラベルとのうち、前記第1のラベルのみが付与されたデータである第1の医用データ群に基づいて第1の機械学習を行う第1の学習手段と、
前記記憶されているデータであって、前記第1のラベルと前記第2のラベルとのうち、前記第2のラベルのみが付与されたデータである第2の医用データ群と、前記第1の機械学習におけるパラメータとに基づいて第2の機械学習を行う第2の学習手段と、
を有することを特徴とする情報処理システム。 Storage means for storing data including a medical image and medical information provided to the medical image;
First machine learning based on a first medical data group, which is the stored data, of the first label and the second label, only the first label is given data The first learning means to
A second medical data group, which is the stored data, of the first label and the second label, the data to which only the second label is given; Second learning means for performing second machine learning based on parameters in machine learning;
An information processing system characterized by having.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017228150A JP7066385B2 (en) | 2017-11-28 | 2017-11-28 | Information processing methods, information processing equipment, information processing systems and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017228150A JP7066385B2 (en) | 2017-11-28 | 2017-11-28 | Information processing methods, information processing equipment, information processing systems and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019101485A true JP2019101485A (en) | 2019-06-24 |
JP7066385B2 JP7066385B2 (en) | 2022-05-13 |
Family
ID=66973612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017228150A Active JP7066385B2 (en) | 2017-11-28 | 2017-11-28 | Information processing methods, information processing equipment, information processing systems and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7066385B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539947A (en) * | 2020-04-30 | 2020-08-14 | 上海商汤智能科技有限公司 | Image detection method, training method of related model, related device and equipment |
JP2021058464A (en) * | 2019-10-08 | 2021-04-15 | 公立大学法人会津大学 | Colon endoscopic examination assisting device, colon endoscopic examination assisting method, and colon endoscopic examination assisting program |
CN112825143A (en) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | Deep convolutional neural network compression method, device, storage medium and equipment |
JP2021103373A (en) * | 2019-12-24 | 2021-07-15 | 東芝デジタルソリューションズ株式会社 | Demand prediction device, demand prediction method, and program |
JP2021193533A (en) * | 2020-06-09 | 2021-12-23 | Kddi株式会社 | Machine learning device, machine learning method, and machine learning program |
US11754985B2 (en) | 2020-04-20 | 2023-09-12 | Kabushiki Kaisha Toshiba | Information processing apparatus, information processing method and computer program product |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016143094A (en) * | 2015-01-29 | 2016-08-08 | パナソニックIpマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
WO2017106645A1 (en) * | 2015-12-18 | 2017-06-22 | The Regents Of The University Of California | Interpretation and quantification of emergency features on head computed tomography |
JP2017199383A (en) * | 2017-05-24 | 2017-11-02 | ヤフー株式会社 | model |
-
2017
- 2017-11-28 JP JP2017228150A patent/JP7066385B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016143094A (en) * | 2015-01-29 | 2016-08-08 | パナソニックIpマネジメント株式会社 | Transfer learning device, transfer learning system, transfer learning method and program |
WO2017106645A1 (en) * | 2015-12-18 | 2017-06-22 | The Regents Of The University Of California | Interpretation and quantification of emergency features on head computed tomography |
JP2017199383A (en) * | 2017-05-24 | 2017-11-02 | ヤフー株式会社 | model |
Non-Patent Citations (1)
Title |
---|
HAK GU KIM ほか: "Modality-bridge Transfer Learning for Medical Image Classification", [オンライン], JPN6022000299, 10 August 2017 (2017-08-10), ISSN: 0004678852 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021058464A (en) * | 2019-10-08 | 2021-04-15 | 公立大学法人会津大学 | Colon endoscopic examination assisting device, colon endoscopic examination assisting method, and colon endoscopic examination assisting program |
JP7315809B2 (en) | 2019-10-08 | 2023-07-27 | 公立大学法人会津大学 | Colonoscopy Auxiliary Apparatus, Colonoscopy Auxiliary Method and Colonoscopy Auxiliary Program |
CN112825143A (en) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | Deep convolutional neural network compression method, device, storage medium and equipment |
JP2021103373A (en) * | 2019-12-24 | 2021-07-15 | 東芝デジタルソリューションズ株式会社 | Demand prediction device, demand prediction method, and program |
US11754985B2 (en) | 2020-04-20 | 2023-09-12 | Kabushiki Kaisha Toshiba | Information processing apparatus, information processing method and computer program product |
CN111539947A (en) * | 2020-04-30 | 2020-08-14 | 上海商汤智能科技有限公司 | Image detection method, training method of related model, related device and equipment |
JP2022538137A (en) * | 2020-04-30 | 2022-08-31 | 上▲海▼商▲湯▼智能科技有限公司 | Image detection method, related model training method, and related devices and equipment |
CN111539947B (en) * | 2020-04-30 | 2024-03-29 | 上海商汤智能科技有限公司 | Image detection method, related model training method, related device and equipment |
JP2021193533A (en) * | 2020-06-09 | 2021-12-23 | Kddi株式会社 | Machine learning device, machine learning method, and machine learning program |
JP7290606B2 (en) | 2020-06-09 | 2023-06-13 | Kddi株式会社 | Machine learning device, machine learning method and machine learning program |
Also Published As
Publication number | Publication date |
---|---|
JP7066385B2 (en) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7066385B2 (en) | Information processing methods, information processing equipment, information processing systems and programs | |
Perslev et al. | One network to segment them all: A general, lightweight system for accurate 3d medical image segmentation | |
US10210613B2 (en) | Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training | |
US10853449B1 (en) | Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis | |
JP6016406B2 (en) | Medical diagnosis support apparatus, medical diagnosis support method, and input support system | |
Sander et al. | Automatic segmentation with detection of local segmentation failures in cardiac MRI | |
JP7058988B2 (en) | Information processing equipment, information processing methods and programs | |
JP7374202B2 (en) | Machine learning systems and methods, integrated servers, programs, and methods for creating inference models | |
JP2018505705A (en) | System and method for transforming medical imaging using machine learning | |
US11229377B2 (en) | System and method for next-generation MRI spine evaluation | |
JP2018175226A (en) | Medical image classification device, method, and program | |
JP2019061578A (en) | Learning support device, operation method for learning support device, learning support program, learning support system, and terminal device | |
JP2007172604A (en) | Method and apparatus for selecting computer-assisted algorithm based on protocol and/or parameter of acquisition system | |
JP6071338B2 (en) | Medical diagnosis support apparatus, medical diagnosis support method and program | |
JP2019061579A (en) | Learning support device, operation method for learning support device, learning support program, learning support system, and terminal device | |
JP2018206082A (en) | Information processing device, information processing system, information processing method, and program | |
JP2015016098A (en) | Diagnostic support system, control method of the same, and program | |
JP2020054580A (en) | Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program | |
JP7339270B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, METHOD AND PROGRAM | |
CA3011141A1 (en) | Confidence determination in a medical imaging video clip measurement based upon video clip image quality | |
US20100186017A1 (en) | System and method for medical image processing | |
US11995834B2 (en) | Method and system for the automated determination of examination results in an image sequence | |
JP6738163B2 (en) | Diagnostic support device, method and program executed by diagnostic support device | |
JP7007469B2 (en) | Medical document creation support devices, methods and programs, trained models, and learning devices, methods and programs | |
US20230089212A1 (en) | Image generation device, image generation method, image generation program, learning device, learning method, and learning program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220427 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7066385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |