JP2022538137A - 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 - Google Patents
画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 Download PDFInfo
- Publication number
- JP2022538137A JP2022538137A JP2021576932A JP2021576932A JP2022538137A JP 2022538137 A JP2022538137 A JP 2022538137A JP 2021576932 A JP2021576932 A JP 2021576932A JP 2021576932 A JP2021576932 A JP 2021576932A JP 2022538137 A JP2022538137 A JP 2022538137A
- Authority
- JP
- Japan
- Prior art keywords
- detection model
- image
- region
- detection
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 1000
- 238000012549 training Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 137
- 210000000056 organ Anatomy 0.000 claims abstract description 301
- 238000002372 labelling Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 description 64
- 210000000952 spleen Anatomy 0.000 description 27
- 210000003734 kidney Anatomy 0.000 description 26
- 210000000496 pancreas Anatomy 0.000 description 23
- 210000004185 liver Anatomy 0.000 description 13
- 238000002591 computed tomography Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000003187 abdominal effect Effects 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 8
- 238000009966 trimming Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 5
- 210000001015 abdomen Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 210000000133 brain stem Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000001638 cerebellum Anatomy 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000002451 diencephalon Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000001587 telencephalon Anatomy 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本願は、画像検出方法及び関連モデルの訓練方法並びに関連装置、機器を提供する。ここで、画像検出モデルの訓練方法は、サンプル医用画像を取得することであって、サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、ことと、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行い、第1検出結果を得ることと、画像検出モデルを利用して、サンプル医用画像に対して検出を行い、第2検出結果を得ることであって、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、ことと、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整することと、を含む。
Description
(関連出願の相互参照)
本願は、2020年04月30日に提出された、出願番号が202010362766.Xである中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、2020年04月30日に提出された、出願番号が202010362766.Xである中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、人工知能技術分野に関し、特に、画像検出方法及び関連モデルの訓練方法並びに関連装置、機器に関する。
CT(Computed Tomography:コンピュータ断層撮影)及びMRI(Magnetic Resonance Imaging:磁気共鳴撮影)などの医用画像は、臨床にとって非常に重要である。ここで、CT、MRIなどの医用画像は、多器官検出を行い、医用画像における各器官に対応する領域を決定し、臨床的実践に広く適用されている。例えば、コンピュータ支援診断、放射線治療計画の策定などに適用される。従って、多器官検出に適用可能である画像検出モデルを訓練することは、高い有用性を有する。
現在、モデル訓練は、ラベル付けされた大量のデータ集合に依存する。しかしながら、医用映像分野において、大量の高品質な多器官ラベル付けを取得するために多大の手間がかかり、且つ、経験豊富な放射線科医のみは、データをラベル付けする能力を有する。これに限定されるため、従来の画像検出モデルが多器官検出を行う場合、正確性が低いという問題が発生することが多い。これに鑑み、多器官検出の場合、検出の正確性を如何に向上させるかは、早急に解決しなければならない課題である。
本願は、画像検出方法及び関連モデルの訓練方法並びに関連装置、機器を提供する。
第1態様によれば、本願の実施例は、画像検出モデルの訓練方法を提供する。前記方法は、サンプル医用画像を取得することであって、サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、ことと、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行い、第1検出結果を得ることであって、第1検出結果は、ラベル付けされていない器官の第1予測領域を含む、ことと、画像検出モデルを利用して、サンプル医用画像に対して検出を行い、第2検出結果を得ることであって、第2検出結果は、ラベル付けされていない器官の第2予測領域を含み、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、ことと、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整することと、を含む。
従って、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされているサンプル医用画像を取得することによって、サンプル医用画像において、多器官に対して真のラベル付けを行う必要がない。これにより、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得て、画像検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得て、更に、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。また、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである。従って、画像検出モデルにより、オリジナル検出モデルの訓練を指導し、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。これにより、画像検出モデルは、オリジナル検出モデルの訓練を正確に指導することができ、それによって、オリジナル検出モデルは、訓練プロセスにおいてそのネットワークパラメータを正確に調整することができる。従って、多器官検出プロセスにおいて、画像検出モデルによる検出の正確性を向上させることができる。
ここで、オリジナル検出モデルは、第1オリジナル検出モデルと、第2オリジナル検出モデルと、を含み、画像検出モデルは、第1オリジナル検出モデルに対応する第1画像検出モデルと、第2オリジナル検出モデルに対応する第2画像検出モデルと、を含み、オリジナル検出モデルを利用してサンプル医用画像に対して検出を行い、第1検出結果を得ることは、第1オリジナル検出モデル及び第2オリジナル検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップを実行することを含み、画像検出モデルを利用して、サンプル医用画像に対して検出を行い、第2検出結果を得ることは、第1画像検出モデル及び第2画像検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップを実行することを含み、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整することは、第1オリジナル検出モデルの第1予測領域と実際領域との差異、及び第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルのネットワークパラメータを調整することと、第2オリジナル検出モデルの第1予測領域と実際領域との差異、及び第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルのネットワークパラメータを調整することと、を含む。
従って、オリジナル検出モデルを、第1オリジナル検出モデル及び第2オリジナル検出モデルを含むように設定し、画像検出モデルを、第1オリジナル検出モデルに対応する第1画像検出モデル及び第2オリジナル検出モデルに対応する第2画像検出モデルを含むように設定し、第1オリジナル検出モデル及び第2オリジナル検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップを実行し、第1画像検出モデル及び第2画像検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップを実行し、第1オリジナル検出モデルの第1予測領域と実際領域との差異、及び第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルのネットワークパラメータを調整し、第2オリジナル検出モデルの第1予測領域と実際領域との差異、及び第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルのネットワークパラメータを調整する。従って、第1オリジナル検出モデルに対応する第1画像検出モデルを利用して、第2オリジナル検出モデルの訓練を指導し、第2オリジナル検出モデルに対応する第2画像検出モデルを利用し、第1オリジナル検出モデルの訓練を指導する。複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。
ここで、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整することは、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定することと、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することと、第1損失値及び第2損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することと、を含む。
従って、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定し、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定し、第1損失値及び第2損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することで、オリジナル検出モデルから予測された第1予測領域と仮ラベル付けされた実際領域との差異、及び第1予測領域と対応する画像検出モデルから予測された第2予測領域との差異という2つの次元で、オリジナル検出モデルの損失を評価する。損失演算の正確性の向上に寄与し、オリジナル検出モデルのネットワークパラメータの正確性の向上に寄与し、更に、画像検出モデルの正確性の向上に寄与する。
ここで、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定することは、焦点損失関数を利用して第1予測領域及び実際領域に対して処理を行い、焦点の第1損失値を得ることと、集合類似度損失関数を利用して第1予測領域及び実際領域に対して処理を行い、集合類似度の第1損失値を得ることと、のうちの少なくとも1つを含む。
ここで、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することは、一致性損失関数を利用して第1予測領域及び第2予測領域に対して処理を行い、第2損失値を得ることを含む。
ここで、第1損失値及び第2損失値を利用してオリジナル検出モデルのネットワークパラメータを調整することは、第1損失値及び第2損失値に対して重み付け処理を行い、重み付け損失値を得ることと、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することと、を含む。
従って、焦点損失関数を利用して、第1予測領域及び実際領域に対して処理して焦点の第1損失値を得ることで、難しいサンプルに対するモデルの注目度を向上させることができ、画像検出モデルの正確性の向上に寄与する。集合類似度損失関数を利用して、第1予測領域及び実際領域に対して処理を行い、集合類似度の第1損失値を得ることで、モデルが、仮ラベル付けされた実際領域をフィッティングすることができるようになり、画像検出モデルの正確性の向上に寄与する。一致性損失関数を利用して第1予測領域及び第2予測領域に対して処理を行い、第2損失値を得ることで、オリジナルモデルによる予測と画像検出モデルによる予測との一致性を向上させ、更に、画像検出モデルの正確性の向上に寄与する。第1損失値及び第2損失値に対して重み付け処理を行い、重み付け損失値を得て、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することで、訓練プロセスにおける各損失値の重要度のバランスを取ることができ、ネットワークパラメータの正確性を向上させ、更に、画像検出モデルの正確性の向上に寄与する。
ここで、サンプル医用画像に、ラベル付け済み器官の実際領域が更に含み、第1検出結果は、ラベル付け済み器官の第1予測領域を更に含み、第2検出結果は、ラベル付け済み器官の第2予測領域を更に含み、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定することは、ラベル付けされていない器官とラベル付け済み器官の第1予測領域と実際領域の差異を利用して、オリジナル検出モデルの第1損失値を決定することを含み、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することは、ラベル付けされていない器官の第1予測領域と対応する第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することを含む。
従って、サンプル医用画像に、ラベル付け済み器官の実際領域を設定し、また、第1検出結果に、ラベル付け済み器官の第1予測領域が更に含まれ、第2検出結果に、ラベル付け済み器官の第2予測領域が更に含まれ、オリジナル検出モデルの第1損失値を決定する過程において、第1予測領域と実際領域との差異を総合的に考慮し、オリジナル検出モデルの第2損失値を決定する過程において、ラベル付けされていない器官の第1予測領域と対応する第2予測領域との差異のみを考慮することで、オリジナル検出モデルと画像検出モデルとの一貫性制約のロバスト性を向上させることができ、更に、画像検出モデルの正確性を向上させることができる。
ここで、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異をそれぞれ利用して、オリジナル検出モデルのネットワークパラメータを調整した後、今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新することを更に含む。
従って、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新することで、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を更に制約し、画像検出モデルの正確性を向上させることができる。
ここで、今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新することは、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータの平均値を統計することと、画像検出モデルのネットワークパラメータを対応するオリジナル検出モデルのネットワークパラメータの平均値に更新することと、を含む。
従って、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータの平均値を統計し、画像検出モデルのネットワークパラメータを対応するオリジナル検出モデルのネットワークパラメータの平均値に更新することで、複数回の訓練プロセスで生じる累積誤差を迅速に制約することに寄与し、画像検出モデルの正確性を向上させることができる。
ここで、サンプル医用画像を取得することは、仮ラベル付け対象医用画像を取得することであって、仮ラベル付け対象医用画像に、少なくとも1つのラベル付けされていない器官が存在する、ことと、各ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、仮ラベル付け対象医用画像に対して検出を行い、各ラベル付けされていない器官の器官予測領域を得ることと、ラベル付けされていない器官の器官予測領域を、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とすることと、を含む。
従って、少なくとも1つのラベル付けされていない器官が存在する仮ラベル付け対象医用画像を取得し、各ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、仮ラベル付け対象医用画像に対して検出を行い、各ラベル付けされていない器官の器官予測領域を得て、ラベル付けされていない器官の器官予測領域を、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とすることで、単一器官検出モデルを利用して、多器官に対する手動ラベル付け作業を無くすことができ、多器官検出のための画像検出モデルの訓練の人件費の低減に寄与し、訓練効率を向上させることができる。
ここで、仮ラベル付け対象医用画像は、少なくとも1つのラベル付け済み器官を含み、各ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、仮ラベル付け対象医用画像に対して検出を行う前に、方法は、仮ラベル付け対象医用画像を利用して、仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うことを更に含む。
従って、仮ラベル付け対象医用画像に、少なくとも1つのラベル付け済み器官が含まれ、仮ラベル付け対象医用画像を利用して、仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うことで、単一器官検出モデルの正確性を向上させ、後続の仮ラベル付けの正確性の向上に寄与し、更に、後続の画像検出モデルの訓練の正確性の向上に寄与する。
ここで、仮ラベル付け対象医用画像を取得することは、三次元医用画像を取得し、三次元医用画像に対して前処理を行うことと、前処理後の三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得ることと、を含む。
従って、三次元医用画像を取得し、三次元医用画像に対して前処理を行い、前処理後の三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得ることで、モデル訓練を満たす医用画像を得ることに寄与し、後続の画像検出モデルの訓練の正確性の向上に寄与する。
ここで、三次元医用画像に対して前処理を行うことは、三次元医用画像のボクセル解像度を所定の解像度に調整することと、所定ウインドウ値を利用して、三次元医用画像のボクセル値を所定の範囲内に正規化することと、三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることと、のうちの少なくとも1つを含む。
従って、三次元医用画像のボクセル解像度を所定の解像度に調整することで、後続のモデル予測処理に寄与する。所定ウインドウ値を利用して、三次元医用画像のボクセル値を所定の範囲内に正規化することで、モデルによる正確な特徴の抽出に寄与する。三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることで、データ拡張の実現に寄与し、データの多様性を向上させ、後続のモデル訓練の正確性を向上させることができる。
第2態様によれば、本願の実施例は、画像検出方法を提供する。前記方法は、検出対象医用画像を取得することであって、検出対象医用画像に複数の器官が含まれる、ことと、画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得ることと、を含み、画像検出モデルは、上記第1態様における画像検出モデルの訓練方法で訓練を行うことで得られたものである。
従って、上記第1態様における訓練を行うことで得られた画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得ることで、多器官検出の過程において、検出の正確性を向上させることができる。
第3態様によれば、本願の実施例は、画像検出モデルの訓練装置を提供する。前記装置は、画像取得モジュールと、第1検出モジュールと、第2検出モジュールと、パラメータ調整モジュールと、を備え、画像取得モジュールは、サンプル医用画像を取得するように構成され、サンプル医用画像に、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされており、第1検出モジュールは、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行い、第1検出結果を得るように構成され、第1検出結果は、ラベル付けされていない器官の第1予測領域を含み、第2検出モジュールは、画像検出モデルを利用して、サンプル医用画像に対して検出を行い、第2検出結果を得るように構成され、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものであり、第2検出結果は、ラベル付けされていない器官の第2予測領域を含み、パラメータ調整モジュールは、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整するように構成される。
第4態様によれば、本願の実施例は、画像検出装置を提供する。前記装置は、画像取得モジュールと、画像検出モジュールと、を備え、画像取得モジュールは、検出対象医用画像を取得するように構成され、検出対象医用画像に複数の器官が含まれ、画像検出モジュールは、画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得るように構成され、画像検出モデルは、上記第2態様における画像検出モデルの訓練装置により訓練を行うことで得られたものである。
第5態様によれば、本願の実施例は、電子機器を提供する。前記電子機器は、互いに接続されるメモリ及びプロセッサを備え、プロセッサは、メモリに記憶されているプログラム命令を実行し、上記第1態様における画像検出モデルの訓練方法を実現し、又は、上記第2態様における画像検出方法を実現するように構成される。
第6態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にプログラム命令が記憶されており、プログラム命令がプロセッサにより実行される時、上記第1態様における画像検出モデルの訓練方法を実現し、又は、上記第2態様における画像検出方法を実現する。
第7態様によれば、本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記第1態様における画像検出モデルの訓練方法を実行し、又は、上記第2態様における画像検出方法を実行する。
上記技術的解決手段において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされているサンプル医用画像を取得することによって、サンプル医用画像において、多器官に対して真のラベル付けを行う必要がない。これにより、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得て、画像検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得て、更に、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。また、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである。従って、画像検出モデルにより、オリジナル検出モデルの訓練を指導し、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。これにより、画像検出モデルは、オリジナル検出モデルの訓練を正確に指導することができ、それによって、オリジナル検出モデルは、訓練プロセスにおいてそのネットワークパラメータを正確に調整することができる。従って、多器官検出プロセスにおいて、画像検出モデルによる検出の正確性を向上させることができる。
以下、明細書の図面を参照しながら、本願の実施例の技術的解決手段を詳しく説明する。
下記説明において、本願の実施例を深く理解するために、特定システム構造、インタフェース、技術等の具体的な細部を提出し、これは、本願を解釈するためのものに過ぎず、本願を限定するためのものではない。
本明細書において、「システム」と「ネットワーク」は相互交換可能に用いられる。本明細書において、用語「及び/又は」は、関連対象の関連関係を説明するためのものであり、3通りの関係が存在することを表す。例えば、A及び/又はBは、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在するという3つの場合を表す。また、本明細書において、文字「/」は一般的には、前後関連対象が「又は」という関係であることを示す。また、本明細書における「複数」は、2つ又は2つより多いことを表す。
図1を参照すると、図1は、本願の実施例による画像検出モデルの訓練方法の一実施例を示すフローチャートである。ここで、下記ステップを含んでもよい。
ステップS11において、サンプル医用画像を取得し、サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている。
サンプル医用画像は、CT画像、MR画像を含んでもよく、ここで、これを限定しない。可能な実施シーンにおいて、サンプル医用画像は、腹部、胸部、脳などの部位を走査することで得られたものであってもよく、実際の適用状況に応じて設定されてもよく、ここで、限定しない。例えば、腹部を走査する場合、サンプル医用画像における器官は、腎臓、脾臓、肝臓、膵臓などを含んでもよい。又は、胸部を走査する場合、サンプル医用画像における器官は、心臓、肺葉、甲状腺などを含んでもよい。又は、脳を走査する場合、サンプル医用画像における器官は、脳幹、小脳、間脳、終脳などを含んでもよい。
可能な実施シーンにおいて、ラベル付けされていない器官の実際領域は、ラベル付けされていない器官に対応する単一器官検出モデルにより検出を行うことで得られたものであってもよい。例えば、サンプル医用画像は、腹部走査により得られたものであると、ラベル付けされていない器官は、腎臓、脾臓、肝臓、膵臓のうちの少なくとも1つを含んでもよい。従って、腎臓に対応する単一器官検出モデルを利用してサンプル医用画像に対して検出を行い、腎臓に対応する器官予測領域を得ることができる。脾臓に対応する単一器官検出モデルを利用してサンプル医用画像に対して検出を行い、脾臓に対応する器官予測領域を得ることができる。肝臓に対応する単一器官検出モデルを利用してサンプル医用画像に対して検出を行い、肝臓に対応する器官予測領域を得ることができる。膵臓に対応する単一器官検出モデルを利用してサンプル医用画像に対して検出を行い、膵臓に対応する器官予測領域を得ることができる。サンプル医用画像に、腎臓、脾臓、肝臓、膵臓にそれぞれ対応する器官予測領域に対して仮ラベル付けを行うことで、ラベル付けされていない腎臓、脾臓、肝臓及び膵臓の、仮ラベル付けされた実際領域を得る。本願の実施例において、仮ラベル付けは、単一器官検出モデルにより検出されたラベル付けされていない器官の器官予測領域を実際領域とするプロセスである。ラベル付けされていない器官が他の器官である場合、このように類推してもよく、ここで、一々列挙しない。可能な実施シーンにおいて、ラベル付けされていない器官の単一器官検出モデルは、ラベル付けされていない器官の実際領域をラベル付けした単一器官データ集合を利用して訓練を行うことで得られたものである。例えば、腎臓に対応する単一器官検出モデルは、腎臓の実際領域をラベル付けした腎臓データ集合を利用して訓練を行うことで得られたものである。脾臓に対応する単一器官検出モデルは、脾臓の実際領域をラベル付けした脾臓データ集合を利用して訓練を行うことで得られたものである。このように類推する。ここで、一々列挙しない。
ステップS12において、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行い、第1検出結果を得て、第1検出結果は、ラベル付けされていない器官の第1予測領域を含む。
オリジナル検出モデルは、Mask R-CNN(Mask Region with Convolutional Neural Network)、FCN(Fully Convolutional Network:完全畳み込みネットワーク)、PSP-net(Pyramid Scene Parsing Network:ピラミッドシーン分析ネットワーク)のうちのいずれか1つを含んでもよい。また、オリジナル検出モデルは、set-net、U-net等であってもよく、実際の状況に応じて設定してもよく、ここで、これを限定しない。
オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行い、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得ることができる。例えば、サンプル医用画像は、腹部走査により得られた画像であり、ラベル付けされていない器官は、腎臓、脾臓、膵臓を含むため、オリジナル検出モデルを利用してサンプル医用画像に対して検出を行うことで、腎臓の第1予測領域、脾臓の第1予測領域、膵臓の第1予測領域を得ることができる。他のシーンは、このように類推してもよく、ここで、一々列挙しない。
ステップS13において、画像検出モデルを利用してサンプル医用画像に対して検出を行い、第2検出結果を得て、第2検出結果は、ラベル付けされていない器官の第2予測領域を含む。
オリジナル検出モデルのネットワーク構造は、オリジナル検出モデルに対応する画像検出モデルのネットワーク構造と同じであってもよい。例えば、オリジナル検出モデルは、Mask R-CNNである場合、対応する画像検出モデルは、Mask R-CNNであってもよい。又は、オリジナル検出モデルは、FCNである場合、対応する画像検出モデルは、FCNであってもよい。又は、オリジナル検出モデルは、PSP-netである場合、対応する画像検出モデルは、PSP-netであってもよい。オリジナル検出モデルは、他のネットワークである場合、このように類推してもよく、ここで、一々列挙しない。
画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものであってもよい。例えば、オリジナル検出モデルの複数回の訓練プロセスで調整したネットワークパラメータに基づいて得られたものであってもよい。例えば、k回目の訓練プロセスにおいて、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのk-n回目からk-1回目の訓練プロセスで調整したネットワークパラメータに基づいて得られたものであってもよい。又は、k+1回目の訓練プロセスにおいて、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのk+1-n回目からk回目の訓練プロセスで調整したネットワークに基づいて得られたものであってもよい。このように類推する。ここで、一々列挙しない。ここで、上記複数訓練の回数(即ち、n)は、実際の状況に応じて設定されてもよい。例えば、5、10、15などとしてもよく、ここで、これを限定しない。
画像検出モデルを利用して、サンプル医用画像に対して検出を行い、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得ることができる。依然として、サンプル医用画像が腹部走査により得られた画像であることを例として、ラベル付けされていない器官は、腎臓、脾臓、膵臓を含むため、画像検出モデルを利用してサンプル医用画像に対して検出を行うことで、腎臓の第2予測領域、脾臓の第2予測領域、膵臓の第2予測領域を得ることができる。他のシーンは、このように類推してもよく、ここで、一々列挙しない。
可能な実施シーンにおいて、上記ステップS12及びステップS13は、優先順位に応じて実行されてもよい。例えば、ステップS12を実行した後に、ステップS13を実行する。又は、ステップS13を実行した後に、ステップS12を実行する。もう1つの可能な実施シーンにおいて、上記ステップS12とステップS13を同時に実行してもよい。実際の適用に応じて設定されてもよく、ここで、これを限定しない。
ステップS14において、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。
ここで、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定することができる。例えば、難しいサンプルに対するモデルの注目度を向上させるために、焦点損失(focal loss)関数を利用して第1予測領域及び実際領域に対して処理を行い、焦点の第1損失値を得ることができる。又は、モデルが仮ラベル付けされた実際領域をフィッティングすることができるようにするために、集合類似度損失(dice loss)関数を利用して、第1予測領域及び実際領域に対して処理を行い、集合類似度の第1損失値を得ることもできる。
ここで、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することもできる。例えば、オリジナル検出モデルによる予測と画像検出モデルによる予測との一致性を向上させるために、一致性損失関数を利用して、第1予測領域及び第2予測領域に対して処理を行い、第2損失値を得ることができる。可能な実施シーンにおいて、一致性損失関数は、クロスエントロピー損失関数であってもよい。これは、実際の適用に応じて設定されてもよく、ここで、これを限定しない。
ここで、上記第1損失値及び第2損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することもできる。例えば、訓練プロセスにおける各損失値の重要度のバランスを取るために、第1損失値及び第2損失値に対して重み付け処理を行い、重み付け損失値を得ることができる。これにより、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整する。第1損失値及び第2損失値に対応する重み値は、実際の状況に応じて設定されてもよい。例えば、いずれも0.5としてもよい。又は、第1損失値に対応する重み値を0.6とし、第2損失値に対応する重み値を0.4とする。ここで、これを限定しない。また、第1損失値は、焦点の第1損失値及び集合類似度の第1損失値を含む場合、焦点の第1損失値、集合類似度の第1損失値、第2損失値に対して重み付け処理を行い、重み付け損失値を得て、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することができる。可能な実施シーンにおいて、確率的勾配降下(Stochastic Gradient Descent:SGD)、バッチ勾配降下(Batch Gradient Descent:BGD)、ミニバッチ勾配降下(Mini-Batch Gradient Descent:MBGD)などの方式で、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することができる。ここで、バッチ勾配降下は、各反復プロセスにおいて、全てのサンプルを用いてパラメータ更新を行うことである。確率的勾配降下は、各反復プロセスにおいて、1つのサンプルを用いてパラメータ更新を行うことである。ミニバッチ勾配降下は、各反復プロセスにおいて、1群のサンプルを用いてパラメータ更新を行うことである。ここで、詳細な説明を省略する。
1つの実施シーンにおいて、サンプル医用画像に、ラベル付け済み器官の実際領域が更に含まれてもよく、第1検出結果は、ラベル付け済み器官の第1予測領域を更に含んでもよく、第2検出結果は、ラベル付け済み器官の第2予測領域を更に含んでもよい。依然として、サンプル医用画像が腹部走査により得られた画像であることを例として、ラベル付けされていない器官は、腎臓、脾臓、膵臓を含み、ラベル付け済み器官は、肝臓を含むため、オリジナル検出モデルを利用してサンプル医用画像に対して検出を行い、ラベル付けされていない器官である腎臓に対応する第1予測領域、ラベル付けされていない器官である脾臓に対応する第1予測領域、ラベル付けされていない器官である膵臓に対応する第1予測領域及びラベル付け済み器官である肝臓に対応する第1予測領域を得ることができる。オリジナル検出モデルに対応する画像検出モデルを利用してサンプル医用画像に対して検出を行い、ラベル付けされていない器官である腎臓に対応する第2予測領域、ラベル付けされていない器官である脾臓に対応する第2予測領域、ラベル付けされていない器官である膵臓に対応する第2予測領域及びラベル付け済み器官である肝臓に対応する第2予測領域を得ることができる。従って、ラベル付けされていない器官とラベル付け済み器官の第1予測領域と実際領域の差異を利用して、オリジナル検出モデルの第1損失値を決定し、ラベル付けされていない器官の第1予測領域と対応する第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することができる。依然として、サンプル医用画像が腹部走査により得られた画像であることを例として、ラベル付けされていない器官は、腎臓、脾臓、膵臓を含み、ラベル付け済み器官は、肝臓を含むため、ラベル付けされていない器官である腎臓に対応する第1予測領域と仮ラベル付けされた実際領域との差異、ラベル付けされていない器官である脾臓に対応する第1予測領域と仮ラベル付けされた実際領域との差異、ラベル付けされていない器官である膵臓に対応する第1予測領域と仮ラベル付けされた実際領域との差異及びラベル付け済み器官である肝臓に対応する第1予測領域と真のラベル付けされた実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定することができる。第1損失値は、焦点の第1損失値、集合類似度の第1損失値のうちの少なくとも1つを含んでもよく、上記ステップを参照することができ、ここで、詳細な説明を省略する。また、ラベル付けされていない器官である腎臓に対応する第1予測領域と第2予測領域との差異、ラベル付けされていない器官である脾臓に対応する第1予測領域と第2予測領域との差異、ラベル付けされていない器官である膵臓に対応する第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定することもできる。第2損失値は、クロスエントロピー損失関数により算出されてもよく、上記ステップを参照することができ、ここで、詳細な説明を省略する。従って、オリジナル検出モデルの第1損失値を決定する過程において、第1予測領域と実際領域との差異を総合的に考慮し、オリジナル検出モデルの第2損失値を決定する過程において、ラベル付けされていない器官の第1予測領域と対応する第2予測領域との差異のみを考慮することで、オリジナル検出モデルと画像検出モデルとの一貫性制約のロバスト性を向上させることができ、更に、画像検出モデルの正確性を向上させることができる。
もう1つの実施シーンにおいて、オリジナル検出モデルのネットワークパラメータを調整した後、今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新することで、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を更に制約し、画像検出モデルの正確性を向上させることができる。また、オリジナル検出モデルのネットワークを調整した後、必要に応じて、画像検出モデルのネットワークパラメータを更新しなくてもよく、所定の回数(例えば、2回、3回など)の訓練を行った後、今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新することもできる。ここで、これを限定しない。例えば、k回目の訓練プロセスにおいて、画像検出モデルのネットワークパラメータを更新しなくてもよく、k+i回目の訓練プロセスにおいて、オリジナル検出モデルのk+i-n回目からk+i回目の訓練で調整したネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新する。ここで、iは、実際の状況に応じて1以上の整数としてもよく、例えば、1、2、3などとしてもよく、ここで、これを限定しない。
可能な実施シーンにおいて、画像検出モデルのネットワークパラメータを更新するプロセスにおいて、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータの平均値を統計し、画像検出モデルのネットワークパラメータを対応するオリジナル検出モデルのネットワークの平均値に更新することができる。本願の実施例において、ネットワークパラメータの平均値は、同一のネットワークパラメータに対応する平均値であり、ここで、同一のニューロンに対応する、1つの重み(又はオフセット)を複数回の訓練プロセスで調整した数値の平均値であってもよい。従って、各ニューロンの各重み(又はオフセット)の複数回の訓練プロセスで調整した数値の平均値を統計により得ることができる。該平均値を利用して、画像検出モデルにおける対応するニューロンの対応する重み(又はオフセット)を更新する。例えば、今回の訓練は、k回目の訓練であり、オリジナル検出モデルの今回の訓練及びこの前のn-1回の訓練で調整したネットワークの平均値を統計することができる。ここで、nの数値は、実際の適用状況に応じて設定されてもよい。例えば、5、10、15などとしてもよく、ここで、これを限定しない。従って、k+1回目の訓練プロセスにおいて、画像検出モデルのネットワークパラメータは、k-n+1回目からk回目の訓練プロセスで調整したネットワークパラメータの平均値を利用して更新を行うことで得られたものである。これにより、複数回の訓練プロセスで生じる累積誤差を迅速に制約することに寄与し、画像検出モデルの正確性を向上させることができる。
また1つの実施シーンにおいて、所定の訓練終了条件を設定してもよい。所定の訓練終了条件を満たしない場合、上記ステップS12及び後続のステップを再実行し、オリジナル検出モデルのネットワークパラメータを引き続き調整することができる。可能な実施シーンにおいて、所定の訓練終了条件は、現在の訓練回数が所定の回数閾値(例えば、500回、1000回など)に達することと、オリジナル検出モデルの損失値が所定の損失閾値未満であることと、のうちのいずれか1つを含んでもよく、ここで、これを限定しない。もう1つの可能な実施シーンにおいて、訓練を終了した後、画像検出モデルを利用して、検出対象医用画像に対して検出を行い、検出対象医用画像における複数の器官に対応する領域を直接的に得ることができ、更に、複数の単一器官を利用して検出対象医用画像に対してそれぞれ検出を行う操作を無くすことができる。従って、検出の演算量を低減させることができる。
上記技術的解決手段において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされているサンプル医用画像を取得することによって、サンプル医用画像において、多器官に対して真のラベル付けを行う必要がない。これにより、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得て、画像検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得て、更に、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。また、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである。従って、画像検出モデルにより、オリジナル検出モデルの訓練を指導し、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。これにより、画像検出モデルは、オリジナル検出モデルの訓練を正確に指導することができ、それによって、オリジナル検出モデルは、訓練プロセスにおいてそのネットワークパラメータを正確に調整することができる。従って、多器官検出プロセスにおいて、画像検出モデルによる検出の正確性を向上させることができる。
図2を参照すると、図2は、図1におけるステップS11の一実施例を示すフローチャートである。ここで、図2は、サンプル医用画像の取得の一実施例を示すフローチャートである。これは、下記ステップを含む。
S111において、仮ラベル付け対象医用画像を取得し、仮ラベル付け対象医用画像に、少なくとも1つのラベル付けされていない器官が存在する。
仮ラベル付け対象医用画像は、腹部走査により得られたものであってもよい。仮ラベル付け対象医用画像におけるラベル付けされていない器官は、腎臓、脾臓、膵臓などを含んでもよい。仮ラベル付け対象医用画像は、例えば、胸部、脳などのような他の部位を走査することで得られたものであってもよい。前記実施例における関連ステップを参照することができ、ここで、これを限定しない。
1つの実施シーンにおいて、収集されたオリジナル医用画像は、三次元医用画像であってもよい。例えば、三次元CT画像、三次元MR画像であってもよく、ここで、これを限定しない。従って、三次元医用画像に対して前処理を行い、前処理後の三次元医用画像に対してトリミング処理を行い、少なくとも1つの仮ラベル付け対象医用画像を得ることができる。トリミング処理は、前処理後の三次元医用画像に対して中心トリミングを行うことであってもよく、ここで、これを限定しない。例えば、三次元医用画像に平行する1つの平面に沿って、該平面に垂直する次元でトリミングを行い、二次元の仮ラベル付け対象医用画像を得ることができる。仮ラベル付け対象医用画像のサイズは、実際の状況に応じて設定されてもよく、例えば、352*352であってもよく、ここで、これを限定しない。
1つの可能な実施シーンにおいて、前処理は、三次元医用画像のボクセル解像度を所定の解像度に調整することを含んでもよい。三次元医用画像のボクセルは、三次元空間で三次元医用画像を分割するための最小単位であり、所定の解像度は、1*1*3mmであってもよい。所定の解像度は、実際の状況に応じて他の解像度としてもよく、例えば、1*1*4mm、2*2*3mmなどとしてもよい。ここで、これを限定しない。三次元医用画像のボクセル解像度を所定の解像度に調整することで、後続のモデル予測処理に寄与する。
もう1つの可能な実施シーンにおいて、前処理は、所定ウインドウ値を利用して、三次元医用画像のボクセル値を所定の範囲内に正規化することを更に含んでもよい。ボクセル値は、三次元移動画像によって、異なる数値であってもよい。例えば、三次元CT画像について言えば、ボクセル値は、Hu(houns field unit:ハンスフィールドユニット)値であってもよい。所定ウインドウ値は、三次元医用画像に対応する部位に応じて設定されてもよい。依然として三次元CT画像を例とする。腹部CTについて言えば、所定ウインドウ値は、-125から275としてもよい。他の部位は、実際の状況に応じて設定されてもよい。ここで、一々列挙しない。所定の範囲は、実際の適用に応じて設定されてもよい。例えば、所定の範囲は、0から1としてもよい。依然として三次元CT画像を例とする。腹部CTについて言えば、所定ウインドウ値は、-125から275としてもよいため、所定の範囲が0から1である場合、ボクセル値が-125以下であるボクセルを、ボクセル値が0であるものに統一的にリセットしてもよく、ボクセル値が275以上であるボクセルを、ボクセル値が1であるものに統一的にリセットしてもよく、ボクセル値が-125から275であるボクセルを、ボクセル値が0から1であるものにリセットしてもよい。これにより、画像内の異なる器官間のコントラストの補強に寄与し、更に、モデルにより抽出される特徴の正確性を向上させることができる。
また1つの実施シーンにおいて、前処理は、三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることを更に含んでもよい。少なくとも一部のボクセルは、実際の適用に応じて設定されてもよい。例えば、三次元医用画像の1/3のボクセル、三次元医用画像の1/2のボクセル又は三次元医用画像の全てのボクセルであってもよく、ここで、これを限定しない。三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることで、後続で、三次元医用画像及びガウス雑音を加えていない三次元医用画像を基に、トリミング処理を行って二次元の仮ラベル付け対象医用画像を得ることができる。従って、データ拡張の実現に寄与し、データの多様性を向上させ、後続のモデル訓練の正確性を向上させることができる。
ステップS112において、各ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、仮ラベル付け対象医用画像に対して検出を行い、各ラベル付けされていない器官の器官予測領域を得る。
1つの実施シーンにおいて、各ラベル付けされていない器官に対応する単一器官検出モデルは、ラベル付けされていない器官をラベル付けした単一器官データ集合を利用して訓練を行うことで得られたものである。例えば、腎臓に対応する単一器官検出モデルは、腎臓をラベル付けした単一器官データ集合を利用して訓練を行うことで得られたものであってもよい。脾臓に対応する単一器官検出モデルは、脾臓をラベル付けした単一器官データ集合を利用して訓練を行うことで得られたものであってもよい。この器官は、このように類推してもよく、ここで、一々列挙しない。
もう1つの実施シーンにおいて、仮ラベル付け対象医用画像に、少なくとも1つのラベル付け済み器官が含まれてもよい。従って、ラベル付け済み器官を含む仮ラベル付け対象医用画像を利用して、仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行い、対応する単一器官検出モデルを得ることができる。例えば、仮ラベル付け対象医用画像に、ラベル付け済みの肝臓が含まれ、その場合、ラベル付け済み肝臓を含む仮ラベル付け対象医用画像を利用して、肝臓に対応する単一器官検出モデルに対して訓練を行い、肝臓に対応する単一器官検出モデルを得ることができる。他の器官は、このように類推してもよく、ここで、一々列挙しない。
また、単一器官検出モデルは、Mask R-CNN(Mask Region with Convolutional Neural Network)、FCN(Fully Convolutional Network:完全畳み込みネットワーク)、PSP-net(Pyramid Scene Parsing Network:ピラミッドシーン分析ネットワーク)のうちのいずれか1つを含んでもよい。又は、単一器官検出モデルは、set-net、U-net等であってもよく、実際の状況に応じて設定してもよく、ここで、これを限定しない。
各ラベル付けされていない器官に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行うことで、各ラベル付けされていない器官の器官予測領域を得ることができる。仮ラベル付け対象医用画像が腹部走査により得られた画像であることを例として、ラベル付けされていない器官は、腎臓、脾臓、膵臓を含み、腎臓に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行い、腎臓の器官予測領域を得ることができる。脾臓に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行い、脾臓の器官予測領域を得ることができる。膵臓に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行い、膵臓の器官予測領域を得ることができる。各ラベル付けされていない器官に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行う上記ステップは同時に実行されてもよい。最終的に、各ラベル付けされていない器官の器官予測領域に対して、仮ラベル付け対象医用画像において仮ラベル付けを行えばよい。これにより、仮ラベル付けの効率を向上させることができる。例えば、腎臓に対応する単一器官検出モデルを利用して仮ラベル付け対象医用画像に対して検出を行うステップ、脾臓に対応する単一器官検出モデルを利用して仮ラベル付け対象医用画像に対して検出を行うステップ、及び膵臓に対応する単一器官検出モデルを利用して仮ラベル付け対象医用画像に対して検出を行うステップを同時に実行し、最終的に、仮ラベル付け対象医用画像において、腎臓、脾臓及び膵臓の予測領域に対して仮ラベル付けを行えばよい。又は、各ラベル付けされていない器官に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行うステップは、順次実行されてもよい。これにより、各ラベル付けされていない器官の器官予測領域を仮ラベル付け対象医用画像において仮ラベル付けする必要がない。例えば、腎臓に対応する単一器官検出モデルを利用して仮ラベル付け対象医用画像に対して検出を行うステップ、脾臓に対応する単一器官検出モデルを利用して仮ラベル付け対象医用画像に対して検出を行うステップ、及び膵臓に対応する単一器官検出モデルを利用して仮ラベル付け対象医用画像に対して検出を行うステップを順次実行してもよい。最終的に得られた仮ラベル付け対象医用画像に、腎臓、脾臓及び膵臓の単一器官予測領域が含まれる。実際の状況に応じて設定されてもよい。ここで、これを限定しない。
ステップS113において、ラベル付けされていない器官の器官予測領域を、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とする。
各ラベル付けされていない器官の器官予測領域を得た後、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とすることができる。
前記実施例と異なっており、少なくとも1つのラベル付けされていない器官が存在する仮ラベル付け対象医用画像を取得し、各ラベル付けされていない器官に対応する単一器官検出モデルを利用して、仮ラベル付け対象医用画像に対して検出を行い、各ラベル付けされていない器官の器官予測領域を得て、ラベル付けされていない器官の器官予測領域を、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とすることで、単一器官検出モデルを利用して、多器官に対する手動ラベル付け作業を無くすことができ、多器官検出のための画像検出モデルの訓練の人件費の低減に寄与し、訓練効率を向上させることができる。
図3を参照すると、図3は、本願の実施例による画像検出モデルの訓練方法のもう1つの実施例を示すフローチャートである。ここで、下記ステップを含んでもよい。
ステップS31において、サンプル医用画像を取得し、サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている。
ここで、ステップS31は、前記実施例における関連ステップを参照することができる。
ステップS32において、第1オリジナル検出モデル及び第2オリジナル検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップを実行する。
オリジナル検出モデルは、第1オリジナル検出モデルと、第2オリジナル検出モデルと、を含んでもよい。第1オリジナル検出モデルは、Mask R-CNN(Mask Region with Convolutional Neural Network)、FCN(Fully Convolutional Network:完全畳み込みネットワーク)、PSP-net(Pyramid Scene Parsing Network:ピラミッドシーン分析ネットワーク)のうちのいずれか1つを含んでもよい。また、第1オリジナル検出モデルは、set-net、U-netなどであってもよく、実際の状況に応じて設定されてもよく、ここで、これを限定しない。第2オリジナル検出モデルは、Mask R-CNN(Mask Region with Convolutional Neural Network)、FCN(Fully Convolutional Network:完全畳み込みネットワーク)、PSP-net(Pyramid Scene Parsing Network:ピラミッドシーン分析ネットワーク)のうちのいずれか1つを含んでもよい。また、第2オリジナル検出モデルは、set-net、U-netなどであってもよく、実際の状況に応じて設定されてもよく、ここで、これを限定しない。
第1オリジナル検出モデル及び第2オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップは、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。1つの実施シーンにおいて、第1オリジナル検出モデルにより検出を行うことで得られた第1検出結果は、ラベル付けされていない器官の第1予測領域を含んでもよく、又は、第1オリジナル検出モデルにより検出を行うことで得られた第1検出結果は、ラベル付けされていない器官の第1予測領域及びラベル付け済み器官の第1予測領域を更に含んでもよい。もう1つの実施シーンにおいて、第2オリジナル検出モデルにより検出を行うことで得られた第1検出結果は、ラベル付けされていない器官の第1予測領域を含んでもよく、又は、第2オリジナル検出モデルにより検出を行うことで得られた第1検出結果は、ラベル付けされていない器官の第1予測領域及びラベル付け済み器官の第1予測領域を更に含んでもよい。
図4を参照すると、図4は、画像検出モデルの訓練プロセスの一実施例を示す概略図である。図4に示すように、説明しやすくするために、第1オリジナル検出モデルは、net1で表され、第2オリジナル検出モデルは、net2で表される。図4に示すように、第1オリジナル検出モデルnet1は、サンプル医用画像に対して検出を行い、第1オリジナル検出モデルnet1に対応する第1検出結果を得て、第2オリジナル検出モデルnet2は、サンプル医用画像に対して検出を行い、第2オリジナル検出モデルnet2に対応する第1検出結果を得る。
ステップS33において、第1画像検出モデル及び第2画像検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップを実行する。
画像検出モデルは、第1オリジナル検出モデルに対応する第1画像検出モデル及び第2オリジナル検出モデルに対応する第2画像検出モデルを含んでもよい。第1画像検出モデル及び第2画像検出モデルのネットワーク構造、ネットワークパラメータは、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。
第1画像検出モデル及び第2画像検出モデルを利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップは、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。1つの実施シーンにおいて、第1画像検出モデルにより検出を行うことで得られた第2検出結果は、ラベル付けされていない器官の第2予測領域を含んでもよく、又は、第1画像検出モデルにより検出を行うことで得られた第2検出結果は、ラベル付けされていない器官の第2予測領域及びラベル付け済み器官の第2予測領域を更に含んでもよい。もう1つの実施シーンにおいて、第2画像検出モデルにより検出を行うことで得られた第2検出結果は、ラベル付けされていない器官の第2予測領域を含んでもよく、又は、第2画像検出モデルにより検出を行うことで得られた第2検出結果は、ラベル付けされていない器官の第2予測領域及びラベル付け済み器官の第2予測領域を更に含んでもよい。
図4を参照すると、説明しやすくするために、第1オリジナル検出モデルnet1に対応する第1画像検出モデルは、EMA net1で表され、第2オリジナル検出モデルnet2に対応する第2画像検出モデルは、EMA net2で表される。図4に示すように、第1画像検出モデルはEMA net1は、サンプル医用画像に対して検出を行い、第1画像検出モデルEMA net1に対応する第2検出結果を得て、第2画像検出モデルEMA net2は、サンプル医用画像に対して検出を行い、第2画像検出モデルEMA net2に対応する第2検出結果を得る。
1つの実施シーンにおいて、上記ステップS32及びステップS33は、優先順位に応じて実行されてもよい。例えば、ステップS32を実行した後に、ステップS33を実行する。又は、ステップS33を実行した後に、ステップS32を実行する。もう1つの実施シーンにおいて、上記ステップS32とステップS33を同時に実行してもよい。実際の適用に応じて設定されてもよく、ここで、これを限定しない。
ステップS34において、第1オリジナル検出モデルの第1予測領域と実際領域との差異、及び第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルのネットワークパラメータを調整する。
ここで、第1オリジナル検出モデルの第1予測領域と仮ラベル付けされた実際領域との差異を利用して、第1オリジナル検出モデルの第1損失値を決定し、第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルの第2損失値を決定し、第1損失値及び第2損失値を利用して、第1オリジナル検出モデルのネットワークパラメータを調整することができる。第1損失値及び第2損失値の算出方式は、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。可能な実施シーンにおいて、第2損失値を算出するプロセスにおいて、ラベル付けされていない器官の第1予測領域と第2予測領域との差異のみを考慮することで、第1オリジナル検出モデルと第2画像検出モデルとの一貫性制約のロバスト性を向上させることができ、更に、画像検出モデルの正確性を向上させることができる。
ステップS35において、第2オリジナル検出モデルの第1予測領域と実際領域との差異、及び第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルのネットワークパラメータを調整する。
ここで、第2オリジナル検出モデルの第1予測領域と仮ラベル付けされた実際領域との差異を利用して、第2オリジナル検出モデルの第1損失値を決定し、第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルの第2損失値を決定することで、第1損失値及び第2損失値を利用して、第2オリジナル検出モデルのネットワークパラメータを調整することができる。第1損失値及び第2損失値の算出方式は、前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。可能な実施シーンにおいて、第2損失値を算出するプロセスにおいて、ラベル付けされていない器官の第1予測領域と第2予測領域との差異のみを考慮することで、第2オリジナル検出モデルと第1画像検出モデルとの一貫性制約のロバスト性を向上させることができ、更に、画像検出モデルの正確性を向上させることができる。
1つの実施シーンにおいて、上記ステップS34及びステップS35は、優先順位に応じて実行されてもよい。例えば、ステップS34を実行した後に、ステップS35を実行する。又は、ステップS35を実行した後に、ステップS34を実行する。もう1つの実施シーンにおいて、上記ステップS34とステップS35を同時に実行してもよい。実際の適用に応じて設定されてもよく、ここで、これを限定しない。
ステップS36において、第1オリジナル検出モデルの今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、第1画像検出モデルのネットワークパラメータを更新する。
ここで、今回の訓練及びこの前の複数回の訓練時に調整した、第1オリジナル検出モデルのネットワークパラメータの平均値を統計し、第1画像検出モデルのネットワークパラメータを対応する第1オリジナル検出モデルのネットワークパラメータの平均値に更新することができる。前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。
図4に示すように、第1オリジナル検出モデルnet1の今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータの平均値を統計し、第1画像検出モデルEMA net1 のネットワークパラメータを第1オリジナル検出モデルnet1のネットワークパラメータの平均値に更新することができる。
ステップS37において、第2オリジナル検出モデルの今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、第2画像検出モデルのネットワークパラメータを更新する。
ここで、今回の訓練及びこの前の複数回の訓練時に調整した、第2オリジナル検出モデルのネットワークパラメータの平均値を統計し、第2画像検出モデルのネットワークパラメータを対応する第2オリジナル検出モデルのネットワークパラメータの平均値に更新することができる。前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。
図4に示すように、第2オリジナル検出モデルnet2の今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータの平均値を統計し、第2画像検出モデルEMA net2のネットワークパラメータを第2オリジナル検出モデルnet2のネットワークパラメータの平均値に更新することができる。
1つの実施シーンにおいて、上記ステップS36及びステップS37は、優先順位に応じて実行されてもよい。例えば、ステップS36を実行した後に、ステップS37を実行する。又は、ステップS37を実行した後に、ステップS36を実行する。もう1つの実施シーンにおいて、上記ステップS36とステップS37を同時に実行してもよい。実際の適用に応じて設定されてもよく、ここで、これを限定しない。
1つの実施シーンにおいて、第1画像検出モデル及び第2画像検出モデルのネットワークパラメータを更新した後、所定の訓練終了条件を満たしない場合、上記ステップS32及び後続のステップを繰り返して実行し、第1オリジナル検出モデル及び第2オリジナル検出モデルのネットワークパラメータを引き続き調整し、第1オリジナル検出モデルに対応する第1画像検出モデルのネットワークパラメータ及び第2オリジナル検出モデルに対応する第2画像検出モデルのネットワークパラメータを更新することができる。可能な実施シーンにおいて、所定の訓練終了条件は、現在の訓練回数が所定の回数閾値(例えば、500回、1000回など)に達することと、第1オリジナル検出モデル及び第2オリジナル検出モデルの損失値が所定の損失閾値未満であることと、のうちのいずれか1つを含んでもよく、ここで、これを限定しない。もう1つの可能なシーンにおいて、訓練を終了した後、第1画像検出モデル、第2画像検出モデルのうちのいずれか1つを後続の画像検出ネットワークモデルとすることで、検出対象医用画像における複数の器官に対応する領域を直接的に得ることができ、更に、複数の単一器官を利用して検出対象医用画像に対してそれぞれ検出を行う操作を無くすことができる。従って、検出の演算量を低減させることができる。
前記実施例と異なっており、オリジナル検出モデルを、第1オリジナル検出モデル及び第2オリジナル検出モデルを含むように設定し、画像検出モデルを、第1オリジナル検出モデルに対応する第1画像検出モデル及び第2オリジナル検出モデルに対応する第2画像検出モデルを含むように設定し、第1オリジナル検出モデル及び第2オリジナル検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップを実行し、第1画像検出モデル及び第2画像検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップを実行し、第1オリジナル検出モデルの第1予測領域と実際領域との差異、及び第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルのネットワークパラメータを調整し、第2オリジナル検出モデルの第1予測領域と実際領域との差異、及び第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルのネットワークパラメータを調整する。従って、第1オリジナル検出モデルに対応する第1画像検出モデルを利用して、第2オリジナル検出モデルの訓練を指導し、第2オリジナル検出モデルに対応する第2画像検出モデルを利用し、第1オリジナル検出モデルの訓練を指導する。複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。
図5を参照すると、図5は、本願の実施例による画像検出方法の一実施例を示すフローチャートである。ここで、下記ステップを含んでもよい。
ステップS51において、検出対象医用画像を取得し、検出対象医用画像に複数の器官が含まれる。
検出対象医用画像は、CT画像、MR画像を含んでもよく、ここで、これを限定しない。可能な実施シーンにおいて、検出対象医用画像は、腹部、胸部、脳などの部位を走査することで得られたものであってもよく、実際の適用状況に応じて設定されてもよく、ここで、限定しない。例えば、腹部を走査する場合、検出対象医用画像における器官は、腎臓、脾臓、肝臓、膵臓などを含んでもよい。又は、胸部を走査する場合、検出対象医用画像における器官は、心臓、肺葉、甲状腺などを含んでもよい。又は、脳を走査する場合、検出対象医用画像における器官は、脳幹、小脳、間脳、終脳などを含んでもよい。
ステップS52において、画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得る。
画像検出モデルは、上記いずれか1つの画像検出モデルの訓練方法の実施例におけるステップで訓練を行うことで得られたものである。前記実施例における関連ステップを参照することができ、ここで、詳細な説明を省略する。画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を直接的に得ることができ、更に、複数単一器官検出モデルを利用して検出対象医用画像に対してそれぞれ検出を行う操作を無くすことができる。従って、検出の演算量を低減させることができる。
上記技術的解決手段において、上記いずれか1つの画像検出モデルの訓練方法の実施例におけるステップで訓練を行うことで得られた画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得ることで、多器官検出の過程において、検出の正確性を向上させることができる。
図6を参照すると、図6は、本願の実施例による画像検出モデルの訓練装置の一実施例のフレームワークを示す概略図である。画像検出モデルの訓練装置60は、画像取得モジュール61と、第1検出モジュール62と、第2検出モジュール63と、パラメータ調整モジュール64と、を備え、画像取得モジュール61は、サンプル医用画像を取得するように構成され、サンプル医用画像に、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされており、第1検出モジュール62は、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行い、第1検出結果を得るように構成され、第1検出結果は、ラベル付けされていない器官の第1予測領域を含み、第2検出モジュール63は、画像検出モデルを利用して、サンプル医用画像に対して検出を行い、第2検出結果を得るように構成され、第2検出結果は、ラベル付けされていない器官の第2予測領域を含み、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものであり、パラメータ調整モジュール64は、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整するように構成される。
上記技術的解決手段において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされているサンプル医用画像を取得することによって、サンプル医用画像において、多器官に対して真のラベル付けを行う必要がない。これにより、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得て、画像検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得て、更に、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。また、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである。従って、画像検出モデルにより、オリジナル検出モデルの訓練を指導し、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。これにより、画像検出モデルは、オリジナル検出モデルの訓練を正確に指導することができ、それによって、オリジナル検出モデルは、訓練プロセスにおいてそのネットワークパラメータを正確に調整することができる。従って、多器官検出プロセスにおいて、画像検出モデルによる検出の正確性を向上させることができる。
幾つかの実施例において、オリジナル検出モデルは、第1オリジナル検出モデルと、第2オリジナル検出モデルと、を含み、画像検出モデルは、第1オリジナル検出モデルに対応する第1画像検出モデルと、第2オリジナル検出モデルに対応する第2画像検出モデルと、を含み、第1検出モジュール62は更に、第1オリジナル検出モデル及び第2オリジナル検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップを実行するように構成され、第2検出モジュール63は更に、第1画像検出モデル及び第2画像検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップを実行するように構成され、パラメータ調整モジュール64は更に、第1オリジナル検出モデルの第1予測領域と実際領域との差異、及び第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルのネットワークパラメータを調整するように構成され、パラメータ調整モジュール64は更に、第2オリジナル検出モデルの第1予測領域と実際領域との差異、及び第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルのネットワークパラメータを調整するように構成される。
前記実施例と異なっており、オリジナル検出モデルを、第1オリジナル検出モデル及び第2オリジナル検出モデルを含むように設定し、画像検出モデルを、第1オリジナル検出モデルに対応する第1画像検出モデル及び第2オリジナル検出モデルに対応する第2画像検出モデルを含むように設定し、第1オリジナル検出モデル及び第2オリジナル検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第1検出結果を得るステップを実行し、第1画像検出モデル及び第2画像検出モデルをそれぞれ利用して、サンプル医用画像に対して検出を行って第2検出結果を得るステップを実行し、第1オリジナル検出モデルの第1予測領域と実際領域との差異、及び第1オリジナル検出モデルの第1予測領域と第2画像検出モデルの第2予測領域との差異を利用して、第1オリジナル検出モデルのネットワークパラメータを調整し、第2オリジナル検出モデルの第1予測領域と実際領域との差異、及び第2オリジナル検出モデルの第1予測領域と第1画像検出モデルの第2予測領域との差異を利用して、第2オリジナル検出モデルのネットワークパラメータを調整する。従って、第1オリジナル検出モデルに対応する第1画像検出モデルを利用して、第2オリジナル検出モデルの訓練を指導し、第2オリジナル検出モデルに対応する第2画像検出モデルを利用し、第1オリジナル検出モデルの訓練を指導する。複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。
幾つかの実施例において、パラメータ調整モジュール64は、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定するように構成される第1損失決定サブモジュールを備え、パラメータ調整モジュール64は、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定するように構成される第2損失決定サブモジュールを備え、パラメータ調整モジュール64は、第1損失値及び第2損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整するように構成されるパラメータ調整サブモジュールを備える。
前記実施例と異なっており、第1予測領域と実際領域との差異を利用して、オリジナル検出モデルの第1損失値を決定し、第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定し、第1損失値及び第2損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することで、オリジナル検出モデルから予測された第1予測領域と仮ラベル付けされた実際領域との差異、及び第1予測領域と対応する画像検出モデルから予測された第2予測領域との差異という2つの次元で、オリジナル検出モデルの損失を評価する。損失演算の正確性の向上に寄与し、オリジナル検出モデルのネットワークパラメータの正確性の向上に寄与し、更に、画像検出モデルの正確性の向上に寄与する。
幾つかの実施例において、第1損失決定サブモジュールは、焦点損失関数を利用して第1予測領域及び実際領域に対して処理を行い、焦点の第1損失値を得るように構成される焦点損失決定ユニットを備え、第1損失決定サブモジュールは、集合類似度損失関数を利用して第1予測領域及び実際領域に対して処理を行い、集合類似度の第1損失値を得るように構成される集合類似度損失決定ユニットを備え、第2損失決定サブモジュールは更に、一致性損失関数を利用して第1予測領域及び第2予測領域に対して処理を行い、第2損失値を得るように構成され、パラメータ調整サブモジュールは、第1損失値及び第2損失値に対して重み付け処理を行い、重み付け損失値を得るように構成される重み付け処理ユニットを備え、パラメータ調整サブモジュールは、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整するように構成されるパラメータ調整ユニットを備える。
前記実施例と異なっており、焦点損失関数を利用して、第1予測領域及び実際領域に対して処理して焦点の第1損失値を得ることで、難しいサンプルに対するモデルの注目度を向上させることができ、画像検出モデルの正確性の向上に寄与する。集合類似度損失関数を利用して、第1予測領域及び実際領域に対して処理を行い、集合類似度の第1損失値を得ることで、モデルが、仮ラベル付けされた実際領域をフィッティングすることができるようになり、画像検出モデルの正確性の向上に寄与する。一致性損失関数を利用して第1予測領域及び第2予測領域に対して処理を行い、第2損失値を得ることで、オリジナルモデルによる予測と画像検出モデルによる予測との一致性を向上させ、更に、画像検出モデルの正確性の向上に寄与する。第1損失値及び第2損失値に対して重み付け処理を行い、重み付け損失値を得て、重み付け損失値を利用して、オリジナル検出モデルのネットワークパラメータを調整することで、訓練プロセスにおける各損失値の重要度のバランスを取ることができ、ネットワークパラメータの正確性を向上させ、更に、画像検出モデルの正確性の向上に寄与する。
幾つかの実施例において、サンプル医用画像に、ラベル付け済み器官の実際領域が更に含み、第1検出結果は、ラベル付け済み器官の第1予測領域を更に含み、第2検出結果は、ラベル付け済み器官の第2予測領域を更に含む。第1損失決定サブモジュールは更に、ラベル付けされていない器官とラベル付け済み器官の第1予測領域と実際領域の差異を利用して、オリジナル検出モデルの第1損失値を決定するように構成され、第2損失決定サブモジュールは更に、ラベル付けされていない器官の第1予測領域と対応する第2予測領域との差異を利用して、オリジナル検出モデルの第2損失値を決定するように構成される。
前記実施例と異なっており、サンプル医用画像に、ラベル付け済み器官の実際領域を設定し、また、第1検出結果に、ラベル付け済み器官の第1予測領域が更に含まれ、第2検出結果に、ラベル付け済み器官の第2予測領域が更に含まれ、オリジナル検出モデルの第1損失値を決定する過程において、第1予測領域と実際領域との差異を総合的に考慮し、オリジナル検出モデルの第2損失値を決定する過程において、ラベル付けされていない器官の第1予測領域と対応する第2予測領域との差異のみを考慮することで、オリジナル検出モデルと画像検出モデルとの一貫性制約のロバスト性を向上させることができ、更に、画像検出モデルの正確性を向上させることができる。
幾つかの実施例において、画像検出モデルの訓練装置60は、今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新するように構成されるパラメータ更新モジュールを更に備える。
前記実施例と異なっており、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータを利用して、画像検出モデルのネットワークパラメータを更新することで、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を更に制約し、画像検出モデルの正確性を向上させることができる。
幾つかの実施例において、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータの平均値を統計するように構成される統計サブモジュールを備え、パラメータ更新モジュールは、画像検出モデルのネットワークパラメータを対応するオリジナル検出モデルのネットワークパラメータの平均値に更新するように構成される更新サブモジュールを備える。
前記実施例と異なっており、今回の訓練及びこの前の複数回の訓練時に調整した、オリジナル検出モデルのネットワークパラメータの平均値を統計し、画像検出モデルのネットワークパラメータを対応するオリジナル検出モデルのネットワークパラメータの平均値に更新することで、複数回の訓練プロセスで生じる累積誤差を迅速に制約することに寄与し、画像検出モデルの正確性を向上させることができる。
幾つかの実施例において、画像取得モジュール61は、仮ラベル付け対象医用画像を取得するように構成される画像取得サブモジュールを備え、仮ラベル付け対象医用画像に、少なくとも1つのラベル付けされていない器官が存在し、画像取得モジュール61は、各ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、仮ラベル付け対象医用画像に対して検出を行い、各ラベル付けされていない器官の器官予測領域を得るように構成される単一器官検出サブモジュールを備え、画像取得モジュール61は、ラベル付けされていない器官の器官予測領域を、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とするように構成される仮ラベル付けサブモジュールを備える。
前記実施例と異なっており、少なくとも1つのラベル付けされていない器官が存在する仮ラベル付け対象医用画像を取得し、各ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、仮ラベル付け対象医用画像に対して検出を行い、各ラベル付けされていない器官の器官予測領域を得て、ラベル付けされていない器官の器官予測領域を、ラベル付けされていない器官の実際領域として仮ラベル付けし、仮ラベル付けした仮ラベル付け対象医用画像をサンプル医用画像とすることで、単一器官検出モデルを利用して、多器官に対する手動ラベル付け作業を無くすことができ、多器官検出のための画像検出モデルの訓練の人件費の低減に寄与し、訓練効率を向上させることができる。
幾つかの実施例において、仮ラベル付け対象医用画像は、少なくとも1つのラベル付け済み器官を含み、画像取得モジュール61は、仮ラベル付け対象医用画像を利用して、仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うように構成される単一器官訓練サブモジュールを更に備える。
前記実施例と異なっており、仮ラベル付け対象医用画像に、少なくとも1つのラベル付け済み器官が含まれ、仮ラベル付け対象医用画像を利用して、仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うことで、単一器官検出モデルの正確性を向上させ、後続の仮ラベル付けの正確性の向上に寄与し、更に、後続の画像検出モデルの訓練の正確性の向上に寄与する。
幾つかの実施例において、画像取得サブモジュールは、三次元医用画像を取得するように構成される三次元画像取得ユニットを備え、画像取得サブモジュールは、三次元医用画像に対して前処理を行うように構成される前処理ユニットを備え、画像取得サブモジュールは、前処理後の三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得るように構成される画像トリミングユニットを備える。
前記実施例と異なっており、三次元医用画像を取得し、三次元医用画像に対して前処理を行い、前処理後の三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得ることで、モデル訓練を満たす医用画像を得ることに寄与し、後続の画像検出モデルの訓練の正確性の向上に寄与する。
幾つかの実施例において、前処理ユニットは更に、三次元医用画像のボクセル解像度を所定の解像度に調整することと、所定ウインドウ値を利用して、三次元医用画像のボクセル値を所定の範囲内に正規化することと、三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることと、のうちの少なくとも1つを実行するように構成される。
前記実施例と異なっており、三次元医用画像のボクセル解像度を所定の解像度に調整することで、後続のモデル予測処理に寄与する。所定ウインドウ値を利用して、三次元医用画像のボクセル値を所定の範囲内に正規化することで、モデルによる正確な特徴の抽出に寄与する。三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることで、データ拡張の実現に寄与し、データの多様性を向上させ、後続のモデル訓練の正確性を向上させることができる。
図7を参照すると、図7は、本願の実施例による画像検出装置の一実施例のフレームワークを示す概略図である。画像検出装置70は、画像取得モジュール71と、画像検出モジュール72と、を備え、画像取得モジュール71は、検出対象医用画像を取得するように構成され、検出対象医用画像に複数の器官が含まれ、画像検出モジュール72は、画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得るように構成され、画像検出モデルは、上記いずれか1つの画像検出モデルの訓練装置の実施例における画像検出モデルの訓練装置により訓練を行うことで得られたものである。
上記技術的解決手段において、いずれか1つの画像検出モデルの訓練装置の実施例における画像検出モデルの訓練装置により訓練を行うことで得られた画像検出モデルを利用して、検出対象医用画像に対して検出を行い、複数の器官の予測領域を得ることで、多器官検出の過程において、検出の正確性を向上させることができる。
図8を参照すると、図8は、本願の実施例による電子機器の一実施例のフレームワークを示す概略図である。電子機器80は、互いに結合されたメモリ81及びプロセッサ82を備え、プロセッサ82は、メモリ81に記憶されたプログラム命令を実行し、上記いずれか1つの画像検出モデルの訓練方法の実施例のステップ又は上記いずれか1つの画像検出方法の実施例のステップを実現するように構成される。可能な実施シーンにおいて、電子機器80は、マイクロコンピュータ、サーバを含んでもよいが、これらに限定されない。また、電子機器80は、ノートパソコン、タブレットなどの携帯機器を含んでもよく、ここで、これを限定しない。
ここで、プロセッサ82は、その自体及びメモリ81を制御して、上記いずれか1つの画像検出モデルの訓練方法の実施例のステップ又は上記いずれか1つの画像検出方法の実施例のステップを実現するように構成される。プロセッサ82は、中央演算装置(Central Processing Unit:CPU)と呼ばれてもよい。プロセッサ82は、信号処理能力を有する集積回路チップであってもよい。プロセッサ82は、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor:DSP)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array:FPGA)又は他のプログラマブルゲートアレイ、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアユニットであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、如何なる従来のプロセッサなどであってもよい。また、プロセッサ82は、集積回路チップにより共同で実現してもよい。
上記技術的解決手段は、多器官検出プロセスにおいて、検出の正確性を向上させることができる。
図9を参照すると、図9は、本願の実施例によるコンピュータ可読記憶媒体の一実施例のフレームワークを示す概略図である。コンピュータ可読記憶媒体90に、プロセッサにより実行可能なプログラム命令901が記憶されており、プログラム命令901は、上記いずれか1つの画像検出モデルの訓練方法の実施例のステップ又は上記いずれか1つの画像検出方法の実施例のステップを実現するように構成される。
上記技術的解決手段は、多器官検出プロセスにおいて、検出の正確性を向上させることができる。
本願の実施例で提供される画像検出モデルの訓練方法又は画像検出方法のコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、上記方法の実施例に記載の画像検出モデルの訓練方法又は画像検出方法のステップを実行するように構成されてもよい。これは、上記方法の実施例を参照することができ、ここで、詳細な説明を省略する。
本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムはプロセッサにより実行される時、前記実施例のいずれか1つの方法を実現する。該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。選択可能な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化され、もう1つの選択可能な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット(Software Development Kit:SDK)などのようなソフトウェア製品として具現化される。
本願で提供される幾つかの実施例において、開示される方法及び装置は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施形態はただ例示的なもので、例えば、前記モジュール又はユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又はユニットを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明したユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ソフトウェア機能ユニットとして実現してもよい。
集積したユニットは、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、1台のコンピュータ設備(パソコン、サーバ、又はネットワーク装置など)又はプロセッサ(processor)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、USBメモリ、リムーバブルハードディスク、読み出し専用メモリ(ROM:Read Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。
本願の実施例において、サンプル医用画像を取得し、且つ、サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている。オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得て、画像検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得る。画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである。更に、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。従って、多器官検出プロセスにおいて、検出の正確性を向上させることができる。
上記技術的解決手段において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされているサンプル医用画像を取得することによって、サンプル医用画像において、多器官に対して真のラベル付けを行う必要がない。これにより、オリジナル検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第1予測領域を含む第1検出結果を得て、画像検出モデルを利用して、サンプル医用画像に対して検出を行うことで、ラベル付けされていない器官の第2予測領域を含む第2検出結果を得て、更に、第1予測領域と実際領域との差異、及び第1予測領域と第2予測領域との差異を利用して、オリジナル検出モデルのネットワークパラメータを調整する。また、画像検出モデルのネットワークパラメータは、オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである。従って、画像検出モデルにより、オリジナル検出モデルの訓練を指導し、複数回の訓練プロセスで仮ラベル付けした真実の領域によるネットワークパラメータの累積誤差を制約し、画像検出モデルの正確性を向上させることができる。これにより、画像検出モデルは、オリジナル検出モデルの訓練を正確に指導することができ、それによって、オリジナル検出モデルは、訓練プロセスにおいてそのネットワークパラメータを正確に調整することができる。従って、多器官検出プロセスにおいて、画像検出モデルによる検出の正確性を向上させることができる。
例えば、本願は以下の項目を提供する。
(項目1)
画像検出モデルの訓練方法であって、
サンプル医用画像を取得することであって、前記サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、ことと、
オリジナル検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第1検出結果を得ることであって、前記第1検出結果は、前記ラベル付けされていない器官の第1予測領域を含む、ことと、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得ることであって、前記第2検出結果は、前記ラベル付けされていない器官の第2予測領域を含み、前記画像検出モデルのネットワークパラメータは、前記オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、ことと、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含む、画像検出モデルの訓練方法。
(項目2)
前記オリジナル検出モデルは、第1オリジナル検出モデルと、第2オリジナル検出モデルと、を含み、前記画像検出モデルは、前記第1オリジナル検出モデルに対応する第1画像検出モデルと、前記第2オリジナル検出モデルに対応する第2画像検出モデルと、を含み、
オリジナル検出モデルを利用して前記サンプル医用画像に対して検出を行い、第1検出結果を得ることは、
前記第1オリジナル検出モデル及び前記第2オリジナル検出モデルをそれぞれ利用して、前記サンプル医用画像に対して検出を行って第1検出結果を得ることを実行することを含み、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得ることは、
前記第1画像検出モデル及び前記第2画像検出モデルをそれぞれ利用して、前記サンプル医用画像に対して検出を行って第2検出結果を得ることを実行することを含み、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1オリジナル検出モデルの第1予測領域と前記実際領域との差異、及び前記第1オリジナル検出モデルの第1予測領域と前記第2画像検出モデルの第2予測領域との差異を利用して、前記第1オリジナル検出モデルのネットワークパラメータを調整することと、
前記第2オリジナル検出モデルの第1予測領域と前記実際領域との差異、及び前記第2オリジナル検出モデルの第1予測領域と前記第1画像検出モデルの第2予測領域との差異を利用して、前記第2オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
項目1に記載の訓練方法。
(項目3)
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異をそれぞれ利用して、前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することと、
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することと、
前記第1損失値及び前記第2損失値を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
項目1又は2に記載の訓練方法。
(項目4)
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することは、
焦点損失関数を利用して前記第1予測領域及び前記実際領域に対して処理を行い、焦点の第1損失値を得ることと、
集合類似度損失関数を利用して前記第1予測領域及び前記実際領域に対して処理を行い、集合類似度の第1損失値を得ることと、
のうちの少なくとも1つを含むことを特徴とする
項目3に記載の訓練方法。
(項目5)
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することは、
一致性損失関数を利用して前記第1予測領域及び前記第2予測領域に対して処理を行い、前記第2損失値を得ることを含むことを特徴とする
項目3に記載の訓練方法。
(項目6)
前記第1損失値及び前記第2損失値を利用して前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1損失値及び前記第2損失値に対して重み付け処理を行い、重み付け損失値を得ることと、
前記重み付け損失値を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
項目3に記載の訓練方法。
(項目7)
前記サンプル医用画像に、ラベル付け済み器官の実際領域が更に含み、前記第1検出結果は、前記ラベル付け済み器官の第1予測領域を更に含み、前記第2検出結果は、前記ラベル付け済み器官の第2予測領域を更に含み、
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することは、
前記ラベル付けされていない器官と前記ラベル付け済み器官の第1予測領域と前記実際領域の差異を利用して、前記オリジナル検出モデルの第1損失値を決定することを含み、
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することは、
前記ラベル付けされていない器官の第1予測領域と対応する前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することを含むことを特徴とする
項目3から6のうちいずれか一項に記載の訓練方法。
(項目8)
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異をそれぞれ利用して、前記オリジナル検出モデルのネットワークパラメータを調整した後、前記方法は、
今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、前記画像検出モデルのネットワークパラメータを更新することを更に含むことを特徴とする
項目1から7のうちいずれか一項に記載の訓練方法。
(項目9)
今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、前記画像検出モデルのネットワークパラメータを更新することは、
今回の訓練及びこの前の複数回の訓練時に調整した、前記オリジナル検出モデルのネットワークパラメータの平均値を統計することと、
前記画像検出モデルのネットワークパラメータを対応する前記オリジナル検出モデルの前記ネットワークパラメータの平均値に更新することと、を含むことを特徴とする
項目8に記載の訓練方法。
(項目10)
サンプル医用画像を取得することは、
仮ラベル付け対象医用画像を取得することであって、前記仮ラベル付け対象医用画像に、少なくとも1つの前記ラベル付けされていない器官が存在する、ことと、
各前記ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、前記仮ラベル付け対象医用画像に対して検出を行い、各前記ラベル付けされていない器官の器官予測領域を得ることと、
前記ラベル付けされていない器官の器官予測領域を、前記ラベル付けされていない器官の実際領域として仮ラベル付けし、前記仮ラベル付けした仮ラベル付け対象医用画像を前記サンプル医用画像とすることと、を含むことを特徴とする
項目1から9のうちいずれか一項に記載の訓練方法。
(項目11)
前記仮ラベル付け対象医用画像は、少なくとも1つのラベル付け済み器官を含み、各前記ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、前記仮ラベル付け対象医用画像に対して検出を行う前に、前記方法は、
前記仮ラベル付け対象医用画像を利用して、前記仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うことを更に含むことを特徴とする
項目10に記載の訓練方法。
(項目12)
仮ラベル付け対象医用画像を取得することは、
三次元医用画像を取得し、前記三次元医用画像に対して前処理を行うことと、
前処理後の前記三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得ることと、を含むことを特徴とする
項目10に記載の訓練方法。
(項目13)
前記三次元医用画像に対して前処理を行うことは、
前記三次元医用画像のボクセル解像度を所定の解像度に調整することと、
所定ウインドウ値を利用して、前記三次元医用画像のボクセル値を所定の範囲内に正規化することと、
前記三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることと、
のうちの少なくとも1つを含むことを特徴とする
項目12に記載の訓練方法。
(項目14)
画像検出方法であって、
検出対象医用画像を取得することであって、前記検出対象医用画像に複数の器官が含まれる、ことと、
画像検出モデルを利用して、前記検出対象医用画像に対して検出を行い、前記複数の器官の予測領域を得ることと、を含み、
前記画像検出モデルは、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法で訓練を行うことで得られたものである、画像検出方法。
(項目15)
画像検出モデルの訓練装置であって、
サンプル医用画像を取得するように構成される画像取得モジュールであって、前記サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、画像取得モジュールと、
オリジナル検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第1検出結果を得るように構成される第1検出モジュールであって、前記第1検出結果は、前記ラベル付けされていない器官の第1予測領域を含む、第1検出モジュールと、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得るように構成される第2検出モジュールであって、前記第2検出結果は、前記ラベル付けされていない器官の第2予測領域を含み、前記画像検出モデルのネットワークパラメータは、前記オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、第2検出モジュールと、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、画像検出モデルの訓練装置。
(項目16)
画像検出装置であって、
検出対象医用画像を取得するように構成される画像取得モジュールであって、前記検出対象医用画像に複数の器官が含まれる、画像取得モジュールと、
画像検出モデルを利用して、前記検出対象医用画像に対して検出を行い、前記複数の器官の予測領域を得るように構成される画像検出モジュールと、を備え、
前記画像検出モデルは、項目15に記載の画像検出モデルの訓練装置により訓練を行うことで得られたものである、画像検出装置。
(項目17)
電子機器であって、互いに接続されるメモリ及びプロセッサを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行し、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実現し、又は、項目14に記載の画像検出方法を実現するように構成される、電子機器。
(項目18)
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にプログラム命令が記憶されており、前記プログラム命令がプロセッサにより実行される時、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実現し、又は、項目14に記載の画像検出方法を実現する、コンピュータ可読記憶媒体。
(項目19)
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードは、電子機器で実行される時に、前記電子機器におけるプロセッサに、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実行させ、又は、項目14に記載の画像検出方法を実行させる、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
(項目1)
画像検出モデルの訓練方法であって、
サンプル医用画像を取得することであって、前記サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、ことと、
オリジナル検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第1検出結果を得ることであって、前記第1検出結果は、前記ラベル付けされていない器官の第1予測領域を含む、ことと、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得ることであって、前記第2検出結果は、前記ラベル付けされていない器官の第2予測領域を含み、前記画像検出モデルのネットワークパラメータは、前記オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、ことと、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含む、画像検出モデルの訓練方法。
(項目2)
前記オリジナル検出モデルは、第1オリジナル検出モデルと、第2オリジナル検出モデルと、を含み、前記画像検出モデルは、前記第1オリジナル検出モデルに対応する第1画像検出モデルと、前記第2オリジナル検出モデルに対応する第2画像検出モデルと、を含み、
オリジナル検出モデルを利用して前記サンプル医用画像に対して検出を行い、第1検出結果を得ることは、
前記第1オリジナル検出モデル及び前記第2オリジナル検出モデルをそれぞれ利用して、前記サンプル医用画像に対して検出を行って第1検出結果を得ることを実行することを含み、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得ることは、
前記第1画像検出モデル及び前記第2画像検出モデルをそれぞれ利用して、前記サンプル医用画像に対して検出を行って第2検出結果を得ることを実行することを含み、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1オリジナル検出モデルの第1予測領域と前記実際領域との差異、及び前記第1オリジナル検出モデルの第1予測領域と前記第2画像検出モデルの第2予測領域との差異を利用して、前記第1オリジナル検出モデルのネットワークパラメータを調整することと、
前記第2オリジナル検出モデルの第1予測領域と前記実際領域との差異、及び前記第2オリジナル検出モデルの第1予測領域と前記第1画像検出モデルの第2予測領域との差異を利用して、前記第2オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
項目1に記載の訓練方法。
(項目3)
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異をそれぞれ利用して、前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することと、
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することと、
前記第1損失値及び前記第2損失値を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
項目1又は2に記載の訓練方法。
(項目4)
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することは、
焦点損失関数を利用して前記第1予測領域及び前記実際領域に対して処理を行い、焦点の第1損失値を得ることと、
集合類似度損失関数を利用して前記第1予測領域及び前記実際領域に対して処理を行い、集合類似度の第1損失値を得ることと、
のうちの少なくとも1つを含むことを特徴とする
項目3に記載の訓練方法。
(項目5)
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することは、
一致性損失関数を利用して前記第1予測領域及び前記第2予測領域に対して処理を行い、前記第2損失値を得ることを含むことを特徴とする
項目3に記載の訓練方法。
(項目6)
前記第1損失値及び前記第2損失値を利用して前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1損失値及び前記第2損失値に対して重み付け処理を行い、重み付け損失値を得ることと、
前記重み付け損失値を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
項目3に記載の訓練方法。
(項目7)
前記サンプル医用画像に、ラベル付け済み器官の実際領域が更に含み、前記第1検出結果は、前記ラベル付け済み器官の第1予測領域を更に含み、前記第2検出結果は、前記ラベル付け済み器官の第2予測領域を更に含み、
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することは、
前記ラベル付けされていない器官と前記ラベル付け済み器官の第1予測領域と前記実際領域の差異を利用して、前記オリジナル検出モデルの第1損失値を決定することを含み、
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することは、
前記ラベル付けされていない器官の第1予測領域と対応する前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することを含むことを特徴とする
項目3から6のうちいずれか一項に記載の訓練方法。
(項目8)
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異をそれぞれ利用して、前記オリジナル検出モデルのネットワークパラメータを調整した後、前記方法は、
今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、前記画像検出モデルのネットワークパラメータを更新することを更に含むことを特徴とする
項目1から7のうちいずれか一項に記載の訓練方法。
(項目9)
今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、前記画像検出モデルのネットワークパラメータを更新することは、
今回の訓練及びこの前の複数回の訓練時に調整した、前記オリジナル検出モデルのネットワークパラメータの平均値を統計することと、
前記画像検出モデルのネットワークパラメータを対応する前記オリジナル検出モデルの前記ネットワークパラメータの平均値に更新することと、を含むことを特徴とする
項目8に記載の訓練方法。
(項目10)
サンプル医用画像を取得することは、
仮ラベル付け対象医用画像を取得することであって、前記仮ラベル付け対象医用画像に、少なくとも1つの前記ラベル付けされていない器官が存在する、ことと、
各前記ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、前記仮ラベル付け対象医用画像に対して検出を行い、各前記ラベル付けされていない器官の器官予測領域を得ることと、
前記ラベル付けされていない器官の器官予測領域を、前記ラベル付けされていない器官の実際領域として仮ラベル付けし、前記仮ラベル付けした仮ラベル付け対象医用画像を前記サンプル医用画像とすることと、を含むことを特徴とする
項目1から9のうちいずれか一項に記載の訓練方法。
(項目11)
前記仮ラベル付け対象医用画像は、少なくとも1つのラベル付け済み器官を含み、各前記ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、前記仮ラベル付け対象医用画像に対して検出を行う前に、前記方法は、
前記仮ラベル付け対象医用画像を利用して、前記仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うことを更に含むことを特徴とする
項目10に記載の訓練方法。
(項目12)
仮ラベル付け対象医用画像を取得することは、
三次元医用画像を取得し、前記三次元医用画像に対して前処理を行うことと、
前処理後の前記三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得ることと、を含むことを特徴とする
項目10に記載の訓練方法。
(項目13)
前記三次元医用画像に対して前処理を行うことは、
前記三次元医用画像のボクセル解像度を所定の解像度に調整することと、
所定ウインドウ値を利用して、前記三次元医用画像のボクセル値を所定の範囲内に正規化することと、
前記三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることと、
のうちの少なくとも1つを含むことを特徴とする
項目12に記載の訓練方法。
(項目14)
画像検出方法であって、
検出対象医用画像を取得することであって、前記検出対象医用画像に複数の器官が含まれる、ことと、
画像検出モデルを利用して、前記検出対象医用画像に対して検出を行い、前記複数の器官の予測領域を得ることと、を含み、
前記画像検出モデルは、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法で訓練を行うことで得られたものである、画像検出方法。
(項目15)
画像検出モデルの訓練装置であって、
サンプル医用画像を取得するように構成される画像取得モジュールであって、前記サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、画像取得モジュールと、
オリジナル検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第1検出結果を得るように構成される第1検出モジュールであって、前記第1検出結果は、前記ラベル付けされていない器官の第1予測領域を含む、第1検出モジュールと、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得るように構成される第2検出モジュールであって、前記第2検出結果は、前記ラベル付けされていない器官の第2予測領域を含み、前記画像検出モデルのネットワークパラメータは、前記オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、第2検出モジュールと、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、画像検出モデルの訓練装置。
(項目16)
画像検出装置であって、
検出対象医用画像を取得するように構成される画像取得モジュールであって、前記検出対象医用画像に複数の器官が含まれる、画像取得モジュールと、
画像検出モデルを利用して、前記検出対象医用画像に対して検出を行い、前記複数の器官の予測領域を得るように構成される画像検出モジュールと、を備え、
前記画像検出モデルは、項目15に記載の画像検出モデルの訓練装置により訓練を行うことで得られたものである、画像検出装置。
(項目17)
電子機器であって、互いに接続されるメモリ及びプロセッサを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行し、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実現し、又は、項目14に記載の画像検出方法を実現するように構成される、電子機器。
(項目18)
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にプログラム命令が記憶されており、前記プログラム命令がプロセッサにより実行される時、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実現し、又は、項目14に記載の画像検出方法を実現する、コンピュータ可読記憶媒体。
(項目19)
コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードは、電子機器で実行される時に、前記電子機器におけるプロセッサに、項目1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実行させ、又は、項目14に記載の画像検出方法を実行させる、コンピュータプログラム。
Claims (19)
- 画像検出モデルの訓練方法であって、
サンプル医用画像を取得することであって、前記サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、ことと、
オリジナル検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第1検出結果を得ることであって、前記第1検出結果は、前記ラベル付けされていない器官の第1予測領域を含む、ことと、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得ることであって、前記第2検出結果は、前記ラベル付けされていない器官の第2予測領域を含み、前記画像検出モデルのネットワークパラメータは、前記オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、ことと、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含む、画像検出モデルの訓練方法。 - 前記オリジナル検出モデルは、第1オリジナル検出モデルと、第2オリジナル検出モデルと、を含み、前記画像検出モデルは、前記第1オリジナル検出モデルに対応する第1画像検出モデルと、前記第2オリジナル検出モデルに対応する第2画像検出モデルと、を含み、
オリジナル検出モデルを利用して前記サンプル医用画像に対して検出を行い、第1検出結果を得ることは、
前記第1オリジナル検出モデル及び前記第2オリジナル検出モデルをそれぞれ利用して、前記サンプル医用画像に対して検出を行って第1検出結果を得ることを実行することを含み、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得ることは、
前記第1画像検出モデル及び前記第2画像検出モデルをそれぞれ利用して、前記サンプル医用画像に対して検出を行って第2検出結果を得ることを実行することを含み、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1オリジナル検出モデルの第1予測領域と前記実際領域との差異、及び前記第1オリジナル検出モデルの第1予測領域と前記第2画像検出モデルの第2予測領域との差異を利用して、前記第1オリジナル検出モデルのネットワークパラメータを調整することと、
前記第2オリジナル検出モデルの第1予測領域と前記実際領域との差異、及び前記第2オリジナル検出モデルの第1予測領域と前記第1画像検出モデルの第2予測領域との差異を利用して、前記第2オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
請求項1に記載の訓練方法。 - 前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異をそれぞれ利用して、前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することと、
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することと、
前記第1損失値及び前記第2損失値を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
請求項1又は2に記載の訓練方法。 - 前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することは、
焦点損失関数を利用して前記第1予測領域及び前記実際領域に対して処理を行い、焦点の第1損失値を得ることと、
集合類似度損失関数を利用して前記第1予測領域及び前記実際領域に対して処理を行い、集合類似度の第1損失値を得ることと、
のうちの少なくとも1つを含むことを特徴とする
請求項3に記載の訓練方法。 - 前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することは、
一致性損失関数を利用して前記第1予測領域及び前記第2予測領域に対して処理を行い、前記第2損失値を得ることを含むことを特徴とする
請求項3に記載の訓練方法。 - 前記第1損失値及び前記第2損失値を利用して前記オリジナル検出モデルのネットワークパラメータを調整することは、
前記第1損失値及び前記第2損失値に対して重み付け処理を行い、重み付け損失値を得ることと、
前記重み付け損失値を利用して、前記オリジナル検出モデルのネットワークパラメータを調整することと、を含むことを特徴とする
請求項3に記載の訓練方法。 - 前記サンプル医用画像に、ラベル付け済み器官の実際領域が更に含み、前記第1検出結果は、前記ラベル付け済み器官の第1予測領域を更に含み、前記第2検出結果は、前記ラベル付け済み器官の第2予測領域を更に含み、
前記第1予測領域と前記実際領域との差異を利用して、前記オリジナル検出モデルの第1損失値を決定することは、
前記ラベル付けされていない器官と前記ラベル付け済み器官の第1予測領域と前記実際領域の差異を利用して、前記オリジナル検出モデルの第1損失値を決定することを含み、
前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することは、
前記ラベル付けされていない器官の第1予測領域と対応する前記第2予測領域との差異を利用して、前記オリジナル検出モデルの第2損失値を決定することを含むことを特徴とする
請求項3から6のうちいずれか一項に記載の訓練方法。 - 前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異をそれぞれ利用して、前記オリジナル検出モデルのネットワークパラメータを調整した後、前記方法は、
今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、前記画像検出モデルのネットワークパラメータを更新することを更に含むことを特徴とする
請求項1から7のうちいずれか一項に記載の訓練方法。 - 今回の訓練及びこの前の複数回の訓練時に調整したネットワークパラメータを利用して、前記画像検出モデルのネットワークパラメータを更新することは、
今回の訓練及びこの前の複数回の訓練時に調整した、前記オリジナル検出モデルのネットワークパラメータの平均値を統計することと、
前記画像検出モデルのネットワークパラメータを対応する前記オリジナル検出モデルの前記ネットワークパラメータの平均値に更新することと、を含むことを特徴とする
請求項8に記載の訓練方法。 - サンプル医用画像を取得することは、
仮ラベル付け対象医用画像を取得することであって、前記仮ラベル付け対象医用画像に、少なくとも1つの前記ラベル付けされていない器官が存在する、ことと、
各前記ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、前記仮ラベル付け対象医用画像に対して検出を行い、各前記ラベル付けされていない器官の器官予測領域を得ることと、
前記ラベル付けされていない器官の器官予測領域を、前記ラベル付けされていない器官の実際領域として仮ラベル付けし、前記仮ラベル付けした仮ラベル付け対象医用画像を前記サンプル医用画像とすることと、を含むことを特徴とする
請求項1から9のうちいずれか一項に記載の訓練方法。 - 前記仮ラベル付け対象医用画像は、少なくとも1つのラベル付け済み器官を含み、各前記ラベル付けされていない器官に対応する単一器官検出モデルをそれぞれ利用して、前記仮ラベル付け対象医用画像に対して検出を行う前に、前記方法は、
前記仮ラベル付け対象医用画像を利用して、前記仮ラベル付け対象医用画像におけるラベル付け済み器官に対応する単一器官検出モデルに対して訓練を行うことを更に含むことを特徴とする
請求項10に記載の訓練方法。 - 仮ラベル付け対象医用画像を取得することは、
三次元医用画像を取得し、前記三次元医用画像に対して前処理を行うことと、
前処理後の前記三次元画像に対してトリミング処理を行い、少なくとも1つの二次元の仮ラベル付け対象医用画像を得ることと、を含むことを特徴とする
請求項10に記載の訓練方法。 - 前記三次元医用画像に対して前処理を行うことは、
前記三次元医用画像のボクセル解像度を所定の解像度に調整することと、
所定ウインドウ値を利用して、前記三次元医用画像のボクセル値を所定の範囲内に正規化することと、
前記三次元医用画像の少なくとも一部のボクセルにガウス雑音を加えることと、
のうちの少なくとも1つを含むことを特徴とする
請求項12に記載の訓練方法。 - 画像検出方法であって、
検出対象医用画像を取得することであって、前記検出対象医用画像に複数の器官が含まれる、ことと、
画像検出モデルを利用して、前記検出対象医用画像に対して検出を行い、前記複数の器官の予測領域を得ることと、を含み、
前記画像検出モデルは、請求項1から13のうちいずれか一項に記載の画像検出モデルの訓練方法で訓練を行うことで得られたものである、画像検出方法。 - 画像検出モデルの訓練装置であって、
サンプル医用画像を取得するように構成される画像取得モジュールであって、前記サンプル医用画像において、少なくとも1つのラベル付けされていない器官の実際領域が仮ラベル付けされている、画像取得モジュールと、
オリジナル検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第1検出結果を得るように構成される第1検出モジュールであって、前記第1検出結果は、前記ラベル付けされていない器官の第1予測領域を含む、第1検出モジュールと、
画像検出モデルを利用して、前記サンプル医用画像に対して検出を行い、第2検出結果を得るように構成される第2検出モジュールであって、前記第2検出結果は、前記ラベル付けされていない器官の第2予測領域を含み、前記画像検出モデルのネットワークパラメータは、前記オリジナル検出モデルのネットワークパラメータに基づいて決定されたものである、第2検出モジュールと、
前記第1予測領域と前記実際領域との差異、及び前記第1予測領域と前記第2予測領域との差異を利用して、前記オリジナル検出モデルのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、画像検出モデルの訓練装置。 - 画像検出装置であって、
検出対象医用画像を取得するように構成される画像取得モジュールであって、前記検出対象医用画像に複数の器官が含まれる、画像取得モジュールと、
画像検出モデルを利用して、前記検出対象医用画像に対して検出を行い、前記複数の器官の予測領域を得るように構成される画像検出モジュールと、を備え、
前記画像検出モデルは、請求項15に記載の画像検出モデルの訓練装置により訓練を行うことで得られたものである、画像検出装置。 - 電子機器であって、互いに接続されるメモリ及びプロセッサを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行し、請求項1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実現し、又は、請求項14に記載の画像検出方法を実現するように構成される、電子機器。
- コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にプログラム命令が記憶されており、前記プログラム命令がプロセッサにより実行される時、請求項1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実現し、又は、請求項14に記載の画像検出方法を実現する、コンピュータ可読記憶媒体。
- コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードは、電子機器で実行される時に、前記電子機器におけるプロセッサに、請求項1から13のうちいずれか一項に記載の画像検出モデルの訓練方法を実行させ、又は、請求項14に記載の画像検出方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010362766.X | 2020-04-30 | ||
CN202010362766.XA CN111539947B (zh) | 2020-04-30 | 2020-04-30 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
PCT/CN2020/140325 WO2021218215A1 (zh) | 2020-04-30 | 2020-12-28 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022538137A true JP2022538137A (ja) | 2022-08-31 |
Family
ID=71967825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021576932A Pending JP2022538137A (ja) | 2020-04-30 | 2020-12-28 | 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2022538137A (ja) |
KR (1) | KR20220016213A (ja) |
CN (1) | CN111539947B (ja) |
TW (1) | TW202145249A (ja) |
WO (1) | WO2021218215A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539947B (zh) * | 2020-04-30 | 2024-03-29 | 上海商汤智能科技有限公司 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
CN112132206A (zh) * | 2020-09-18 | 2020-12-25 | 青岛商汤科技有限公司 | 图像识别方法及相关模型的训练方法及相关装置、设备 |
CN112307934B (zh) * | 2020-10-27 | 2021-11-09 | 深圳市商汤科技有限公司 | 图像检测方法及相关模型的训练方法、装置、设备、介质 |
CN112200802B (zh) * | 2020-10-30 | 2022-04-26 | 上海商汤智能科技有限公司 | 图像检测模型的训练方法及相关装置、设备、存储介质 |
CN112669293A (zh) * | 2020-12-31 | 2021-04-16 | 上海商汤智能科技有限公司 | 图像检测方法和检测模型的训练方法及相关装置、设备 |
CN112785573B (zh) * | 2021-01-22 | 2024-08-16 | 上海商汤善萃医疗科技有限公司 | 图像处理方法及相关装置、设备 |
CN112749801A (zh) * | 2021-01-22 | 2021-05-04 | 上海商汤智能科技有限公司 | 神经网络训练和图像处理方法及装置 |
CN114049344A (zh) * | 2021-11-23 | 2022-02-15 | 上海商汤智能科技有限公司 | 图像分割方法及其模型的训练方法及相关装置、电子设备 |
CN114429459A (zh) * | 2022-01-24 | 2022-05-03 | 上海商汤智能科技有限公司 | 目标检测模型的训练方法及对应的检测方法 |
CN114155365B (zh) * | 2022-02-07 | 2022-06-14 | 北京航空航天大学杭州创新研究院 | 模型训练方法、图像处理方法及相关装置 |
CN114391828B (zh) * | 2022-03-01 | 2023-06-06 | 郑州大学 | 一种用于脑卒中患者的积极心理护理干预系统 |
CN117041531B (zh) * | 2023-09-04 | 2024-03-15 | 无锡维凯科技有限公司 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
CN109658419A (zh) * | 2018-11-15 | 2019-04-19 | 浙江大学 | 一种医学图像中小器官的分割方法 |
JP2019101485A (ja) * | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 情報処理方法、情報処理装置、情報処理システム及びプログラム |
CN110097557A (zh) * | 2019-01-31 | 2019-08-06 | 卫宁健康科技集团股份有限公司 | 基于3D-UNet的医学图像自动分割方法及系统 |
CN110148142A (zh) * | 2019-05-27 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
CN110188829A (zh) * | 2019-05-31 | 2019-08-30 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
JP2020537787A (ja) * | 2017-10-19 | 2020-12-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ニューラルネットワークの使用 |
JP2021503661A (ja) * | 2017-11-20 | 2021-02-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練 |
JP2021039748A (ja) * | 2019-08-30 | 2021-03-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
JP2021520568A (ja) * | 2018-11-08 | 2021-08-19 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170330B2 (en) * | 2007-10-30 | 2012-05-01 | Siemens Aktiengesellschaft | Machine learning for tissue labeling segmentation |
WO2018033154A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和电子设备 |
CN108229267B (zh) * | 2016-12-29 | 2020-10-16 | 北京市商汤科技开发有限公司 | 对象属性检测、神经网络训练、区域检测方法和装置 |
JP6931579B2 (ja) * | 2017-09-20 | 2021-09-08 | 株式会社Screenホールディングス | 生細胞検出方法、プログラムおよび記録媒体 |
CN109086656B (zh) * | 2018-06-06 | 2023-04-18 | 平安科技(深圳)有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
CN111028206A (zh) * | 2019-11-21 | 2020-04-17 | 万达信息股份有限公司 | 一种基于深度学习前列腺癌自动检测和分类系统 |
CN111062390A (zh) * | 2019-12-18 | 2020-04-24 | 北京推想科技有限公司 | 感兴趣区域标注方法、装置、设备和存储介质 |
CN110969245B (zh) * | 2020-02-28 | 2020-07-24 | 北京深睿博联科技有限责任公司 | 医学图像的目标检测模型训练方法和装置 |
CN111539947B (zh) * | 2020-04-30 | 2024-03-29 | 上海商汤智能科技有限公司 | 图像检测方法及相关模型的训练方法和相关装置、设备 |
-
2020
- 2020-04-30 CN CN202010362766.XA patent/CN111539947B/zh active Active
- 2020-12-28 KR KR1020217043241A patent/KR20220016213A/ko active Search and Examination
- 2020-12-28 WO PCT/CN2020/140325 patent/WO2021218215A1/zh active Application Filing
- 2020-12-28 JP JP2021576932A patent/JP2022538137A/ja active Pending
-
2021
- 2021-03-16 TW TW110109420A patent/TW202145249A/zh unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020537787A (ja) * | 2017-10-19 | 2020-12-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ニューラルネットワークの使用 |
JP2021503661A (ja) * | 2017-11-20 | 2021-02-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 第1のニューラルネットワークモデルと第2のニューラルネットワークモデルとの訓練 |
JP2019101485A (ja) * | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 情報処理方法、情報処理装置、情報処理システム及びプログラム |
CN109166107A (zh) * | 2018-04-28 | 2019-01-08 | 北京市商汤科技开发有限公司 | 一种医学图像分割方法及装置、电子设备和存储介质 |
JP2021520568A (ja) * | 2018-11-08 | 2021-08-19 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム |
CN109658419A (zh) * | 2018-11-15 | 2019-04-19 | 浙江大学 | 一种医学图像中小器官的分割方法 |
CN110097557A (zh) * | 2019-01-31 | 2019-08-06 | 卫宁健康科技集团股份有限公司 | 基于3D-UNet的医学图像自动分割方法及系统 |
CN110148142A (zh) * | 2019-05-27 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、设备和存储介质 |
CN110188829A (zh) * | 2019-05-31 | 2019-08-30 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
JP2021039748A (ja) * | 2019-08-30 | 2021-03-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111539947B (zh) | 2024-03-29 |
KR20220016213A (ko) | 2022-02-08 |
TW202145249A (zh) | 2021-12-01 |
WO2021218215A1 (zh) | 2021-11-04 |
CN111539947A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022538137A (ja) | 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器 | |
Yuan | Hierarchical convolutional-deconvolutional neural networks for automatic liver and tumor segmentation | |
CN110335261B (zh) | 一种基于时空循环注意力机制的ct淋巴结检测系统 | |
Bi et al. | Automatic liver lesion detection using cascaded deep residual networks | |
Birenbaum et al. | Multi-view longitudinal CNN for multiple sclerosis lesion segmentation | |
CN110310287B (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
Lei et al. | Learning‐based CBCT correction using alternating random forest based on auto‐context model | |
CN110363797B (zh) | 一种基于过度形变抑制的pet与ct图像配准方法 | |
CN110363760B (zh) | 用于识别医学图像的计算机系统 | |
Wang et al. | CheXLocNet: Automatic localization of pneumothorax in chest radiographs using deep convolutional neural networks | |
CN109215014B (zh) | Ct图像预测模型的训练方法、装置、设备及存储介质 | |
Curiale et al. | Automatic myocardial segmentation by using a deep learning network in cardiac MRI | |
WO2020234349A1 (en) | Sampling latent variables to generate multiple segmentations of an image | |
Ma et al. | An SPCNN-GVF-based approach for the automatic segmentation of left ventricle in cardiac cine MR images | |
CN111724371B (zh) | 一种数据处理方法、装置及电子设备 | |
La Rosa | A deep learning approach to bone segmentation in CT scans | |
Yang et al. | Right ventricle segmentation in short-axis MRI using a shape constrained dense connected U-Net | |
Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
Liu et al. | AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network | |
Yang et al. | A dense R‐CNN multi‐target instance segmentation model and its application in medical image processing | |
Yu et al. | A generalizable brain extraction net (BEN) for multimodal MRI data from rodents, nonhuman primates, and humans | |
Lei et al. | Generative adversarial network for image synthesis | |
Lei et al. | Generative adversarial networks for medical image synthesis | |
WO2023104464A1 (en) | Selecting training data for annotation | |
Luo et al. | Research on several key problems of medical image segmentation and virtual surgery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221026 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230519 |