JP2021520568A - 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム - Google Patents

組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム Download PDF

Info

Publication number
JP2021520568A
JP2021520568A JP2020560811A JP2020560811A JP2021520568A JP 2021520568 A JP2021520568 A JP 2021520568A JP 2020560811 A JP2020560811 A JP 2020560811A JP 2020560811 A JP2020560811 A JP 2020560811A JP 2021520568 A JP2021520568 A JP 2021520568A
Authority
JP
Japan
Prior art keywords
source domain
target
image
feature
domain data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020560811A
Other languages
English (en)
Other versions
JP7086336B2 (ja
Inventor
▲陳▼ 程
▲陳▼ 程
▲鐘▼前 ▲孫▼
▲鐘▼前 ▲孫▼
▲ジャオ▼ ▲陳▼
▲ジャオ▼ ▲陳▼
巍 ▲楊▼
巍 ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2021520568A publication Critical patent/JP2021520568A/ja
Application granted granted Critical
Publication of JP7086336B2 publication Critical patent/JP7086336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

組織結節検出及びそのモデルトレーニング方法、装置、機器、システムを提供する。方法は、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得すること（Ｓ２０２）と、ニューラルネットワークモデルによってソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、ニューラルネットワークモデルによってターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定すること（Ｓ２０４）と、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定すること（Ｓ２０６）と、トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定すること（Ｓ２０８）と、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定すること（Ｓ２１０）と、を含む。これにより、検出の正確性を向上する。

Description

関連出願の相互参照
本願は、２０１８年１１月８日に提出された出願番号が第２０１８１１３２６２６７．４号で、発明の名称が「組織結節検出及びそのモデルトレーニング方法、装置、機器、システム」である中国特許出願の優先権を主張し、当該出願の全ての内容は援用することにより本願に組み込まれる。
本願は、医学画像処理技術の分野に関し、特に、組織結節検出モデルトレーニング方法、装置及びコンピュータ機器、並びに組織結節検出方法、装置、コンピュータ機器及びシステムに関する。
組織のがん化は死亡の主な要因であり、そのため早期発見及び治療は特に重要である。組織における結節の存否を判断することはがんを確診する上で有力な指標である。従来、胸部薄切コンピュータ断層撮影（ｔｈｉｎ−ｓｅｃｔｉｏｎ ＣＴ）画像等の医学画像を利用して、組織結節の存否を判断しているが、これは医師の作業負荷を大幅に増やされた。医師の負担を減らすために、組織画像に対する組織結節の自動認識を実現することは極めて重要な技術となっている。
人工知能の持続的な発展により、現行の組織画像処理方法では、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、略称ＣＮＮ）によって組織画像における組織結節を認識することができる。しかしながら、病院によって使用される医学イメージング機器が異なるもので、撮られた組織画像データセットのサンプリング距離、ノイズレベル、結節直径分布はそれぞれ異なるものであるため、実際の検出画像の分布とトレーニングデータセットの画像データセットの分布が異なる。
そのために、従来の組織結節検出方法は正確性が悪いという問題がある。
本願は、組織結節検出モデルトレーニング方法、装置及びコンピュータ機器、並びに組織結節検出方法、装置、コンピュータ機器及びシステムを提供し、組織結節検出の正確性を上げることができる。
組織結節検出モデルトレーニング方法であって、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定するステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、を含む。
組織結節検出モデルトレーニング装置であって、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
一実現形態では、前記距離パラメータは最大平均差異に基づく差異損失を含み、
前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
一実現形態では、前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によって前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
一実現形態では、前記距離パラメータ決定モジュールは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第１差異損失を決定する第１差異損失ユニットと、
前記ソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、前記ターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得する候補領域決定ユニットと、
前記ソースドメインサンプリング特徴及び前記ソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、前記ターゲットサンプリング特徴及び前記ターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するマッピング結果決定ユニットと、
前記ソースドメインマッピング結果及び前記ターゲットマッピング結果に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第２差異損失を決定する第２差異損失ユニットと、
前記第１差異損失及び前記第２差異損失に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する総合差異決定ユニットと、を含む。
一実現形態では、前記装置は、前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定する総損失決定モジュールをさらに含み、
モデル決定モジュールはさらに、前記総損失関数値及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。
一実現形態では、前記距離パラメータは最大平均差異の二乗を含み、
前記総損失決定モジュールは、前記最大平均差異の二乗と前記損失関数値を線形加算して、総損失関数値を取得する。
一実現形態では、当該装置は、前記ソースドメイン画像を分割して、ソースドメイン組織領域を取得し、前記ターゲット画像を分割して、ターゲット組織領域を取得する組織領域分割モジュールをさらに含み、
特徴抽出トレーニングモジュールは、ニューラルネットワークモデルによって前記ソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得する。
一実現形態では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量関係を満たす。
一実現形態では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量が同じである。
一実現形態では、前記特徴抽出トレーニングモジュールは、
第１ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングユニットと、
第２ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、前記第２ニューラルネットワークモデルと前記第１ニューラルネットワークモデルとで重みが共有される特徴抽出ユニットと、を含む。
組織結節検出方法であって、
被検出画像を取得するステップと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得するステップと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
組織結節検出装置であって、
被検出画像を取得する被検出画像取得モジュールと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
コンピュータ機器であって、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定するステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、が実現される。
コンピュータ機器であって、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、
被検出画像を取得するステップと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を前記組織結節検出モデルトレーニング方法によって得られる組織結節検出モデルに入力して、結節位置情報を取得するステップと、が実現される。
コンピュータ可読記憶媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するステップと、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定するステップと、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、が実現される。
コンピュータ可読記憶媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、
被検出画像を取得するステップと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得するステップと、が実現され、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
組織結節検出システムであって、
ターゲットドメインデータ及び被検出画像を収集する画像収集モジュールと、
前記画像収集モジュールによって収集された被検出画像を取得する被検出画像取得モジュールと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
本発明の組織結節検出モデルトレーニング方法、装置、コンピュータ機器及び記憶媒体、並びに組織結節検出方法、装置、コンピュータ機器、記憶媒体及びシステムでは、組織結節検出モデルの決定時に、ソースドメインデータと前記ターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する性を向上する。
一実施例に係る組織結節検出モデルトレーニング方法の適用環境の図である。 一実施例に係る組織結節検出モデルトレーニング方法のフローチャートである。 図２の組織結節検出モデルトレーニング方法の一ステップのフローチャートである。 一実施例の組織結節検出モデルトレーニング方法の動作原理の模式図である。 別の実施例の組織結節検出モデルトレーニング方法の動作原理の模式図である。 別の実施例の組織結節検出モデルトレーニング方法の動作原理の模式図である。 一実施例に係る組織結節検出方法のフローチャートである。 一実施例に係る組織結節検出モデルトレーニング装置の構造のブロック図である。 一実施例に係る組織結節検出装置の構造のブロック図である。
本願の目的、技術的解決手段及び利点が一層明瞭で分かりやすくなるように、次に、図面及び実施例を用いて、本願をより詳細に説明する。なお、説明される特定の実施例は本願の解釈に供するものに過ぎず、本願を限定するためのものではない。
図１は、一実施例に係る組織結節検出方法及び／又は組織結節検出モデルトレーニング方法の適用環境の図である。当該組織結節検出方法及び／又は組織結節検出モデルトレーニング方法は、コンピュータによる肺がん診断支援システムに適用される。図１に示すように、当該組織結節検出方法及び／又は組織結節検出モデルトレーニング方法はコンピュータ機器に適用される。当該コンピュータ機器は端末であってもよいしサーバであってもよい。端末はデスクトップ型機器であってもよいし移動端末であってもよい。サーバは独立した物理サーバ、物理サーバクラスタ又は仮想サーバであってもよい。ここで、当該コンピュータ機器はシステムバスによって接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。ここで、メモリは不揮発性記憶媒体及び内部メモリを含む。当該コンピュータ機器の不揮発性記憶媒体にはオペレーティングシステム及びデータベースが記憶されており、当該データベースにはソースドメインデータ及びターゲットドメインデータが含まれる。当該コンピュータ機器の不揮発性記憶媒体にはコンピュータプログラムが記憶されてもよく、当該コンピュータプログラムがプロセッサによって実行されると、プロセッサは組織結節検出方法及び／又は組織結節検出モデルトレーニング方法のステップを実現できる。当該内部メモリにもコンピュータプログラムが記憶されてもよく、当該コンピュータプログラムがプロセッサによって実行されると、プロセッサは組織結節検出方法及び／又は組織結節検出モデルトレーニング方法のステップを実行できる。
ここで、組織結節検出方法を実行するコンピュータ機器及び組織結節検出モデルトレーニング方法を実行するコンピュータ機器は、異なるコンピュータ機器であってもよく、例えば、組織結節検出方法を実行するコンピュータ機器は端末であり、組織結節検出モデルトレーニング方法を実行するコンピュータ機器はサーバであってもよい。例えば、サーバは組織結節検出モデルトレーニング方法を実行することによりトレーニング済みの組織結節検出モデルを取得し、トレーニング済みの組織結節検出モデルを端末に送信し、端末によって被検出画像及び当該組織結節検出モデルに基づいて組織結節検出作業を実行する。
あるいは、組織結節検出方法を実行する前記コンピュータ機器と組織結節検出モデルトレーニング方法を実行するコンピュータ機器は同一のコンピュータ機器であってもよい。例えば、組織結節検出方法を実行するコンピュータ機器はいずれもサーバであってもよい。例えば、サーバは組織結節検出モデルトレーニング方法を実行することによりトレーニング済みの組織結節検出モデルを取得し、端末は被検出画像をサーバに送信し、サーバは被検出画像及び組織結節検出モデルに基づいて組織結節検出作業を実行し、検出結果を端末にフィードバックする。
当業者に理解されるように、図１に示される構造は、本願の発明に関わる部分の構造のブロック図に過ぎず、本願の発明が適用されるコンピュータ機器に対する限定を構成するものではなく、コンピュータ機器によって、図示のものより多く又は少ない部品を含むか、又は一部の部品を組み合わせるか、又は異なる部品が配置されてもよい。
図２に示すように、一実施例では、組織結節検出モデルトレーニング方法が提供される。本実施例では主に当該方法が前記図１のコンピュータ機器に適用されるのを例にして説明する。当該組織結節検出モデルトレーニング方法は、次のステップを含む。
Ｓ２０２において、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得する。
任意選択で、ソースドメインデータを収集する機器と被検出画像を収集する機器は異なるものであってもよい。被検出画像は組織結節検出の対象画像である。ターゲットドメインデータを収集する機器と被検出画像を収集する機器は同一のものである。例えば、被検出画像がＡ病院のＣＴ機器によって収集されたＣＴ画像である場合には、ソースドメインデータは、ある都市の各ＣＴ機器によって収集されたＣＴ画像からランダムに抽出されたＣＴ画像で、当該ＣＴ画像にアノテーションしたデータであってよく、ターゲットドメインデータはＡ病院のＣＴ機器によって収集されたＣＴ画像であってもよい。もう一例として、被検出画像がＢタイプの機器によって収集されたＣＴ画像である場合には、ソースドメインデータは各種の機器によって収集されたＣＴ画像からランダムに抽出されたＣＴ画像で、当該ＣＴ画像にアノテーションしたデータであってよく、ターゲットドメインデータはＢタイプの機器によって収集されたＣＴ画像であってもよい。
なお、ソースドメインデータにおけるソースドメイン画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布の少なくとも一つが異なる。ターゲットドメインデータにおけるターゲット画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布が同じである。ここで、同じであること又は異なることは、２つのデータ差異がプリセット閾値以内であるか否かで決定してもよい。例えば、ターゲット画像及び被検出画像のサンプリング距離が第１のプリセット閾値以内であり、ターゲット画像及び被検出画像のノイズレベルがプリセット閾値以内であり、ターゲット画像と被検出画像の組織結節直径分布の差異がプリセット閾値以内である場合には、ターゲットドメインデータにおけるターゲット画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布が同じである。そうでない場合には、ソースドメインデータにおけるソースドメイン画像は被検出画像とサンプリング距離、ノイズレベル及び組織結節直径分布の少なくとも一つが異なる。
画像アノテーションはソースドメイン画像における組織結節の位置情報を指示するものである。当該画像アノテーションは人力による注釈の方式で行われてもよいし、人力と機器を組み合わせる方式で行われてもよい。これにより、画像アノテーションの正確性が保証される。画像アノテーションとソースドメイン画像は対応している。
モデルのトレーニング効率を上げるために、ソースドメインデータにおけるソースドメイン画像で少なくとも１つの組織結節が存在するソースドメイン画像の割合はプリセット値以上とし、ここで、当該プリセット値は開発者によってあらかじめ設定されてもよい。例えば、当該プリセット値は５０％、８０％、９０％等であってもよい。
組織結節は一般に三次元で立体的な構造であるため、検出の正確性が一層向上されるために、ソースドメイン画像及びターゲット画像は三次元画像であってもよい。例えば、ソースドメイン画像及びターゲットドメイン画像はサンプリングサイズが１２８ｄｐｉ＊１２８ｄｐｉ＊５ｄｐｉ、又は１２８ｄｐｉ＊１２８ｄｐｉ＊１２８ｄｐｉ等の立方体の画像であってもよい。
Ｓ２０４において、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する。
ここで、コンピュータ機器はニューラルネットワークモデルによってソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定してもよい。当該ニューラルネットワークモデルは被トレーニングニューラルネットワークモデルである。コンピュータ機器は当該被トレーニングニューラルネットワークモデルによって、ソースドメインデータにおける各ソースドメイン画像にそれぞれ特徴抽出を行ってソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する。１つのソースドメイン画像は１つのソースドメインサンプリング特徴に対応してよく、同時に１つのトレーニング結果に対応してもよい。トレーニング結果は、トレーニングの過程で得たソースドメイン画像における組織結節位置情報の結果である。
コンピュータ機器はニューラルネットワークモデルによってターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得するようにしてもよい。例えば、コンピュータ機器は当該被トレーニングニューラルネットワークモデルによって、ターゲットドメインデータにおける各ターゲット画像にそれぞれ特徴抽出を行ってターゲットサンプリング特徴を取得するようにしてもよい。１つのターゲット画像は１つのターゲットサンプリング特徴に対応してもよい。
当該ニューラルネットワークモデルの初期化の時には、Ｘａｖｉｅｒ初期化方法を用いてネットワークパラメータに初期値を割り当ててもよい。Ｘａｖｉｅｒ初期化方法において、ネットワーク中の情報がよりスムーズに流動するように、各層の出力の分散はなるべく同じとすべきである。これにより、モデルトレーニングの効率が向上される。
Ｓ２０６において、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定する。
一トレーニングバッチでは、ソースドメインデータ中には大量のソースドメイン画像が含まれ、ターゲットドメインデータ中には大量のターゲット画像が含まれる。ここで、大量というのは数量がプリセット値、例えば、８、２０、１００、１０００等を上回ることであってもよい。距離パラメータとは、２つの集合中のデータ差異の大きさを説明するパラメータである。本実施例では、距離パラメータはソースドメインデータとターゲットドメインデータにおけるデータ差異の大きさを説明するパラメータであり、例えば、最大平均距離に基づく量であってよく、例えば、マンハッタン距離、ユークリッド距離、チェビシェフ距離の少なくとも一つに基づく量である。
コンピュータ機器はソースドメインデータにおける各ソースドメイン画像のソースドメインサンプリング特徴、及びターゲットドメインデータにおける各ターゲット画像のターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定してもよい。
Ｓ２０８において、トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定する。
コンピュータ機器はトレーニング結果と画像アノテーションの差異に基づいて、当該ソースドメイン画像に対応する損失関数値を決定してもよい。当該損失関数値は領域抽出結果に基づく領域損失関数値、分類結果に基づく分類損失関数値、正規化結果に基づく正規化損失関数値を含んでよい。
Ｓ２１０において、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。
コンピュータ機器は損失関数値及び距離パラメータがあらかじめ設定された条件を満たす場合にニューラルネットワークモデルを、最適なニューラルネットワークモデルとして決定してよく、即ち、当該ニューラルネットワークモデルを組織結節検出モデルとする。即ち、コンピュータ機器は損失関数値及び距離パラメータがあらかじめ設定された条件を満たす場合にニューラルネットワークモデルに対応するネットワークパラメータを、組織結節検出モデルのネットワークパラメータとする。なお、損失関数値及び距離パラメータがあらかじめ設定された条件を満たさない場合に、コンピュータ機器はネットワークパラメータを繰り返し更新し、例えば、Ａｄａｍオプティマイザ（アダプティブオプティマイザ）を用いて、ネットワークパラメータを繰り返し更新してもよい。トレーニングが完了していない場合にステップＳ２０２に戻り、トレーニングが完了するまでトレーニングを継続し、組織結節検出モデルを決定する。
なお、組織とは、心臓、肺、肝臓、脾臓、胃等の医学画像で提示された人間の組織であってもよい。
前記組織結節検出モデルトレーニング方法では、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得し、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定し、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定し、トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定し、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。当該モデルトレーニング方法では、組織結節検出モデルの決定時に、ソースドメインデータとターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する性を向上する。
ソースドメイン画像に対応する損失関数値、ソースドメインデータ及びターゲットドメインデータに対応する距離パラメータ、ニューラルネットワークモデルによって、組織結節検出モデルを決定し、組織結節検出モデルの決定の全過程で、ターゲット画像の画像アノテーションには関係がないため、ターゲットドメインデータには画像アノテーションが含まれる必要がなく、即ちターゲットドメインデータにおけるターゲット画像に対し人力によるアノテーションを行う必要がない。モデルトレーニングの前に、既存のターゲットドメインデータにおけるターゲット画像を検索するという工程を追加で行い、本方法を実行する機器に当該ターゲットドメインデータを取得させればよい。したがって、本実施例に係る組織結節検出モデルトレーニング方法は、操作しやすいものである。
なお、前記実施例の方法では、ターゲットドメインデータにアノテーションすることを排除しなくても、検出の正確性を上げる目的は達成できる。
一実施例では、距離パラメータは最大平均差異に基づく差異損失を含む。前記図２に示す実施例で、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの距離パラメータを決定することは、コンピュータ機器はソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定することを含む。
任意選択で、最大平均差異に基づく差異損失は最大平均差異に基づくパラメータ値であり、例えば、ＭＭＤ（Ｍａｘｉｍｕｍ Ｍｅａｎ Ｄｉｓｃｒｅｐａｎｃｙ、最大平均差異）の二乗、ＭＭＤ等であってもよい。
ここで、前記最大平均差異に基づく差異損失は、ソースドメインデータとターゲットドメインデータの最大平均差異として定義してよく、次のように示すことができる。
Figure 2021520568
ここで、
Figure 2021520568
 は特徴をソースドメイン画像、ターゲット画像がもともと位置する空間から再生核ヒルベルト空間
Figure 2021520568
 （ｒｅｐｒｏｄｕｃｉｎｇ ｋｅｒｎｅｌ Ｈｉｌｂｅｒｔ ｓｐａｃｅ）にマッピングする特徴マッピングである。一バッチのソースドメインデータ及びターゲットドメインデータでは、ソースドメインデータの各ソースドメイン画像のソースドメインサンプリング特徴の分布はＳ分布であり、ターゲットドメインデータにおける各ターゲット画像のターゲットサンプリング特徴の分布はＴ分布である。Ｅは期待値であり、その値は各元素の平均値であってもよい。
計算しやすさのために、最大平均差異に基づく差異損失は再生核ヒルベルト空間の内積、即ち最大平均差異の二乗として定義されてもよい。これにより、モデルトレーニングの効率が向上される。例えば、一実施例では、最大平均差異の二乗は次のように示すことができる。
Figure 2021520568
ここで、ｋはカーネル関数であり、特徴のマッピング関係を示す。ｎＳはソースドメインデータにおけるソースドメイン画像の数量であり、ｎＴはターゲットドメインデータにおけるターゲット画像の数量である。
一実施例では、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定することは、コンピュータ機器はソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によってソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定することを含む。
最大平均差異に基づく差異損失の決定時に、カーネル関数にはガウシアンカーネル関数を用いてよく、これにより、最大平均差異に基づく差異損失の正確性が上がり、ソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異が一層減らされる。検出の正確性が一層向上される。
一実施例では、最大平均差異に基づく差異損失は再生核ヒルベルト空間の内積、即ち最大平均差異の二乗として定義されてもよい。最大平均差異の二乗は前記式で示すことができ、カーネル関数ｋはガウシアンカーネル関数であり、次のように示すことができる。
Figure 2021520568
ここで、ｂは帯域幅パラメータである。当該帯域幅パラメータはトレーニング前に経験に基づいて調整してもよい。ｅはネイピア数である。
図３に示すように、一実施例では、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定すること、次のステップを含んでよい。
Ｓ３０２において、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第１差異損失を決定する。ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて第１差異損失を決定する。
Ｓ３０４において、ソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得する。
コンピュータ機器は当該ニューラルネットワークモデルによってソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、当該ニューラルネットワークモデルによってターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得するようにしてもよい。
Ｓ３０６において、ソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得する。
コンピュータ機器は当該ニューラルネットワークモデルによってソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、当該ニューラルネットワークモデルによってターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するようにしてもよい。
Ｓ３０８において、ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第２差異損失を決定する。ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、第２差異損失を決定する。
Ｓ３１０において、第１差異損失及び第２差異損失に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
本実施例では、第１差異損失の決定時に、カーネル関数の入力はソースドメインデータに対応するソースドメインサンプリング特徴及びターゲットドメインデータに対応するターゲットサンプリング特徴である。第２差異損失の決定時に、カーネル関数の入力はソースドメインデータに対応するソースドメインマッピング結果及びターゲットドメインデータに対応するターゲットマッピング結果である。コンピュータ機器が第１差異損失及び第２差異損失に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を決定する時には、あらかじめ設定されたルールを用いて第１差異損失及び第２差異損失にあらかじめ設定された処理を行って、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく差異損失を取得するようにしてもよい。例えば、第１差異損失と第２差異損失の重み付き和を求め、最大平均差異に基づく差異損失を取得する。
本実施例のモデルトレーニング方法によれば、特徴抽出後及び全結合マッピング後に、最大平均差異に基づく第１差異損失及び第２差異損失をそれぞれ取得するステップにより、ソースドメインデータとターゲットドメインデータ差異が一層減らされる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性が一層向上される。
一実施例では、当該組織結節検出トレーニングモデルは肺結節検出トレーニングモデルである。図４に示すように、トレーニングの過程でニューラルネットワークモデルは候補抽出ネットワーク及び分類ネットワークを含む。コンピュータ機器は当該候補抽出ネットワークによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得するようにしてもよい。コンピュータ機器は当該候補抽出ネットワークによってソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得する。任意選択で、下位層及び上位層の特徴を組み合わせたネットワーク構造を候補抽出ネットワークとしてもよい。例えば、候補抽出ネットワークは３Ｄ ＣＮＮ（三次元畳み込みニューラルネットワーク）構造であり、３Ｄ Ｕ−Ｎｅｔ（三次元エッジ検出畳み込みニューラルネットワーク）、３Ｄ ＦＰＮ（三次元特徴ピラミッドネットワーク）等のモデルであってよく、三次元ＣＴ画像からサンプリングされた立方体領域に入力され、立方体領域中の肺結節候補位置の座標及び直径が出力される。検出漏れ率が低くなるように、候補抽出ネットワークの検出閾値は比較的小さい値に設定されてもよい。
候補抽出ネットワークによって生成された偽陽性の検出結果を除き、検出の正確性を上げるために、候補抽出ネットワークをベースにして、分類ネットワークによって、抽出された候補位置をさらに分類してもよい。当該分類ネットワークによってソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するようにしてもよい。例えば、分類ネットワークは候補位置を中心とする比較的小さな立方体の画像を入力として抽出し、当該候補領域が真陽性である確率を出力し、候補の肺結節の座標をわずか調整してもよい。
一実施例では、図５に示すように、トレーニングの過程でニューラルネットワークモデルは３Ｄ Ｆａｓｔｅｒ ＲＣＮＮ（三次元高速領域畳み込みニューラルネットワーク）であってもよい。当該３Ｄ Ｆａｓｔｅｒ ＲＣＮＮのネットワーク構造は１つの３Ｄ領域抽出ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、略称ＲＰＮ）ブランチと、１つの分類回帰ブランチとを含んでよい。コンピュータ機器はＣＮＮに基づく特徴抽出ネットワークにおいてソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を得た後、領域抽出ネットワークブランチによってソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得する。コンピュータ機器は分類回帰ブランチによってソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得する。なお、この２つのブランチはＣＮＮに基づく特徴抽出ネットワークによって抽出されたサンプリング特徴を共用する。３Ｄ領域抽出ブランチは検出ターゲットとして可能性が最も高い領域を出力し、プーリング層によって当該領域の特徴を抽出して、分類回帰ブランチによる当該領域が肺結節である確率及び座標の学習に供する。
一実施例では、損失関数値、距離パラメータ及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する前記ステップは、コンピュータ機器は損失関数値及び距離パラメータに基づいて、総損失関数値を決定することと、総損失関数値及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定することと、を含む。
総損失関数値は当該ニューラルネットワークモデルがトレーニングの過程で、当該ニューラルネットワークモデルが最適な損失関数であるか否かを決定するための値である。当該総損失関数値はソースドメイン画像に対応する損失関数値、及びソースドメインデータとターゲットドメインデータの距離パラメータに基づいて決定される。これにより、距離パラメータは損失関数値に影響を与える影響因子として、組織結節検出モデルのトレーニングの過程で、ソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らす。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する性を向上する。
総損失関数値が収束する場合に、この時のニューラルネットワークモデルを最適なニューラルネットワークモデルとして決定し、即ち、当該ニューラルネットワークモデルを組織結節検出モデルとする。即ち、総損失関数値が収束する場合にニューラルネットワークモデルに対応するネットワークパラメータを、組織結節検出モデルのネットワークパラメータとする。さらに、あらかじめ設定された時間内に総損失関数値が収束する場合には、この時のニューラルネットワークモデルを組織結節検出モデルとしてもよい。あらかじめ設定された時間内に総損失関数値が収束しない場合には、あらかじめ設定された時間になる時のニューラルネットワークモデルを組織結節検出モデルとしてもよい。あらかじめ設定された時間はトレーニング時間がプリセット値になるまでの時間であってもよいし、トレーニングの過程中の繰り返し更新の回数がプリセット値になるまでの時間であってもよい。
一実施例では、距離パラメータは最大平均差異の二乗を含み、損失関数値及び距離パラメータに基づいて、総損失関数値を決定する前記ステップは、コンピュータ機器は最大平均差異の二乗と損失関数値を線形加算して、総損失関数値を取得するステップを含む。
線形加算とは、各被加データとあらかじめ設定された係数をそれぞれ乗算した後、加算演算を行うことであってもよい。当該損失関数値は領域抽出結果に基づく領域損失関数値、分類結果に基づく分類損失関数値、及び正規化結果に基づく正規化損失関数値を含んでよい。本実施例では、最大平均差異の二乗と損失関数値の線形加算の方式により、総損失関数値を取得する。これにより、計算量が減り、モデルトレーニングの効率が向上される。
一実施例では、総損失関数値は次のように示すことができる。
Ｌ＝ＬＲＰＮ＋ＬＣｌｓ＋ＬＲｅｇ＋λＭＭＤ２（Ｓ，Ｔ）
ここで、ＬＲＰＮは領域抽出結果に基づく領域損失関数値であり、ＬＣｌｓは分類結果に基づく分類損失関数値であり、ＬＲｅｇは正規化結果に基づく正規化損失関数値であり、ＭＭＤ２（Ｓ，Ｔ）はソースドメインデータとターゲットドメインデータの最大平均差異の二乗である。λはハイパーパラメータであり、トレーニング前に経験に基づいて調整することができる。
一実施例では、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得する前記ステップは、コンピュータ機器はソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン組織領域及びターゲット組織領域を取得するステップと、ニューラルネットワークモデルによってソースドメイン組織領域及びターゲット組織領域に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得するステップと、を含む。
本願の実施例では、分割とは、画像における非組織領域を除き、スライス等の方式により、画像における組織領域を保持することである。コンピュータ機器はソースドメイン画像に分割を行ってソースドメイン組織領域を取得し、ターゲット画像に分割を行ってターゲット組織領域を取得する。このように、ソースドメイン画像及びターゲット画像に前処理を行う。一実施例では、コンピュータ機器はソースドメイン画像における画素値を０〜１の領域に調整し、その後、ソースドメイン組織領域、例えば、ソースドメイン肺部領域を分割してもよい。これに対応して、コンピュータ機器はターゲット画像における画素値を０〜１の領域に調整し、その後、ターゲット組織領域、例えば、ターゲット肺部領域を分割してもよい。これにより、計算しやすくもなり、モデルトレーニングの効率が向上される。
本実施例のモデルトレーニング方法によれば、コンピュータ機器はソースドメイン画像を分割して、ソースドメイン画像における組織領域のエッジの部分を除去し、次に分割後の結果に基づいて特徴抽出を行う。これにより、ノイズが減らされ、モデルの正確性が一層向上される。
一実施例では、図４に示すように、コンピュータ機器は当該ニューラルネットワークモデルの候補抽出ネットワークによって、ソースドメイン画像を分割してソースドメイン組織領域を取得し、ターゲット画像に分割を行ってターゲット組織領域を取得するようにしてもよい。
一実施例では、ソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン組織領域及びターゲット組織領域を取得するステップは、コンピュータ機器はソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン肺部領域及びターゲット肺部領域を取得するステップを含む。肺結節検出はコンピュータによる肺がん診断支援システムで重要な部分である。肺部ＣＴ画像から検出された肺結節は肺がんの早期スクリーニング及び初歩的な診断のための重要な参考である。本実施例の方法では、組織結節検出モデルトレーニング方法は肺結節検出モデルトレーニングに適用され、肺結節検出にドメイン適応技術を導入することによって、ニューラルネットワークモデルの中間層は異なる分布（ソースドメインデータ及びターゲットドメインデータ）に由来する画像に対して、一致する特徴を出力することができる。これにより、後になって異なる分布に由来する画像に対して一致する検出結果を与えることができる。ターゲット画像における肺結節検出の正確性が上がり、最終的により信頼性の高い支援診断結果を与えることができる。
一実施例では、上記ソースドメインデータにおけるソースドメイン画像とターゲットドメインデータにおけるターゲット画像は数量関係を満たす。数量関係はソースドメイン画像の数量とターゲット画像の数量の比の値がプリセット値であるステップとしてもよい。当該プリセット値は閾値以下であり、当該閾値は１０、５、２、１等であってもよい。これにより、ターゲット画像とソースドメイン画像の数量上の関係を保つことで、ソースドメインデータとターゲットドメインデータの距離パラメータという要素の、組織結節検出モデルの決定時におけるその影響が保証される。これにより、検出の正確性を向上する性を向上する。
一実施例では、ソースドメインデータにおけるソースドメイン画像とターゲットドメインデータにおけるターゲット画像は数量が同じである。即ち、ソースドメイン画像の数量とターゲット画像の数量の比の値が１であり、即ちプリセット値は１である。これにより、ターゲット画像とソースドメイン画像の数量が等しいという関係を保つことで、ソースドメインデータとターゲットドメインデータの距離パラメータという要素の、組織結節検出モデルの決定時におけるその一定の影響が保証される。これにより、検出の正確性を向上する性を向上する。
一実施例では、ニューラルネットワークモデルによってソースドメイン画像及びターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定することは、コンピュータ機器は第１ニューラルネットワークモデルによってソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定することと、第２ニューラルネットワークモデルによってターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、第２ニューラルネットワークモデルと第１ニューラルネットワークモデルとで重みが共有されるステップと、を含む。
重みが共有されることは、第１ニューラルネットワークモデルと第２ニューラルネットワークモデルとでネットワークパラメータが共有されることである。２つのネットワークのネットワークパラメータを同じ位置に記憶することで実現してもよいし、一方のネットワークのネットワークパラメータが更新されると同時に、他方のネットワークのネットワークパラメータを更新することで実現してもよい。これにより、第１ニューラルネットワークモデルと第２ニューラルネットワークモデルのネットワークパラメータが常に一致することが保証されるとともに、２つのニューラルネットワークモデルは同時に動作することになり、モデルトレーニングの効率が向上される。
一実施例では、図６に示すように、トレーニングの過程で用いるニューラルネットワークモデルは３Ｄ Ｆａｓｔｅｒ ＲＣＮＮである。ネットワークのトレーニングデータの各バッチ（ｂａｔｃｈ）では、使用されるサンプリングデータはソースドメイン（Ｓｏｕｒｃｅ Ｄｏｍａｉｎ）に由来するソースドメインデータ及びターゲットドメイン（Ｔａｒｇｅｔ Ｄｏｍａｉｎ）に由来するターゲットドメインデータを含む。ソースドメインとは原データセット中の画像の分布であり、ターゲットドメインとは検出アルゴリズムによって実際に配置されたシーン中の画像の分布である。一般に、この２つの分布には明らかな違いがある。ソースドメイン中のソースドメイン画像には画像アノテーションが含まれ、画像アノテーションはソースドメイン画像における肺結節の位置情報、例えば、座標及び直径を説明するものであり、ターゲットドメイン画像には一切のアノテーションが含まれない。即ち、ソースドメインデータにはアノテーションのあるソースドメイン画像が含まれ、ターゲットドメインデータにはアノテーションのないターゲット画像が含まれる。アノテーションのあるソースドメイン画像の出力に対しては、Ｆａｓｔｅｒ ＲＣＮＮアルゴリズムによって領域抽出結果に基づく領域損失関数値、分類結果に基づく分類損失関数値、及び正規化結果に基づく正規化損失関数値を算出する。アノテーションのないターゲット画像は、当該ニューラルネットワークの順伝播を入力して、ターゲットサンプリング特徴を生成するために用いられる。本実施例では、３Ｄ Ｆａｓｔｅｒ ＲＣＮＮの２か所にそれぞれ最大平均差異に基づく損失関数、即ち差異損失を追加する。１か所は領域特徴抽出ネットワークより前の層、即ち特徴抽出ネットワーク層にある。もう１か所は、分類回帰より前の層、即ち全結合層である。ここで、最大平均差異に基づく損失関数は２つの分布間の差異を最小化するためのものであり、３Ｄ Ｆａｓｔｅｒ ＲＣＮＮのトレーニングに最大平均差異に基づく差異損失を加えることによって実現する。１か所目に最大平均差異に基づく損失関数を追加し、即ち、ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第１差異損失を決定することにより、３Ｄ Ｆａｓｔｅｒ ＲＣＮＮが入力されたソースドメイン画像及びターゲット画像に抽出した特徴は一致するようになり、検出機能が得られるとともに、ネットワークによってソースドメイン画像に対して抽出されたソースドメインサンプリング特徴及びターゲット画像に対して抽出されたターゲットサンプリング特徴は類似する分布を有する。２か所目に最大平均差異に基づく損失関数を追加し、即ち、ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異に基づく第２差異損失を決定することにより、ネットワークによって抽出されたソースドメイン候補領域及びターゲット候補領域の特徴は一致するようになる。ソースドメイン及びターゲットドメインの一致する特徴によってトレーニングして得たニューラルネットワークモデルは、同様にソースドメイン及びターゲットドメインが一致するものである。このように、ターゲットドメインに対するモデルの一般化が増し、検出の正確性を向上する性を向上する。
当該実施例では、図６に示すように、上方の第１ニューラルネットワークモデルと下方の第２ニューラルネットワークモデルは構造が同じであり、それぞれソースドメイン及びターゲットドメインの画像を入力として受け取り、共有されるネットワークパラメータによって、対応する距離パラメータが生成される。ターゲット画像にはアノテーションがないため、第２ニューラルネットワークモデルがターゲットドメインデータに基づく損失関数値を生成しない。
当該実施例では、ドメイン適応（ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ）技術によりソースドメインデータと分布が異なる被検画像に対する肺結節検出モデルのパフォーマンスを向上させる。３Ｄ Ｆａｓｔｅｒ ＲＣＮＮ検出アルゴリズムに基づいて、ソースドメインデータを用いて畳み込みニューラルネットワークをトレーニングすると同時に、当該トレーニングバッチにアノテーションのないターゲットドメインデータを加えて順伝播を行い、ＲＰＮ層及び全結合層にそれぞれ最大平均差異に基づく差異損失を追加することによって、ソースドメインデータの特徴分布とターゲットドメインデータの特徴分布の距離を最小化する。これにより、モデルに検出機能が得られると同時に、畳み込みニューラルネットワーク中間層はソースドメインデータ及びターゲットドメインデータから一致するサンプリング特徴を抽出して、一致する検出結果を与え、検出の正確性を向上する性を向上する。また、アノテーションのないターゲットドメイン画像を追加で提供するだけで、異なる分布の画像に対するモデルの検出時のパフォーマンスを向上させ、診断支援の信頼性を高めることができる。
一実施例では、組織結節検出モデルトレーニング方法が提供され、当該方法は、
ソースドメイン画像と画像アノテーションとを含むソースドメインデータ、及びソースドメインデータにおけるソースドメイン画像と数量が同じのターゲット画像を含むターゲットドメインデータを取得することと、
ソースドメイン画像及びターゲット画像をそれぞれ分割して、ソースドメイン組織領域及びターゲット組織領域を取得するステップと、
第１ニューラルネットワークモデルによってソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、ソースドメインサンプリング特徴に基づいてトレーニング結果を決定することと、
第２ニューラルネットワークモデルによってターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得し、第２ニューラルネットワークモデルと第１ニューラルネットワークモデルとで重みが共有されるステップと、
ソースドメインサンプリング特徴及びターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によってソースドメインデータとターゲットドメインデータの最大平均差異に基づく第１差異損失を決定することと、
ソースドメインサンプリング特徴及びターゲットサンプリング特徴にそれぞれターゲット領域抽出を行って、ソースドメイン候補領域及びターゲット候補領域を取得するステップと、
ソースドメインサンプリング特徴及びソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、ターゲットサンプリング特徴及びターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するステップと、
ソースドメインマッピング結果及びターゲットマッピング結果に基づいて、ガウシアンカーネル関数によってソースドメインデータとターゲットドメインデータの最大平均差異に基づく第２差異損失を決定することと、
第１差異損失及び第２差異損失に基づいて、ソースドメインデータとターゲットドメインデータの最大平均差異の二乗を決定することと、
トレーニング結果及び画像アノテーションに基づいて、ソースドメイン画像に対応する損失関数値を決定することと、
最大平均差異の二乗と損失関数値を線形加算して、総損失関数値を取得するステップと、
総損失関数値及びニューラルネットワークモデルに基づいて、組織結節検出モデルを決定することと、を含む。
図７に示すように、一実施例では、前記組織結節検出モデルトレーニング方法に対応する組織結節検出方法が提供され、本実施例では主に当該方法が前記図１のコンピュータ機器に適用されるのを例にして説明する。当該組織結節検出方法は、
被検出画像を取得するＳ７０２と、
ターゲット画像とデータ構造が同じである被検出画像を前記組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得するＳ７０４と、を含む。
例えば、前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
被検出画像は組織領域検出の対象画像である。なお、当該被検出画像はターゲットドメインに属する。当該組織結節検出モデルは抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らせるため、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性を向上する性を向上する。
アノテーションのないターゲットドメインデータを追加で提供するだけで、トレーニングによって、組織ＣＴ走査のイメージング条件によって変わらない組織結節検出モデルを取得するステップができるため、ユーザーは１回の追加の操作で、ローカルのＣＴ装置によって生成された組織走査画像データをアップロードするだけで済む。ユーザーはこれらのローカルのＣＴ画像に対し人力によるアノテーションを行う必要がない。ドメイン適応方法によりトレーニングされた当該組織結節検出モデルを使用する場合に、アノテーションのあるソースドメインデータと分布が異なるターゲットドメインデータにおいてより高い組織結節再現率及びより低い誤検出率が実現され、コンピュータによる組織がん化診断支援システムの信頼性が向上された。
また、本実施例の組織結節検出方法では、ユーザー（医師）にとって透明性が高い状態で組織結節検出の正確率及び信頼性を上げることが可能であり、ユーザーのこれまでに形成された使用上の習慣に矛盾がなく、ユーザーの使用習慣を変えるようなことは避けられる。
なお、図２、図３、図７のフローチャートで各ステップは矢印で示す順番に表示されるが、これらのステップは必ずしも矢印で示す順番に実行されるとは限らない。本明細書で明確な説明がない限りは、これらのステップの実行に順番上の厳格な制限はなく、これらのステップは他の順番で実行されてもよい。さらに、図２、図３、図７で少なくとも一部のステップは複数のサブステップ又は複数の段階を含み取得する。これらのサブステップ又は段階は必ずしも同じ時刻に実行して完了されるものではなく、異なる時刻に実行されてもよく、これらのサブステップ又は段階の実行の順番は必ずしも順を追って行われることではなく、他のステップもしくは他のステップのサブステップ又は段階の少なくとも一部と入れ替えて又は交互に実行されてもよい。
一実施例では、図８に示すように、図１のコンピュータ機器において動作する組織結節検出モデルトレーニング装置が提供され、
ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュール８０２と、
ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュール８０４と、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュール８０６と、
前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュール８０８と、
前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュール８１０と、が含まれる。
当該組織結節検出モデルトレーニング装置では、組織結節検出モデルの決定時に、ソースドメインデータと前記ターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。これにより、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出する場合に、検出の正確性を向上する。
一実施例では、前記距離パラメータは最大平均差異に基づく差異損失を含み、前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
一実施例では、前記距離パラメータ決定モジュールは、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によって前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する。
一実施例では、前記距離パラメータ決定モジュールは、
前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第１差異損失を決定する第１差異損失ユニットと、
前記ソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、前記ターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得する候補領域決定ユニットと、
前記ソースドメインサンプリング特徴及び前記ソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、前記ターゲットサンプリング特徴及び前記ターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するマッピング結果決定ユニットと、
前記ソースドメインマッピング結果及び前記ターゲットマッピング結果に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第２差異損失を決定する第２差異損失ユニットと、
前記第１差異損失及び前記第２差異損失に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する総合差異決定ユニットと、を含む。
一実施例では、前記装置は、前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定する総損失決定モジュールをさらに含み、
モデル決定モジュールはさらに、前記総損失関数値及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する。
一実施例では、前記距離パラメータは最大平均差異の二乗を含み、総損失決定モジュールは、前記最大平均差異の二乗と前記損失関数値を線形加算して、総損失関数値を取得する。
一実施例では、当該装置は、用于前記ソースドメイン画像を分割して、ソースドメイン組織領域を取得し、前記ターゲット画像を分割して、ターゲット組織領域を取得する組織領域分割モジュールをさらに含み、
特徴抽出トレーニングモジュールは、ニューラルネットワークモデルによって前記ソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得する。
一実施例では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量関係を満たす。
一実施例では、前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量が同じである。
一実施例では、前記特徴抽出トレーニングモジュールは、
第１ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングユニットと、
第２ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、前記第２ニューラルネットワークモデルと前記第１ニューラルネットワークモデルとで重みが共有される特徴抽出ユニットと、を含む。
一実施例では、図９に示すように、前記組織結節検出モデルトレーニング方法に対応する、図１のコンピュータ機器において動作する組織結節検出装置が提供され、
被検出画像を取得する被検出画像取得モジュール９０２と、
前記ターゲット画像とデータ構造が同じである前記被検出画像を前記組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュール９０４と、が含まれる。
例えば、前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ、及びターゲット画像を含むターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
被検出画像は組織領域検出の対象画像である。なお、当該被検出画像はターゲットドメインに属する。当該組織結節検出モデルは抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らせるため、当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性を向上する。
一実施例では、コンピュータ機器が提供され、当該コンピュータ機器はサーバであってよく、その内部構造は図１に示すものであってもよい。当該コンピュータ機器は、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記プロセッサが前記コンピュータプログラムを実行すると、前記組織結節検出モデルトレーニング方法及び／又は組織結節検出方法のステップが実現される。
一実施例では、コンピュータ可読記憶媒体が提供され、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、前記組織結節検出モデルトレーニング方法及び／又は組織結節検出方法のステップが実現される。
一実施例では、前記組織結節検出方法、装置に対応する組織結節検出システムが提供され、前記システムは、
ターゲットドメインデータ及び被検出画像を収集する画像収集モジュールと、
前記画像収集モジュールによって収集された被検出画像を取得する被検出画像取得モジュールと、
前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールと、を含み、
前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。
なお、画像収集モジュール、被検出画像取得モジュール、検出モデル検出モジュールは同一の機器のメモリに記憶されてよく、即ち同一の機器によって、ターゲットドメインデータ及び被検出画像を収集するステップ、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得するステップを実行してもよい。画像収集モジュール、被検出画像取得モジュール、検出モデル検出モジュールは異なる機器のメモリに記憶されてもよく、そして、異なる機器によって、ターゲットドメインデータ及び被検出画像を収集するステップ、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得するステップを実行してもよい。例えば、１つの機器又は同じタイプの機器によって、ターゲットドメインデータ及び被検出画像を収集するステップを実行し、もう１つの機器又は別のタイプの機器によって、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力するステップを実行してもよい。
本実施例の組織結節検出システムでは、ターゲットドメインデータ及び被検出画像を収集し、前記画像収集モジュールによって収集された被検出画像を取得し、前記ターゲット画像とデータ構造が同じである前記被検出画像を組織結節検出モデルトレーニング装置によって得られる組織結節検出モデルに入力して、結節位置情報を取得する。ここで、前記組織結節検出モデルトレーニング装置は、ソースドメイン画像と画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像及び前記ターゲット画像に特徴抽出を行って、ソースドメインサンプリング特徴及びターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む。組織結節検出モデルの決定時に、ソースドメインデータと前記ターゲットドメインデータの距離パラメータという要素を加えるため、当該組織結節検出モデルによって抽出されたソースドメインデータとターゲットドメインデータのサンプリング特徴間の差異を減らすことができる。当該組織結節検出モデルによってターゲットドメイン中のデータから組織結節を検出することにより、検出の正確性を向上する。これによって、当該組織結節検出システムによって組織結節検出を行うことで、検出の正確性を向上する。
一実施例では、前記システムは画像収集機器と、組織結節検出機器とを含み、前記画像収集機器のメモリには前記画像収集モジュールが記憶され、前記組織結節検出機器のメモリには、前記被検出画像取得モジュール及び前記検出モデル検出モジュールが記憶される。
画像収集機器は組織画像を収集する機器であり、例えば、ＣＴイメージング機器であってもよい。組織結節検出機器はメモリと、プロセッサとを含んでよく、前記メモリには被検出画像取得モジュール及び前記検出モデル検出モジュールが記憶されており、プロセッサはメモリに記憶されている各モジュールを呼び出す時、前記組織結節検出方法を実行できる。
本実施例の組織結節検出システムでは、画像収集機器によってターゲットドメインデータ及び被検出画像を収集するステップを実行し、組織結節検出機器によって、前記画像収集モジュールによって収集された被検出画像を取得するステップ、及び前記被検出画像を組織結節検出モデルに入力するステップを実行してもよい。これにより、組織によって異なる画像収集機器を設定して、システムの適合性を高めることができ、システムの正確性が一層向上される。
当業者に理解されるように、前記実施例の方法の全ての又は一部のプロセスを実現することは、コンピュータプログラムによって関連のハードウェア（例えば、プロセッサ）を指示することで完了されてよく、前記コンピュータプログラムは不揮発性コンピュータ可読記憶媒体に記憶されてよく、当該コンピュータプログラムは、前記各方法の実施例のプロセスを含むように実行されてもよい。ここで、本願に係る各実施例でメモリ、ストレージ、データベース又は他の媒体が言及される場合に、いずれも不揮発性及び／又は揮発性メモリが含まれ取得する。不揮発性メモリには読み取り専用メモリ（ＲＯＭ）、プログラム可能ＲＯＭ（ＰＲＯＭ）、電気的プログラム可能ＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリが含まれ取得する。揮発性メモリには、ランダムアクセスメモリ（ＲＡＭ）、外部キャッシュメモリが含まれ取得する。非限定的な説明ではあるが、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトラムバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びラムバスダイナミックＲＡＭ（ＲＤＲＡＭ）等のさまざまな形態であり取得する。
前記実施例の各技術的特徴は任意に組み合わせることができ、説明の簡素化のために、前記実施例の各技術的特徴の全ての可能な組み合わせを説明していないが、これらの技術的特徴の組み合わせに矛盾がなければ、いずれも本明細書に記載された範囲内のものとみなされる。
前記実施例では本願のいくつかの実施形態を示しており、しかも具体的で且つ詳細に説明されてはいるが、本発明の特許請求の範囲を限定するものとは理解されない。なお、当業者が本願の趣旨から逸脱しないことを前提に、さまざまな変形と改善を加えることができ、これらはいずれも本願の保護範囲に含まれる。したがって、本願の保護範囲は特許請求の範囲に準拠する。
８０２ キーベクトル取得モジュール
８０４ 候補ウェブページ決定モジュール
８０６ イベント決定モジュール
８０８ 発見結果決定モジュール
８１０ モデル決定モジュール
９０２ 被検出画像取得モジュール
９０４ 検出モデル検出モジュール

Claims (17)

  1. コンピュータ機器が実行する組織結節検出モデルトレーニング方法であって、
    ソースドメインデータ及びターゲットドメインデータを取得するステップであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示するものである、ステップと、
    ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定するステップであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示すものである、ステップと、
    前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するステップと、
    前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、を含む方法。
  2. 前記距離パラメータは最大平均差異に基づく差異損失を含み、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する前記ステップは、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定するステップを含むことを特徴とする請求項１に記載の方法。
  3. 前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する前記ステップは、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、ガウシアンカーネル関数によって前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定するステップを含むことを特徴とする請求項２に記載の方法。
  4. 前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定する前記ステップは、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第１差異損失を決定するステップと、
    前記ソースドメインサンプリング特徴にターゲット領域抽出を行って、ソースドメイン候補領域を取得し、前記ターゲットサンプリング特徴にターゲット領域抽出を行って、ターゲット候補領域を取得するステップと、
    前記ソースドメインサンプリング特徴及び前記ソースドメイン候補領域にプーリング処理を行った後、マッピングによりソースドメインマッピング結果を取得し、前記ターゲットサンプリング特徴及び前記ターゲット候補領域にプーリング処理を行った後、マッピングによりターゲットマッピング結果を取得するステップと、
    前記ソースドメインマッピング結果及び前記ターゲットマッピング結果に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく第２差異損失を決定するステップと、
    前記第１差異損失及び前記第２差異損失に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの最大平均差異に基づく差異損失を決定するステップと、を含むことを特徴とする請求項２に記載の方法。
  5. 前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定する前記ステップは、
    前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定するステップと、
    前記総損失関数値及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するステップと、を含むことを特徴とする請求項１に記載の方法。
  6. 前記距離パラメータは最大平均差異の二乗を含み、
    前記損失関数値及び前記距離パラメータに基づいて、総損失関数値を決定する前記ステップは、
    前記最大平均差異の二乗と前記損失関数値を線形加算して、総損失関数値を取得するステップを含むことを特徴とする請求項５に記載の方法。
  7. ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得する前記ステップは、
    前記ソースドメイン画像を分割して、ソースドメイン組織領域を取得し、前記ターゲット画像を分割して、ターゲット組織領域を取得するステップと、
    ニューラルネットワークモデルによって前記ソースドメイン組織領域に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット組織領域に特徴抽出を行って、ターゲットサンプリング特徴を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
  8. 前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量的関係を満たすことを特徴とする請求項１から７のいずれか一項に記載の方法。
  9. 前記ソースドメインデータにおける前記ソースドメイン画像と前記ターゲットドメインデータにおける前記ターゲット画像は数量が同じであることを特徴とする請求項８に記載の方法。
  10. ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する前記ステップは、
    第１ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行って、ソースドメインサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定するステップと、
    第２ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行って、ターゲットサンプリング特徴を取得し、前記第２ニューラルネットワークモデルと前記第１ニューラルネットワークモデルとで重みが共有されるステップと、を含むことを特徴とする請求項１から７のいずれか一項に記載の方法。
  11. コンピュータ機器に用いられる組織結節検出モデルトレーニング装置であって、
    ソースドメインデータ及びターゲットドメインデータを取得するトレーニングデータ取得モジュールであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示する、トレーニングデータ取得モジュールと、
    ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す、距離パラメータ決定モジュールと、
    前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
    前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む装置。
  12. コンピュータ機器が実行する組織結節検出方法であって、
    被検出画像を取得するステップと、
    前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得するステップであって、前記組織結節検出モデルは組織結節検出モデルトレーニング装置によって得られ、前記被検出画像は前記ターゲット画像とデータ構造が同じであるものである、ステップと、を含み、
    前記組織結節検出モデルトレーニング装置は、
    ソースドメインデータ及びターゲットドメインデータを取得するトレーニングデータ取得モジュールであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示する、トレーニングデータ取得モジュールと、
    ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す、距離パラメータ決定モジュールと、
    前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
    前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む方法。
  13. コンピュータ機器に用いられる組織結節検出装置であって、
    被検出画像を取得する被検出画像取得モジュールと、
    前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールであって、前記組織結節検出モデルは組織結節検出モデルトレーニング装置によって得られ、前記被検出画像は前記ターゲット画像とデータ構造が同じである、検出モデル検出モジュールと、を含み、
    前記組織結節検出モデルトレーニング装置は、
    ソースドメインデータ及びターゲットドメインデータを取得するトレーニングデータ取得モジュールであって、前記ソースドメインデータはソースドメイン画像と画像アノテーションとを含み、前記画像アノテーションは前記ソースドメイン画像における組織結節の位置情報を指示する、トレーニングデータ取得モジュールと、
    ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、
    前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータの距離パラメータを決定する距離パラメータ決定モジュールであって、前記距離パラメータは前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す、距離パラメータ決定モジュールと、
    前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、
    前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む装置。
  14. コンピュータプログラムが記憶されているメモリと、プロセッサとを含むコンピュータ機器であって、前記プロセッサが前記コンピュータプログラムを実行すると、請求項１から１０、及び請求項１２のいずれか一項に記載の方法のステップが実現されることを特徴とするコンピュータ機器。
  15. 組織結節検出システムであって、
    ターゲットドメインデータ及び被検出画像を収集する画像収集モジュールと、
    前記画像収集モジュールによって収集された被検出画像を取得する被検出画像取得モジュールと、
    前記被検出画像を組織結節検出モデルに入力して、結節位置情報を取得する検出モデル検出モジュールであって、前記組織結節検出モデルは組織結節検出モデルトレーニング装置によって得られ、前記被検出画像は前記ターゲット画像とデータ構造が同じである、検出モデル検出モジュールと、を含み、
    前記組織結節検出モデルトレーニング装置は、
    ソースドメイン画像と前記ソースドメイン画像における組織結節の位置情報を指示する画像アノテーションとを含むソースドメインデータ及び前記画像収集モジュールによって収集された、ターゲット画像を含む前記ターゲットドメインデータを取得するトレーニングデータ取得モジュールと、ニューラルネットワークモデルによって前記ソースドメイン画像に特徴抽出を行ってソースドメインサンプリング特徴を取得し、前記ニューラルネットワークモデルによって前記ターゲット画像に特徴抽出を行ってターゲットサンプリング特徴を取得し、前記ソースドメインサンプリング特徴に基づいてトレーニング結果を決定する特徴抽出トレーニングモジュールと、前記ソースドメインサンプリング特徴及び前記ターゲットサンプリング特徴に基づいて、前記ソースドメインデータと前記ターゲットドメインデータのデータ差異の大きさを示す距離パラメータを決定する距離パラメータ決定モジュールと、前記トレーニング結果及び前記画像アノテーションに基づいて、前記ソースドメイン画像に対応する損失関数値を決定するソースドメイン損失決定モジュールと、前記損失関数値、前記距離パラメータ及び前記ニューラルネットワークモデルに基づいて、組織結節検出モデルを決定するモデル決定モジュールと、を含む、システム。
  16. 画像収集機器と、組織結節検出機器と、を含み、前記画像収集機器のメモリには前記画像収集モジュールが記憶され、前記組織結節検出機器のメモリには、前記被検出画像取得モジュール及び前記検出モデル検出モジュールが記憶されていることを特徴とする請求項１５に記載のシステム。
  17. 請求項１から１０、及び請求項１２のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
JP2020560811A 2018-11-08 2019-11-05 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム Active JP7086336B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811326267.4A CN109523526B (zh) 2018-11-08 2018-11-08 组织结节检测及其模型训练方法、装置、设备和系统
CN201811326267.4 2018-11-08
PCT/CN2019/115822 WO2020094026A1 (zh) 2018-11-08 2019-11-05 组织结节检测及其模型训练方法、装置、设备和系统

Publications (2)

Publication Number Publication Date
JP2021520568A true JP2021520568A (ja) 2021-08-19
JP7086336B2 JP7086336B2 (ja) 2022-06-20

Family

ID=65774289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020560811A Active JP7086336B2 (ja) 2018-11-08 2019-11-05 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム

Country Status (5)

Country Link
US (1) US11880972B2 (ja)
EP (1) EP3879485B1 (ja)
JP (1) JP7086336B2 (ja)
CN (1) CN109523526B (ja)
WO (1) WO2020094026A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022538137A (ja) * 2020-04-30 2022-08-31 上▲海▼商▲湯▼智能科技有限公司 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
CN109523526B (zh) 2018-11-08 2021-10-22 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
US11222210B2 (en) * 2018-11-13 2022-01-11 Nec Corporation Attention and warping based domain adaptation for videos
US11842517B2 (en) * 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110084314B (zh) * 2019-05-06 2021-08-13 西安交通大学 一种针对靶向捕获基因测序数据的假阳性基因突变过滤方法
CN110459303B (zh) * 2019-06-27 2022-03-08 浙江工业大学 基于深度迁移的医疗影像异常检测装置
CN110516671B (zh) * 2019-08-27 2022-06-07 腾讯科技（深圳）有限公司 神经网络模型的训练方法、图像检测方法及装置
CN112446239A (zh) * 2019-08-29 2021-03-05 株式会社理光 神经网络的训练及目标检测方法、设备及存储介质
CN110807760B (zh) * 2019-09-16 2022-04-08 北京农业信息技术研究中心 一种烟叶分级方法及系统
CN110930386B (zh) * 2019-11-20 2024-02-20 重庆金山医疗技术研究院有限公司 图像处理方法、装置、设备及存储介质
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
CN110990135B (zh) * 2019-11-28 2023-05-12 中国人民解放军国防科技大学 基于深度迁移学习的Spark作业时间预测方法和装置
KR20210074748A (ko) * 2019-12-12 2021-06-22 삼성전자주식회사 도메인 적응에 기반한 네트워크의 트레이닝 방법, 동작 방법 및 동작 장치
CN113065662A (zh) * 2020-01-02 2021-07-02 阿里巴巴集团控股有限公司 数据处理方法、自学习系统及电子设备
CN111260618B (zh) * 2020-01-13 2023-08-25 北京妙医佳健康科技集团有限公司 病灶检测系统构建的方法、装置及电子设备
EP3872695A1 (en) * 2020-02-28 2021-09-01 Toyota Jidosha Kabushiki Kaisha A method and system of adapting an initial model of a neural network
US11544503B2 (en) * 2020-04-06 2023-01-03 Adobe Inc. Domain alignment for object detection domain adaptation tasks
CN111582449B (zh) * 2020-05-07 2023-08-04 广州视源电子科技股份有限公司 一种目标域检测网络的训练方法、装置、设备及存储介质
CN111814655B (zh) * 2020-07-03 2023-09-01 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
CN112257809B (zh) * 2020-11-02 2023-07-14 浙江大华技术股份有限公司 目标检测网络优化方法和装置、存储介质及电子设备
CN112561053B (zh) * 2020-11-10 2023-09-08 北京百度网讯科技有限公司 图像处理方法、预训练模型的训练方法、装置和电子设备
US11410309B2 (en) * 2020-12-03 2022-08-09 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and computer program product for deep lesion tracker for monitoring lesions in four-dimensional longitudinal imaging
CN112614108B (zh) * 2020-12-24 2024-04-19 中国人民解放军总医院第一医学中心 基于深度学习检测甲状腺超声图像中结节的方法和装置
US20240054349A1 (en) * 2021-01-12 2024-02-15 Nec Corporation Training apparatus, classification apparatus, training method, classification method, and program
CN113468805B (zh) * 2021-06-21 2022-10-14 国网黑龙江省电力有限公司电力科学研究院 传感器极寒环境可靠性评估方法、电子设备及存储介质
CN113537403A (zh) * 2021-08-14 2021-10-22 北京达佳互联信息技术有限公司 图像处理模型的训练方法和装置及预测方法和装置
CN113658146B (zh) * 2021-08-20 2022-08-23 合肥合滨智能机器人有限公司 一种结节分级方法、装置、电子设备及存储介质
KR20230041921A (ko) * 2021-09-17 2023-03-27 주식회사 온택트헬스 체내 장기 또는 근육의 이상 유무를 판단하는 방법 및 장치
CN113658178B (zh) * 2021-10-14 2022-01-25 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
KR20230057646A (ko) * 2021-10-22 2023-05-02 연세대학교 산학협력단 멀티-레벨 전이 영역 기반의 도메인 적응형 객체 검출 장치 및 방법
CN115409815A (zh) * 2022-09-02 2022-11-29 山东财经大学 一种基于三维可变形transformer的肺结节检测方法
CN116310513B (zh) * 2023-02-14 2023-12-05 成都泰莱生物科技有限公司 基于肺部CT与5hmC标志物融合的肺结节分类方法及产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020277A1 (en) * 2016-07-28 2018-02-01 Google Llc Domain separation neural networks
JP2018117883A (ja) * 2017-01-25 2018-08-02 国立大学法人大阪大学 学習装置、識別装置、識別方法、及びプログラム
JP2020071883A (ja) * 2018-10-29 2020-05-07 富士通株式会社 モデル訓練方法、データ認識方法及びデータ認識装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210820A1 (en) * 2002-05-07 2003-11-13 Rainer Lachner Method and device for localizing a structure in a measured data set
US20160078287A1 (en) * 2014-08-29 2016-03-17 Konica Minola Laboratory U.S.A., Inc. Method and system of temporal segmentation for gesture analysis
US10289909B2 (en) * 2017-03-06 2019-05-14 Xerox Corporation Conditional adaptation network for image classification
IL272433B2 (en) * 2017-08-03 2024-02-01 Nucleai Ltd Systems and methods for tissue image analysis
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107871318B (zh) * 2017-11-16 2018-11-09 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108460415B (zh) * 2018-02-28 2021-06-15 国信优易数据股份有限公司 一种语种识别方法
US10740866B2 (en) * 2018-06-26 2020-08-11 International Business Machines Corporation Determining appropriate medical image processing pipeline based on machine learning
CN109523526B (zh) * 2018-11-08 2021-10-22 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020277A1 (en) * 2016-07-28 2018-02-01 Google Llc Domain separation neural networks
JP2018117883A (ja) * 2017-01-25 2018-08-02 国立大学法人大阪大学 学習装置、識別装置、識別方法、及びプログラム
JP2020071883A (ja) * 2018-10-29 2020-05-07 富士通株式会社 モデル訓練方法、データ認識方法及びデータ認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022538137A (ja) * 2020-04-30 2022-08-31 上▲海▼商▲湯▼智能科技有限公司 画像検出方法及び関連モデルの訓練方法並びに関連装置、機器

Also Published As

Publication number Publication date
WO2020094026A1 (zh) 2020-05-14
US11880972B2 (en) 2024-01-23
CN109523526B (zh) 2021-10-22
US20210056693A1 (en) 2021-02-25
CN109523526A (zh) 2019-03-26
EP3879485B1 (en) 2024-01-03
JP7086336B2 (ja) 2022-06-20
EP3879485A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
JP7086336B2 (ja) 組織結節検出方法及びそのモデルトレーニング方法、装置、機器、システム、並びにそのコンピュータプログラム
US11604949B2 (en) Image processing method and apparatus, computer-readable storage medium, and computer device
US9959615B2 (en) System and method for automatic pulmonary embolism detection
WO2020228570A1 (zh) 乳腺钼靶图像处理方法、装置、系统及介质
RU2677764C2 (ru) Координатная привязка медицинских изображений
WO2022089221A1 (zh) 医学图像分割方法、装置、设备、系统及计算机存储介质
CN112102237A (zh) 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
CN111709485B (zh) 医学影像处理方法、装置和计算机设备
JP2015080720A (ja) コンピュータ補助診断方法及び装置
US10726948B2 (en) Medical imaging device- and display-invariant segmentation and measurement
CN111383259B (zh) 图像分析方法、计算机设备和存储介质
US20220036575A1 (en) Method for measuring volume of organ by using artificial neural network, and apparatus therefor
WO2022178997A1 (zh) 医学影像配准方法、装置、计算机设备及存储介质
CN112396606B (zh) 一种基于用户交互的医学图像分割方法、系统和装置
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN110533120B (zh) 器官结节的图像分类方法、装置、终端及存储介质
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
US20220301177A1 (en) Updating boundary segmentations
CN107610772A (zh) 一种甲状腺结节ct图像诊断系统设计方法
CN110992312A (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
CN114972026A (zh) 图像处理方法和存储介质
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN115546089A (zh) 医学图像分割方法、病理图像处理方法、装置、设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220517

R150 Certificate of patent or registration of utility model

Ref document number: 7086336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150