JP2021536057A - 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 - Google Patents

医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 Download PDF

Info

Publication number
JP2021536057A
JP2021536057A JP2021510459A JP2021510459A JP2021536057A JP 2021536057 A JP2021536057 A JP 2021536057A JP 2021510459 A JP2021510459 A JP 2021510459A JP 2021510459 A JP2021510459 A JP 2021510459A JP 2021536057 A JP2021536057 A JP 2021536057A
Authority
JP
Japan
Prior art keywords
preset
medical image
lesion
deep learning
lesion type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021510459A
Other languages
English (en)
Other versions
JP7058373B2 (ja
Inventor
ワン，ユエ
ルー，ビン
ルー，チュアンフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2021536057A publication Critical patent/JP2021536057A/ja
Application granted granted Critical
Publication of JP7058373B2 publication Critical patent/JP7058373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)

Abstract

【課題】従来の検出方法では注釈作業量が非常に大きいという問題を解決する。【解決手段】本願は、ディープラーニングの技術分野に属し、医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体を開示する。本願に係る方法は、被検出病変のターゲット医療画像を取得する（１０１）と、ターゲット医療画像をディープラーニングモデルに入力して、ターゲットシーケンスを得る（１０２）と、ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出する（１０３）と、全結合層で予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出する（１０４）と、予め設定された各病変タイプに対して、第１特徴マップ及び対応する重み値に基づいて、融合特徴マップを算出する（１０５）と、ターゲット医療画像のサイズになるまで融合特徴マップをリサンプリングして、クラス活性化マップを生成する（１０６）と、各クラス活性化マップで最大接続領域を決定し、最大接続領域を囲むマーキングフレームを確立する（１０７）と、ターゲット医療画像に予め設定された各病変タイプに対応するマーキングフレームを追加する（１０８）とを含む。【選択図】図２

Description

（関連出願の相互参照）
本願は、２０１９年８月５日に提出された「医療画像に対する病変の検出・位置決め方法、装置、デバイス及び記憶媒体」と題する中国発明特許出願第２０１９１０７１８４９７．３号の優先権を主張する。
本願は、ディープラーニングの技術分野に関し、特に、医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体に関する。
人工知能アルゴリズムを利用して医療画像中の異なる病変特徴の分類・認識及び検出及び位置決めを行うことで、臨床診断に定性的な画像学的指標を提供することができる。ディープラーニングによる通常の分類方法は異なる病変タイプの認識を実現できるが、擬似病変の位置情報を提供できず、ディープラーニングによる通常のターゲット検出方法はモデルをトレーニングする際に、人力でサンプル画像中の病変領域に正確なブロック情報を注釈する必要があり、サンプル画像は通常１万枚を超え数量が非常に多いため、注釈作業量が非常に大きく、モデルの迅速更新及び学習を実現しにくい。
したがって、注釈作業量が小さく、医療画像に対する病変の検出及び位置決めを実現できる方法を開発することは、当業者が今すぐ解決すべき課題となっている。
本願の実施例は、従来の検出方法では注釈作業量が非常に大きいという問題を解決するために、医療画像に対する病変の検出及び位置決め方法、装置、コンピュータデバイス、及び記憶媒体を提供する。
医療画像に対する病変の検出及び位置決め方法であって、被検出病変のターゲット医療画像を取得するステップと、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈されるステップと、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域であるステップと、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップとを含む。
医療画像に対する病変の検出及び位置決め装置であって、被検出病変のターゲット医療画像を取得するための医療画像取得モジュールと、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るための画像入力モジュールであって、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈される画像入力モジュールと、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するための第１特徴マップ抽出モジュールと、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するための重み値抽出モジュールと、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するための融合特徴マップ計算モジュールと、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するためのクラス活性化マップ生成モジュールと、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するための接続領域決定モジュールであって、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である接続領域決定モジュールと、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するためのマーキングフレーム追加モジュールとを含む。
コンピュータデバイスであって、メモリと、プロセッサと、前記メモリに記憶されており且つ前記プロセッサ上で動作可能なコンピュータ可読コマンドとを含み、前記プロセッサが前記コンピュータ可読コマンドを実行する時には、前記医療画像に対する病変の検出及び位置決め方法のステップを実行する。
コンピュータ可読コマンドが記憶されている１つ以上の可読記憶媒体であって、前記コンピュータ可読記憶媒体には、前記１つ以上のプロセッサが前記医療画像に対する病変の検出及び位置決め方法のステップを実行するためのコンピュータ可読コマンドが記憶されている。
次の図面及び説明で本願の１つ以上の実施例が詳細に記載される。本願の他の特徴及び利点は明細書、図面、特許請求の範囲の記載から明らかになる。
次に、本願の実施例に係る技術的解決手段が一層明瞭になるよう、本願の実施例の説明に使用する図面を簡単に紹介する。言うまでもないが、次に言及される図面は本願のいくつかの実施例が対象になり、当業者であれば、新規性のある作業をしなくても、これらの図面から他の図面を得ることができる。
本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法の適用シーンの模式図である。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法のフローチャートである。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法の適用シーンにおいてディープラーニングモデルをトレーニングするフローチャートである。 本願の一実施例に係るディープラーニングモデルのネットワーク構造の模式図である。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法のステップ１０７の適用シーンにおけるフローチャートである。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法で適用シーンにおいて陽性／陰性病変を区分するフローチャートである。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め方法で適用シーンにおいて予め設定された信頼度閾値を測定するフローチャートである。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め装置の適用シーンにおける構造模式図である。 本願の一実施例に係る医療画像に対する病変の検出及び位置決め装置の別の適用シーンにおける構造模式図である。 本願の一実施例に係る接続領域決定モジュールの構造模式図である。 本願の一実施例に係るコンピュータデバイスの模式図である。
次に、本願の実施例の図面を参照して、本願の実施例に係る技術的解決手段を明瞭かつ完全に説明する。言うまでもないが、説明される実施例は本願の全ての実施例ではなく、その一部に過ぎない。当業者が本願の実施例を踏まえて、新規性のある作業をせず他の実施例を得た場合、そのいずれも本願の保護範囲に含まれる。
本願に係る医療画像に対する病変の検出及び位置決め方法は、図１の適用シーンに適用される。ここで、クライアントはネットワークによってサーバーと通信する。ここで、当該クライアントは様々なパソコン、ノートパソコン、スマートフォン、タブレットパソコン、ポータブルウェアラブルデバイスを含むが、これに限定されない。サーバーは単独のサーバー又は複数のサーバーからなるサーバークラスターとして実装することができる。
一実施例では、図２に示すとおり、医療画像に対する病変の検出及び位置決め方法を提供し、当該方法が図１のサーバーに適用されるのを例に説明する。次のステップ１０１〜ステップ１０８を含む。
１０１で、被検出病変のターゲット医療画像を取得する。
本実施例では、サーバーはまず被検出病変のターゲット医療画像を取得してもよく、当該ターゲット医療画像は具体的にはＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）画像、ＣＴ（Ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ）画像等であってもよい。
なお、ターゲット医療画像は後に使用するディープラーニングモデルのトレーニングに用いる医療画像サンプルと画像タイプが同じでなければならず、又は次のステップ１０２ではトレーニングサンプルが当該ターゲット医療画像と画像タイプが同じであるディープラーニングモデルを用いて認識する。
１０２で、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈される。
当該ターゲット医療画像を取得した後、サーバーは前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得てもよい。当該ターゲットシーケンスで各要素は確定した位置によって予め設定された各病変タイプに対応し、例えば、４つの予め設定された病変タイプがあり、それぞれが「色素上皮剥離」、「網膜内滲出液」、「ドルーゼン」、「黄斑上膜」であると仮定し、当該ターゲットシーケンスが「０．８、０．３、０．２、０．１」であると仮定すると、「色素上皮剥離」陽性の確率は０．８であり、「網膜内滲出液」陽性の確率は０．３であり、「ドルーゼン」陽性の確率は０．２であり、「黄斑上膜」陽性の確率は０．１である。
なお、当該ターゲットシーケンスが、前記第１信頼度、及び第１信頼度と予め設定された病変タイプとの関係を説明するための中間的な概念である。本実施例のディープラーニングモデルでは、出力するのは病変タイプに対応する確率であり、後のステップで融合特徴マップから変換されたクラス活性化マップに対して、当該クラス活性化マップから決定した最大接続領域が検出対象病変の位置であり、即ち本実施例で位置決めすべき箇所であることが確保される。
次に、理解を促すために、当該ディープラーニングモデルを予めトレーニングするプロセスを詳細に説明する。さらに、図３に示すとおり、前記ディープラーニングモデルは次のステップによって予めトレーニングして得られる。
２０１で、トレーニングに使用する各医療画像サンプルを取得する。
２０２で、各医療画像サンプルに対して、前記予め設定された各病変タイプのそれぞれに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得、マーキングシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である。
２０３で、注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得、前記サンプルシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す。
２０４で、予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整し、前記損失関数は前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである。
２０５で、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとする。
ステップ２０１では、トレーニング前に、サーバーはまずトレーニングに使用する各医療画像サンプルを取得し、これらの医療画像サンプルは予め収集されてもよく、ただし、これらの医療画像サンプルの画像タイプは前記ターゲット医療画像と一致する必要があり、例えば、当該ターゲット医療画像がＯＣＴ画像であれば、医療画像サンプルはＯＣＴ画像でなければならない。
ステップ２０２では、本実施例で、予め各医療画像サンプルにマーキングシーケンスを付加し、当該マーキングシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応するマーキング値であり、ここで、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である。例えば、ある医療画像サンプルでは、医療従事者が当該医療画像サンプルを確認したところ、「網膜内滲出液」という病変があると仮定し、４つの予め設定された病変タイプがあり、「色素上皮剥離」、「網膜内滲出液」、「ドルーゼン」、「黄斑上膜」であると仮定すれば、当該医療画像サンプルのマーキングシーケンスは「０１００」と表示することができる。
以上から分かるように、マーキングシーケンスで要素は確定した位置によって予め設定された病変タイプに対応し、要素の値は０又は１であり、０は予め設定された病変タイプが陰性であること、１は予め設定された病変タイプが陽性であることを示す。
ステップ２０３では、図４が参照されるとおり、前記ディープラーニングモデルは予め設定された第１数量のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）及び全結合層をこの順に含み、ここで、任意の隣接する２つのＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）の間に畳み込み層及びプーリング層が設けられ、最後のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）と前記全結合層との間に畳み込み層及びグローバル平均プーリング層が設けられ、前記全結合層は予め設定された第２数量のネットワークユニットを含み、前記予め設定された第２数量は前記予め設定された各病変タイプのタイプ数量に等しい。なお、図４に示すディープラーニングモデルでは４つのＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）が設けられ、実際に使用する時は、Ｄｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）の数量はニーズに応じて増加又は減少してもよい。
前記ディープラーニングモデルのネットワーク構造に基づくと、ステップ２０３は具体的に次のとおりであってもよい。各医療画像サンプルをディープラーニングモデルに入力する前に、まず当該医療画像サンプルにベクトル化処理、そして畳み込み・次元削減を行い、次元削減後のベクトルを１番目のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）に入力し、１番目のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）が入力されたベクトルに対して、複数層が密に接続された非線形変換処理を行い、処理結果に畳み込み及びプーリングを行い、次に２番目のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）に入力して処理を行い、同様に、２番目のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）の処理結果に畳み込み及びプーリングを行った後、３番目のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）に入力して処理を行う。このようにして、最終のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）（図４では４番目のＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック））が処理した後、処理結果に畳み込み及びグローバル平均プーリングを行い、ベクトルを得てそれを全結合層に入力して分類及び認識を行って、当該全結合層の各ネットワークユニットの出力値を得、これが各第２信頼度であり、当該サンプルシーケンス中の各要素でもあり、これらの要素が当該サンプルシーケンスを構成する。
ディープラーニングモデル中の各Ｄｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）に対して、ベクトルがＤｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）に入力された後、Ｄｅｎｓｅ Ｂｌｏｃｋ（デンスブロック）には多重に密に接続された処理層を含み、各処理層は非線形変換関数Ｈｌ（・）で表示することができ、ｌ番目の処理層の出力はｘｌであるとすると、ｘｌ＝Ｈｌ（［ｘ０，ｘ１，…，ｘ（ｌ−１）］）であり、ここで、［ｘ０，ｘ１，…，ｘ（ｌ−１）］は０番目、…、ｌ−１番目の処理層の出力を表す。理解されたように、本実施例で非線形変換Ｈｌ（・）は具体的にはＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ（ＢＮ）、ＲｅＬＵ、Ｃｏｎｖｏｌｕｔｉｏｎ（Ｃｏｎｖ）の３種の連続操作型の複合関数であってもよい。
前記全結合層において、全結合層の各ネットワークユニットが信頼度ａを出力し、式で表示するとａ＝δ（ｗｘ＋ｂ）であり、ここで、ｘは前記全結合層の入力であり、ｗは当該ネットワークユニットの重み、ｂはバイアスであり、δは具体的にはｓｉｇｍｏｉｄ関数δ（ｘ）＝１／（１＋ｅ−ｘ）である。
なお、前記ステップ２０３では、当該ディープラーニングモデルをトレーニングする時には、全ての医療画像サンプルをそれぞれディープラーニングモデルに繰り返し入力してトレーニングを行い、即ち反復トレーニングを行う必要があり、反復プロセスでディープラーニングモデルのモデルパラメータ調整を完了する。なお、ディープラーニングモデルの反復トレーニングプロセスがステップ２０４と組み合わせて行われ、反復トレーニングが完了するたびに、ステップ２０４を実行して損失関数の計算結果が収束したかどうかを判定し、このようにして当該ディープラーニングモデルはトレーニングを完了したかどうかを知る。
ステップ２０４では、上記の内容から分かるように、サーバーはディープラーニングモデルの反復トレーニングプロセスで、予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整する。ここで、当該損失関数は具体的にはバイナリクロスエントロピー損失関数であってもよい。ここで、前記予め設定された収束閾値は使用状況に応じて設定してもよく、例えば、０．００５に設定する。一般には、損失関数の計算結果が充分に小さいように、当該予め設定された収束閾値は十分に小さくすべきであり、このようにしてモデルの出力値とマーキング値との差が許容可能な範囲にある。
モデルパラメータを調整した後、Ａｄａｍ最適化を利用してモデルのトレーニングプロセスを最適化してもよく、ここで、トレーニングの学習率はｌｒ＝０．０００１に設定してもよい。Ａｄａｍ最適化により、今回の反復トレーニングの損失関数の計算結果に基づいて当該ディープラーニングモデルのモデルパラメータを自動的に調整し、モデルパラメータを調整した後、次の反復トレーニングプロセスに移行し損失関数の結果を計算して、次のモデルパラメータ調整を行い、このようにして反復トレーニング及びモデルパラメータ調整を繰り返すことで、最終的に損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなり、この時に、当該ディープラーニングモデルはトレーニング済みとしてもよい。
また、選択可能で、トレーニングプロセスでは、反復トレーニングでより良い効果を得るように、医療画像サンプルの入力順番をランダムにシャッフルしてもよい。
以上から分かるように、ステップ２０５では、前記損失関数の計算結果が収束した後、サーバーは、前記ディープラーニングモデルはトレーニング済みとしてもよい。
１０３で、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出する。
図４から分かるように、当該ディープラーニングモデルで最後の畳み込み層がベクトル特徴マップ出力し、サーバーはそこから当該ベクトル特徴マップを前記第１特徴マップとして抽出してもよい。
１０４で、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出する。
当該ディープラーニングモデルの全結合層には複数のネットワークユニットが含まれ、これらのネットワークユニットの数量は前記予め設定された各病変タイプの数量に等しく、全結合層に入力されたベクトル特徴マップに分類・認識を行うために用いられる。したがって、理解されたように、各ネットワークユニットでトレーニング時に予め調整された重み値は対応する予め設定された病変タイプのベクトル特徴マップにおける重要度を量化したものと見なされてもよく、したがって、サーバーは前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出してもよい。
１０５で、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出する。
第１特徴マップ及び前記各ネットワークユニットの重み値を取得した後、サーバーは予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出してもよい。
さらに、ステップ１０５は、具体的に次のとおりであってもよい。予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値を予め設定された加重和計算式に代入し、前記予め設定された各病変タイプに対応する融合特徴マップを算出する。
前記加重和計算式は次のとおりである。
Figure 2021536057

式中、Ｆｃは融合特徴マップのベクトル値であり、Ｋは抽出された第１特徴マップの数量であり、ｃは予め設定された病変タイプの番号であり、ｆｋは抽出されたｋ番目の第１特徴マップであり、Ｗｃｋは全結合層でｋ番目の入力ユニットに対応するｃ番目の予め設定された病変タイプの重みである。
以上から分かるように、計算結果として得られた当該融合特徴マップでは、各ドットの画素値は当該ドットが当該予め設定された病変タイプに属する可能性を反映し、画素値が大きいほど、可能性が大きい。
１０６で、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成する。
当該融合特徴マップとターゲット医療画像のサイズが一致するように、サーバーは前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成してもよく、このようにして、後に当該クラス活性化マップから決定されたフレームはターゲット医療画像に適用される。
１０７で、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立し、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。
本実施例では、所定の画素閾値を予め設定してもよく、当該所定の画素閾値は当該クラス活性化マップで病変領域に属するドットを判定するための限界値とされる。したがって、サーバーは前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立してもよく、ここで、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。理解されたように、当該マーキングフレームには当該最大接続領域が含まれ、当該最大接続領域が条件を満たす（即ち、画素値が所定の画素閾値を超える）ドットからなり、したがって、当該最大接続領域を当該予め設定された病変タイプの病変領域と見なしてもよく、当該マーキングフレームによって当該クラス活性化マップから病変領域がマーキングされている。
なお、当該所定の画素閾値は任意に設定してもよいし、当該クラス活性化マップ上の最大画素値に基づいて設定してもよく、例えば、最大画素値の２０％に設定する。
次に、理解を促すために、どのようにしてクラス活性化マップから最大接続領域を決定し、マーキングフレームを確立するかについて詳細に説明する。さらに、図５に示すとおり、ステップ１０７はステップ３０１〜ステップ３０５を含んでもよい。
３０１で、予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得する。
３０２で、前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得、前記予め設定された比率値は０より大きく且つ１未満である。
３０３で、初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整し、前記初期フレームは前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲む。
３０４で、前記初期フレームに囲まれた面積から最大接続領域を検出する。
３０５で、マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整し、前記マーキングフレームは前記最大接続領域を囲む。
なお、後のステップはいずれも予め設定された各病変タイプに対応するクラス活性化マップに対して単独の処理として行われ、具体的には、サーバーはマルチスレッド方式で複数のクラス活性化マップを同時に処理し、１つのスレッドで１つのクラス活性化マップに対して計算及び処理を行ってもよいし、シングルスレッド方式で各クラス活性化マップに対して前記ステップ３０１〜３０５を順に実行してもよく、本実施例ではこれについて限定しない。
ステップ３０１では、サーバーは、予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得し、即ち全てのドットの画素値のうちの最大値を取得してもよい。
ステップ３０２では、予め比率値を設定してもよく、最大画素値を取得した後、サーバーは前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得てもよい。ここで、当該予め設定された比率値は０より大きく且つ１未満であり、例えば、０．２又は２０％に設定してもよい。
ステップ３０３では、限界画素閾値を算出した後、サーバーは初期フレームを確立してもよく、当該初期フレームは前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲む。次に、当該初期フレームが囲む面積が最小になるよう当該初期フレームを調整し、これによりフレームは前記全てのドットを囲む最小のフレームである。
ステップ３０４では、当該最小の初期フレームを決定した後、サーバーは前記初期フレームに囲まれた面積から最大接続領域を検出してもよい。理解されたように、画像では病変がつながっている領域として表示され、初期フレームによって限定された面積では最大接続領域が病変領域になり、したがって、最大接続領域を検出できれば、病変領域が特定される。
なお、最大接続領域の検出方法は様々なであり、例えば、ｍａｔｌａｂの画像から接続領域を求める関数ｂｗｌａｂｅｌを利用してもよいし、ＯｐｅｎＣＶのｆｉｎｄＣｏｕｔｏｕｒｓ関数を検出してもよい。これに関して、本実施例では具体的に限定されない。
ステップ３０５では、最大接続領域を検出した後、サーバーはマーキングフレームを確立してもよく、当該マーキングフレームが前記最大接続領域を囲み、次に前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整し、これにより最大接続領域を囲む最小のマーキングフレームを得、当該マーキングフレームによって病変領域がマーキングされる。
具体的には、本実施例で初期フレーム、マーキングフレームは矩形のフレームであってもよいし、他の多角形のフレームであってもよいし、不規則なフレームであってもよい。
１０８で、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加する。
理解されたように、マーキングフレームを確立した後、当該クラス活性化マップがターゲット医療画像とサイズ及び形状が同じで、且つターゲット医療画像に由来するため、当該マーキングフレームによってクラス活性化マップからフレーム選択された領域は当該ターゲット医療画像で病変が位置する領域である。したがって、サーバーは前記ターゲット医療画像に当該予め設定された病変タイプに対応する前記マーキングフレームを追加すれば、当該予め設定された病変タイプのマーキングが完了する。同様に、サーバーは前記予め設定された各病変タイプのマーキングフレームを全て確立し同一のターゲット医療画像に追加すれば、当該ターゲット医療画像上の全ての病変領域はマーキングフレームによってフレーム選択され、病変領域の検出及び位置決めが実現される。
サーバーがステップ１０２を実行して各第１信頼度を得、これらの第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表すだけで、ユーザーはこれらの第１信頼度から直接的に当該ターゲット医療画像に病変があるかどうか、どのような病変があるかを知ることが難しい。これらを考慮して、本実施例では予め信頼度閾値を設定し、各第１信頼度を得た後、ユーザーが分類結果を検索し取得しやすいように、予め設定された信頼度閾値によって当該ターゲット医療画像でどの病変が陽性であるか、どの病変が陰性であるかを判定してもよい。さらに、図６に示すとおり、ステップ１０２後に、本方法はステップ４０１〜ステップ４０３をさらに含む。
４０１で、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値を取得する。
４０２で、前記ターゲットシーケンス中の各要素をそれぞれ対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示する。
４０３で、各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定し、前記他の要素とは前記ターゲットシーケンスでターゲット要素以外の要素である。
ステップ４０１では、本実施例で、サーバーには予め設定された各病変タイプのそれぞれに対応する信頼度閾値が予め設定されてもよく、必要ならば、サーバーはこれらの予め設定された信頼度閾値を取得してもよい。
理解されたように、これらの予め設定された信頼度閾値は経験値に基づいて任意に設定されてもよいし、サンプルによって予め測定されてもよい。次に、サンプルによって、予め設定された信頼度閾値を予め測定する方法を詳細に説明する。
さらに、図７に示すとおり、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値は次のステップによって予め決定される。
５０１で、予め収集された検証用の各医療画像を取得し、各検証サンプルと表示する。
５０２で、各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得、前記検証シーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す。
５０３で、予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得る。
５０４で、予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得る。
５０５で、最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定し、前記最大のインデックス結果とは各病変信頼度のそれぞれに対応するインデックス結果のうちの最大値である。
ステップ５０１では、前記ステップ２０１と同様に、検証用のサンプルとして予めいくつかの医療画像を収集して、各検証サンプルと表示してもよい。
ステップ５０２では、サーバーは各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得てもよく、ここで、前記検証シーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す。ディープラーニングモデルにおける各検証サンプルの処理プロセスは前記内容と同じであるため、ここでその説明は省略される。
ステップ５０３では、理解されたように、Ｎ個の検証サンプルがディープラーニングモデルに入力されたと仮定し、ステップ５０２ではＮ個の検証シーケンスを得る。したがって、サーバーは予め設定された各病変タイプに対して、前記Ｎ個の検証シーケンスから当該予め設定された病変タイプに対応する第３信頼度を抽出してもよく、合計でＮ個の第３信頼度、即ちＮ個の病変信頼度を抽出する。
ステップ５０４では、サーバーは予め設定された各病変タイプに対して、当該予め設定された病変タイプに対応するＮ個の病変信頼度を得た後、前記各病変信頼度をそれぞれ各閾値に決定し、各閾値に対して、前記各病変信頼度のヨーデンインデックスを計算して、当該閾値に対応するインデックス結果を得てもよい。以上から分かるように、合計でＮ個の病変信頼度があると仮定し、合計でＮ個の閾値があり、各閾値に対して１つのインデックス結果を算出し、Ｎ個の閾値に対してそれぞれ計算するとＮ個のインデックス結果を得る。
例えば、サーバーは予め設定された病変タイプに対して、Ｎ個の病変信頼度を得たと仮定し、ｌ＝｛ｌ１，ｌ２，ｌ３，……｝と表示し、ｌ１、ｌ２、ｌ３、……を閾値として予測する時のヨーデンインデックスをそれぞれ算出する。詳細なステップは次のとおりである。
ｌ１を閾値として、各検証サンプルに対して予測して、各検証サンプルの予測結果を得る（信頼度がｌ１以上であれば陽性であり、ｌ１未満であれば陰性である）。予測結果を当該検証サンプルの注釈結果と比較し、真陽性（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）、偽陽性（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）、真陰性（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）、偽陰性（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）のサンプルの数量を集計して、ＴＰＲ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）値及びＴＮＲ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）値を算出し、式ＴＰＲ＋ＴＮＲ−１でｌ１を閾値とする時のヨーデンインデックスを算出し、これをｙ１と表示する。同様にｌ２、ｌ３、……を閾値として予測する時のヨーデンインデックスをそれぞれ算出し、ｙ２、ｙ３、……ｙｎと表示する。
ステップ５０５では、前記Ｎ個のインデックス結果を比較し、インデックス結果で最大の値に対応する病変信頼度を当該予め設定された病変タイプに対応する予め設定された信頼度閾値とする。理解されたように、ヨーデンインデックスはスクリーニング試験の信頼性を評価する指標であり、インデックスが大きいほどスクリーニング試験が効果的で、対応する信頼度が高く、信頼性が高いことを示す。したがって、ヨーデンインデックスの最大値に対応する病変信頼度を信頼性の高い信頼度限界値と見なしてもよい。
上記の内容から分かるように、予め設定された各病変タイプのそれぞれに対して前記ステップを実行すると、予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値を得ることができる。
ステップ４０２では、本実施例で信頼度は医療画像が対応する予め設定された病変タイプに属する確率を表し、即ち当該予め設定された病変タイプが医療画像で陽性である確率を表す。したがって、サーバーは当該ターゲットシーケンスの各要素のそれぞれを対応する予め設定された信頼度閾値と比較し、要素がそれに対応する予め設定された信頼度閾値より大きい場合に、当該要素に対応する予め設定された病変タイプが陽性であることを示し、逆の場合に、当該要素に対応する予め設定された病変タイプが陰性であることを示す。本実施例では、まずは前記ターゲットシーケンスで前記予め設定された信頼度閾値以上の要素をターゲット要素として決定してもよい。
ステップ４０３では、上記の内容から分かるように、サーバーは各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定してもよく、ここで、前記他の要素とは前記ターゲットシーケンスでターゲット要素以外の要素である。
本実施例では、まず、被検出病変のターゲット医療画像を取得する。次に、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈され、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出し、且つ、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出する。次に、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出する。さらに、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成する。次に、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立し、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。最後に、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加する。以上から分かるように、本願では、トレーニングされたディープラーニングモデルに正確な病変位置決め情報を注釈する必要がなく、各サンプルに含まれた病変タイプを注釈して済むため、注釈作業量が大幅に低減され、当該ディープラーニングモデルの迅速更新及び学習性能が高められる。また、本願では、ディープラーニングモデルによってターゲット医療画像に対して病変タイプの分類及び認識を行うこともできれば、ディープラーニングモデルが認識するプロセスで生成した第１特徴マップによってターゲット医療画像中の病変の検出及び位置決めを行って、フレームでマーキングすることで、医療画像に対する病変の検出及び位置決めも実現できる。
なお、前記実施例で各ステップの番号の大きさによって実行上の前後順番が決まるわけではなく、各プロセスの実行の順番は関連機能及び内部の論理で決定され、これは本願の実施例の実施に何らかの限定を構成するものではない。
一実施例では、医療画像に対する病変の検出及び位置決め装置を提供し、当該医療画像に対する病変の検出及び位置決め装置は前記実施例の医療画像に対する病変の検出及び位置決め方法に対応している。図８に示すとおり、当該医療画像に対する病変の検出及び位置決め装置は医療画像取得モジュール６０１と、画像入力モジュール６０２と、第１特徴マップ抽出モジュール６０３と、重み値抽出モジュール６０４と、融合特徴マップ計算モジュール６０５と、クラス活性化マップ生成モジュール６０６と、接続領域決定モジュール６０７と、マーキングフレーム追加モジュール６０８とを含む。次に、各機能モジュールを詳細に説明する。
医療画像取得モジュール６０１は、被検出病変のターゲット医療画像を取得するために用いられる。
画像入力モジュール６０２は、前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るために用いられ、前記ターゲットシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは前記予め設定された各病変タイプのそれぞれに対応する医療画像サンプルで予めトレーニングして得られ、各医療画像サンプルには画像に含まれる病変タイプが注釈される。
第１特徴マップ抽出モジュール６０３は、前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するために用いられる。
重み値抽出モジュール６０４は、前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するために用いられる。
融合特徴マップ計算モジュール６０５は、予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するために用いられる。
クラス活性化マップ生成モジュール６０６は、前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するために用いられる。
接続領域決定モジュール６０７は、前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するために用いられ、前記最大接続領域とは前記クラス活性化マップで画素値が所定の画素閾値を超えるドットが入る接続領域である。
マーキングフレーム追加モジュール６０８は、前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するために用いられる。
さらに、図９に示すとおり、前記ディープラーニングモデルは次のモジュールで予めトレーニングして得てもよい。
画像サンプル取得モジュール６０９は、トレーニングに使用する各医療画像サンプルを取得するために用いられる。
注釈モジュール６１０は、各医療画像サンプルに対して、前記予め設定された各病変タイプのそれぞれに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るために用いられ、マーキングシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である。
反復トレーニングモジュール６１１は、注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るために用いられ、前記サンプルシーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す。
パラメータ調整モジュール６１２は、予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するために用いられ、前記損失関数は前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである。
モデル決定モジュール６１３は、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするために用いられる。
さらに、図１０に示すとおり、前記接続領域決定モジュール６０７は、画素値取得ユニット６０７１〜包囲面積最小化ユニット６０７５を含んでもよい。
画素値取得ユニット６０７１は、予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するために用いられる。
画素閾値計算ユニット６０７２は、前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るために用いられ、前記予め設定された比率値は０より大きく且つ１未満である。
フレーム確立調整ユニット６０７３は、初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するために用いられ、前記初期フレームは前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲む。
接続領域検出ユニット６０７４は、前記初期フレームに囲まれた面積から最大接続領域を検出するために用いられる。
包囲面積最小化ユニット６０７５は、マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するために用いられ、前記マーキングフレームは前記最大接続領域を囲む。
さらに、前記医療画像に対する病変の検出及び位置決め装置は、信頼度閾値取得モジュールと、比較モジュールと、予測結果決定モジュールとを含んでもよい。
信頼度閾値取得モジュールは、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値を取得するために用いられる。
比較モジュールは、前記ターゲットシーケンス中の各要素をそれぞれ対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するために用いられる。
予測結果決定モジュールは、各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するために用いられ、前記他の要素とは前記ターゲットシーケンスでターゲット要素以外の要素である。
さらに、前記予め設定された各病変タイプのそれぞれに対応する予め設定された信頼度閾値は次に示す検証サンプル取得モジュール、サンプル入力モジュール、病変信頼度抽出モジュール、インデックス結果計算モジュール、閾値決定モジュールによって予め決定されてもよい。
検証サンプル取得モジュールは、予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するために用いられる。
サンプル入力モジュールは、各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るために用いられ、前記検証シーケンス中の各要素はそれぞれ予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す。
病変信頼度抽出モジュールは、予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るために用いられる。
インデックス結果計算モジュールは、予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るために用いられる。
閾値決定モジュールは、最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するために用いられ、前記最大のインデックス結果とは各病変信頼度のそれぞれに対応するインデックス結果のうちの最大値である。
医療画像に対する病変の検出及び位置決め装置の具体的な説明は医療画像に対する病変の検出及び位置決め方法に関する上記の具体的な説明を参照することができ、ここでその説明は省略する。医療画像に対する病変の検出及び位置決め装置の前記各モジュールは全て又は一部がソフトウェア、ハードウェア又は両者の組み合わせとして実装することができる。前記各モジュールはハードウェアとしてコンピュータデバイスのプロセッサに埋め込まれ又は独立して設けられてもよいし、プロセッサが前記各モジュールに対応する動作を呼び出して実行するようにソフトウェアとしてコンピュータデバイスのメモリに記憶されてもよい。
一実施例では、コンピュータデバイスを提供し、当該コンピュータデバイスはサーバーであってもよく、その内部構造は図１１に示すとおりであってもよい。当該コンピュータデバイスはシステムバスを介して接続されたプロセッサ、メモリ、ネットワークインタフェース及びデータベースを含む。ここで、当該コンピュータデバイスのプロセッサはコンピューティング機能及びコントロール機能を提供するために用いられる。当該コンピュータデバイスのメモリは可読記憶媒体、内部ストレージを含む。当該可読記憶媒体にはオペレーティングシステム、コンピュータ可読コマンド及びデータベースが記憶されている。当該内部ストレージは可読記憶媒体内のオペレーティングシステム及びコンピュータ可読コマンドの動作環境を提供する。当該コンピュータデバイスのデータベースは医療画像に対する病変の検出及び位置決め方法で言及されるデータを記憶するために用いられる。当該コンピュータデバイスのネットワークインタフェースはネットワークによって外部の端末と接続して通信するために用いられる。当該コンピュータ可読コマンドがプロセッサによって実行される時には、医療画像に対する病変の検出及び位置決め方法が実行される。本実施例に係る可読記憶媒体は不揮発性可読記憶媒体及び揮発性可読記憶媒体を含む。
一実施例では、コンピュータデバイスを提供し、メモリと、プロセッサと、メモリに記憶されており且つプロセッサ上で動作可能なコンピュータ可読コマンドとを含み、プロセッサがコンピュータ可読コマンドを実行する時には、前記実施例の医療画像に対する病変の検出及び位置決め方法のステップを実行し、例えば、図２に示すステップ１０１からステップ１０８である。又は、プロセッサがコンピュータ可読コマンドを実行する時には、前記実施例の医療画像に対する病変の検出及び位置決め装置の各モジュール／ユニットの機能を実装し、例えば、図８に示すモジュール６０１からモジュール６０８の機能である。説明の重複を避けるために、ここで詳細な説明は省略される。
一実施例では、コンピュータ可読記憶媒体を提供し、コンピュータ可読コマンドが記憶されている当該１つ以上の可読記憶媒体では、コンピュータ可読コマンドが１つ以上のプロセッサによって実行される時には、１つ以上のプロセッサがコンピュータ可読コマンドを実行すると前記方法実施例の医療画像に対する病変の検出及び位置決め方法のステップを実行し、又は、コンピュータ可読コマンドが記憶されている当該１つ以上の可読記憶媒体では、コンピュータ可読コマンドが１つ以上のプロセッサによって実行される時には、１つ以上のプロセッサがコンピュータ可読コマンドを実行すると前記装置実施例の医療画像に対する病変の検出及び位置決め装置の各モジュール／ユニットの機能を実装する。説明の重複を避けるために、ここで詳細な説明は省略される。本実施例に係る可読記憶媒体は不揮発性可読記憶媒体及び揮発性可読記憶媒体を含む。
前記実施例は本願の技術的解決手段の限定にならず、それを説明するものに過ぎない。前記実施例を踏まえて本願を詳細に説明しているが、当業者が理解したように、なおも前記各実施例に記載の技術的解決手段に変更を加え、又はその一部特徴を同等に置き換えることができる。このような変更や置き換えにより対象になる技術的解決手段が本願の各実施例の技術的解決手段の趣旨や範囲を超えないものであれば、いずれも本願の保護範囲に含まれる。

Claims (20)

  1. 被検出病変のターゲット医療画像を取得するステップと、
    前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、ステップと、
    前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、
    前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、
    予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、
    前記ターゲット医療画像のサイズになるまで、前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、
    前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、ステップと、
    前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップと、
    を含むことを特徴とする、医療画像に対する病変の検出及び位置決め方法。
  2. 前記ディープラーニングモデルは、
    トレーニングに使用する各医療画像サンプルを取得するステップと、
    各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るステップであって、マーキングシーケンス中の各要素は、予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、ステップと、
    注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るステップであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
    予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するステップであって、前記損失関数は、前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、ステップと、
    前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするステップと、
    によって予めトレーニングして得られることを特徴とする、請求項１に記載の医療画像に対する病変の検出及び位置決め方法。
  3. 前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立する前記ステップは、
    予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するステップと、
    前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るステップであって、前記予め設定された比率値は、０より大きく且つ１未満である、ステップと、
    初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するステップであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、ステップと、
    前記初期フレームに囲まれた面積から最大接続領域を検出するステップと、
    マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するステップであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、ステップと、
    を含むことを特徴とする、請求項１に記載の医療画像に対する病変の検出及び位置決め方法。
  4. 前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得た後、
    前記予め設定された各病変タイプに対応する予め設定された信頼度閾値を取得するステップと、
    前記ターゲットシーケンス中の各要素をそれぞれに対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するステップと、
    各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するステップであって、前記他の要素とは、前記ターゲットシーケンスでターゲット要素以外の要素である、ステップと、
    をさらに含むことを特徴とする、請求項１に記載の医療画像に対する病変の検出及び位置決め方法。
  5. 予め設定された各病変タイプに対応する予め設定された前記信頼度閾値は、
    予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するステップと、
    各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るステップであって、前記検証シーケンス中の各要素は、予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は、前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
    予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るステップと、
    予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とするときのヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るステップと、
    最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するステップであって、前記最大のインデックス結果とは、各病変信頼度に対応するインデックス結果のうちの最大値である、ステップと、
    によって予め決定されることを特徴とする、請求項４に記載の医療画像に対する病変の検出及び位置決め方法。
  6. 前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得る前に、
    注釈後の各医療画像サンプルのディープラーニングモデルへの入力順番をランダムにシャッフルするステップをさらに含むことを特徴とする、請求項２に記載の医療画像に対する病変の検出及び位置決め方法。
  7. 予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出する前記ステップは、具体的には、
    予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値を予め設定された加重和計算式に代入し、前記予め設定された各病変タイプに対応する融合特徴マップを算出することであり、
    前記加重和計算式は、
    Figure 2021536057

    であり、
    式中、Ｆｃは融合特徴マップのベクトル値であり、Ｋは抽出された第１特徴マップの数量であり、ｃは予め設定された病変タイプの番号であり、ｆｋは抽出されたｋ番目の第１特徴マップであり、ｗｃｋは全結合層でｋ番目の入力ユニットに対応するｃ番目の予め設定された病変タイプの重みであることを特徴とする、請求項１から６のいずれか一項に記載の医療画像に対する病変の検出及び位置決め方法。
  8. 被検出病変のターゲット医療画像を取得するための医療画像取得モジュールと、
    前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るための画像入力モジュールであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、画像入力モジュールと、
    前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するための第１特徴マップ抽出モジュールと、
    前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するための重み値抽出モジュールと、
    予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するための融合特徴マップ計算モジュールと、
    前記ターゲット医療画像のサイズになるまで前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するためのクラス活性化マップ生成モジュールと、
    前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するための接続領域決定モジュールであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、接続領域決定モジュールと、
    前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するためのマーキングフレーム追加モジュールと、
    を含むことを特徴とする、医療画像に対する病変の検出及び位置決め装置。
  9. 前記ディープラーニングモデルは、
    トレーニングに使用する各医療画像サンプルを取得するための画像サンプル取得モジュールと、
    各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るための注釈モジュールであって、マーキングシーケンス中の各要素は、予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、注釈モジュールと、
    注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得る反復トレーニングモジュールであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、反復トレーニングモジュールと、
    予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するためのパラメータ調整モジュールであって、前記損失関数は前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、パラメータ調整モジュールと、
    前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするためのモデル決定モジュールと、
    によって予めトレーニングして得られることを特徴とする、請求項８に記載の医療画像に対する病変の検出及び位置決め装置。
  10. 前記接続領域決定モジュールは、
    予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するための画素値取得ユニットと、
    前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るための画素閾値計算ユニットであって、前記予め設定された比率値は０より大きく且つ１未満である、画素閾値計算ユニットと、
    初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するためのフレーム確立調整ユニットであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、フレーム確立調整ユニットと、
    前記初期フレームに囲まれた面積から最大接続領域を検出するための接続領域検出ユニットと、
    マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するための包囲面積最小化ユニットであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、包囲面積最小化ユニットと、
    を含むことを特徴とする、請求項８に記載の医療画像に対する病変の検出及び位置決め装置。
  11. 前記予め設定された各病変タイプに対応する予め設定された信頼度閾値を取得するための信頼度閾値取得モジュールと、
    前記ターゲットシーケンス中の各要素を対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するための比較モジュールと、
    各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するための予測結果決定モジュールであって、前記他の要素とは、前記ターゲットシーケンスでターゲット要素以外の要素である、予測結果決定モジュールと、
    をさらに含むことを特徴とする、請求項８に記載の医療画像に対する病変の検出及び位置決め装置。
  12. 予め設定された各病変タイプに対応する予め設定された前記信頼度閾値は、
    予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するための検証サンプル取得モジュールと、
    各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るためのサンプル入力モジュールであって、前記検証シーケンス中の各要素は、予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は、前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す、サンプル入力モジュールと、
    予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るための病変信頼度抽出モジュールと、
    予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るためのインデックス結果計算モジュールと、
    最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するための閾値決定モジュールであって、前記最大のインデックス結果とは各病変信頼度に対応するインデックス結果のうちの最大値である、閾値決定モジュールと、
    によって予め決定されることを特徴とする、請求項１１に記載の医療画像に対する病変の検出及び位置決め装置。
  13. メモリと、プロセッサと、前記メモリに記憶されており且つ前記プロセッサ上で動作可能なコンピュータ可読コマンドとを含むコンピュータデバイスであって、前記プロセッサが前記コンピュータ可読コマンドを実行するとき、
    被検出病変のターゲット医療画像を取得するステップと、
    前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、ステップと、
    前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、
    前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、
    予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、
    前記ターゲット医療画像のサイズになるまで、前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、
    前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、ステップと、
    前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップと、
    が実行されることを特徴とする、コンピュータデバイス。
  14. 前記ディープラーニングモデルは、
    トレーニングに使用する各医療画像サンプルを取得するステップと、
    各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るステップであって、マーキングシーケンス中の各要素は予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、ステップと、
    注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るステップであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
    予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するステップであって、前記損失関数は、前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、ステップと、
    前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするステップと、
    によって予めトレーニングして得られることを特徴とする、請求項１３に記載のコンピュータデバイス。
  15. 前記予め設定された各病変タイプに対応するクラス活性化マップで最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立する前記ステップは、
    予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するステップと、
    前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るステップであって、前記予め設定された比率値は０より大きく且つ１未満であるステップと、
    初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するステップであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、ステップと、
    前記初期フレームに囲まれた面積から最大接続領域を検出するステップと、
    マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するステップであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、ステップと、
    を含むことを特徴とする、請求項１３に記載のコンピュータデバイス。
  16. 前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得た後、前記プロセッサが前記コンピュータ可読コマンドを実行するとき、
    前記予め設定された各病変タイプに対応する予め設定された信頼度閾値を取得するステップと、
    前記ターゲットシーケンス中の各要素をそれぞれ対応する予め設定された信頼度閾値と比較して、前記ターゲットシーケンスから前記予め設定された信頼度閾値以上の要素を特定し、ターゲット要素と表示するステップと、
    各ターゲット要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陽性に決定し、且つ他の要素に対応する予め設定された病変タイプの前記ターゲット医療画像における予測結果を陰性に決定するステップであって、前記他の要素とは、前記ターゲットシーケンスでターゲット要素以外の要素である、ステップと、
    がさらに実行されることを特徴とする、請求項１３に記載のコンピュータデバイス。
  17. 予め設定された各病変タイプに対応する予め設定された前記信頼度閾値は、
    予め収集された検証用の各医療画像を取得し、各検証サンプルと表示するステップと、
    各検証サンプルに対して、前記各検証サンプルを予めトレーニングされた前記ディープラーニングモデルに入力して、前記ディープラーニングモデルが出力した、前記各検証サンプルに対応する検証シーケンスを得るステップであって、前記検証シーケンス中の各要素は、予め設定された各病変タイプに対応する第３信頼度であり、第３信頼度は、前記各検証サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
    予め設定された各病変タイプに対して、各検証サンプルに対応する検証シーケンスから、前記予め設定された各病変タイプに対応する第３信頼度を抽出して、各病変信頼度を得るステップと、
    予め設定された各病変タイプに対して、前記各病変信頼度に基づいて、各病変信頼度を閾値とする時のヨーデンインデックスをそれぞれ計算して、前記各病変信頼度に対応するインデックス結果を得るステップと、
    最大のインデックス結果に対応する病変信頼度を前記予め設定された各病変タイプに対応する予め設定された信頼度閾値として決定するステップであって、前記最大のインデックス結果とは、各病変信頼度に対応するインデックス結果のうちの最大値である、ステップと、
    によって予め決定されることを特徴とする、請求項１６に記載のコンピュータデバイス。
  18. コンピュータ可読コマンドが記憶されている１つ以上の可読記憶媒体であって、前記コンピュータ可読コマンドが１つ以上のプロセッサによって実行されるとき、前記１つ以上のプロセッサが、
    被検出病変のターゲット医療画像を取得するステップと、
    前記ターゲット医療画像を予めトレーニングされたディープラーニングモデルに入力し、前記ディープラーニングモデルが出力したターゲットシーケンスを得るステップであって、前記ターゲットシーケンス中の各要素は、予め設定された各病変タイプに対応する第１信頼度であり、第１信頼度は、前記ターゲット医療画像が対応する予め設定された病変タイプに属する確率を表し、前記ディープラーニングモデルは、前記予め設定された各病変タイプに対応する医療画像サンプルで予めトレーニングして得られており、医療画像サンプルの各々には、画像に含まれる病変タイプが注釈されている、ステップと、
    前記ターゲット医療画像を前記ディープラーニングモデルに入力した後、前記ディープラーニングモデルの最後の畳み込み層が出力した第１特徴マップを抽出するステップと、
    前記ディープラーニングモデルの全結合層で前記予め設定された各病変タイプに対応する各ネットワークユニットの重み値を抽出するステップと、
    予め設定された各病変タイプに対して、前記第１特徴マップ及び前記予め設定された各病変タイプに対応する重み値に基づいて、前記予め設定された各病変タイプに対応する融合特徴マップを算出するステップと、
    前記ターゲット医療画像のサイズになるまで、前記予め設定された各病変タイプに対応する融合特徴マップをリサンプリングして、前記予め設定された各病変タイプに対応するクラス活性化マップを生成するステップと、
    前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立するステップであって、前記最大接続領域とは、前記クラス活性化マップのうちの、画素値が所定の画素閾値を超えるドットが入る接続領域である、ステップと、
    前記ターゲット医療画像に前記被検出病変の位置決め結果として前記予め設定された各病変タイプに対応するマーキングフレームを追加するステップと、
    を実行することを特徴とする、可読記憶媒体。
  19. 前記ディープラーニングモデルは、
    トレーニングに使用する各医療画像サンプルを取得するステップと、
    各医療画像サンプルに対して、前記予め設定された各病変タイプに対応するマーキング値を注釈して、前記各医療画像サンプルに対応するマーキングシーケンスを得るステップであって、マーキングシーケンス中の各要素は、予め設定された各病変タイプに対応するマーキング値であり、前記各医療画像サンプルでは、予め設定された病変タイプが陽性であれば、対応するマーキング値は１であり、予め設定された病変タイプが陰性であれば、対応するマーキング値は０である、ステップと、
    注釈後の各医療画像サンプルに対して、前記各医療画像サンプルをディープラーニングモデルに入力して反復トレーニング行って、前記ディープラーニングモデルが出力した、前記各医療画像サンプルに対応するサンプルシーケンスを得るステップであって、前記サンプルシーケンス中の各要素は、予め設定された各病変タイプに対応する第２信頼度であり、第２信頼度は、前記各医療画像サンプルが対応する予め設定された病変タイプに属する確率を表す、ステップと、
    予め設定された損失関数の計算結果に対して、前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さいまで、前記ディープラーニングモデルのモデルパラメータを調整するステップであって、前記損失関数は、前記各医療画像サンプルに対応するサンプルシーケンスとマーキングシーケンスとの間の誤差を計算するためのものである、ステップと、
    前記損失関数の計算結果が収束し且つ予め設定された収束閾値より小さくなると、前記ディープラーニングモデルはトレーニング済みとするステップと、
    によって予めトレーニングして得られることを特徴とする、請求項１８に記載の可読記憶媒体。
  20. 前記予め設定された各病変タイプに対応するクラス活性化マップにおいて最大接続領域を決定し、前記最大接続領域を囲むマーキングフレームを確立する前記ステップは、
    予め設定された各病変タイプに対応するクラス活性化マップに対して、前記クラス活性化マップ上のドットの最大画素値を取得するステップと、
    前記最大画素値と予め設定された比率値との積を計算して、限界画素閾値を得るステップであって、前記予め設定された比率値は０より大きく且つ１未満である、ステップと、
    初期フレームを確立し、且つ前記初期フレームが囲む面積が最小になるように、前記初期フレームを調整するステップであって、前記初期フレームは、前記クラス活性化マップ上の画素値が前記限界画素閾値より大きい全てのドットを囲んでいる、ステップと、
    前記初期フレームに囲まれた面積から最大接続領域を検出するステップと、
    マーキングフレームを確立し、且つ前記マーキングフレームが囲む面積が最小になるように、前記マーキングフレームを調整するステップであって、前記マーキングフレームは、前記最大接続領域を囲んでいる、ステップと、
    を含むことを特徴とする、請求項１８に記載の可読記憶媒体。
JP2021510459A 2019-08-05 2019-11-11 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 Active JP7058373B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910718497.3A CN110599451B (zh) 2019-08-05 2019-08-05 医学图像病灶检测定位方法、装置、设备及存储介质
CN201910718497.3 2019-08-05
PCT/CN2019/117098 WO2020215672A1 (zh) 2019-08-05 2019-11-11 医学图像病灶检测定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021536057A true JP2021536057A (ja) 2021-12-23
JP7058373B2 JP7058373B2 (ja) 2022-04-21

Family

ID=68853580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021510459A Active JP7058373B2 (ja) 2019-08-05 2019-11-11 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体

Country Status (5)

Country Link
US (1) US11961227B2 (ja)
JP (1) JP7058373B2 (ja)
CN (1) CN110599451B (ja)
SG (1) SG11202008321WA (ja)
WO (1) WO2020215672A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606619B1 (ko) * 2022-10-06 2023-11-29 (주)케어마인드 피드백 정보를 이용한 수술 후 외상 회복률 예측 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178202B (zh) * 2019-12-20 2024-03-22 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
JP7260119B2 (ja) * 2020-01-03 2023-04-18 ペイジ．エーアイ インコーポレイテッド 一般化疾患検出のために電子画像を処理するためのシステムおよび方法
CN111260663B (zh) * 2020-01-15 2023-05-02 华南理工大学 鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
CN111445462A (zh) * 2020-03-30 2020-07-24 国家计算机网络与信息安全管理中心 一种基于神经网络和热像图的蓄电池漏液检测方法
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
TWI783219B (zh) 2020-04-01 2022-11-11 緯創資通股份有限公司 醫學影像辨識方法及醫學影像辨識裝置
CN111667468A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 基于神经网络的oct图像病灶检测方法、装置及介质
CN111666993A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 医学图像样本筛查方法、装置、计算机设备和存储介质
CN112288683A (zh) * 2020-06-30 2021-01-29 深圳市智影医疗科技有限公司 基于多模态融合的肺结核病判定装置和方法
CN112116004B (zh) * 2020-09-18 2021-11-02 推想医疗科技股份有限公司 病灶分类方法及装置、病灶分类模型的训练方法
CN111932482B (zh) * 2020-09-25 2021-05-18 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112633352B (zh) * 2020-12-18 2023-08-29 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112700434A (zh) * 2021-01-12 2021-04-23 苏州斯玛维科技有限公司 医学图像的分类方法及其分类装置
WO2022251925A1 (en) * 2021-06-04 2022-12-08 GenesisCare Ventures Pty Ltd Method, system and software product for processing skin field images
CN113515660B (zh) * 2021-07-16 2022-03-18 广西师范大学 基于三维张量对比策略的深度特征对比加权图像检索方法
CN113641845B (zh) * 2021-07-16 2022-09-23 广西师范大学 一种基于向量对比策略的深度特征对比加权图像检索方法
CN113362329B (zh) * 2021-08-11 2021-11-19 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN113744798B (zh) * 2021-09-01 2023-04-28 腾讯医疗健康(深圳)有限公司 组织样本的分类方法、装置、设备和存储介质
CN114091507B (zh) * 2021-09-02 2022-07-29 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN114119578B (zh) * 2021-12-01 2022-07-08 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN114119588A (zh) * 2021-12-02 2022-03-01 北京大恒普信医疗技术有限公司 一种训练眼底黄斑病变区域检测模型的方法、装置及系统
CN114187281A (zh) * 2021-12-14 2022-03-15 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、电子设备和存储介质
CN115062165B (zh) * 2022-08-18 2022-12-06 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置
CN115393323B (zh) * 2022-08-26 2023-05-30 数坤(上海)医疗科技有限公司 一种目标区域获得方法、装置、设备和存储介质
CN115409856B (zh) * 2022-09-27 2023-06-27 北京医准智能科技有限公司 一种肺部医学图像处理方法、装置、设备及存储介质
CN115440386B (zh) * 2022-09-30 2023-06-20 中国医学科学院北京协和医院 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果的方法及设备
CN115965627B (zh) * 2023-03-16 2023-06-09 中铁电气化局集团有限公司 一种应用于铁路运营的微小部件检测系统及方法
CN116030118B (zh) * 2023-03-29 2023-06-20 杭州太美星程医药科技有限公司 病灶短径确定方法和装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096060A1 (en) * 2017-09-27 2019-03-28 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for annotating medical image
WO2019078204A1 (ja) * 2017-10-17 2019-04-25 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718937B (zh) * 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及系统
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技（深圳）有限公司 视网膜病变程度等级检测系统及方法
CN107766794B (zh) * 2017-09-22 2021-05-14 天津大学 一种特征融合系数可学习的图像语义分割方法
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
CN109102491B (zh) * 2018-06-28 2021-12-28 武汉楚精灵医疗科技有限公司 一种胃镜图像自动采集系统及方法
CN109410204B (zh) * 2018-10-31 2022-04-15 电子科技大学 一种基于cam的皮质白内障图像处理及增强方法
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109829446A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 眼底图像识别方法、装置、电子设备及存储介质
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190096060A1 (en) * 2017-09-27 2019-03-28 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for annotating medical image
WO2019078204A1 (ja) * 2017-10-17 2019-04-25 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小田 昌宏: "医用画像工学におけるＡＩ・機械学習の利用", 第６３回 システム制御情報学会 研究発表講演会講演論文集 ［ＣＤ−ＲＯＭ］, vol. ＴＳ１０−２−１, JPN6022013486, 15 May 2019 (2019-05-15), JP, pages 449 - 452, ISSN: 0004745059 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606619B1 (ko) * 2022-10-06 2023-11-29 (주)케어마인드 피드백 정보를 이용한 수술 후 외상 회복률 예측 방법

Also Published As

Publication number Publication date
SG11202008321WA (en) 2020-11-27
CN110599451B (zh) 2023-01-20
JP7058373B2 (ja) 2022-04-21
CN110599451A (zh) 2019-12-20
US20210166383A1 (en) 2021-06-03
WO2020215672A1 (zh) 2020-10-29
US11961227B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
US11487995B2 (en) Method and apparatus for determining image quality
KR101864380B1 (ko) 수술영상데이터 학습시스템
WO2020224403A1 (zh) 分类任务模型的训练方法、装置、设备及存储介质
US20240081618A1 (en) Endoscopic image processing
US10853623B2 (en) Method and apparatus for generating information
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
US20190191988A1 (en) Screening method for automated detection of vision-degenerative diseases from color fundus images
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
JP6842481B2 (ja) 深層学習を用いた網膜層の３ｄ定量解析
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
KR20190088375A (ko) 수술영상데이터 학습시스템
CN110363768B (zh) 一种基于深度学习的早期癌病灶范围预测辅助系统
KR101955919B1 (ko) 딥러닝 기반의 영상데이터 내 관심영역 설정방법 및 프로그램
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
KR102356465B1 (ko) 사용자 얼굴 피부 분석 방법 및 서버
CN115601811A (zh) 面部痤疮的检测方法和装置
WO2023174063A1 (zh) 背景替换的方法和电子设备
CN112288697A (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
CN114864093B (zh) 基于眼底图像进行疾病预测的装置、方法及存储介质
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN113724237A (zh) 齿痕识别方法、装置、计算机设备及存储介质
WO2020215682A1 (zh) 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质
WO2021093744A1 (zh) 一种瞳孔直径的测量方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R150 Certificate of patent or registration of utility model

Ref document number: 7058373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150