JP2021531565A - 病巣検出方法、装置、機器および記憶媒体 - Google Patents

病巣検出方法、装置、機器および記憶媒体 Download PDF

Info

Publication number
JP2021531565A
JP2021531565A JP2021500548A JP2021500548A JP2021531565A JP 2021531565 A JP2021531565 A JP 2021531565A JP 2021500548 A JP2021500548 A JP 2021500548A JP 2021500548 A JP2021500548 A JP 2021500548A JP 2021531565 A JP2021531565 A JP 2021531565A
Authority
JP
Japan
Prior art keywords
feature map
lesion
neural network
generate
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021500548A
Other languages
English (en)
Other versions
JP7061225B2 (ja
Inventor
ルイ ホアン，
ユンホー カオ，
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2021531565A publication Critical patent/JP2021531565A/ja
Application granted granted Critical
Publication of JP7061225B2 publication Critical patent/JP7061225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本開示は病巣検出方法、装置、機器および記憶媒体を開示する。前記方法は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、前記第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成することと、前記第二特徴マップの特徴を検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む。本開示を採用すれば、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。【選択図】図２

Description

本発明は、コンピュータ技術分野に関し、特に病巣検出の方法、装置、機器および記憶媒体に関する。
コンピュータ支援診断（Ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｄｉａｇｏｓｉｓ、ＣＡＤ）とは映像学的、医療画像解析技術および他の可能な生理学的、生化学的などの手段を、コンピュータによる解析計算と組み合わせることで、映像から病巣を自動的に発見することをいう。コンピュータ支援診断により診断の正確度の向上、診断漏れの低減および医者の作業効率向上などの方面で積極的な促進作用を非常に大きく果たすことは、実践により証明されている。ここで、病巣とは、病原性因子の影響で病変がある組織または器官の部位をいい、病変がある生体の部分である。例えば、人体の肺のある部分が結核菌により破壊されたら、この部分は肺結核症の病巣となる。
近年、コンピュータビジョンおよび深層学習技術の急速な発展に伴い、ＣＴ画像に基づく病巣検出方法はますます注目されている。
本開示は、病巣検出方法、装置、機器および記憶媒体を提供し、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
第一方面で、本開示は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成することと、前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む病巣検出方法を提供する。
いくつかの可能な実施例では、第一方面において、複数のサンプル切片を含む第一画像を取得することは、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成することを含む。
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、前記第一画像と前記第一所定特徴マップで前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、前記第三特徴マップよりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
いくつかの可能な実施例では、第一方面において、前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ Ｕ−Ｎｅｔネットワークを含む。
いくつかの可能な実施例では、第一方面において、前記第二ニューラルネットワークは積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークである。
いくつかの可能な実施例では、第一方面において、前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む。
いくつかの可能な実施例では、第一方面において、前記第一特徴マップに含まれる特徴の次元削減を行い、第二特徴マップを生成することは、前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとすることを含む。
いくつかの可能な実施例では、第一方面において、前記第二特徴マップを検出することは、第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることと、を含む。
いくつかの可能な実施例では、第一方面において、前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記ＤｅｎｓｅＡＳＰＰモジュール、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
いくつかの可能な実施例では、第一方面において、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記ＤｅｎｓｅＡＳＰＰモジュール、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
第二方面で、本開示は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニットと、前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニットと、前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニットと、前記第二特徴マップを検出し、第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得るための検出ユニットと、を含む病巣検出装置を提供する。
いくつかの可能な実施例では、第二方面において、前記取得ユニットは、具体的に、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成するために用いられる。
いくつかの可能な実施例では、第二方面において、前記第一生成ユニットは、具体的に、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、前記第三特徴マップよりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
いくつかの可能な実施例では、第二方面において、前記第一生成ユニットは、具体的に、第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、前記第一画像と前記第一所定特徴マップで前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
いくつかの可能な実施例では、第二方面において、前記第一生成ユニットは、具体的に、第二ニューラルネットワークによって前記第一画像の残差ブロックをダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、前記第三特徴マップよりも解像度が低い第四特徴マップを生成することと、前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、前記第三特徴マップと前記第三所定特徴マップで前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
いくつかの可能な実施例では、第二方面において、前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ Ｕ−Ｎｅｔネットワークを含む。
いくつかの可能な実施例では、第二方面において、前記第二ニューラルネットワークは積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークである。
いくつかの可能な実施例では、第二方面において、前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む。
いくつかの可能な実施例では、第二方面において、前記第三特徴ユニットは、具体的に、前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとするために用いられる。
いくつかの可能な実施例では、第二方面において、前記検出ユニットは、具体的に、第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることとに用いられる。
いくつかの可能な実施例では、第二方面において、前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
いくつかの可能な実施例では、第二方面において、訓練ユニットをさらに含み、前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
いくつかの可能な実施例では、第二方面において、訓練ユニットをさらに含み、前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される。
第三方面で、本開示は、互いに接続されるプロセッサ、ディスプレイおよびメモリを含む病巣検出機器であって、前記ディスプレイは病巣の位置および前記位置に対応する信頼度を表示するために用いられ、前記メモリはアプリケーションプログラムコードを記憶するために用いられ、前記プロセッサは前記プログラムコードを呼び出すことによって上記第一方面の病巣検出方法を実行するように構成される病巣検出機器を提供する。
第四方面で、本開示は、命令を含む一つ以上のコンピュータプログラムを記憶するためのコンピュータ読取可能記憶媒体であって、上記コンピュータプログラムはコンピュータにおいて実行されると、上記命令は第一方面の病巣検出方法を実行させるために用いられるコンピュータ読取可能記憶媒体を提供する。
第五方面で、本開示は、病巣検出命令を含むコンピュータプログラムであって、該コンピュータプログラムがコンピュータにおいて実行されると、上記病巣検出命令は上記第一方面が提供する病巣検出方法を実行させるために用いられるコンピュータプログラムを提供する。
本開示は病巣検出方法、装置、機器および記憶媒体を提供する。まず、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得する。さらに、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成する。続いて、第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成する。最後に、第二特徴マップの特徴を検出し、第二特徴マップにおける各病巣の特徴および位置に対応する信頼度を得る。本開示を採用すれば、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
以下、本開示の実施例の解決手段をより明確に説明するために、実施例の説明に必要な図面を簡単に説明する。下記の図面が本開示のいくつかの実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を想到できることは明らかである。
図１は、本開示が提供する病巣検出システムのネットワークアーキテクチャの模式図である。 図２は、本開示が提供する病巣検出方法の模式的フローチャートである。 図３は、本開示が提供する病巣検出装置の模式的ブロック図である。 図４は、本開示が提供する病巣検出機器の模式的構成図である。
以下、本開示における図面を参照しながら、本開示における技術的解決手段を明確に、完全に説明する。説明される実施例は、本開示の実施例の一部に過ぎず、全ての実施例ではない。本開示における実施例に基づき、当業者が創造的な労力を要せずに得られた他の全ての実施例は、いずれも本開示の保護範囲に属する。
本明細書および添付の特許請求の範囲において使用される用語「含む」および「含まれる」は、説明される特徴、全体、ステップ、操作、要素および／またはコンポーネントが存在することを意味するが、一つ以上の他の特徴、全体、ステップ、操作、要素、コンポーネントおよび／またはそれらの群の存在または追加を除外しないことが理解されたい。
本開示の明細書において使用される用語は、特定の実施例を説明するためのものにすぎず、本開示を限定するものではないことも理解されたい。本開示の明細書および添付の特許請求の範囲において使用される単数形「一」、「一つ」および「該」は、文脈により明確に示さない限り、複数形も含むことが理解されたい。
本開示の明細書および添付の特許請求の範囲において使用される用語「および／または」は、関連して列挙された項目の一つ以上の任意の組み合わせおよび全ての可能な組み合わせを意味し、かつこれらの組み合わせを含むことも理解されたい。
本明細書および添付の特許請求の範囲において使用される用語「場合」は、文脈により「…時」または「…すると」または「決定／特定／判定に応じて」または「検出に応じて」という意味に解釈され得る。同様に、語句「決定／特定／判定された場合」または「［記載された条件またはイベント］が検出された場合」は文脈により「決定／特定／判定すると」または「決定／特定／判定に応じて」または「［説明された条件またはイベント］が検出されると」または「［説明された条件またはイベント］の検出に応じて」という意味に解釈され得る。
具体的な実現において、本開示に記載の機器は、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパネル）を有するラップトップ型コンピュータまたはタブレットコンピュータのような他の携帯機器を含むが、これらに限定されない。なお、いくつかの実施例において、前記機器は携帯通信機器ではなく、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパネル）を有するデスクトップコンピュータであることも理解されたい。
以下、ディスプレイおよびタッチ感知面を含む機器について説明する。機器は物理キーボード、マウスおよび／またはジョイスティックなどの一つ以上の他の物理ユーザインタフェースデバイスを含み得ることが理解されたい。
機器は、様々なアプリケーション、例えば、描画アプリケーション、デモアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ｗｅｂブラウジングアプリケーション、デジタル音楽プレーヤアプリケーションおよび／またはデジタルビデオプレーヤアプリケーションの一つ以上をサポートする。
機器上で実行可能である様々なアプリケーションは、タッチ感知面などの少なくとも一つの共通の物理的ユーザインタフェースデバイスを使用してもよい。タッチ感知面の一つ以上の機能および機器上に表示される対応する情報は、アプリケーション間および／または対応するアプリケーション内で調整および／または変更されてもよい。このようにして、機器の共通の物理アーキテクチャ（例えば、タッチ感知面）は、ユーザにとって直感的かつ透過的なユーザインタフェースを有する様々なアプリケーションをサポートできる。
以下、本開示をより明確に理解するために、本開示に適するネットワークアーキテクチャを説明する。図１は本開示が提供する病巣検出システムの模式図である。図１に示すように、システム１０は、第一ニューラルネットワーク１０１、第二ニューラルネットワーク１０２、および検出サブネット（Ｄｅｔｅｃｔｉｏｎ Ｓｕｂｎｅｔ）１０３を含むようにしてもよい。
本開示の実施例では、病巣とは、病原性因子の影響で病変がある組織または器官の部位をいい、病変がある生体の部分である。例えば、人体の肺のある部分が結核菌により破壊されたら、この部分は肺結核症の病巣となる。
説明したいのは、第一ニューラルネットワーク１０１は、畳み込み層（Ｃｏｎｖ１）および畳み込み層にカスケード接続される残差ブロック（ＳＥＲｅｓＢｌｏｃｋ）を含む。そのうち、残差ブロックは、バッチ正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）、修正線形ユニット（ＲｅＬＵ）活性化関数および最大プーリング層（Ｍａｘ−ｐｏｏｌｉｎｇ）を含むようにしてもよい。
そのうち、第一ニューラルネットワーク１０１は、第一ニューラルネットワーク１０１に入力される第一画像をＸ軸次元およびＹ軸次元でダウンサンプリングし、第三特徴マップを生成するために用いられることができる。説明したいのは、第一画像は、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像（つまり、第一画像は、Ｘ軸次元、Ｙ軸次元を含む複数の二次元画像により構成され、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である）であり、例えば、第一画像は５１２＊５１２＊９の三次元画像であってもよい。
具体的には、第一ニューラルネットワーク１０１は、畳み込み層の畳み込みカーネルによって第一画像を処理して特徴マップを生成し、さらに、残差ブロックによって特定の特徴マップをプーリングし、第一画像よりも解像度が低い第三特徴マップを生成するようにしてもよい。例として、第一ニューラルネットワーク１０１によって５１２＊５１２＊９の三次元画像を処理して２５６＊２５６＊９の三次元画像を得てもよく、または第一ニューラルネットワーク１０１によって５１２＊５１２＊９の三次元画像を処理して１２８＊１２８＊９の三次元画像を得てもよい。ダウンサンプリングにより、入力される第一画像に含まれる病巣特徴を抽出し、第一画像内の不要な領域の一部を除去することができる。
説明したいのは、本開示の実施例におけるダウンサンプリングは、第一画像を表示領域の大きさに合わせるように第一画像のサムネイルを生成するために用いられる。本開示の実施例におけるアップサンプリングは、補間により元画像の画素間に新しい画素を挿入して元画像を拡大するために用いられる。これは小さな病巣の検出に有用である。
以下、一例を挙げて本開示の実施例におけるダウンサンプリングを簡単に説明する。例えば、サイズがＭ＊Ｎの画像ＩをＳ倍ダウンサンプリングして、（Ｍ／Ｓ）＊（Ｎ／Ｓ）サイズの解像度の画像を得ることができる。つまり、元画像ＩのＳ＊Ｓウィンドウ内の画像を一つの画素とし、ここで、該画素の画素値は該Ｓ＊Ｓウィンドウ内の全ての画素の最大値である。ここで、水平方向または垂直方向にスライドするストライド（Ｓｔｒｉｄｅ）は２としてもよい。
第二ニューラルネットワーク１０２は、積み上げられている四つの３Ｄ Ｕ−ｎｅｔネットワークを含むようにしてもよい。３Ｄ Ｕ−ｎｅｔネットワークの展開図は図１の１０４に示される。複数の３Ｄ Ｕ−ｎｅｔネットワークで検出することにより、検出の正確性を向上させることができる。本開示の実施例における３Ｄ Ｕ−ｎｅｔネットワークの数は、例示的なものに過ぎず、限定するものではない。ここで、３Ｄ Ｕ−Ｎｅｔネットワークは、畳み込み層（ｃｏｎｖ）、逆畳み込み層（ｄｅｃｏｎｖ）、残差ブロックおよびＤｅｎｓｅＡＳＰＰモジュールを含む。
そのうち、第二ニューラルネットワーク１０２の残差ブロックは、第一ニューラルネットワーク１０１から出力される第三特徴マップをＸ軸次元およびＹ軸次元でダウンサンプリングし、第四特徴マップを生成するために用いることができる。
また、第二ニューラルネットワーク１０２の残差ブロックは、第四特徴マップをＸ軸次元およびＹ軸次元でダウンサンプリングし、第五特徴マップを生成するために用いることもできる。
続いて、第二ニューラルネットワーク１０２のＤｅｎｓｅＡＳＰＰモジュールによって第五特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワーク１０２の逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワーク１０２の逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
第三特徴マップと第三所定特徴マップとを融合（ｃｏｎｃａｔ）して第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成し、第五特徴マップと第五所定特徴マップとを融合して第五所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
説明したいのは、ＤｅｎｓｅＡＳＰＰモジュールは、カスケード接続されている５つの異なる拡張率の拡張畳み込みを含み、異なるスケールの病巣の特徴を抽出することができる。ここで、５つの異なる拡張率（ｄｉｌａｔｅ）の拡張畳み込みは、それぞれ拡張率ｄ＝３の拡張畳み込み、拡張率ｄ＝６の拡張畳み込み、拡張率ｄ＝１２の拡張畳み込み、拡張率ｄ＝１８の拡張畳み込み、および拡張率ｄ＝２４の拡張畳み込みである。
検出サブネット１０３は、第一検出サブネットおよび第二検出サブネットを含むようにしてもよい。第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。同様に、第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
第一検出サブネットは、第一特徴マップが次元削減された第二特徴マップを検出し、第二特徴マップにおける各病巣の位置の座標を得るために用いられる。
具体的には、第一検出サブネットのカスケード接続されている４つの畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を特定する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を特定するようにしてもよい。
第二検出サブネットによって上記第二特徴マップを検出し、第二特徴マップにおける各病巣に対応する信頼度を得る。
具体的には、第二検出サブネットのカスケード接続されている４つの畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を特定し、さらに、該位置に対応する信頼度を出力する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を特定し、さらに、該位置に対応する信頼度を出力するようにしてもよい。
説明したいのは、本開示の実施例において位置に対応する信頼度は、該位置が病巣であることをユーザが信じる程度を示す。例えば、ある病巣の位置の信頼度は９０％である。
以上の記載によければ、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
説明したいのは、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、さらに、以下のステップを含む。
予め保存された、病巣をラベリングする（例えば、ボックスの形で病巣をラベリングし、また、該病巣の位置の座標でラベリングする）ための病巣ラベルが複数含まれている三次元画像を、前記第一ニューラルネットワークに入力し、勾配降下法を使用して第一ニューラルネットワーク、第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
説明したいのは、勾配降下法による各パラメータの訓練において、逆伝播アルゴリズムで勾配降下法の勾配を計算するようにしてもよい。
または、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第二ニューラルネットワークに入力し、勾配降下法を使用して第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
図２は本開示が提供する病巣検出方法の模式的フローチャートである。可能な一実施形態では、前記病巣検出方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置、又は、サーバ等の電子機器により実行されてもよい。前記方法は、プロセッサによってメモリに記憶されているコンピュータ読取可能コマンドを呼び出すことで実現されてもよい。または、前記方法は、サーバによって実行されてもよい。
図２に示すように、該方法は少なくとも以下のステップを含むようにしてもよい。
Ｓ２０１：複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得する。
具体的には、選択可能な一実施形態において、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成する。ここで、患者のＣＴ画像は、各層の厚さがそれぞれ２．０ｍｍである１３０層の断層を含み、Ｘ軸次元、Ｙ軸次元での第一サンプリング間隔は２．０ｍｍであるようにしてもよい。
本開示の実施例では、患者のＣＴ画像は、患者の組織または器官に関する、複数の断層を含む一つのスキャンシーケンスであり、断層の数は１３０としてもよい。
病巣とは、病原性因子の影響で病変がある患者の組織または器官の部位をいい、病変がある生体の部分である。例えば、人体の肺のある部分が結核菌により破壊されたら、この部分は肺結核症の病巣となる。
説明したいのは、第一画像は、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像（つまり、第一画像は、Ｘ軸次元、Ｙ軸次元を含むＮ枚の二次元画像により構成され、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像であり、ここで、Ｎは２以上であり、各二次元画像は被検出組織の異なる位置における横断面画像である）であり、例えば、第一画像は５１２＊５１２＊９の三次元画像であってもよい。
説明したいのは、ＣＴ画像を再サンプリングする前に、さらに、閾値法によりＣＴ画像中の余分な背景を除去するステップを含むようにしてもよい。
Ｓ２０２：第一画像の特徴を抽出し、病巣の特徴が含まれ、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成する。
具体的には、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、以下のケースを含んでもよいが、それらに限定されない。
ケース１：第一ニューラルネットワークによって第一画像をダウンサンプリングし、第三特徴マップを生成する。
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第四特徴マップと同じ解像度の第四所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第三所定特徴マップおよび第四所定特徴マップはそれぞれ病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
ケース２：第二ニューラルネットワークの残差ブロックによって第一画像をダウンサンプリングし、第四特徴マップを生成する。
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第一画像と同じ解像度の第一所定特徴マップを生成する。
前記第一画像と第一所定特徴マップで第一所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
ケース３：第一ニューラルネットワークによって第一画像をダウンサンプリングし、第三特徴マップを生成する。
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
第二ニューラルネットワークの残差ブロックによって第四特徴マップをダウンサンプリングし、第五特徴マップを生成する。
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第五特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第五特徴マップと同じ解像度の第五所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成し、第五特徴マップと第五所定特徴マップとを融合して第五所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
説明したいのは、第一ニューラルネットワークは、畳み込み層および畳み込み層にカスケード接続される残差ブロックを含み、第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよびＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ Ｕ−Ｎｅｔネットワークを含む。
そのうち、残差ブロックは、畳み込み層、バッチ正規化層（ＢＮ層）、ＲｅＬＵ活性化関数および最大プーリング層を含んでもよい。
選択可能的に、第二ニューラルネットワークは積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークである。第二ニューラルネットワークが積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークである場合、病巣検出システムの安定性および検出の正確性を向上させることができる。本開示の実施例は、３Ｄ Ｕ−ｎｅｔネットワークの数を限定しない。
Ｓ２０３：第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成する。
具体的には、第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを第二特徴マップとする。第一特徴マップは三次元の特徴マップであるが、検出サブネット１０３に出力されて検出される時、二次元に変換する必要があるため、第一特徴マップの次元削減を行わなければならない。
説明したいのは、上述したある特徴のチャネルは、ある特徴の分布データを表す。
Ｓ２０４：第二特徴マップの特徴を検出し、検出された第二特徴マップにおける各病巣の特徴および位置に対応する信頼度を表示する。
具体的には、第一検出サブネットによって第二特徴マップを検出し、第二特徴マップにおける各病巣の位置の座標を得る。
さらに具体的には、第一検出サブネットのカスケード接続されている複数の畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を特定する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を特定するようにしてもよい。
第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得る。
さらに具体的には、第二検出サブネットのカスケード接続されている複数の畳み込み層によって、入力される第二特徴マップを処理し、第二特徴マップにおける各病巣の位置を取得し、さらに、該位置に対応する信頼度を出力する。ここで、各畳み込み層はそれぞれ一つのＹ＊Ｙの畳み込みカーネルを含み、各病巣の左上隅の座標（ｘ１，ｙ１）および病巣の右下隅の座標（ｘ２，ｙ２）を順に取得することで、第二特徴マップにおける各病巣の位置を取得し、さらに、該位置に対応する信頼度を出力するようにしてもよい。
以上の記載によければ、本開示の実施例は、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
説明したいのは、第一画像の特徴を抽出し、病巣の特徴が含まれる第一特徴マップを生成する前に、さらに、以下のステップを含む。
予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第一ニューラルネットワークに入力し、勾配降下法を使用して第一ニューラルネットワーク、第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
または、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第二ニューラルネットワークに入力し、勾配降下法を使用して第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練する。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
以上をまとめると、本開示では、まず、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得する。さらに、第一画像の特徴を抽出し、病巣の特徴が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成する。続いて、第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成する。最後に、第二特徴マップの特徴を検出し、第二特徴マップにおける各病巣の位置および位置に対応する信頼度を得る。本開示の実施例を採用すれば、患者体内の複数の部位の病巣状況を正確に検出し、患者全身にわたって癌を予備的に評価することができる。
理解されたいのは、図２の方法の実施例において提供されていない関連定義および説明は、図１の実施例を参照すればよく、ここで説明を省略する。
図３は、本開示が提供する病巣検出装置である。図３に示すように、病巣検出装置３０は、複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニット３０１と、第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニット３０２と、第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニット３０３と、第二特徴マップを検出し、第二特徴マップにおける各病巣の位置および位置に対応する信頼度を得るための検出ユニット３０４と、を含む。
取得ユニット３０２は、具体的に、取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成するために用いられる。
第一生成ユニット３０３は、具体的に、以下の三つのケースに用いられることができる。
ケース１：第一ニューラルネットワークによって第一画像をダウンサンプリングし、第三特徴マップを生成する。
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第四特徴マップと同じ解像度の第四所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第三所定特徴マップおよび第四所定特徴マップはそれぞれ病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
ケース２：第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成する。
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第四特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第一画像と同じ解像度の第一所定特徴マップを生成する。
第一画像と第一所定特徴マップで第一所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第一所定特徴マップは病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
ケース３：第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成する。
第二ニューラルネットワークの残差ブロックによって第三特徴マップをダウンサンプリングし、第四特徴マップを生成する。
第二ニューラルネットワークの残差ブロックによって第四特徴マップをダウンサンプリングし、第五特徴マップを生成する。
第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって第五特徴マップにおける異なるスケールの病巣の特徴を抽出する。
ＤｅｎｓｅＡＳＰＰモジュールによる処理後、第五特徴マップと同じ解像度の第五所定特徴マップが生成され、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、第二ニューラルネットワークの逆畳み込み層および残差ブロックによってＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、第三特徴マップと同じ解像度の第三所定特徴マップを生成する。
第三特徴マップと第三所定特徴マップで第三所定特徴マップと同じ解像度の第一特徴マップを生成し、第四特徴マップと第四所定特徴マップとを融合して第四所定特徴マップと同じ解像度の第一特徴マップを生成し、第五特徴マップと第五所定特徴マップとを融合して第五所定特徴マップと同じ解像度の第一特徴マップを生成する。ここで、第三所定特徴マップ、第四所定特徴マップおよび第五所定特徴マップはそれぞれ病巣の位置を含み、病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる。
説明したいのは、第一ニューラルネットワークは、畳み込み層および畳み込み層にカスケード接続される残差ブロックを含み、第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよびＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ Ｕ−Ｎｅｔネットワークを含む。
選択可能的に、第二ニューラルネットワークは積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークを含んでもよい。複数の３Ｄ Ｕ−ｎｅｔネットワークで検出することにより、検出の正確性を向上させることができる。本開示の実施例における３Ｄ Ｕ−ｎｅｔネットワークの数は例示的なものに過ぎない。
説明したいのは、残差ブロックは、畳み込み層、バッチ正規化層（ＢＮ層）、ＲｅＬＵ活性化関数および最大プーリング層を含んでもよい。
第三特徴ユニット３０４は、具体的に、第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを第二特徴マップとするために用いられる。
検出ユニット３０５は、具体的に、第一検出サブネットによって第二特徴マップを検出し、第二特徴マップにおける各病巣の位置の座標を得ることと、第二検出サブネットによって第二特徴マップを検出し、第二特徴マップにおける病巣に対応する信頼度を得ることとに用いられる。
説明したいのは、第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む。
病巣検出装置３０は、取得ユニット３０１、第一生成ユニット３０２、第二生成ユニット３０３および検出ユニット３０４の他、表示ユニットをさらに含む。
表示ユニットは、具体的に、検出ユニット３０４によって検出された病巣の位置および位置の信頼度を表示するために用いられる。
病巣検出装置３０は、取得ユニット３０１、第一生成ユニット３０２、第二生成ユニット３０３および検出ユニット３０４の他、訓練ユニットをさらに含む。
訓練ユニットは、具体的に、第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第一ニューラルネットワークに入力し、勾配降下法を使用して第一ニューラルネットワーク、第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、または、第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を第二ニューラルネットワークに入力し、勾配降下法を使用して第二ニューラルネットワーク、第一検出サブネットおよび第二検出サブネットの各パラメータをそれぞれ訓練するために用いられる。ここで、複数の病巣のそれぞれの位置は第一検出サブネットにより出力される。
病巣検出装置３０は、本開示の実施例において一例として提供されたものにすぎず、示された部材よりも多い部材または少ない部材を備えてもよく、二つ以上の部材の組み合わせまたは具備可能な部材の異なる配置によって実現されてもよいことが理解されたい。
理解されたいのは、図３の病巣検出装置３０が含む機能ブロックの具体的な実施形態は、前記図２に記載の方法の実施例を参照すればよく、ここでは説明を省略する。
図４は本開示が提供する病巣検出機器の構成の模式図である。本開示の実施例において、病巣検出機器は、携帯電話、タブレット、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、モバイルインターネットデバイス（Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅ、ＭＩＤ）、スマートウェアラブルデバイス（例えば、スマートウォッチ、スマートブレスレットなど）など様々な機器を含みんでもよく、本開示の実施例はこれについて限定しない。図４に示すように、病巣検出機器４０は、ベースバンドチップ４０１、メモリ４０２（一つ以上のコンピュータ読取可能記憶媒体）、周辺システム４０３を含んでもよい。これらの部材は一つ以上の通信バス４０４を介して通信可能である。
ベースバンドチップ４０１は、一つ以上のプロセッサ（ＣＰＵ）４０５、入力される法線マップを処理可能な一つ以上の画像処理装置（ＧＰＵ）４０６を含む。
メモリ４０２はプロセッサ４０５と結合され、様々なソフトウェアプログラムおよび／または複数の命令セットを記憶するために用いられることができる。具体的な実現では、メモリ４０２は高速ランダムアクセスメモリを含んでもよく、また一つ以上の磁気ディスク記憶装置、フラッシュメモリまたは他の非揮発性固体記憶装置のような非揮発性メモリを含んでもよい。メモリ４０２はオペレーティングシステム（以下、単にシステムという）、例えばＡＮＤＲＯＩＤ（登録商標）、ＩＯＳ、ＷＩＮＤＯＷＳ（登録商標）、またはＬＩＮＵＸ（登録商標）などの組み込みオペレーティングシステムを記憶してもよい。メモリ４０２は、一つ以上の付加装置、一つ以上の機器、一つ以上のネットワーク機器との通信に用いられるネットワーク通信プログラムを記憶してもよい。メモリ４０２はグラフィカルユーザインタフェースによってアプリケーションのコンテンツをリアルに表示し、メニュー、ダイアログボックスおよびボタンなどの入力コントロールによってユーザからアプリケーションの制御操作を受信するユーザインタフェースプログラムを記憶してもよい。
理解されたいのは、メモリ４０２は病巣検出方法を実現するプログラムコードを記憶するために用いられることができる。
理解されたいのは、プロセッサ４０５は、メモリ４０２に記憶されている病巣検出方法を実行するプログラムコードを呼び出すために用いられることができる。
メモリ４０２は、一つ以上のアプリケーションを記憶してもよい。図４に示すように、これらのアプリケーションは、ソーシャルアプリケーション（例えばｆａｃｅｂｏｏｋ（登録商標））、画像管理アプリケーション（例えばアルバム）、地図アプリケーション（例えばグーグルマップ）、ブラウザー（例えばＳａｆａｒｉ（登録商標）、Ｇｏｏｇｌｅ（登録商標） Ｃｈｒｏｍｅ（登録商標））などを含んでもよい。
周辺システム４０３は、主に病巣検出機器４０とユーザ／外部環境との間のインタラクション機能を実現するために用いられ、主に病巣検出機器４０の入出力機器を含む。具体的な実現では、周辺システム４０３は、表示スクリーンコントローラ４０７、カメラコントローラ４０８、マウス−キーボードコントローラ４０９およびオーディオコントローラ４１０を含んでもよい。そのうち、各コントローラのそれぞれは対応する周辺機器（例えば表示スクリーン４１１、カメラ４１２、マウス−キーボード４１３およびオーディオ回路４１４）と結合可能である。いくつかの実施例では、表示スクリーンは自己容量型フローティングタッチパネルを配備した表示スクリーンであってもよいし、赤外線型フローティングタッチパネルを配備した表示スクリーンであってもよい。いくつかの実施例では、カメラ４１２は３Ｄカメラであってもよい。説明したいのは、周辺システム４０３は他のＩ／Ｏ外部装置を含んでもよい。
理解されたいのは、表示スクリーン４１１は検出された病巣の位置および位置の信頼度を表示するために用いられることができる。
病巣検出機器４０は、本開示の実施例において一例として提供されるものにすぎず、示された部材よりも多い部材または少ない部材を備えてもよく、二つ以上の部材の組み合わせまたは具備可能な部材の異なる配置によって実現されてもよいことが理解されたい。
理解されたいのは、図４の病巣検出機器４０が含む機能モジュールの具体的な実施形態は、図２の方法の実施例を参照すればよく、ここでは説明を省略する。
本開示は、コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、コンピュータプログラムはプロセッサにより実行されると実現させるコンピュータ読取可能記憶媒体を提供する。
該コンピュータ読取可能記憶媒体は、前記の実施例に記載の機器のいずれか１つの内部記憶ユニット、例えば機器のハードディスクまたは内部メモリであってもよい。該コンピュータ読取可能記憶媒体は、機器の外部記憶装置、例えば機器に配備されたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ （登録商標）Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などであってもよい。さらに、該コンピュータ読取可能記憶媒体は、機器の内部記憶ユニットと外部記憶装置を含んでもよい。該コンピュータ読取可能記憶媒体は、コンピュータプログラムおよび機器に必要な他のプログラムやデータを記憶するために用いられ、また、出力されたまたは出力されるデータを一時的に記憶するために用いられてもよい。
本開示は、コンピュータプログラムが記憶されている非一時的なコンピュータ読取可能記憶媒体を含むコンピュータプログラム製品であって、該コンピュータプログラムはコンピュータに上記方法の実施例に記載の方法のいずれか１つの一部または全てのステップを実行させるように動作するコンピュータプログラム製品を提供する。該コンピュータプログラム製品は一つのソフトウェアインストールパッケージであってもよく、該コンピュータは電子装置を含む。
当業者であれば、本明細書の実施例で説明した各例示的なユニットおよびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで実現できると理解すべきである。上記説明において、ハードウェアとソフトウェアの交換可能を明確に説明するために、機能に応じて各例示的な構成およびステップを一般的に記述した。これらの機能がハードウェアで実行されるか、それともソフトウェアで実行されるかは、技術的解決手段の特定の用途および設計上の制約条件によって決められる。専門技術者であれば、特定の用途に応じて異なる方法で記載の機能を実現できる。このような実現は本開示の範囲を超えたものであると理解すべきではない。
説明を簡単化および簡潔化するために、上述した機器およびユニットの具体的な動作について、前記方法の実施例における対応する部分を参照すればよいことは、当業者であれば明確に理解され、ここでは説明を省略する。
本開示のいくつかの実施例で開示した機器および方法は、他の形態で実現できることを理解すべきである。例えば、各例示的構成およびステップを記載したが、これらの機能がハードウェアで実行されるか、それともソフトウェアで実行されるかは、技術的解決手段の特定の用途および設計上の制約条件によって決められる。専門技術者であれば、特定の用途に応じて異なる方法で記載の機能を実現できる。このような実現は本開示の範囲を超えたものであると理解すべきではない。
以上に記載の機器の実施例は例示的なものに過ぎない。例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよい。例えば、複数のユニットまたはコンポーネントは、組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した相互の結合、直接結合または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であってもよいし、電気的、機械的または他の形態での接続であってもよい。
別々の部材として説明した前記ユニットは、物理的に分離されても分離されなくてもよく、ユニットとして示された部材は、物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよい。本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
また、本開示の各実施例における各機能ユニットは、全て一つの処理ユニットに統合されてもよいし、それぞれ物理的に個別のユニットとされてもよいし、二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットは、ハードウェアで実現されてもよく、ソフトウェア機能ユニットで実現されてもよい。
上記統合されたユニットは、ソフトウェア機能ユニットで実現され、かつ独立した製品として販売または使用される場合、コンピュータ読取可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段の実質的な部分、従来技術に寄与する部分、または技術的解決手段の全てもしくは一部は、ソフトウェア製品で実現されることができる。該コンピュータソフトウェア製品は、記憶媒体に記憶され、一つのコンピュータ機器（パーソナルコンピュータ、ブロックチェーンの目標ノードである機器、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法の全てまたは一部のステップを実行させる若干の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ラダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
以上は本開示の具体的な実施形態にすぎず、本開示の保護範囲を限定するものではない。当業者であれば、本開示に記載の技術的範囲内で様々な均等の修正または置換を容易に想到できる。これらの修正または置換は全て本開示の保護範囲に属する。したがって、本開示の保護範囲は特許請求の範囲に準ずると理解すべきである。

Claims (29)

  1. 複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得することと、
    前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成することと、
    前記第一特徴マップに含まれる特徴の次元削減を行い、前記Ｘ軸次元および前記Ｙ軸次元の二次元特徴を含む第二特徴マップを生成することと、
    前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得ることと、を含む、
    病巣検出方法。
  2. 複数のサンプル切片を含む第一画像を取得することは、
    取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成することを含む、
    請求項１に記載の方法。
  3. 前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
    第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
    前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
    前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
    前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
    前記第三特徴マップと前記第三所定特徴マップとを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
    前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
    請求項１に記載の方法。
  4. 前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
    第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成することと、
    前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
    前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、
    前記第一画像と前記第一所定特徴マップとを融合して前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
    前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
    請求項１に記載の方法。
  5. 前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成することは、
    第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
    前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
    前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、前記第四特徴マップよりも解像度が低い第五特徴マップを生成することと、
    前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
    前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
    前記第三特徴マップと前記第三所定特徴マップとを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することと、を含み、
    前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
    請求項１に記載の方法。
  6. 前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、
    前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ Ｕ−Ｎｅｔネットワークを含む、
    請求項３または５に記載の方法。
  7. 前記第二ニューラルネットワークは積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークである、
    請求項５または６に記載の方法。
  8. 前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む、
    請求項５または６に記載の方法。
  9. 前記第一特徴マップに含まれる特徴の次元削減を行い、第二特徴マップを生成することは、
    前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとすることを含む、
    請求項１に記載の方法。
  10. 前記第二特徴マップを検出することは、
    第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、
    第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることと、を含む、
    請求項１に記載の方法。
  11. 前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、
    前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む、
    請求項１０に記載の方法。
  12. 前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、
    予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、
    前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
    請求項１、２、３、５、６、７、８、９、１０および１１のいずれか一項に記載の方法。
  13. 前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、
    病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練することを、さらに含み、
    前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
    請求項１、２、４、７、９、１０および１１のいずれか一項に記載の方法。
  14. 複数のサンプル切片を含む第一画像であって、Ｘ軸次元、Ｙ軸次元およびＺ軸次元を含む三次元画像である第一画像を取得するための取得ユニットと、
    前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップであって、前記Ｘ軸次元、Ｙ軸次元およびＺ軸次元の三次元特徴を含む第一特徴マップを生成するための第一生成ユニットと、
    前記第一特徴マップに含まれる特徴の次元削減を行い、Ｘ軸次元およびＹ軸次元の二次元特徴を含む第二特徴マップを生成するための第二生成ユニットと、
    前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置および前記位置に対応する信頼度を得るための検出ユニットと、を含む、
    病巣検出装置。
  15. 前記取得ユニットは、具体的に、
    取得された患者のＣＴ画像を第一サンプリング間隔で再サンプリングし、複数のサンプル切片を含む第一画像を生成するために用いられる、
    請求項１４に記載の装置。
  16. 前記第一生成ユニットは、具体的に、
    第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、第三特徴マップを生成することと、
    前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
    前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
    前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第四特徴マップと同じ解像度の第四所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
    前記第三特徴マップと前記第三所定特徴マップを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップとを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、
    前記第三所定特徴マップおよび前記第四所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
    請求項１４に記載の装置。
  17. 前記第一生成ユニットは、具体的に、
    第二ニューラルネットワークの残差ブロックによって前記第一画像をダウンサンプリングし、第四特徴マップを生成することと、
    前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第四特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
    前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第一画像と同じ解像度の前記第一所定特徴マップを生成することと、
    前記第一画像と前記第一所定特徴マップを融合して前記第一所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、
    前記第一所定特徴マップは病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
    請求項１４に記載の装置。
  18. 前記第一生成ユニットは、具体的に、
    第一ニューラルネットワークによって前記第一画像をダウンサンプリングし、前記第一画像よりも解像度が低い第三特徴マップを生成することと、
    前記第二ニューラルネットワークの残差ブロックによって前記第三特徴マップをダウンサンプリングし、第四特徴マップを生成することと、
    前記第二ニューラルネットワークの残差ブロックによって前記第四特徴マップをダウンサンプリングし、第五特徴マップを生成することと、
    前記第二ニューラルネットワークのＤｅｎｓｅＡＳＰＰモジュールによって前記第五特徴マップにおける異なるスケールの病巣の特徴を抽出することと、
    前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後、前記第五特徴マップと同じ解像度の第五所定特徴マップが生成され、前記第二ニューラルネットワークの逆畳み込み層および前記残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第四特徴マップと同じ解像度の第四所定特徴マップを生成し、または、前記第二ニューラルネットワークの逆畳み込み層および残差ブロックによって前記ＤｅｎｓｅＡＳＰＰモジュールによる処理後の特徴マップをアップサンプリングし、前記第三特徴マップと同じ解像度の第三所定特徴マップを生成することと、
    前記第三特徴マップと前記第三所定特徴マップを融合して前記第三所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第四特徴マップと前記第四所定特徴マップを融合して前記第四所定特徴マップと同じ解像度の第一特徴マップを生成し、前記第五特徴マップと前記第五所定特徴マップとを融合して前記第五所定特徴マップと同じ解像度の第一特徴マップを生成することとに用いられ、
    前記第三所定特徴マップ、前記第四所定特徴マップおよび前記第五所定特徴マップはそれぞれ病巣の位置を含み、前記病巣の位置は第一特徴マップにおける病巣の位置を生成するために用いられる、
    請求項１４に記載の装置。
  19. 前記第一ニューラルネットワークは、畳み込み層および前記畳み込み層にカスケード接続される残差ブロックを含み、
    前記第二ニューラルネットワークは、畳み込み層、逆畳み込み層、残差ブロックおよび前記ＤｅｎｓｅＡＳＰＰモジュールを含む３Ｄ Ｕ−Ｎｅｔネットワークを含む、
    請求項１６または１８に記載の装置。
  20. 前記第二ニューラルネットワークは積み上げられている複数の３Ｄ Ｕ−Ｎｅｔネットワークである、
    請求項１８または１９に記載の装置。
  21. 前記残差ブロックは、畳み込み層、バッチ正規化層、ＲｅＬＵ活性化関数および最大プーリング層を含む、
    請求項１８または１９に記載の装置。
  22. 前記第二生成ユニットは、具体的に、前記第一特徴マップの全ての特徴のそれぞれに対してチャネル次元とＺ軸次元とをマージして、前記第一特徴マップの全ての特徴のそれぞれの次元をＸ軸次元およびＹ軸次元からなるものにし、前記全ての特徴のそれぞれの次元がＸ軸次元およびＹ軸次元からなる第一特徴マップを前記第二特徴マップとするために用いられる、
    請求項１４に記載の装置。
  23. 前記検出ユニットは、具体的に、
    第一検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣の位置の座標を得ることと、
    第二検出サブネットによって前記第二特徴マップを検出し、前記第二特徴マップにおける各病巣に対応する信頼度を得ることとに用いられる、
    請求項１４に記載の装置。
  24. 前記第一検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含み、
    前記第二検出サブネットは、それぞれが一つのＲｅＬＵ活性化関数と接続される複数の畳み込み層を含む、
    請求項２３に記載の装置。
  25. 訓練ユニットをさらに含み、
    前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、予め保存された、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第一ニューラルネットワークに入力し、勾配降下法を使用して前記第一ニューラルネットワーク、前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
    請求項１４から２４のいずれか一項に記載の装置。
  26. 訓練ユニットをさらに含み、
    前記訓練ユニットは、具体的に、前記第一生成ユニットが前記第一画像の特徴を抽出し、病巣の特徴および位置が含まれる第一特徴マップを生成する前に、病巣をラベリングするための病巣ラベルが複数含まれている三次元画像を前記第二ニューラルネットワークに入力し、勾配降下法を使用して前記第二ニューラルネットワーク、前記第一検出サブネットおよび前記第二検出サブネットの各パラメータをそれぞれ訓練するために用いられ、前記複数の病巣のそれぞれの位置は前記第一検出サブネットにより出力される、
    請求項１４から２４のいずれか一項に記載の装置。
  27. ディスプレイ、メモリおよび前記メモリに結合されるプロセッサを含む病巣検出機器であって、前記ディスプレイは病巣の位置および前記位置に対応する信頼度を表示するために用いられ、前記メモリはアプリケーションプログラムコードを記憶するために用いられ、前記プロセッサは前記プログラムコードを呼び出すことによって請求項１から１３のいずれか一項に記載の病巣検出方法を実行するように構成される、
    病巣検出機器。
  28. プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記プログラム命令は、プロセッサにより実行されると、前記プロセッサに請求項１から１３のいずれか一項に記載の病巣検出方法を実行させる、
    コンピュータ読取可能記憶媒体。
  29. コンピュータ読取可能コードを含むコンピュータプログラムであって、前記コンピュータ読取可能コードは、電子機器において実行されると、前記電子機器のプロセッサに請求項１から１３のいずれか一項に記載の病巣検出方法を実現するための命令を実行させる、
    コンピュータプログラム。
JP2021500548A 2018-12-07 2019-10-30 病巣検出方法、装置、機器および記憶媒体 Active JP7061225B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811500631.4 2018-12-07
CN201811500631.4A CN109754389B (zh) 2018-12-07 2018-12-07 一种图像处理方法、装置及设备
PCT/CN2019/114452 WO2020114158A1 (zh) 2018-12-07 2019-10-30 一种病灶检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021531565A true JP2021531565A (ja) 2021-11-18
JP7061225B2 JP7061225B2 (ja) 2022-04-27

Family

ID=66402643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500548A Active JP7061225B2 (ja) 2018-12-07 2019-10-30 病巣検出方法、装置、機器および記憶媒体

Country Status (7)

Country Link
US (1) US20210113172A1 (ja)
JP (1) JP7061225B2 (ja)
KR (1) KR20210015972A (ja)
CN (2) CN111292301A (ja)
SG (1) SG11202013074SA (ja)
TW (1) TWI724669B (ja)
WO (1) WO2020114158A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292301A (zh) * 2018-12-07 2020-06-16 北京市商汤科技开发有限公司 一种病灶检测方法、装置、设备及存储介质
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN110533637B (zh) * 2019-08-02 2022-02-11 杭州依图医疗技术有限公司 一种检测对象的方法及装置
CN110580948A (zh) * 2019-09-12 2019-12-17 杭州依图医疗技术有限公司 医学影像的显示方法及显示设备
CN111402252B (zh) * 2020-04-02 2021-01-15 和宇健康科技股份有限公司 精准医疗图像分析方法及机器人手术系统
CN111816281B (zh) * 2020-06-23 2024-05-14 无锡祥生医疗科技股份有限公司 超声影像查询装置
CN112116562A (zh) * 2020-08-26 2020-12-22 重庆市中迪医疗信息科技股份有限公司 基于肺部影像数据检测病灶的方法、装置、设备及介质
CN112258564B (zh) * 2020-10-20 2022-02-08 推想医疗科技股份有限公司 生成融合特征集合的方法及装置
CN112017185B (zh) * 2020-10-30 2021-02-05 平安科技（深圳）有限公司 病灶分割方法、装置及存储介质
US11830622B2 (en) * 2021-06-11 2023-11-28 International Business Machines Corporation Processing multimodal images of tissue for medical evaluation
CN114943717B (zh) * 2022-05-31 2023-04-07 北京医准智能科技有限公司 一种乳腺病灶检测方法、装置、电子设备及可读存储介质
CN115170510B (zh) * 2022-07-04 2023-04-07 北京医准智能科技有限公司 一种病灶检测方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031088A1 (en) * 2015-08-15 2017-02-23 Salesforce.Com, Inc Three-dimensional (3d) convolution with 3d batch normalization
CN108022238A (zh) * 2017-08-09 2018-05-11 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
US20180144209A1 (en) * 2016-11-22 2018-05-24 Lunit Inc. Object recognition method and apparatus based on weakly supervised learning
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置
CN108257674A (zh) * 2018-01-24 2018-07-06 龙马智芯（珠海横琴）科技有限公司 疾病预测方法和装置、设备、计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974108A (en) * 1995-12-25 1999-10-26 Kabushiki Kaisha Toshiba X-ray CT scanning apparatus
US7747057B2 (en) * 2006-05-26 2010-06-29 General Electric Company Methods and apparatus for BIS correction
US9208556B2 (en) * 2010-11-26 2015-12-08 Quantitative Insights, Inc. Method, system, software and medium for advanced intelligent image analysis and display of medical images and information
US10238368B2 (en) * 2013-09-21 2019-03-26 General Electric Company Method and system for lesion detection in ultrasound images
CN105917354A (zh) * 2014-10-09 2016-08-31 微软技术许可有限责任公司 用于图像处理的空间金字塔池化网络
JP6849966B2 (ja) * 2016-11-21 2021-03-31 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
JP7054787B2 (ja) * 2016-12-22 2022-04-15 パナソニックＩｐマネジメント株式会社 制御方法、情報端末、及びプログラム
CN108447046B (zh) * 2018-02-05 2019-07-26 龙马智芯（珠海横琴）科技有限公司 病灶的检测方法和装置、计算机可读存储介质
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN108717569B (zh) * 2018-05-16 2022-03-22 中国人民解放军陆军工程大学 一种膨胀全卷积神经网络装置及其构建方法
CN111292301A (zh) * 2018-12-07 2020-06-16 北京市商汤科技开发有限公司 一种病灶检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031088A1 (en) * 2015-08-15 2017-02-23 Salesforce.Com, Inc Three-dimensional (3d) convolution with 3d batch normalization
US20180144209A1 (en) * 2016-11-22 2018-05-24 Lunit Inc. Object recognition method and apparatus based on weakly supervised learning
CN108022238A (zh) * 2017-08-09 2018-05-11 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108257674A (zh) * 2018-01-24 2018-07-06 龙马智芯（珠海横琴）科技有限公司 疾病预测方法和装置、设备、计算机可读存储介质
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置

Also Published As

Publication number Publication date
SG11202013074SA (en) 2021-01-28
US20210113172A1 (en) 2021-04-22
CN109754389B (zh) 2021-08-24
WO2020114158A1 (zh) 2020-06-11
CN109754389A (zh) 2019-05-14
TWI724669B (zh) 2021-04-11
CN111292301A (zh) 2020-06-16
TW202032579A (zh) 2020-09-01
JP7061225B2 (ja) 2022-04-27
KR20210015972A (ko) 2021-02-10

Similar Documents

Publication Publication Date Title
JP7061225B2 (ja) 病巣検出方法、装置、機器および記憶媒体
Andriole et al. Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day
JP7386812B2 (ja) 照明推定
US10101898B2 (en) Multi-touch graphical user interface for interacting with menus on a handheld device
EP2811731B1 (en) Electronic device for editing dual image and method thereof
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
JP2021532447A (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
US11734899B2 (en) Headset-based interface and menu system
CN110168619B (zh) 在虚拟现实或增强现实环境中渲染复杂数据的系统和方法
CN108874336B (zh) 一种信息处理方法及电子设备
DE112018002775T5 (de) Verfahren und vorrichtung zum erfassen von ebenen und/oder quadtrees zur verwendung als ein virtuelles substrat
US20240134499A1 (en) Image template-based ar form experiences
WO2017172550A1 (en) Ink in an electronic document
CN107480673B (zh) 确定医学图像中感兴趣区域的方法、装置及图像编辑系统
CN103714236A (zh) 医学图像显示装置及医学图像显示方法
Kottamasu User interaction of one-dimensional panoramic images for iPod Touch
CN114638939A (zh) 模型生成方法、模型生成装置、电子设备和可读存储介质
JP5446700B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN104917963A (zh) 一种图像处理方法及终端
WO2018209515A1 (zh) 显示系统及方法
CN115421631A (zh) 界面显示方法和装置
US8890889B1 (en) System and method for generating a pose of an object
CN109754450B (zh) 一种赛道生成方法、装置及设备
WO2022181253A1 (ja) 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体
CN111681739B (zh) 病理信息的显示方法及计算机可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220415

R150 Certificate of patent or registration of utility model

Ref document number: 7061225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150