JP2021133142A - 医用撮像装置、医用画像処理装置、及び、画像処理プログラム - Google Patents

医用撮像装置、医用画像処理装置、及び、画像処理プログラム Download PDF

Info

Publication number
JP2021133142A
JP2021133142A JP2020033780A JP2020033780A JP2021133142A JP 2021133142 A JP2021133142 A JP 2021133142A JP 2020033780 A JP2020033780 A JP 2020033780A JP 2020033780 A JP2020033780 A JP 2020033780A JP 2021133142 A JP2021133142 A JP 2021133142A
Authority
JP
Japan
Prior art keywords
feature amount
unit
image
medical imaging
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020033780A
Other languages
English (en)
Other versions
JP7256765B2 (ja
Inventor
昌宏 荻野
Masahiro Ogino
昌宏 荻野
子盛 黎
Zisheng Li
子盛 黎
幸生 金子
Yukio Kaneko
幸生 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020033780A priority Critical patent/JP7256765B2/ja
Priority to CN202011249884.6A priority patent/CN113327673B/zh
Priority to US17/134,843 priority patent/US11819351B2/en
Publication of JP2021133142A publication Critical patent/JP2021133142A/ja
Application granted granted Critical
Publication of JP7256765B2 publication Critical patent/JP7256765B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Fuzzy Systems (AREA)
  • Human Computer Interaction (AREA)

Abstract

【課題】より高精度で医学的妥当性の高い診断予測結果を示す予測モデルを得る。【解決手段】医用撮像装置は、検査対象の画像信号を収集する撮像部と、画像信号から第１の画像データを生成して当該第１の画像データの画像処理を行う画像処理部とを有する。画像処理部は、第１の画像データから第１の特徴量を抽出する特徴量抽出部２３２と、第１の特徴量を抽象化して第２の特徴量を抽出する特徴量抽象化部２３３と、第２の特徴量を第２の画像データにより抽出される第３の特徴量に変換する特徴量変換部２３４と、変換された第３の特徴量を用いて所定のパラメータ値を算出する識別部２３５とを備える。【選択図】図２

Description

本発明は、磁気共鳴イメージング（以下、ＭＲＩ）装置、ＣＴ装置、超音波撮像装置等の医用撮像装置が取得した医用画像を処理する画像処理技術に係り、特に医用画像を用いて高度な診断、治療方針の予測を行うための画像診断支援技術に関する。
近年、ＡＩ(Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ)を応用した画像診断支援技術として、ディープラーニング（ＤＬ）を用いた、疾患（例えば腫瘍）の有無や悪性度（グレード）を予測する方法が提案されている。本手法では、画像を複数のカテゴリに分類するように学習した畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｕｅｒａｌ Ｎｅｔｗｏｒｋ）が利用されるのが一般的である。
ＤＬを用いた腫瘍悪性度のグレードを予測する方法の一例として、非特許文献１には、ダイナミック造影ＭＲＩ（ＤＣＥ−ＭＲＩ）で撮像された画像データと病理画像データとからそれぞれ画像特徴量を複数取得し、各特徴量を組み合わせたマップを生成して、このマップから、前立腺ガンのステージ算出に用いられるグリーソンスコア（ＧＳ）情報と特徴量との関係性を分析することで、新たな入力画像に対してＧＳを推定する予測モデルが提示されている。
また特許文献１には、ＭＲＩ画像の画像特徴量を複数抽出し、特徴量ごとに配列したマップ画像を提示する方法が開示されている。このマップ画像は、複数の特徴量と複数の病態（悪性度等）との関連性を分析することで生成されており、被験者のＭＲＩ画像から病態の情報を関連付けることが可能となる。
しかしながら、非特許文献１の技術を用いて診断結果を得るためには、医用撮像装置による検査の他に、検査部位の病理画像を取得する病理検査が必須となる。病理検査では針などを用いて患者の微小組織を採取するため、患者に与える身体的な負担が大きく、病理検査を行わずに、腫瘍の有無や悪性度のグレードが判断できる技術が望ましい。別の観点で言えば、本当に病理検査を行うべき対象を正確に判断できる技術があることで、最適な医療を提供することができる。
また、特許文献１の技術を用いた場合、画像の特徴量と病態との関係性は大量データの分析から導かれるものであり、医学的観点からの妥当性を示すことが難しい。つまり、実際の医療現場で使用されるケースにおいては、処理内容のブラックボックス化が問題になる可能性が高い。
病理診断を行わずに医用撮像装置の画像から、病理検査で判断可能な腫瘍の性質を予測・提示する方法として、非特許文献２には、医用撮像装置画像と病理診断結果（所見、テキスト情報）との組み合わせ（ペアデータ）を多数学習することにより、医用撮像装置画像の入力から、病理画像所見を予測する方法が開示されている。
米国特許出願公開第２０１４／０３７５６７１号明細書
Ａｓｈａ Ｓｉｎｇａｎａｍａｌｌｉ 他著，「Ｉｄｅｎｔｉｆｙｉｎｇ ｉｎ ｖｉｖｏ ＤＣＥ ＭＲＩ ｍａｒｋｅｒｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ｍｉｃｒｏｖｅｓｓｅｌ ａｒｃｈｉｔｅｃｔｕｒｅ ａｎｄ ｇｌｅａｓｏｎ ｇｒａｄｅｓ ｏｆ ｐｒｏｓｔａｔｅ ｃａｎｃｅｒ．」、ジャーナル オブ マグネティックレゾナンス（Ｊｏｕｒｎａｌ ｏｆ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）、 ２０１５、４３、ｐ．１４９−１５８ Ｅｌｉｚａｂｅｔｈ Ｓ． Ｂｕｒｎｓｉｄｅ他著，「Ｕｓｉｎｇ ｃｏｍｐｕｔｅｒ ｅｘｔｒａｃｔｅｄ ｉｍａｇｅ ｐｈｅｎｏｔｙｐｅｓ ｆｒｏｍ ｔｕｍｏｒｓ ｏｎ ｂｒｅａｓｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ ｔｏ ｐｒｅｄｉｃｔ ｂｒｅａｓｔ ｃａｎｃｅｒ ｐａｔｈｏｌｏｇｉｃ ｓｔａｇｅ．」、Ｃａｎｃｅｒ、２０１６、ｐ．７４８−７５７
非特許文献２に開示されるような方法では、病理検査を行わずに、医用画像を用いて病理検査から得られる所見（腫瘍悪性度、グレードなど）を予測提示することができるが、この手法は医用撮像装置画像と病理所見という画像とテキストの関係性を大量データの分析から導く方法であり、特許文献１の方法と同様に、医学的観点からの妥当性という観点で説明が難しい。またこの手法では、学習サンプルとして医用撮像装置画像と病理所見（テキスト）という異なる情報レベルの組み合わせを用いて学習モデルを作成するため、その相関関係がブラックボックスとなり、予測結果の無謬性を検証することができない。
本発明は、ＤＬを用いて、より高精度で医学的妥当性の高い診断予測結果を示す予測モデルを得ることを目的とする。
上記課題を解決するため、本発明は、撮像部が取得した画像の画像信号を画像データ化して、この画像データから第１の特徴量を抽出した後、第１の特徴量を抽象化して第２の特徴量とし、第２の特徴量を、詳細な診断情報を持つ画像から抽出した第３の特徴量に変換し、第３の特徴量を用いて予測結果を得る処理を行う。
具体的には、医用撮像装置は、検査対象の画像信号を収集する撮像部と、画像信号から第１の画像データを生成して当該第１の画像データの画像処理を行う画像処理部とを有する。画像処理部は、第１の画像データから第１の特徴量を抽出する特徴量抽出部と、第１の特徴量からより重要な第２の特徴量を抽出（抽象化）する特徴量抽象化部と、前記第２の特徴量を、第１の画像とは異なる第２の画像データにより抽出される第３の特徴量に変換する特徴量変換部と、変換された第３の特徴量を用いて所定のパラメータ値を算出し、予測を行う識別部とを備える。
本発明によれば、撮像部が収集した画像信号から生成される画像データを用いて、特徴抽出と抽出された特徴の抽象化を行い、抽象化された特徴と精度の高い診断情報を持つ画像の特徴との変換を行うことにより、より高精度な診断情報を得ることができる。これにより、医用撮像装置を用いた診断をより高精度に実現でき、医療の質向上に貢献することができる。また単に画像を入力としてブラックボックス内で処理して診断情報を得るのではなく、処理内に理解可能な過程を設けることで、医学的な妥当性を確保することができる。
第一実施形態の医用撮像装置の全体構成を示す図。 第一実施形態の診断支援処理部の構成を示す図。 （Ａ）、（Ｂ）は、それぞれ、入力画像と病理画像のパッチ処理を説明する図。 特徴量抽出部（ＣＮＮ）の構造の例を示す図。 特徴量抽象化部（ＣＮＮ）の構造の例を示す図。 特徴量変換部（ＣＮＮ）の構造の概要を示す図。 特徴量Ｃを抽出するＣＮＮの構造の例を示す図。 特徴量Ｃを抽象化するＣＮＮの構造の例を示す図。 特徴量変換部の構造の詳細を示す図。 特徴量変換の一例を示す図。 識別部の構造の例を示す図。 特徴量空間における誤差関数の一例を説明するための図。 誤差関数の別の例を説明するための図。 特徴量空間における特徴量間の関係を説明するための図。 特徴量空間における誤差関数のさらに別の例を説明するための図。 学習モデルが組み込まれた画像処理部の動作の流れを示す図。 （Ａ）、（Ｂ）は、それぞれ、入力画像と出力画像の表示例を示す図。 （Ａ）、（Ｂ）は、それぞれ、第一実施形態の変形例１のパッチ処理を説明する図。 第一実施形態の変形例２のＲＯＩ設定の画面例を示す図。 第一実施形態の特徴量ＡとＢを抽出するプロセスを示す図。 第二実施形態の特徴量ＡとＢを抽出するプロセスを示す図。 画像処理装置の全体構成を示す図。 第三実施形態の医用撮像装置（ＭＲＩ装置）の全体構成を示す図。 第四実施形態の医用撮像装置（超音波撮像装置）の全体構成を示す図。 第五実施形態の医用撮像装置（ＣＴ装置）の全体構成を示す図。
本発明は、ＭＲＩ装置、ＣＴ装置、超音波撮像装置等の、医療画像を取得する撮像部と画像処理部とを備えた各種医用撮像装置に適用できる。最初に、各モダリティに共通する構成の実施形態を説明する。
＜第一実施形態＞
本実施形態の医用撮像装置１０は、図１に示すように、被検体から画像再構成に必要な画像信号を収集する撮像部１００と、撮像部１００で撮像された被検体の画像処理を行う画像処理部２００とを備えている。医用撮像装置１０は、さらにその内部或いは外部に、各種指示を入力するための入力部１１０と、ディスプレイ等の出力部１２０と、記憶装置１３０を備えている。
撮像部１００は、モダリティによって構成が異なるが、被検体の計測によって画像信号を取得し、取得した画像信号を画像処理部２００に渡す。モダリティ毎の詳細な構成については後述する実施形態で説明する。
画像処理部２００は、撮像部１００から受け取った画像信号からの画像（第１の画像）を再構成する画像再構成部２１０と、画像再構成部２１０が作成した画像データを用いて画像診断を支援する処理を行う診断支援処理部２３０とを備えている。画像処理部２００は、さらに、画像再構成部２１０が作成した画像データを診断支援処理部２３０に入力する前に、画像データに対しノイズ処理等の所定の補正処理（その他の画像間演算による新たな画像の作成も含む）を行う補正処理部２２０を備えていてもよく、図１にはこのような補正処理部２２０を含む場合を示している。画像再構成部２１０が作成した画像あるいは補正処理部２２０により補正処理された画像の画像データと、診断支援処理部２３０に処理された画像の画像データは、出力部１２０に出力される。
診断支援処理部２３０は、図２に示すように、補正処理部２２０から受け取った第１の画像データから第１の特徴量Ａを抽出する特徴量抽出部２３２と、第１の特徴量から第２の特徴量Ｂを抽出する特徴量抽象化部２３３と、特徴量変換モデルを用いて第２の特徴量Ｂを第３の特徴量Ｃへ変換処理する特徴量変換部２３４と、識別モデルを用いて第３の特徴量Ｃを用いて所定のパラメータ値を算出し、予測を行う識別部２３５を備えている。特徴量抽出部２３２、特徴量抽象化部２３３及び特徴量変換部２３４は、それぞれ、機械学習によって学習された学習モデル（ＤＬ）を含む。診断支援処理部２３０は、独立した各部の学習モデルをつなげたものでもよいし、各部の学習モデルを融合して、一つのＤＬとしたものでもよい。
特徴量抽出部２３２の出力である特徴量Ａは、撮像部１００で取得された画像信号から得られる画像（以下、入力画像という）の画像データから抽出される特徴量であり、例えば病変部の輝度情報をＤＬに学習させた中間層の出力結果である。特徴量抽象化部２３３が出力する特徴量Ｂは、各病変部の輝度情報から得られる特徴量Ａを統合して学習し、それらの中から特に重要な特徴量成分を抽出した結果である。
特徴量変換部２３４が出力する特徴量Ｃは、医用撮像装置から得られる医用画像（第１の画像）とは別の第２の画像の画像データから週出される特徴量である。第２の画像は、病変を識別するという目的に対して、第１の画像データよりも詳細な情報を有する画像であり、例えば、病理画像であり、入力画像と同部位の病理画像における情報（特徴）をＤＬに学習させた中間層の出力結果である。識別部２４０が特徴量Ｃから算出するパラメータとは、例えば、病理画像から診断される腫瘍の有無や、グレード、疾患の悪性度等である。
診断支援処理部２３０は、通常、画像データをそのまま特徴変換部２３２の入力画像とするのではなく、所定サイズのパッチに分けてパッチごとに処理を行う。このような場合には、補正処理部２２０から受け取った画像データから１以上のパッチを切り出すパッチ処理部２３１を更に備える。パッチ処理部２３１は、図３（Ａ）に示すように、画像データ４００からパッチ４００Ｐを切り出し、切り出し複数のパッチを特徴抽出部２３１に渡し、特徴量抽出部２３１がパッチ毎に特徴量Ａを抽出し、特徴量抽象化部２３３が学習データのパッチ全体に共通する主要な特徴量Ｂを抽出する。ここでパッチの情報が統合される。特徴量変換部２３４は、この抽象化された特徴量Ｂを特徴量Ｃに変換し、識別部２３４が特徴量Ｃからパラメータ値を算出し、予測結果を出力部１２０に出力する。なお、本実施形態では、複数の画像データ（ここではパッチ）毎に抽出した特徴量Ａを、特徴量抽象化部２３３において統合し、特徴量Ｂとするので、画像データ５００をパッチ化する際に、第２の画像（例えば、病理画像７００）から特徴量Ｃを抽出する際に切り出すパッチ（図３（Ｂ））と位置合わせする必要はない。
画像処理部２００の処理に必要となるデータおよびプログラムは、記憶装置１３０に格納されている。画像処理部２００の処理に必要なデータとは、画像再構成部２１０、補正処理部２２０及び診断支援処理部２３０が行う処理に用いられるデータであり、診断支援処理部２３０については、特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４、および識別部２３５が行う処理に用いられる後述の各学習モデル等である。記憶装置１３０は、ネットワークを介して医用撮像装置１０に通信可能に接続されたワークステーションやＰＡＣＳ（画像保存通信システム:Ｐｉｃｕｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）のサーバ装置であってもよいし、医用撮像装置１０に接続可能な可搬性記憶媒体であってもよい。また記憶装置１３０の代わりに各データを格納する仕組みとして、撮像部１００にネットワークを介して接続されたクラウドを用いてもよい。
医用撮像装置１０が演算部や制御部としてＣＰＵやＧＰＵを備える場合には、画像処理部２００の機能は、ＣＰＵ或いはＧＰＵに搭載されるソフトウェアとして実現される。特に特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４、および識別部２３５は、学習機能を備えたＮｅｕｒａｌ Ｎｅｔｗｏｒｋで実現され、ＣＮＮ等の公知ソフトウェアパッケージを利用することができる。また画像処理部２００の一部の機能は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアで実現することも可能である。
以下、図１の画像処理部２００の診断支援処理部２３０の具体的な構成について説明する。最初に、診断支援処理部２３０に組み込むための学習モデルについて説明する。
［学習モデルの構造］
本実施形態の学習モデルは、特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４、および識別部２３５がそれぞれ用いる４種類の学習モデルがあり、各学習モデルにはそれぞれＣＮＮを用いる。
１つ目は、特徴量抽出部２３２が入力画像の画像データから特徴量Ａを抽出する予測モデル、２つ目は、特徴量抽象化部２３３が特徴量Ａを抽象化した特徴量Ｂを抽出するためのモデル、３つ目は、特徴量変換部２３４が特徴量Ｂから特徴量Ｃに変換するための特徴量変換モデル、４つ目は、識別部２３５が特徴量Ｃから所定のパラメータ値を算出し、予測を行う識別モデルである。さらに、特徴量変換部２３４の出力である特徴量Ｃ、入力画像とは異なる画像から抽出した特徴量を別途求めるための予測モデルが必要であるが、この予測モデルは、入力画像が異なるだけで、特徴量Ａ、Ｂを抽出するモデルと同様であるため、重複する説明は省略する。なお、特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４、および識別部２３５は、それぞれ、学習済のモデル（予測モデル）を用いるが、学習モデルの学習過程は、診断支援処理部２３０が行ってもよいし、それとは別の演算器（不図示）で行い、それを記憶装置１３０に格納してもよい。
まず、一つ目の予測モデルについて説明する。この予測モデル２３２Ｍは、入力画像と病変有無（良性／悪性）もしくは，病変悪性度のグレード等のラベルの組み合わせを学習用データとして用いて学習されたモデルである。
予測モデル２３２ＭのＣＮＮ４０は、図４に模式的に示すように、入力層４１と出力層４４との間で多数の畳み込み演算４２とプーリング４３とを多層ネットワーク上で繰り返すように構成されたコンピュータ上に構築される演算手段である。図４中、各層を示すブロックの前の数字は層の数であり、各層内の数字は層で処理するサイズを表している。この予測モデルのＣＮＮは、パッチ処理部２３１により複数パッチに分けられた学習用の入力画像４００の入力データに対し、ＣＮＮが畳み込み演算とプーリングとを繰り返すことにより、入力画像４００の病変有無を高精度に識別するための特徴量Ａ４１０を抽出するように学習されている。
学習は、出力と教師データとの誤差が所定の範囲になるまで行う。この際、用いる誤差関数については、学習モデルの構造の後に説明する。
なお図４において、一点鎖線で囲んだ部分は、このＣＮＮ４０の学習時に、特徴量Ａとして、識別層２３４の出力であるパラメータ（腫瘍の有無や、グレード、疾患の悪性度など）４５０と関連性の高い特徴量が抽出されるように、学習するために組み込まれた部分（評価部）であり、この予測モデルを運用する過程では不要である。以下、参照する図５、図７、図８においても同様である。
予測モデル２３２Ｍの出力である特徴量Ａは、画像の特徴を診断に必要な複数の分類に分け、それを複数次元（例えば１０２４次元）のベクトルで表したものであり、パラメータ（例えば、腫瘍が良性か悪性か）との関連性がある特徴が抽出されている。このような特徴量Ａは、パッチ毎に得られる。なお、図４において、特徴量Ａ ４１０は、全結合層の最終層の出力としているが、これに限るものではない。層が深いほど特徴の抽象化の程度は大きくなるが、最終層より浅い層の出力を特徴量として用いることも可能である。
ＣＮＮネットワークの構成に関しては、代表的なアーキテクチャ（ＡｌｅｘＮｅｔ、ＶＧＧ−１６やＶＧＧ−１９等）を用いてもよいし、さらにそれらをＩｍａｇｅＮｅｔデータベース等で事前学習させたモデルを用いてもよい。
次に、特徴量抽象化部２３３で用いられる二つ目のモデル、特徴量Ａを抽象化した特徴量Ｂを抽出する予測モデル２３３Ｍについて説明する。
この予測モデル２３３Ｍは、特徴量抽出部２３２から出力されるパッチ数分の特徴量を入力として、病変有無（良性／悪性）もしくは，病変悪性度のグレード等に寄与する主要な特徴量を抽出する。例えば、パッチ数が２００、特徴量が１０２４次元であれば、１０２４次元×２００の特徴量をつなげた特徴量がこのモデルに入力され、最終的に、病変有無（良性／悪性）へ最も寄与する特徴量Ｂ ４２０が抽出される。出力される特徴量Ｂの次元は、一つのパッチの次元（例えば１０２４次元）と同じである。
図５に、この予測モデル２３３ＭのＣＮＮの構成例を示す。図示する例では、図４と同様のネットワークアーキテクチャを使用しており、各層の説明は前述の通りである。但し、ＣＮＮネットワークの構成は、一つ目のモデルのＣＮＮ２３２Ｍと同様に、公知のアーキテクチャ（ＡｌｅｘＮｅｔ、ＶＧＧ−１６やＶＧＧ−１９等）や、さらにそれらを事前学習させたモデルを用いてもよい。
このようなＣＮＮを、パラメータに最も寄与する特徴量が出力されるように学習させて、特徴量抽出化部２３３の予測モデル２３３Ｍとする。
次に、特徴量変換部２３４で用いられる３つ目のモデル、特徴量Ｂを特徴量Ｃに変換する特徴量変換モデル２３４Ｍについて説明する。
特徴量変換モデル２３４Ｍは、図６に示すように、エンコーダ６０Ａとデコーダ６０Ｂの２つのネットワークから構成されている。特徴量抽象化部２３３の出力である特徴量Ｂ（例えば１０２４次元）を入力とし、特徴量Ｃ（例えば１０２４次元）を教師データとして学習されたモデルである。特徴量Ｃは、別途、特徴量Ｂを抽出した医用画像（第１の画像）とは異なる種類の画像、例えば学習用の病理画像から抽出した特徴量である。
特徴量変換モデル２３４Ｍに用いられる学習用の特徴量Ｃは、学習用の病理画像からＣＮＮにより抽出されたものである。例えば、図３（Ｂ）に示すように、被検体の病理検査により生成されてパッチ処理された学習用の病理画像７００を、図４に示したＣＮＮと同様のＣＮＮ（図７）に入力し、特徴量を抽出し、パッチ毎に特徴量Ｃ７１０を得る。このパッチ毎の特徴量７１０を、さらに別のＣＮＮ（図８）に入力し、最終的に例えば病理画像７００の腫瘍部分のグレードを高精度に識別するための特徴量７２０（例えば１０２４次元）を抽出する。図７及び図８に示すＣＮＮの各層４１Ｂ〜４４Ｂは、図４及び図５に示すＣＮＮの層４１〜４４と同様であり、ここでは説明を省略する。
このようなＣＮＮを用いた、学習用の特徴量Ｃを得る処理は、画像処理部２００（診断支援処理部２３０）内の処理として行ってもよいし、画像処理部２００とは別の演算器で行ってもよい。画像処理部２００で行う場合には、図２の構成に加えて、第２画像処理部が追加され、ここで病理画像（第２画像）を用いたパッチ処理、特徴量抽出、特徴量抽象化が行われ、特徴量抽出化により得た特徴量を、特徴量変換モデルの学習用の特徴量Ｃとして用いる。
このように用意された学習用の特徴量Ｃを用いて、図６のエンコーダ６０Ａに特徴量Ｂを入力すると、デコーダ６０Ｂから特徴量Ｃ７１０が出力されるように学習を行うことで、特徴量変換部２３４で用いる特徴量変換モデル２３４Ｍが得られる。この特徴量変換モデル２３４Ｍは、前記した先行研究（非特許文献２）のように画像とテキストという関係性を学習したモデルではなく、画像と画像、さらにＤＬを活用した抽象度の高い特徴量間で関係性を学習するモデルであるところが特徴であり、これによって、変換の精度が高くなる。
なお図６では、特徴量Ｂ及び特徴量ＣがともにＮ次元（Ｎは自然数）である例を示しているが、これらの次元は同じでなくてもよい。例えば特徴量ＢをＮ次元、特徴量ＣをＭ次元とした場合、特徴量Ｃの次元が特徴量Ｂの次元よりも大きくてもよいし（Ｍ＞Ｎ）、小さくても（Ｍ＜Ｎ）よい。
特徴量変換モデル２３４ＭのＣＮＮは、例えば図９に示すように、畳み込み層と（Ｃｏｎｖｏｌｕｔｉｏｎ層）とプーリング層、畳み込み層とアップサンプリング層を重ねた多層構造となっている。各層における処理の一例は、下記表１に示す通りである。
Figure 2021133142
本実施形態における特徴量変換の結果の一例を図１０に示す。特徴量マップ１００１は特徴量Ｂのマップ、特徴量マップ１００２は特徴量Ｃのマップであり、特徴量マップ１００３は、特徴量変換により特徴量Ｂから生成されたマップである。これらマップは、ｔＳＮＥ(ｔ−ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｏｒ Ｅｍｂｅｄｄｉｎｇ)により多次元（１０２４次元）のものを２次元に圧縮している。図１０から、特徴量変換により得られたマップ１００３は、教師データである特徴量Ｃのマップ１００２に特性が近づいていることがわかる。
次に、識別部２３５で用いられる４つ目の識別モデル２３５Ｍについて説明する。このモデルは、変換後特徴量から所定のパラメータ値を算出し、パラメータ値で表される病変部位の有無や悪性度などを予測する。
識別モデル２３５Ｍは、例えば、図１１に示すように、特徴量Ｃ７１０を入力として、悪性度のグレード７３０を出力されるように学習させたＣＮＮで実現することができる。識別モデルのＣＮＮとしては、例えば、ＴｅｎｓｏｒＦｌｏｗ（Ｇｏｏｇｌｅ社（登録商標））、Ｃｈａｉｎｅｒ（Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ社（登録商標））、Ｔｈｅａｎｏ（Ｕｎｉｖｅｒｓｉｔｅ ｄｅ Ｍｏｎｔｒｅａｌ）等の公知のソフトウェア（ＯＳＳ：Ｏｐｅｎ Ｓｏｕｒｃｅ Ｓｏｆｔｗａｒｅ）を利用することができる。
識別モデル２３５Ｍは、このようなＣＮＮを、変換後特徴量（特徴量Ｃ）と腫瘍悪性度のグレード９との複数の組み合わせを学習用データとして学習させて、特徴量Ｃを識別部２３５に入力した際に、最も特徴量Ｃから分類されるグレードに近いグレードが抽出されるようにして、識別部２３５に組み込まれる。図１１に示す例では、特徴量Ｃ７２０を診断に必要な複数の分類に分け、この分類からパラメータ７３０として腫瘍悪性度のグレード（例えば、レベル０〜レベル４）を算出する。
［誤差関数の設計］
次に、ＣＮＮの学習により、上述した予測モデルあるいは識別モデルを作成する際に、用いる誤差関数について説明する。誤差関数は、ＣＮＮを学習させる際に、出力と教師データとの差を評価するために用いられる。誤差関数としては、式（１）で表される誤差伝搬法に基づくものが一般的である。
Figure 2021133142
 ｔｋ：教師データ
ｙｋ：ネットワーク出力データ
本実施形態でも、式（１）の誤差関数を用いることができるが、さらに、以下の誤差関数のいずれかまたはこれらの組み合わせを用いることができ、これにより予測モデルの精度を向上させることができる。
１．所定空間距離誤差
２．識別モデル誤差
３．医学的知見組込み誤差
以下、これらの誤差関数について説明する。
１．所定空間距離誤差
学習用の特徴量Ａと特徴量Ｂのデータをそれぞれ入力（教師データ）Ａｋ、出力Ｂｋとした場合、教師データＡｋと出力Ｂｋをそれぞれ次元変換・圧縮して、図１２に示すように所定の空間εへマッピングする。マッピング手法としては例えばＰＣＡ(ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓｉ)や，ｔＳＮＥ（ｔ−ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｏｒ Ｅｍｂｅｄｄｉｎｇ)を利用する。なお、この図では空間εを２次元空間としているが、それに制限されない。
空間ε上における教師データＡｋと出力Ｂｋとの距離ｒ（例えば各データ集合の重心間）を、式（１）の誤差関数に加えることで、空間ε上での距離ｒの誤差が小さくなるような誤差関数を設定する。例えば空間εへの変換関数をgとし、空間ε上での重心(各データの座標の平均値)をＣで表したとき、誤差関数は次の式（２）で表される。
Figure 2021133142
 特徴量抽象化部２３３や特徴量変換部２３４は、この式（２）を誤差関数として誤差逆伝搬法による学習を実施する。
２．識別モデル誤差
この誤差関数は、図１３に示すように、特徴量変換モデル２３３Ｍと識別モデル２３４Ｍ（特徴量変換部２３４の特徴量変換モデルに加え、識別部２３５の行う識別結果までを含めたモデル）を学習する際に、識別モデル２３５Ｍからの出力と教師データとの誤差（ロス値）を逆伝搬させて、識別結果の誤差を最小にする誤差関数である。この誤差関数を用いる手法においては、上記した４つのモデルを構成するＣＮＮを連結した形で、すなわちエンドツーエンドで学習させる構成をとる。
この手法ではまず、識別部２３５における識別クラスごとの出力（確率スコア：Ｓｏｆｔｍａｘ層出力(0〜1)）と教師データの差分をロス値として、損失関数を設定する。識別結果の出力のクラス数が、図１３に示すように３クラスの場合、例えば出力ベクトル（ｙＬ１,ＹＬ１，ＹＬ２）は、以下の式（３）のような値となる。
Figure 2021133142
一方、教師データベクトル（Ｙ０Ｌ１,Ｙ０Ｌ１，Ｙ０Ｌ２）は、以下の式（４）のような値となる。
Figure 2021133142
出力ベクトルと教師データベクトルとのベクトル誤差は、以下の式（５）のような誤差関数で定義することができる。
Figure 2021133142
上記の出力ベクトルと教師データベクトルの値を用いると、式（５）の値は、
E3=-(1 x log0.6 + 0 x log0.2 + 0 x log0.2)
＝-(-0.22)
=0.22
となる。
３．医学的知見組込み誤差
この誤差関数は、上述した所定空間距離誤差に医学的知見を組み合わせたものである。所定空間距離誤差は、特徴量空間の重心をパラメータとして、空間全体を近づけていく誤差関数を定義したが、この誤差関数では、医学的知見、重要性を踏まえて、一致させるべき空間に重みをもたせる。具体的には、図１４に示すように、特徴量空間（特徴量マップ）において、特徴量ＢからＣへの変換前１００１、変換後１００３、教師データ１００２の画像データでの関係性を分析し、例えば、病理の画像で疾患有無の判断をする上で特に関係性の深いパッチ画像（群）１４０２とそれに対応するＭＲＩ画像（群）１４０１の特徴量空間誤差縮小に重みを掛ける。
図１４に示す特徴量マップにおいて、それぞれの点（特徴）は個々のパッチ（ＭＲ画像１、２、３等）に相当する。変換前の群１４０１に含まれるパッチは、特徴量変換後には、変換後マップ１００３の群１４０３に移動しており、この領域は、病理画像で重要性が高い群１４０２（病理画像１、２）の領域と対応している。このようにマップ１００１において、どのパッチが、マップ１００２の群１４０２と関連性が高いかは、個々のパッチが変換後特徴量マップ１００３においてどこに移動しているかを解析することで知ることができる。この関連性の高い領域間の空間的距離に重みをつけて誤差収縮を図ることで、さらに学習の精度を高めることができる。処理としては、所定空間距離誤差と同様であり、医学的知見から関連性の深いパッチ画像（群）の座標（重心）を求め、その座標（重心）間の誤差を誤差関数として定義する。
例えば、特徴量空間を示す図１５において、医学的に重要な教師データＡ１と出力Ｂ１の距離と、次に重要な教師データ群（データ集合Ｓ）Ａiと出力Ｂiの距離に重みを持たせた誤差関数を設定する。特徴量空間εへの変換関数をgとし、空間ε上での重心(各データの座標の平均値)をＣで表したとき、誤差関数は次の式（６）で表される。
Figure 2021133142
 ここで、α、β、γ、はそれぞれ重み係数であり、例えばα＝０．５、β＝０．４、γ＝０．１、である。
以上のような誤差関数を用いることで、特徴量変換モデルや識別モデルの誤差を小さくし、より精度高い予測モデルを実現することができる。また、上記誤差関数（２）、（５）を組み合わせて重み付けをし、以下式（７）のような誤差関数を組んでもよい。
Figure 2021133142
 ここで、ｗ１、ｗ２はそれぞれ重み係数（例えばｗ１＝０．５、ｗ２＝０．５）である。同様に、（５）と（６）を組み合わせてもよい。
以上のように学習した４つモデルが、診断支援処理部２３０で用いられる予測モデルあるいは識別モデルである。これら４つのモデルは合体した一つのモデルとして、診断支援処理部２３０に組み込むことも可能であり、その場合、合体したモデルの各学習済モデル部分が診断支援処理部を構成する各部に相当する。
［画像処理動作］
次に、上述した学習済予測モデルが組み込まれた画像処理部２００の動作の流れを、図１６を参照し、パッチ切り出しを行う場合を例にあげて説明する。
画像処理部２００は、撮像部１００から画像信号を受け取ると、まず診断支援処理部２３０が処理する入力画像の準備をする。具体的には、画像再構成部２１０が画像信号から入力画像の画像データを生成し、必要に応じて、補正処理部２２０が生成された画像データを用いて画像を補正し、補正した画像データを診断支援処理部２３０に渡す（Ｓ１）。また補正処理部２２０は、補正後の画像データを出力部１２０に送る。
次にパッチ処理部２３１は、予測モデルの作成と同様に、処理するすべての画像データを所定のサイズのパッチに切り出し（図３（Ａ））、特徴量抽出部２３１に渡す（Ｓ２）。特徴量抽出部２３２は、予測モデル２３２Ｍ（図４）を用いて入力画像４００の特徴量Ａをパッチ毎に抽出する（Ｓ３）。次に特徴量抽象化部２３３は、予測モデル２３３Ｍ（図５）を用いて、特徴量Ａを抽象化した特徴量Ｂを抽出する（Ｓ４）。
次に、特徴量変換部２３４が、特徴量変換モデル２３４Ｍ（図６）を用いて、特徴量Ｂから特徴量Ｃに変換する（Ｓ５）。識別部２３５は、識別モデル２３５Ｍを用いて、変換された特徴量Ｃから疾患を予測、識別するパラメータ値を算出し（Ｓ６）、予測結果を出力部１２０に出力する（Ｓ７）。
以上の動作により、出力部１２０には、図１７に示すように、補正処理部２２０に補正処理された画像１７０１の画像データと、画像１７０１に診断支援処理部２３０の処理結果を重畳した画像１７０２の画像データとがそれぞれ出力され、画像１７０１、１７０２の一方または両方が表示される。出力部１２０は、診断支援処理部２３０の出力であるパラメータ値を併せて表示してもよい。
出力部１２０におけるパラメータ値の表示方法は、医用撮像装置１０の使用者にパラメータ値を認識させることができれば特定の手法に限定されず、例えば、印、数値、画像などを表示する方法が挙げられる。
パラメータが腫瘍の悪性度の場合、画像１７０１の腫瘍のある部位に対して、悪性度に応じた印を重ねて画像１７０２とすることができる。例えば図１７（Ａ）に示す画像１７０２では、悪性度に応じて画像に重ねる印の色を変えており、悪性度の高い部位１７０２ａは黒色、悪性度の低い部位１７０２ｂは白色としている。またパラメータが前立腺ガンのステージ算出に用いられるＧＳ等の場合、図１７（Ｂ）に示すように、腫瘍のある領域１７０２ｃを囲んで提示したり、ＧＳを示す情報（数値）を表示したりしてもよい。さらに、図１７（Ｂ）に示すように、疾患がある部位にパラメータ値から予測される同部位の病理画像を重ねて表示してもよい。
以上、説明したように、本実施形態によれば、撮像部１００が収集した信号から入力画像を生成し、入力画像から抽出した特徴量Ａ、特徴量Ｂを、より詳細な情報を有する画像の特徴量Ｃへ変換して、特徴量Ｃから、より高精度な診断に用いられるパラメータ値を算出することができる。これにより、医用撮像装置を用いて、より高精度な診断支援情報を示すことができる。より具体的には、ＭＲＩ画像等の医用撮像装置が取得した画像の入力のみで、病理画像の特徴を踏まえた疾患の予測が可能となり、情報収集コストを減らすことができる。
また本実施形態では、異なる画像同士の特徴量の関係性を学習させているため、例えば医用撮像装置の画像のどこの部分を見て、病理画像で得られる特徴を判断しているかを医学的に示すことができるため、診断結果に対するユーザの判断をより正確に行うことが可能となる。つまり、医用撮像装置の画像では一般的に見えにくく、見逃がしてしまうような特徴をユーザに気付かせることが可能となる。
＜第一実施形態の変形例１＞
第一実施形態では、画像データからのパッチの切り出しは、各パッチがオーバーラップしない条件で行ったが、パッチ処理部２３１は、図１８（Ａ）に示すように隣接するパッチがオーバーラップするようにパッチ４００Ｐを切り出してもよい。パッチをオーバーラップさせて切り出し、上述のようなＣＮＮ処理を行うことにより、出力画像の画質をさらに向上させることができる。なお全てのパッチをオーバーラップさせるのではなく、一部の、例えば関心領域内のパッチのみをオーバーラップさせてもよい。
第２の画像７００から特徴量Ｃを抽出する際にも、図１８（Ｂ）に示すように、オーバーラップするようにパッチ７００Ｐを切り出してもよい。
＜第一実施形態の変形例２＞
パッチ処理部２３１が画像データから切り取ったパッチは、全てを処理してもよいが、関心領域（ＲＯＩ）内の画像のみを処理するようにしてもよい。
その場合、例えば出力部１２０に図１９に示すようなＵＩ（ＲＯＩ設定部１４０）等を表示させて、ＵＩを介して、ユーザがＲＯＩを設定するようにしてもよい。ユーザがＲＯＩを設定すると、画像処理部２００は、その情報を用いて、ＲＯＩに設定された部分の画像データのみ処理する。これにより、例えば病変とその近傍のみを処理することができ、予測の処理時間を短縮できるとともに、予測の精度を上げることができる。
このように本変形例によれば、関心領域から外れる部分の画像処理を割愛することにより、全体としての処理時間を短縮することができる。
＜第一実施形態の変形例３＞
第一実施形態では、入力画像からパラメータ（例えば腫瘍悪性度のグレード）を算出する例について説明したが、画像処理部が出力可能なパラメータの種類は１種に限られない。例えば、乳がんや胃がんなど被検体の検査部位に応じた学習モデルや、腫瘍に限らず各種疾患に応じた学習モデルなど、複数パターンの学習モデルを、記憶装置１３０に記憶しておいてもよい。その場合、ユーザが診断部位や診断したい疾患名等を入力部１１０から入力することにより、入力された内容に応じて画像処理部２００が処理に用いる学習モデルを選択し、選択された学習モデルを用いてパラメータを算出する。
＜第二実施形態＞
第一実施形態では、特徴量Ｂ、及び特徴量Ｃの抽出において、各々１種類の画像情報から特徴量を抽出したが、本実施形態は、複数種類の画像の特徴量を組み合わせて抽象化した特徴量を抽出する点が異なる。第一実施形態の処理と本実施形態の処理との違いを、それらを概念的に示す図２０及び図２１を用いて、説明する。ここでは一例として、診断支援処理部に入力される画像が、ＭＲＩ装置で取得した画像である場合を説明するが、これに限るものではなく、例えばＣＴやＸ線、超音波等の他モダリティ画像の入力を行ってもよい。
第一実施形態の処理では、図２０に示すように、例えば、ＭＲＩのＴ１強調画像複数枚から病変の関連部分をパッチで切り出して特徴量Ａを抽出し、各パッチで得られる各特徴量Ａを結合して疾患の判断に特に寄与している特徴量Ｂを抽出する。
一方、本実施形態では、図２１に示すように、複数の画像種、ここではＭＲＩのＴ１強調画像、Ｔ２強調画像、及び画質パラメータ等を変更した画像（拡散強調画像など）を入力し、それぞれにおいてパッチ毎に特徴量Ａを抽出する。これらすべての特徴量Ａを結合し、疾患の判断に特に寄与している特徴量Ｂを抽出する。つまり、図２に示す診断支援処理部２３０は、パッチ処理部２３１及び特徴量抽出部２３２が、入力される画像の種類の数（例えばＭ）だけ用意されており、各特徴量抽出部２３２から、パッチ数分（例えばＬ）の特徴量が特徴量Ａとして出力される。
特徴量抽象化部２３３は、各特徴量抽出部２３２から出力された特徴量Ａ１〜Ａ４を融合した特徴量（画像数×パッチ数）を入力とし、一つの特徴量Ｂを出力する。特徴量Ａ１〜Ａ４の融合は、それらを単純につなげたものでもよいし、加算を行ってもよい。このように、より多くの情報を特徴量抽出化部２３３の予測モデル２３３Ｍの入力とすることで、より診断に有効な、信頼性の高い特徴量Ｂを得ることが可能となる。
特徴量Ｂを得た後の処理は、第一実施形態と同様であるが、特徴量Ｃを得る際にも、別の画像として複数の画像を用いてもよい。例えば、病理画像のＨＥ染色画像に加え、ＩＨＣ染色等別の染色画像を加えて特徴量Ｃを抽出する。これにより、第2の画像についても、より診断対象である病変の特徴を適切に抽出した特徴量Ｃが得られる。その結果、診断支援処理部２３０の処理結果であるパラメータの信頼度を向上することができる。
なお、図２１では、入力は画像のみの場合を示しているが、電子カルテの情報、各種テキスト情報、バイタルデータ情報等、非画像情報を結合した特徴量としてもよい。
＜画像処理装置の実施形態＞
図１では、診断支援処理部２３０を含む画像処理部２００が、医用撮像装置１０に組み込まれている場合を示したが、画像処理部２００の一部または全部の機能を、医用撮像装置１０から独立した画像処理装置で実現することも可能である。図２２に、独立した画像処理装置２０の構成例を示す。
この画像処理装置２０は、図１に示す画像処理部２００の機能のうち、診断支援処理部２３０の機能を独立させた医用画像処理装置であり、通信やネットワーク等を介して、１ないし複数の医用撮像装置１０（１０Ａ、１０Ｂ・・・）に接続される。複数の医用撮像装置は、モダリティが異なる撮像装置でもよいし、異なる施設や設置場所に設置されている撮像装置でもよい。画像処理装置２０の主な機能は、画像処理部２００と同様に、ＣＰＵ或いはＧＰＵに搭載されるソフトウェアとして実現される。また図２２では図示を省略しているが、画像処理装置２０には、図１に示したような入力部１１０、出力部１２０及び記憶装置１３０が接続される。
画像処理装置２０は、それぞれの医用撮像装置１０で取得した画像データを受け取り、図２に示した診断支援処理部２３０の各部による処理を行う。図１の画像処理部２００における画像再構成部２１０や補正処理部２２０の処理は、医用撮像装置１０に備えられた画像処理部で行うものとし、そこで医用撮像装置の種類に応じた画像再構成や補正処理が行われる。但し、画像処理装置２０が、画像再構成や補正処理を行う機能を有していてもよい。また画像処理装置２０は、各医用撮像装置から送られてくる画像データを診断支援処理部２３０の入力画像とするために必要な前処理を行う前処理部２４０を備えていてもよい。前処理は、例えば、医用撮像装置によって異なる画像のサイズや輝度分布などを揃える処理や不要な情報（例えば背景）を除去する処理などである。
この画像処理装置２０の診断支援処理部２３０の動作は、上述した各実施形態あるいはその変形例と同様であり、医用撮像装置１０から送られてくる画像データに対し、特徴量の抽出、抽象化、特徴量変換の処理を行い、最終的に識別モデルを用いた処理により、診断支援となるパラメータを算出する。この診断支援処理部２３０の処理結果は、画像処理装置２０に備えられた出力部１２０に出力してもよいし、画像データが送られてきた医用撮像装置あるいはそれが置かれている施設や他の医療機関内のデータベース等に送ってもよい。
また、特徴量変換部２３４における特徴量の変換は、単なる二つの撮像画像に限られず、複数の種類の異なる撮像画像で適用可能である。例えば撮像装置１０Ａ、１０Ｂ、１０Ｃの画像を用いる場合、各撮像装置から得られる画像の特徴量の関連性を相互に学習したうえで、診断に必要な撮像装置１０Ａの画像の特徴量から撮像装置１０Ｂの画像の特徴量もしくは撮像装置１０Ｃの画像の特徴量等、相互に変換が可能である。つまり一つの撮像装置の画像の特徴量から複数の異なる撮像装置の特徴量に変換することが可能となるため、一つの検査で情報収集コストを抑えつつ精度の高い画像診断をすることが可能となる。
第一実施形態では、撮像部の種類を問わずに適用可能な実施形態とその変形例について説明したが、以下ではモダリティ毎の実施形態を説明する。
＜第三実施形態＞
本発明をＭＲＩ装置に適用した実施形態を説明する。
ＭＲＩ装置１０Ｂは、図２３に示すように、第一実施形態の撮像部１００に相当するＭＲ撮像部１００Ｂと、ＭＲ撮像部１００Ｂから受信した核磁気共鳴信号を用いて画像再構成等の演算を行う信号処理部１５０Ｂとからなる。
ＭＲ撮像部１００Ｂは、従来のＭＲＩ装置と同様の構成を備えており、検査対象の磁気共鳴信号を計測し、当該磁気共鳴信号で構成されるｋ空間データを取得する。具体的には、ＭＲ撮像部１００Ｂは、静磁場を発生する静磁場発生部１０２と、静磁場空間に３軸方向の傾斜磁場を発生する傾斜磁場コイル１０９を含む傾斜磁場発生部１０３と、静磁場空間内の被検体１０１に高周波磁場を印加する送信コイル１１４ａを含む送信部１０４と、被検体１０１から発生する核磁気共鳴信号を受信する受信コイル１１４ｂを含む受信部１０５と、傾斜磁場発生部１０３、送信部１０４及び受信部１０５の動作を所定のパルスシーケンスに従い制御するシーケンサ１０７とを備えている。
傾斜磁場発生部１０３には傾斜磁場コイル１０９を駆動するための傾斜磁場電源１０６が備えられ、送信部１０４には、送信コイル１１４ａに所定の高周波信号を与え、送信コイル１１４ａから核磁気共鳴周波数の電磁波を照射させる高周波発生器１１１、増幅器１１３及び変調器１１２などが備えられている。また受信部１０５には、受信コイル１１４ｂが検知した信号を増幅する増幅器１１５、直交位相検波器１１６、さらにディジタル信号に変換するためのＡ／Ｄ変換器１１７などが含まれる。
信号処理部１５０Ｂは、ＭＲ撮像部１００Ｂで取得された核磁気共鳴信号（ｋ空間データ）を用いて、第一実施形態の画像処理部２００と同様の処理を行う画像処理部２００Ｂと、各部に必要な指令や情報を入力するための入力部１１０と、作成した画像やＵＩを表示する出力部１２０と、ＭＲ撮像部１００Ｂが取得した核磁気共鳴信号、計算途中のデータ及び計算に必要なパラメータ等の数値を格納する記憶装置１３０とを備えている。
信号処理部１５０の機能は、メモリとＣＰＵ又はＧＰＵに搭載されたソフトウェアにより実現される。但し、その一部をハードウェアで構成してもよい。
画像処理部２００Ｂの構成及び機能は、第一実施形態の画像処理部２００と同様であり、図１を参照すると、画像再構成部２１０、補正処理部２２０、及び診断支援処理部２３０を備える。また診断支援処理部２３０は、図２に示したようにパッチ処理部２３１、特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４、及び識別部２３５を備えている。
本実施形態の特徴量抽出部２３２には、ＭＲ画像とその画像の良悪性情報（病変有無や良性／悪性、もしくは、病変悪性度のグレード等）のデータとの組み合わせを学習データとして学習された学習済の予測モデル（図４：２３２Ｍ）が用いられる。特徴量抽象化部２３３には、特徴量抽出部２３２で抽出される特徴量Ａと良悪性情報との組み合わせを学習用データとして学習された学習済の予測モデル（図５：２３３Ｍ）が用いられる。特徴量変換部２３４には、例えば、病理画像のパラメータ（腫瘍部分のグレード当）を高精度に識別するものとして病理画像から抽出された特徴量Ｃと、特徴量抽象化部２３３で抽出される特徴量Ｂとを組み合わせた学習データを用いて学習された変換モデル（図６：２３４Ｍ）が用いられる。また識別部２３５には、特徴量Ｃとパラメータとを用いて学習された識別モデル（図１１：２３５Ｍ）が用いられる。
撮像に際しては、ＭＲ撮像部１００Ｂが任意の撮像方法にてｋ空間データを収集し、画像処理部２００Ｂにｋ空間データを送信する。画像処理部２００Ｂは第一実施形態と同様の処理を行う。まず画像再構成部２１０がｋ空間データから実空間のＭＲ画像の画像データを生成し、生成されたＭＲ画像を補正処理部２２０が補正処理して診断支援処理部２３０に入力する。入力されたＭＲ画像をパッチ処理部２３１がパッチ処理し、特徴量抽出部２３２がパッチ毎にＭＲ画像の画像データからパッチ毎の特徴量Ａを抽出する。特徴量抽象化部２３３は、特徴量Ａをより抽象化した特徴量Ｂに変換する。特徴量変換部２３４は、この特徴量Ｂをさらに他の画像（病理画像等）から抽出した特徴量Ｃに変換し、識別部２３５は、特徴量Ｃからパラメータ値を算出するとともにパッチを統合してＭＲ画像とし、パラメータ値およびＭＲ画像データを出力部１２０に出力する。
本実施形態において、第一実施形態の変形例を適用し、ＭＲ画像のうち、所望の領域（ＲＯＩ）のみに上述した画像処理部２００Ｂ（診断支援処理部２３０）の処理を行ってもよいし、パッチをオーバーラップして切り出してもよい。また第二実施形態を適用し、複数の撮像手法で取得した複数のＭＲ画像を画像処理部２００Ｂに渡し、診断パラメータの予測を行ってもよい。その際、付加的なテキスト情報を診断支援処理部２３０に入力してもよい。
本実施形態の医用撮像装置（ＭＲＩ装置）によれば、被検体の入力画像（ＭＲ画像）から、高精度な診断に用いられるパラメータ値を算出することができるため、医用撮像装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を示す画像を得ることができる。これにより本実施形態のＭＲＩ装置を用いれば、例えば病理検査を行うことなく病理診断と同等の診断が可能となるため、患者の身体的負担を減らしつつ、高精度な診断が可能となる。
＜第四実施形態＞
本発明を超音波撮像装置に適用した実施形態を説明する。
超音波撮像装置１０Ｃの全体概要を図２４に示す。この装置は、第一実施形態の撮像部１００に相当する超音波撮像部１００Ｃと、超音波撮像部１００Ｃから受信した超音波信号を用いて画像再構成等の演算を行う信号処理部１５０Ｃとからなる。
超音波撮像部１００Ｃは、従来の超音波撮像装置と同様の構成を備えており、被検体９００に対し超音波を発信する超音波探触子９０１、探触子９０１に超音波駆動信号を送る送信部９０２、探触子９０１からの超音波信号（ＲＦ信号）を受信する超音波受信部９０３、超音波受信部９０３が受信した信号を整相加算（ビームフォーミング）する整相加算部９０５、及び、超音波送信部９０２及び超音波受信部９０３を制御する超音波送受信制御部９０４を備える。
信号処理部１５０Ｃは、撮像部１００Ｃが取得した超音波信号から超音波画像を生成して第一実施形態の画像処理部２２０と同様の処理を行う画像処理部２２０Ｃと、入力部１１０と、出力部１２０と、記憶装置１３０とを備える。信号処理部１５０Ｃは、さらにドプラー処理部（不図示）などを備えていてもよい。図示する構成例では、超音波送受信制御部９０４及び画像処理部２００Ｃは一つのＣＰＵ内に構築されているが、超音波送受信制御部９０４は、画像処理部２００Ｃとは別のＣＰＵ内に構築されていてもよいし、送受信回路等のハードウェアと制御ソフトウェアとの組み合わせであってもよい。
画像処理部２００の構成及び機能は、第一実施形態の画像処理部２００と同様であり、その診断支援処理部２３０は、図２に示した構成と同様であり、重複する説明を省略する。
本実施形態の特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４及び識別部２３５が用いるモデルは、診断支援処理部２３０に入力される画像がＭＲ画像ではなく、以下のように取得した超音波画像であることを除き、第三実施形態と同様である。
撮像においては、超音波撮像部１００Ｃにおいて探触子９０１が受信した超音波を整相加算し、画像処理部２００Ｃに超音波信号を送信する。画像処理部２００Ｃは、まず画像再構成部２１０が超音波信号から超音波画像を生成し、生成された超音波画像を補正処理部２２０が補正処理して診断支援処理部２３０に入力する。診断支援処理部２３０は、入力された超音波画像をパッチ処理部２１０がパッチ処理し、特徴量抽出部２３２が超音波画像の画像データからパッチ毎の特徴量Ａを抽出する。特徴量抽象化部２３３がパッチ毎の特徴量Ａを融合した抽象化した特徴量Ｂを抽出する。特徴量変換部２３４は、特徴量Ｂを、特徴量Ｃに変換する。識別部２３５は、特徴量Ｃから病理画像の特徴に紐づけられたパラメータ値を算出し、パラメータ値を出力部１２０に出力する。出力部１２０は、診断支援処理装置２３０から出力されたパラメータ値とＣＴ画像データを所定の表示態様で出力する。
本実施形態においても、第一実施形態で説明した変形例や第二実施形態を適宜、適用することができる。
本実施形態の超音波撮像装置によれば、超音波画像から、高精度な診断に用いられるパラメータ値を算出することができるため、超音波撮像装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を得ることができる。
＜第五実施形態＞
本発明をＣＴ装置に適用した実施形態を説明する。
ＣＴ装置１０Ｄの全体概要を図２５に示す。この装置は、大きく分けて第一実施形態の撮像部１００に相当するＣＴ撮像部１００Ｄと、ＣＴ撮像部１００Ｄから受信したＣＴ画像信号を用いて画像再構成等の演算を行う信号処理部１５０Ｄとからなる。
ＣＴ撮像部１００Ｄは、従来のＣＴ装置と同様の構成を備えており、被検体８００にＸ線を照射するＸ線源８０１と、Ｘ線の放射範囲を制限するコリメータ８０３と、被検体８００を透過した透過Ｘ線を検出するＸ線検出器８０６と、中央に開口８０４を有してＸ線源８０１及びＸ線検出器８０６を対向する位置で支持する回転板８０２と、開口８０４内の空間で被検体８００を搭載する寝台８０５と、Ｘ線検出器８０６の出力を投影データ毎に収集するデータ収集部８０７と、ＣＴ撮像部１００Ｄを構成する各要素の動作を制御するシステム制御部８０８とを備えている。
信号処理部１５０Ｄは、撮像部１００Ｄが生成した断層画像（ＣＴ画像）に対して、第一実施形態の画像処理部２００と同様の処理を行う画像処理部２００Ｄと、入力部１１０と、出力部１２０と、記憶装置１３０とを備える。また図示する構成例では、システム制御部８０８及び画像処理部２００Ｄは一つのＣＰＵ内に構築されているが、システム制御部８０８は、画像処理部２００Ｄとは別のＣＰＵ内に構築されていてもよいし、ハードウェアと制御ソフトウェアとの組み合わせであってもよい。同様に信号処理部１５０Ｄの機能の一部をハードウェアで構成することも可能である。
画像処理部２００の構成及び機能は、第一実施形態の画像処理部２００と同様であり、その診断支援処理部２３０は、図２に示した構成と同様であり、重複する説明を省略する。
本実施形態の特徴量抽出部２３２、特徴量抽象化部２３３、特徴量変換部２３４及び識別部２３５が用いるモデルは、診断支援処理部２３０に入力される画像がＭＲ画像ではなく、以下のように取得したＣＴ画像であることを除き、第三実施形態と同様である。
撮像においては、ＣＴ撮像部１００ＤにおいてＸ線検出器８０６が検出した透過Ｘ線のＸ線信号を、データ収集部８０７が収集して画像処理部２００Ｄに送信する。画像処理部２００Ｄは、まず画像再構成部２１０がＣＴ画像を生成し、生成されたＣＴ画像を補正処理部２２０が補正処理して診断支援処理部２３０に入力する。入力されたＣＴ画像をパッチ処理部２３１がパッチ処理し、特徴量抽出部２３２がＣＴ画像からパッチ毎の特徴量Ａを抽出する。特徴量抽象化部２３３は、各パッチの特徴量Ａを統合し抽象化した特徴量Ｂに変換する。変換部２３３は、特徴量Ｂを病理画像の特徴である特徴量Ｃに変換する。識別部２３５は、特徴量Ｃからパラメータ値を算出し、出力部１２０に出力する。出力部１２０は、診断支援処理装置２３０から出力されたパラメータ値とＣＴ画像データを所定の表示態様で出力する。
本実施形態においても、第一実施形態で説明した変形例及び第二実施形態を適宜、適用することができる。
本実施形態のＣＴ装置によれば、ＣＴ画像から、高精度な診断に用いられるパラメータ値を算出することができるため、ＣＴ装置を用いた診断の他に精密検査を行わずに、高精度な診断結果を得ることができる。
１０：医用撮像装置
１０Ｂ：ＭＲＩ装置
１０Ｃ：超音波撮像装置
１０Ｄ：ＣＴ装置
１００：撮像部
１００Ｂ：ＭＲ撮像部
１００Ｃ：超音波撮像部
１００Ｄ：ＣＴ撮像部
１１０：入力部
１２０：出力部
１３０：記憶装置
１５０Ｂ〜１５０Ｄ：信号処理部
２００、２００Ｂ〜２００Ｄ：画像処理部
２１０：画像再構成部
２２０：補正処理部
２３０：診断支援処理部
２３１：パッチ処理部
２３２：特徴量抽出部
２３３：特徴量抽象化部
２３４：特徴量変換部
２３５：識別部

Claims (20)

  1. 検査対象の画像信号を収集する撮像部と、前記画像信号から第１の画像データを生成して当該第１の画像データの画像処理を行う画像処理部と、を有し、
    前記画像処理部は、
    前記第１の画像データから、第１の特徴量を抽出する特徴量抽出部と、
    複数の前記第１の特徴量を用いて、前記第１の特徴量を抽象化した第２の特徴量を抽出する特徴量抽象化部と、
    前記第２の特徴量を、前記第１の画像データとは別種の第２の画像データにより抽出される第３の特徴量に変換する特徴量変換部と、
    前記特徴量変換部が変換した前記第３の特徴量を用いて、前記第２の画像データから判定可能な所定のパラメータ値を算出する識別部と、を備えることを特徴とする医用撮像装置。
  2. 請求項１に記載の医用撮像装置であって、
    前記第２の画像データは、前記検査対象の病理画像の画像データであり、
    前記第３の特徴量は、前記病理画像の特徴を含むことを特徴とする医用撮像装置。
  3. 請求項１に記載の医用撮像装置であって、
    前記画像処理部は、画像データをパッチ処理するパッチ処理部を備え、
    前記特徴量抽出部は、前記パッチ処理部が処理した前記第１の画像データのパッチ毎に、前記第１の特徴量を抽出することを特徴とする医用撮像装置。
  4. 請求項１に記載の医用撮像装置であって、
    前記第１の画像は、撮像装置の種類、撮像条件、画像種のいずれかが異なる複数の画像を含み、前記特徴量抽出部は、複数の画像毎に前記第１の特徴量を抽出することを特徴とする医用撮像装置。
  5. 請求項１に記載の医用撮像装置であって、
    前記第１の画像データ及び第２の画像データの少なくとも一方は、電子カルテの情報、各種テキスト情報、バイタルデータ情報等、非画像情報をも含むことを特徴とする医用撮像装置。
  6. 請求項１に記載の医用撮像装置であって、
    前記特徴量抽出部は、複数の検査対象から取得した前記第１の画像データを用いて学習された予測モデルを含み、
    前記特徴量抽象化部は、複数の前記第１の特徴量を組み合わせて学習された予測モデルを含み、
    前記特徴量変換部は、前記第２の特徴量と前記第３の特徴量との複数の組み合わせを用いて学習された特徴量変換モデルを含み、
    前記識別部は、前記第３の特徴量と前記パラメータ値との複数の組み合わせを用いて学習された識別モデルを含むことを特徴とする医用撮像装置。
  7. 請求項６に記載の医用撮像装置であって、
    前記特徴量変換モデルは、エンコーダとデコーダの２つのネットワークから構成されており、前記エンコーダに前記第２の特徴量を入力すると、前記デコーダから前記第３の特徴量が出力されることを特徴とする医用撮像装置。
  8. 請求項６に記載の医用撮像装置であって、
    前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、所定の空間上にマッピングされた前記第２の特徴量と前記第３の特徴量との距離の誤差が小さくなるように学習されたモデルを含むことを特徴とする医用撮像装置。
  9. 請求項６に記載の医用撮像装置であって、
    前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、所定の空間上にマッピングされた前記第２の特徴量と前記第３の特徴量の中で、より識別精度に寄与する特徴量間の距離の誤差が小さくなるように学習されたモデルを含むことを特徴とする医用撮像装置。
  10. 請求項６に記載の医用撮像装置であって、
    前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、前記識別部が算出したパラメータ値の出力と教師データとの誤差が小さくなるように学習されたモデルを含むことを特徴とする医用撮像装置。
  11. 請求項６に記載の医用撮像装置であって、
    前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、所定の空間上にマッピングされた前記第２の特徴量と前記第３の特徴量との距離の誤差が小さくなるように、且つ、前記識別部が算出したパラメータ値の出力と教師データとの誤差が小さくなるように学習されたモデルを含むことを特徴とする医用撮像装置。
  12. 請求項６に記載の医用撮像装置であって、
    前記特徴量変換モデルは、所定の誤差関数を用いた誤差逆伝搬法により、所定の空間上にマッピングされた前記第２の特徴量と前記第３の特徴量の中で、より識別精度に寄与する特徴量間の距離の誤差が小さくなるように、且つ、前記識別部が算出したパラメータ値の出力と教師データとの誤差が小さくなるように学習されたモデルを含むことを特徴とする医用撮像装置。
  13. 請求項１に記載の医用撮像装置であって、
    前記画像処理部により処理された画像を表示する出力部をさらに備え、
    前記出力部は、前記第１の画像データの画像と、前記パラメータ値に基づく情報とを重畳して或いは並列に表示させることを特徴とする医用撮像装置。
  14. 請求項１に記載の医用撮像装置であって、
    前記検査対象の画像データに関心領域を設定するＲＯＩ設定部を更に備え、
    前記画像処理部は、前記ＲＯＩ設定部で設定された領域の画像データを処理することを特徴とする医用撮像装置。
  15. 請求項１に記載の医用撮像装置であって、
    前記撮像部は、検査対象の磁気共鳴信号を計測し、当該磁気共鳴信号で構成されるｋ空間データを取得するＭＲ撮像部、検査対象の超音波信号を取得する超音波撮像部、または、検査対象を透過したＸ線信号を取得するＣＴ撮像部であることを特徴とする医用撮像装置。
  16. 請求項１に記載の医用撮像装置であって、
    前記特徴量抽出部、前記特徴量抽象化部及び前記特徴量変換部が用いる学習済モデルは、前記撮像部にネットワークを介して接続されたクラウドに格納されていることを特徴とする医用撮像装置。
  17. 医用撮像装置の撮像部が取得した検査対象の画像信号を処理して、診断指標となるパラメータを算出する画像処理装置であって、
    前記画像信号から作成した第１の画像データから、第１の特徴量を抽出する特徴量抽出部と、
    複数の前記第１の特徴量を用いて、前記第１の特徴量を抽象化した第２の特徴量を抽出する特徴量抽象化部と、
    前記第２の特徴量を、前記第１の画像データとは別種の第２の画像データにより抽出された第３の特徴量に変換する特徴量変換部と、
    変換された前記第３の特徴量を用いて、前記第２の画像データから判定可能な所定のパラメータ値を算出する識別部とを備えることを特徴とする医用画像処理装置。
  18. 請求項１７に記載の医用画像処理装置であって、
    通信手段を通じて、１ないし複数の医用撮像装置が接続されることを特徴とする医用画像処理装置。
  19. 通信手段またはネットワークを通じて、複数の医用撮像装置が接続され、当該医用撮像装置が取得した複数の画像を入力し、処理する医用画像処理装置であって、
    複数の画像を処理し、第１の画像データを作成する前処理部と、
    前記前処理部が作成した第１の画像データから、第１の特徴量を抽出する特徴量抽出部と、
    複数の前記第１の特徴量を用いて、前記第１の特徴量を抽象化した第２の特徴量を抽出する特徴量抽象化部と、
    前記第２の特徴量を、前記第１の画像データとは別種の第２の画像データにより抽出された第３の特徴量に変換する特徴量変換部と、
    変換された前記第３の特徴量を用いて、前記第２の画像データから判定可能な所定のパラメータ値を算出する識別部とを備え、
    前記第１の画像データおよび前記第２の画像データは前記医用撮像装置の画像の種類に対応して存在し、
    前記特徴量変換部は、前記医用撮像装置の画像の特徴量から異なる種類の１ないし複数の前記医用撮像装置の画像の特徴量に相互に変換することを特徴とする医用画像処理装置。
  20. コンピュータに、
    医用撮像装置の撮像部が取得した検査対象の画像信号から第１の画像データを生成するステップ（１）、
    前記第１の画像データにより学習された予測モデルを用いて、前記第１の画像データから前記第１の特徴量を抽出するステップ（２）、
    前記第１の特徴量を用いて学習された予測モデルを用いて、第２の特徴量を抽出するステップ（３）、
    前記第２の特徴量と、第２の画像データにより抽出される第３の特徴量との複数の組み合わせにより学習された特徴量変換モデルを用いて、前記第２の特徴量を前記第３の特徴量に変換するステップ（４）、及び
    前記第３の特徴量を用いて所定のパラメータ値を算出するステップ（５）
    を実行させる画像処理プログラム。
JP2020033780A 2020-02-28 2020-02-28 医用撮像装置、医用画像処理装置、及び、画像処理プログラム Active JP7256765B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020033780A JP7256765B2 (ja) 2020-02-28 2020-02-28 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
CN202011249884.6A CN113327673B (zh) 2020-02-28 2020-11-10 医用摄像装置
US17/134,843 US11819351B2 (en) 2020-02-28 2020-12-28 Medical imaging apparatus, medical image processing apparatus, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020033780A JP7256765B2 (ja) 2020-02-28 2020-02-28 医用撮像装置、医用画像処理装置、及び、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2021133142A true JP2021133142A (ja) 2021-09-13
JP7256765B2 JP7256765B2 (ja) 2023-04-12

Family

ID=77413292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020033780A Active JP7256765B2 (ja) 2020-02-28 2020-02-28 医用撮像装置、医用画像処理装置、及び、画像処理プログラム

Country Status (3)

Country Link
US (1) US11819351B2 (ja)
JP (1) JP7256765B2 (ja)
CN (1) CN113327673B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240020744A (ko) * 2022-08-08 2024-02-16 한국과학기술원 딥 러닝 모델을 이용한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
WO2024048509A1 (ja) * 2022-08-30 2024-03-07 株式会社Preferred Networks 病態評価装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7094562B2 (ja) * 2019-07-05 2022-07-04 イーグロース株式会社 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
JP2022161146A (ja) * 2021-04-08 2022-10-21 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び医用画像処理システム
CN118044813B (zh) * 2024-04-16 2024-07-02 山东第一医科大学附属省立医院(山东省立医院) 基于多任务学习的心理健康状况评估方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293025A (ja) * 1995-04-20 1996-11-05 Olympus Optical Co Ltd 画像分類装置
JP2002253539A (ja) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> 医用画像識別システム，医用画像識別処理方法，医用画像識別用プログラムおよびその記録媒体
US20140375671A1 (en) * 2011-11-28 2014-12-25 University Of Chicago Method, system, software and medium for advanced image-based arrays for analysis and display of biomedical information
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US20180242906A1 (en) * 2017-02-27 2018-08-30 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial quantitative vessel tortuosity
JP2019025044A (ja) * 2017-07-31 2019-02-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
JP2019093008A (ja) * 2017-11-27 2019-06-20 株式会社国際電気通信基礎技術研究所 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル
JP2020010805A (ja) * 2018-07-17 2020-01-23 大日本印刷株式会社 特定装置、プログラム、特定方法、情報処理装置及び特定器
WO2020022027A1 (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 学習装置及び学習方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4855141B2 (ja) * 2006-05-19 2012-01-18 富士フイルム株式会社 医用画像部位認識装置、及び、医用画像部位認識プログラム
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
US10706533B2 (en) * 2016-05-13 2020-07-07 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
US10667794B2 (en) * 2016-10-17 2020-06-02 International Business Machines Corporation Automatic detection of disease from analysis of echocardiographer findings in echocardiogram videos
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10803984B2 (en) * 2017-10-06 2020-10-13 Canon Medical Systems Corporation Medical image processing apparatus and medical image processing system
US10878569B2 (en) * 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
US10810767B2 (en) * 2018-06-12 2020-10-20 Siemens Healthcare Gmbh Machine-learned network for Fourier transform in reconstruction for medical imaging
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293025A (ja) * 1995-04-20 1996-11-05 Olympus Optical Co Ltd 画像分類装置
JP2002253539A (ja) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> 医用画像識別システム，医用画像識別処理方法，医用画像識別用プログラムおよびその記録媒体
US20140375671A1 (en) * 2011-11-28 2014-12-25 University Of Chicago Method, system, software and medium for advanced image-based arrays for analysis and display of biomedical information
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US20180242906A1 (en) * 2017-02-27 2018-08-30 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial quantitative vessel tortuosity
JP2019025044A (ja) * 2017-07-31 2019-02-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
JP2019093008A (ja) * 2017-11-27 2019-06-20 株式会社国際電気通信基礎技術研究所 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル
JP2020010805A (ja) * 2018-07-17 2020-01-23 大日本印刷株式会社 特定装置、プログラム、特定方法、情報処理装置及び特定器
WO2020022027A1 (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 学習装置及び学習方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240020744A (ko) * 2022-08-08 2024-02-16 한국과학기술원 딥 러닝 모델을 이용한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
KR102642132B1 (ko) * 2022-08-08 2024-03-06 한국과학기술원 딥 러닝 모델을 이용한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
WO2024048509A1 (ja) * 2022-08-30 2024-03-07 株式会社Preferred Networks 病態評価装置

Also Published As

Publication number Publication date
JP7256765B2 (ja) 2023-04-12
CN113327673B (zh) 2024-07-05
US11819351B2 (en) 2023-11-21
CN113327673A (zh) 2021-08-31
US20210272277A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
JP7218215B2 (ja) 画像診断装置、画像処理方法及びプログラム
JP7256765B2 (ja) 医用撮像装置、医用画像処理装置、及び、画像処理プログラム
EP3806744B1 (en) Immediate workup
CN110807755B (zh) 使用定位器图像进行平面选择
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
KR101919866B1 (ko) 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치
Diniz et al. Deep learning strategies for ultrasound in pregnancy
KR20150073628A (ko) 컴퓨터 보조 진단용 진단모델 적응 시스템 및 방법
US7873196B2 (en) Medical imaging visibility index system and method for cancer lesions
CN115953416A (zh) 基于深度学习的膝骨关节核磁共振图像自动分割方法
Raja et al. Lung segmentation and nodule detection in 3D medical images using convolution neural network
Kang et al. Prediction of bone mineral density in CT using deep learning with explainability
Bharadwaj et al. Practical applications of artificial intelligence in spine imaging: a review
CN112508942B (zh) 一种获取bi-rads等级的方法和系统
JP7097794B2 (ja) 情報処理システム及び情報処理方法
CN113379616B (zh) 一种生成钆造影剂增强磁共振图像的方法
EP4156021A1 (en) A method and system for annotation of medical images
EP4099265A1 (en) Determining characteristics of muscle structures using artificial neural network
US20210345957A1 (en) Apparatus for Monitoring Treatment Side Effects
Kumar et al. A novel open-source ultrasound dataset with deep learning benchmarks for spinal cord injury localization and anatomical segmentation
WO2024121190A1 (en) Generating combined diagnostic imaging and pathology images
CN117980918A (zh) 用于医学图像转换的系统和方法
GB2574659A (en) Immediate workup
Ming et al. Clinical Diagnosis of Bone Metastasis in Breast Cancer via a Deep Learning Based Multi-Modal Image Analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R150 Certificate of patent or registration of utility model

Ref document number: 7256765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150