CN113327673A - 医用摄像装置、医用图像处理装置以及图像处理程序 - Google Patents

医用摄像装置、医用图像处理装置以及图像处理程序 Download PDF

Info

Publication number
CN113327673A
CN113327673A CN202011249884.6A CN202011249884A CN113327673A CN 113327673 A CN113327673 A CN 113327673A CN 202011249884 A CN202011249884 A CN 202011249884A CN 113327673 A CN113327673 A CN 113327673A
Authority
CN
China
Prior art keywords
image
feature
unit
feature amount
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011249884.6A
Other languages
English (en)
Inventor
荻野昌宏
黎子盛
金子幸生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN113327673A publication Critical patent/CN113327673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)

Abstract

本发明提供一种以更高精度表示医学的妥当性高的诊断预测结果的预测模型。医用摄像装置具有：摄像部，对检查对象的图像信号进行收集；以及图像处理部，从图像信号生成第1图像数据而进行该第1图像数据的图像处理。图像处理部具备：特征量提取部(220)，从第1图像数据提取第1特征量；特征量抽象化部(221)，对第1特征量进行抽象化并提取第2特征量；特征量变换部(230)，将第2特征量变换为通过第2图像数据提取的第3特征量；以及识别部(240)，使用进行了变换的第3特征量计算规定的参数值。

Description

医用摄像装置、医用图像处理装置以及图像处理程序
技术领域
本发明涉及对磁共振成像(以下，MRI)装置、CT装置、超声波摄像装置等医用摄像装置所取得的医用图像进行处理的图像处理技术，特别涉及用于使用医用图像进行高度的诊断、治疗方针的预测的图像诊断支援技术。
背景技术
近年来，作为应用了AI(Artificial Intelligence，人工智能)的图像诊断支援技术，提出了使用了深度学习(DL)来预测疾病(例如肿瘤)的有无、恶性度(等级)的方法。在本方法中，一般利用以将图像分类为多个类别的方式进行了学习的卷积神经网络(CNN：Convolutional Nueral Network)。
作为预测使用了DL的肿瘤恶性程度的等级的方法的一例，在非专利文献1中，根据由动态造影MRI(DCE-MRI)拍摄到的图像数据和病理图像数据分别取得多个图像特征量，生成组合了各特征量的映射图，根据该映射图，通过分析在前列腺癌的阶段计算中使用的格里森分数(GS)信息与特征量的关系性，从而提示对新的输入图像推断GS的预测模型。
此外，在专利文献1中，公开了提取多个MRI图像的图像特征量，并提示按照每个特征量排列的映射图图像的方法。该映射图图像通过分析多个特征量与多个病态(恶性度等)的相关性而生成，能够根据被检者的MRI图像将病态的信息建立关联。
然而，为了使用非专利文献1的技术得到诊断结果，除了基于医用摄像装置的检查以外，需要取得检查部位的病理图像的病理检查。在病理检查中，为了使用针等采集患者的微小组织，期望不进行对患者给予的身体负担大的病理检查而能够判断有无肿瘤、恶性程度的等级的技术。从另一观点而言，通过具有能够准确地判断应该真正进行病理检查的对象的技术，能够提供最佳的医疗。
此外，在使用专利文献1的技术的情况下，图像的特征量与病态的关系性被从大量数据的分析导出，难以显示从医学的观点出发的妥当性。即，在实际的医疗现场使用的情况下，处理内容的黑箱化成为问题的可能性高。
作为在不进行病理诊断的情况下从医用摄像装置的图像中预测并提示能够通过病理检查来判断的肿瘤的性质的方法，在非专利文献2中，公开了通过学习多个医用摄像装置图像与病理诊断结果(观察结果、文本信息)的组合(配对数据)来根医用摄像装置图像的输入预测病理图像观察结果的方法。
在先技术文献
专利文献
专利文献1：美国专利申请公开第2014/0375671号说明书
非专利文献]
非专利文献1：Asha Singanamalli及其他人著，”Identifying in vivo DCE MRImarkers associated with microvessel architecture and gleason grades ofprostate cancer.”，磁共振期刊(Journal of Magnetic Resonance)，2015，43，p.149-158
非专利文献2：Elizabeth S.Burnside及其他人著，”Using computer extractedimage phenotypes from tumors on breast magnetic resonance imaging to predictbreast cancer pathologic stage.”，Cancer，2016，p.748-757
发明内容
发明要解决的课题
在非专利文献2所公开的方法中，能够在不进行病理检查的情况下，使用医用图像从病理检查得到的观察结果(肿瘤恶性程度、等级等)进行预测提示，但该方法是根据大量数据的分析导出医用摄像装置图像与病理观察结果这样的图像与文本的关系性的方法，与专利文献1的方法同样，从医学观点出发的妥当性这样的观点出发难以进行说明。此外，在该方法中，由于使用医用摄像装置图像和病理观察结果(文本)这样的不同的信息等级的组合作为学习样本来制作学习模型，因此其相关关系成为黑盒，无法验证预测结果的无误性。
本发明的目的在于，使用DL以更高精度得到表示医学妥当性高的诊断预测结果的预测模型。
用于解决课题的手段
为了解决上述课题，本发明进行如下处理：将摄像部所取得的图像的图像信号进行图像数据化，从该图像数据中提取第1特征量之后，将第1特征量抽象化而作为第2特征量，将第2特征量变换为从具有详细的诊断信息的图像提取出的第3特征量，使用第3特征量得到预测结果。
具体地说，医用摄像装置具有：摄像部，收集检查对象的图像信号；以及图像处理部，从图像信号生成第1图像数据并进行该第1图像数据的图像处理。图像处理部具备：特征量提取部，从第1图像数据提取第1特征量；特征量抽象化部，从第1特征量中提取(抽象化)更重要的第2特征量；特征量变换部，将所述第2特征量变换为通过与第1图像不同的第2图像数据提取的第3特征量；以及识别部，使用进行了变换的第3特征量计算规定的参数值，进行预测。
发明效果
根据本发明，使用根据摄像部收集到的图像信号生成的图像数据，进行特征提取和所提取出的特征的抽象化，进行抽象化的特征与具有精度高的诊断信息的图像的特征的变换，由此能够得到更高精度的诊断信息。由此，能够更高精度地实现使用了医用摄像装置的诊断，能够有助于医疗的质量提高。此外，并非仅将图像作为输入而在黑箱内进行处理而得到诊断信息，而是通过在处理内设置能够理解的过程，从而能够确保医学上的妥当性。
附图说明
图1是表示第1实施方式的医用摄像装置的整体结构的图。
图2是表示第1实施方式的诊断支援处理部的结构的图。
图3的(A)、(B)分别是说明输入图像和病理图像的图像块(パッチ，patch)处理的图。
图4是表示特征量提取部(CNN)的构造的例子的图。
图5是表示特征量抽象化部(CNN)的构造的例子的图。
图6是表示特征量变换部(CNN)的构造的概要的图。
图7是表示提取特征量C的CNN的构造的例子的图。
图8是表示将特征量C抽象化的CNN的构造的例子的图。
图9是表示特征量变换部的构造的详细的图。
图10是表示特征量变换的一例的图。
图11是表示识别部的构造的例子的图。
图12是用于说明特征量空间中的误差函数的一例的图。
图13是用于说明误差函数的另一例的图。
图14是用于说明特征量空间中的特征量之间的关系的图。
图15是用于说明特征量空间中的误差函数的又一例的图。
图16是表示组装有学习模型的图像处理部的动作的流程的图。
图17的(A)、(B)分别是表示输入图像和输出图像的显示例的图。
图18的(A)、(B)分别是说明第1实施方式的变形例1的图像块处理的图。
图19是表示第1实施方式的变形例2的ROI设定的画面例的图。
图20是表示提取第1实施方式的特征量A和B的过程的图。
图21是表示提取第2实施方式的特征量A和B的过程的图。
图22是表示图像处理装置的整体结构的图。
图23是表示第三实施方式的医用摄像装置(MRI装置)的整体结构的图。
图24是表示第四实施方式的医用摄像装置(超声波摄像装置)的整体结构的图。
图25是表示第五实施方式的医用摄像装置(CT装置)的整体结构的图。
符号说明
10：医用摄像装置
10B：MRI装置
10C：超声波摄像装置
10D：CT装置
100：摄像部
100B：MR摄像部
100C：超声波摄像部
100D：CT摄像部
110：输入部
120：输出部
130：存储装置
150B～150D：信号处理部
200，200B～200D：图像处理部
210：图像重构部
220：修正处理部
230：诊断支援处理部
231：图像块处理部
232：特征量提取部
233：特征量抽象化部
234：特征量变换部
235：识别部
具体实施方式
本发明能够应用于具备取得MRI装置、CT装置、超声波摄像装置等医疗图像的摄像部和图像处理部的各种医用摄像装置。最初，对各医疗器械(modality)所共用的结构的实施方式进行说明。
<第1实施方式>
如图1所示，本实施方式的医用摄像装置10具备：摄像部100，从被检体收集图像重构所需的图像信号；以及图像处理部200，进行由摄像部100拍摄到的被检体的图像处理。医用摄像装置10还在其内部或外部具备用于输入各种指示的输入部110、显示器等输出部120以及存储装置130。
摄像部100根据医疗器械不同而构成不同，但通过被检体的计测来取得图像信号，并将所取得的图像信号传送给图像处理部200。关于每个医疗器械的详细结构，在后述的实施方式中进行说明。
图像处理部200具备：图像重构部210，重构从由摄像部100接收到的图像信号来的图像(第1图像)；以及诊断支援处理部230，进行使用图像重构部210制作得到的图像数据来支援图像诊断的处理。图像处理部200还可以具备修正处理部220，该修正处理部220在将图像重构部210所制作的图像数据输入到诊断支援处理部230之前，对图像数据进行噪声处理等规定的修正处理(也包括基于其他图像间运算所得到的新的图像的制作)，图1中示出包括这样的修正处理部220的情况。图像重构部210制作成的图像或者通过修正处理部220进行了修正处理的图像的图像数据和由诊断支援处理部230处理后的图像的图像数据被输出到输出部120。
如图2所示，诊断支援处理部230具备：特征量提取部232，从修正处理部220接收到的第1图像数据中提取第1特征量A；特征量抽象化部233，从第1特征量中提取第2特征量B；特征量变换部234，使用特征量变换模型将第2特征量B变换处理为第3特征量C；以及识别部235，使用识别模型通过使用第3特征量C计算规定的参数值并进行预测。特征量提取部232、特征量抽象化部233以及特征量变换部234分别包括通过机械学习而学习得到的学习模型(DL)。诊断支援处理部230可以将独立的各部分的学习模型连接，也可以将各部分的学习模型融合而设为1个DL。
作为特征量提取部232的输出的特征量A是从由摄像部100取得的图像信号得到的图像(以下，称为输入图像)的图像数据提取的特征量，例如是使病变部的亮度信息在DL中学习的中间层的输出结果。特征量抽象化部233输出的特征量B是综合地学习从各病变部的亮度信息得到的特征量A，从中提取出特别重要的特征量成分的结果。
特征量变换部234输出的特征量C是从与从医用摄像装置得到的医用图像(第1图像)不同的第2图像的图像数据中提取的特征量。第2图像是针对识别病变的目的，具有比第1图像数据更详细的信息的图像，例如是病理图像，是使与输入图像相同部位的病理图像中的信息(特征)在DL中学习的中间层的输出结果。识别部240根据特征量C计算的参数例如是根据病理图像诊断的有无肿瘤、等级、疾病的恶性度等。
诊断支援处理部230通常不将图像数据直接作为特征量提取部232的输入图像，而使分为规定尺寸的图像块而对每个图像块进行处理。在这样的情况下，还具备从由修正处理部220接收到的图像数据切取1个以上的图像块的图像块处理部231。如图3的(A)所示，图像块处理部231从图像数据400切取图像块400P，将所切取的多个图像块传递给特征量提取部232，特征量提取部232按每个图像块提取特征量A，特征量抽象化部233提取在学习数据的图像块整体所共用的主要特征量B。在此，图像块的信息被综合。特征量变换部234将该抽象化的特征量B变换为特征量C，识别部235根据特征量C计算参数值，并将预测结果输出到输出部120。另外，在本实施方式中，在特征量抽象化部233中对按多个图像数据(在此为图像块)的每个图像数据提取的特征量A进行综合，作为特征量B，因此在对图像数据500进行图像块化时，不需要与从第2图像(例如，病理图像700)提取特征量C时切取的图像块(图3的(B))进行对位。
图像处理部200的处理所需的数据以及程序被保存在存储装置130中。图像处理部200的处理所需的数据是图像重构部210、修正处理部220以及诊断支援处理部230进行的处理所使用的数据，关于诊断支援处理部230，是特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235进行处理所使用的后述的各学习模型等。存储装置130既可以是经由网络以能够通信地与医用摄像装置10连接的工作站、PACS(图像保存通信系统：Picture Archiving and Communication Systems)的服务器装置，也可以是能够与医用摄像装置10连接的可移动存储介质。此外，作为保存各数据来代替存储装置130的结构，也可以使用经由网络与摄像部100连接的云。
在医用摄像装置10具备CPU、GPU作为运算部、控制部的情况下，图像处理部200的功能作为搭载于CPU或者GPU的软件来实现。特别是特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235由具备学习功能的Neural Network实现，能够利用CNN等公知的软件包。此外，图像处理部200的一部分的功能也能够通过ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field Programable Gate Array现场可编程门阵列)等硬件来实现。
以下，对图1的图像处理部200的诊断支援处理部230的具体结构进行说明。最初，对用于组装到诊断支援处理部230的学习模型进行说明。
[学习模型的构造]
本实施方式的学习模型具有特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235分别使用的4种学习模型，在各学习模型中分别使用CNN。
第1个是特征量提取部232从输入图像的图像数据中提取特征量A的预测模型，第2个是特征量抽象化部233用于提取将特征量A抽象化的特征量B的模型，第3个是特征量变换部234用于从特征量B变换为特征量C的特征量变换模型，第4个是识别部235根据特征量C计算规定的参数值，并进行预测的识别模型。进而，需要用于另外求出从特征量变换部234的输出即特征量C、与输入图像不同的图像中提取出的特征量的预测模型，但该预测模型与仪通过输入图像不同而提取特征量A、B的模型相同，因此省略重复的说明。另外，特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235分别使用学习完毕的模型(预测模型)，但学习模型的学习过程既可以由诊断支援处理部230进行，也可以由与其不同的运算器(未图示)进行，将其保存于存储装置130。
首先，对第1个预测模型进行说明。该预测模型232M是将输入图像与有无病变(良性/恶性)或病变恶性度的等级等标签的组合用作学习用数据而学习的模型。
如图4示意性所示那样，预测模型232M的CNN40是在构成为在多层网络上在输入层41与输出层44之间重复多个卷积运算42和池化43的计算机上构建的运算单元。图4中，表示各层的模块之前的数字是层的数量，各层内的数字表示用层进行处理的尺寸。该预测模型的CNN被学习为，针对由图像块处理部231分成多个图像块的学习用的输入图像400的输入数据，通过CNN反复进行卷积运算和池化，从而提取用于高精度地识别输入图像400有无病变的特征量A410。
学习进行到输出与教师数据的误差处于规定的范围为止。此时，关于使用的误差函数，在学习模型的构造之后进行说明。
另外，在图4中，用单点划线包围的部分是在该CNN40的学习时编入到为了进行学习以使得提取与作为识别层234的输出的参数(有无肿瘤、等级、疾病的恶性度等)450相关性高的特征量的部分(评价部)，在运用该预测模型的过程中不需要。以下，在参照的图5、图7、图8中也是同样的。
作为预测模型232M的输出的特征量A将图像的特征分为诊断所需的多个分类，用多个维度(例如1024维)的矢量来表示其特征量A，提取出具有与参数(例如，肿瘤是良性还是恶性)的相关性的特征。针对每个图像块获得这样的特征量A。另外，在图4中，特征量A410设为全结合层的最终层的输出，但不限于此。层越深，特征的抽象化的程度越大，但也可以使用比最终层浅的层的输出作为特征量。
关于CNN网络的结构，可以使用代表性的架构(AlexNet、VGG-16、VGG-19等)，还可以使用通过ImageNet数据库等预先学习了它们的模型。
接下来，对特征量抽象化部233中使用的第2个模型、提取将特征量A抽象化了的特征量B的预测模型233M进行说明。
该预测模型233M将从特征量提取部232输出的图像块数份量的特征量作为输入，提取有助于有无病变(良性/恶性)或病变恶性度的等级等的主要特征量。例如，若图像块数为200，特征量为1024维，则将1024维×200的特征量连接的特征量被输入到该模型，最终提取最有助于有无病变(良性/恶性)的特征量B420。输出的特征量B的维度与1个图像块的维度(例如1024维)相同。
图5示出该预测模型233M的CNN的结构例。在图示的例子中，使用与图4同样的网络架构，各层的说明如上所述。但是，CNN网络的结构也可以与第1个模型的CNN232M同样地，使用公知的架构(AlexNet、VGG-16、VGG-19等)、进而使预先对它们进行了学习的模型。
以输出最有助于参数的特征量的方式学习这样的CNN，作为特征量抽象化部233的预测模型233M。
接下来，对在特征量变换部234中使用的第3个模型，将特征量B变换为特征量C的特征量变换模型234M进行说明。
如图6所示，特征量变换模型234M由编码器60A和解码器60B这2个网络构成。为将作为特征量抽象化部233的输出的特征量B(例如1024维)作为输入，将特征量C(例如1024维)作为教师数据进行学习而得到的模型。特征量C是与另外提取了特征量B的医用图像(第1图像)不同种类的图像，例如从学习用的病理图像中提取出的特征量。
特征量变换模型234M中使用的学习用的特征量C是通过CNN从学习用的病理图像中提取的特征量。例如，如图3的(B)所示，将通过被检体的病理检查生成并进行了图像块处理的学习用的病理图像700输入到与图4所示的CNN同样的CNN(图7)，提取特征量，针对每个图像块得到特征量C710。将该每个图像块的特征量710进一步输入到另一CNN(图8)，并且最终提取用于高精度地识别例如病理图像700的肿瘤部分的等级的特征量720(例如1024维度)。图7以及图8所示的CNN的各层41B～44B与图4以及图5所示的CNN的层41～44相同，在此省略说明。
使用这样的CNN得到学习用的特征量C的处理可以作为图像处理部200(诊断支援处理部230)内的处理来进行，也可以通过与图像处理部200不同的运算器进行。在图像处理部200进行的情况下，除了图2的结构以外，还追加第2图像处理部，在此进行使用了病理图像(第2图像)的图像块处理、特征量提取、特征量抽象化，将通过特征量提取化而得到的特征量用作特征量变换模型的学习用的特征量C。
使用这样准备的学习用的特征量C，在向图6的编码器60A输入特征量B时进行学习，以使从解码器60B输出特征量C710，由此得到在特征量变换部234中使用的特征量变换模型234M。该特征量变换模型234M的特征在于，不是如上述的在先研究(非专利文献2)那样学习了图像和文本这样的关系性的模型，而使在图像和图像、进而活用了DL的抽象度高的特征量之间学习关系性的模型，由此，变换的精度变高。
另外，在图6中，示出了特征量B以及特征量C都是N维度(N是自然数)的例子，但这些维度也可以不相同。例如，在特征量B为N维、特征量C为M维的情况下，特征量C的维度可以大于特征量B的维度(M＞N)、也可以小于(M<N)。
如图9所示，特征量变换模型234M的CNN是重叠了卷积层(Convolution层)、池化层、卷积层和上采样层的多层构造。各层中的处理的一个例子如下述表1所示。
[表1]
各处理内容的一例
Figure BDA0002769966940000111
在图10中示出本实施方式中的特征量变换的结果的一例。特征量映射图1001是特征量B的映射图，特征量映射图1002是特征量C的映射图，特征量映射图1003是通过特征量变换而从特征量B生成的映射图。这些映射图通过tSNE(t-distributed StochasticNeighor Embedding)将多维度(1024维度)压缩为2维度。由图10可知，通过特征量变换而得到的映射图1003特性接近作为教师数据的特征量C的映射图1002。
接下来，对在识别部235中使用的第4个识别模型235M进行说明。该模型根据变换后特征量计算规定的参数值，预测参数值所表示的有无病变部位、恶性度等。
例如，如图11所示，识别模型235M能够以学习为使用特征量C710作为输入以输出恶性度的等级730的CNN来实现。作为识别模型的CNN，能够利用例如TensorFlow(Google公司(注册商标))、Chainer(Preferred Networks公司(注册商标))、Theano(Universite deMontreal)等公知的软件(OSS：Open Source Software)。
识别模型235M将变换后特征量(特征量C)和肿瘤恶性程度的等级9的多个组合作为学习用数据来使这样的CNN进行学习，在将特征量C输入到识别部235时，提取与从特征量C分类的等级最接近的等级，并组装到识别部235中。在图11所示的例子中，将特征量C720分为诊断所需的多个分类，根据该分类，作为参数730计算肿瘤恶性程度的等级(例如，等级0～等级4)。
[误差函数的设计]
接下来，对通过CNN的学习来制作上述的预测模型或者识别模型时使用的误差函数进行说明。误差函数用于在使CNN学习时评价输出与教师数据之差。作为误差函数，一般是基于式(1)所示的误差传播法的函数。
[数式1]
Figure BDA0002769966940000121
tk：教师数据
yk：网络输出数据
在本实施方式中，也能够使用式(1)的误差函数，但还能够使用以下的误差函数中的任一个或者它们的组合，由此能够提高预测模型的精度。
1.规定空间距离误差
2.识别模型误差
3.医学的见解编入误差
以下，对这些误差函数进行说明。
1.规定空间距离误差
在将学习用的特征量A和特征量B的数据分别设为输入(教师数据)Ak、输出Bk的情况下，对教师数据Ak和输出Bk分别进行维度变换·压缩，如图12所示那样映射到规定的空间ε。作为映射方法，例如利用PCA(principal component analysisi)、tSNE(t-distributed Stochastic Neighor Embedding)。另外，在该图中将空间ε设为2维空间，但并不限定于此。
通过将空间ε上的教师数据Ak与输出Bk的距离r(例如各数据集合的重心间)加入到式(1)的误差函数，来设定空间ε上的距离r的误差变小的误差函数。例如在将向空间ε的变换函数设为g，用C表示空间ε上的重心(各数据的坐标的平均值)时，误差函数由下式(2)表示。
[数式2]
Figure BDA0002769966940000131
特征量抽象化部233、特征量变换部234将该式(2)作为误差函数来实施基于误差逆传播法的学习。
2.识别模型误差
如图13所示，该误差函数是如下的误差函数：在学习特征量变换模型233M和识别模型234M(除了特征量变换部234的特征量变换模型之外，还包括到识别部235进行的识别结果为止的模型)时，使来自识别模型235M的输出与教师数据的误差(损失值)逆传播，使识别结果的误差最小。在使用该误差函数的方法中，采用将构成上述的4个模型的CNN连结的形式、即在端到端进行学习的结构。
在该方法中，首先，将识别部235中的每个识别类别的输出(概率得分：Softmax层输出(0～1))与教师数据的差分设为损失值，设定损失函数。在识别结果的输出的类别数如图13所示那样为3类的情况下，例如输出矢量(yL1、YL1、YL2)成为如以下的式(3)那样的值。
[数式3]
Figure BDA0002769966940000141
另一方面，教师数据矢量(Y0L1、Y0L1、Y0L2)成为以下的式(4)那样的值。
[数式4]
Figure BDA0002769966940000142
输出矢量与教师数据矢量的矢量误差能够通过以下的式(5)那样的误差函数来定义。
[数式5]
Figure BDA0002769966940000143
若使用上述的输出矢量和教师数据矢量的值，则式(5)的值是
E3＝-(1xlog0.6+0xlog0.2+0xlog0.2)
＝-(-0.22)
＝0.22。
3.医学的见解编入误差
该误差函数是将医学见解与上述的规定空间距离误差组合而得到的函数。规定空间距离误差定义了将特征量空间的重心作为参数而接近空间整体的误差函数，但在该误差函数中，根据医学的见解、重要性，使应该一致的空间具有权重。具体而言，如图14所示，在特征量空间(特征量映射图)中，对从特征量B向C的变换前1001、变换后1003、教师数据1002的图像数据中的关系性进行分析，例如，在病理的图像中进行有无疾病的判断基础上，特别是对关系性深的图像块图像(组)1402和与其对应的MRI图像(组)1401的特征量空间误差缩小乘以权重。
在图14所示的特征量映射图中，各个点(特征)相当于各个图像块(MR图像1、2、3等)。变换前的组1401中所包括的图像块在特征量变换后移动至变换后映射图1003的组1403，该区域与病理图像中重要性高的组1402(病理图像1、2)的区域对应。这样，在映射图1001中，哪个图像块与映射图1002的组1402相关性高能够通过解析各个图像块在变换后特征量映射图1003中移动到哪里来获知。通过对该相关性高的区域间的空间的距离赋予权重来实现误差收缩，能够进一步提高学习的精度。作为处理，与规定空间距离误差相同地，根据医学的见解求出相关性较深的图像块图像(组)的坐标(重心)，将该坐标(重心)之间的误差定义为误差函数。
例如，在表示特征量空间的图15中，设定使医学上重要的教师数据A1与输出B1的距离、接下来重要的教师数据组(数据集合S)Ai与输出Bi的距离具有权重的误差函数。在将向特征量空间ε的变换函数设为g，用C表示了空间ε上的重心(各数据的坐标的平均值)时，误差函数由下式(6)表示。
[数式6]
Figure BDA0002769966940000151
在此，α、β、γ分别是权重系数，例如α＝0.5、β＝0.4、γ＝0.1。
通过使用以上那样的误差函数，能够减小特征量变换模型、识别模型的误差，实现更高精度的预测模型。此外，也可以组合上述误差函数(2)、(5)来进行加权，并组合以下式(7)那样的误差函数。
[数式7]
E5＝w1*E2+w2*E3···(7)
在此，w1、w2分别是加权系数(例如w1＝0.5、w2＝0.5)。同样地，也可以组合(5)和(6)。
如以上那样学习的4个模型是在诊断支援处理部230中使用的预测模型或者识别模型。这4个模型作为合体的1个模型，也能够组装到诊断支援处理部230，在该情况下，合体后的模型的各学习完毕模型部分相当于构成诊断支援处理部的各部分。
[图像处理动作]
接下来，参照图16，对组装有上述的学习完毕预测模型的图像处理部200的动作的流程以进行图像块切取的情况为例进行说明。
图像处理部200在从摄像部100接收图像信号时，首先进行诊断支援处理部230处理的输入图像的准备。具体地说，图像重构部210根据图像信号生成输入图像的图像数据，根据需要使用修正处理部220所生成的图像数据来修正图像，将修正后的图像数据传送给诊断支援处理部230(S1)。此外，修正处理部220将修正后的图像数据发送到输出部120。
接下来，图像块处理部231与预测模型的制作同样地，将处理的全部图像数据切取规定的尺寸的图像块(图3的(A))，转移给特征量提取部232(S2)。特征量提取部232使用预测模型232M(图4)按照每个图像块提取输入图像400的特征量A(S3)。接下来，特征量抽象化部233使用预测模型233M(图5)，提取对特征量A进行了抽象化的特征量B(S4)。
接下来，特征量变换部234使用特征量变换模型234M(图6)，从特征量B变换为特征量C(S5)。识别部235使用识别模型235M，根据变换后的特征量C计算对疾病进行预测、识别的参数值(S6)，并将预测结果输出到输出部120(S7)。
通过以上的动作，如图17所示，在输出部120分别输出在修正处理部220中进行了修正处理的图像1701的图像数据和在图像1701上叠加了诊断支援处理部230的处理结果的图像1702的图像数据，显示图像1701、1702中的一者或两者。输出部120也可以一并显示作为诊断支援处理部230的输出的参数值。
输出部120中的参数值的显示方法只要能够使医用摄像装置10的使用者识别参数值，则并不限定于特定的方法，例如可举出显示记号、数值、图像等的方法。
在参数为肿瘤的恶性度的情况下，能够对图像1701的有肿瘤的部位叠加与恶性度对应的记号来作为图像1702。例如，在图17的(A)所示的图像1702中，按照恶性度改变对图像叠加的记号的颜色，恶性度高的部位1702a为黑色，恶性度低的部位1702b为白色。此外，在参数用于前列腺癌的阶段计算的GS等的情况下，如图17的(B)所示，也可以以包围有肿瘤的区域1702c地进行提示，或者显示表示GS的信息(数值)。进而，如图17的(B)所示那样，也可以在有疾病的部位叠加地显示根据参数值预测的同部位的病理图像。
如以上所说明的那样，根据本实施方式，能够根据摄像部100收集到的信号生成输入图像，将从输入图像提取的特征量A、特征量B变换为具有更详细的信息的图像的特征量C，根据特征量C计算用于更高精度的诊断的参数值。由此，能够使用医用摄像装置，表示更高精度的诊断支援信息。更具体地说，仅通过由MRI图像等医用摄像装置所取得的图像的输入，能够进行基于病理图像的特征的疾病的预测，能够减小信息收集成本。
此外，在本实施方式中，由于使不同的图像彼此的图像的特征量的关系性学习，因此例如能够医用地表示观察医用摄像装置的图像的哪个部分来判断在病理图像中得到的特征，因此能够更准确地进行用户针对诊断结果的判断。即，能够使用户注意到在医用摄像装置的图像中一般难以看到的、看漏那样的特征。
<第1实施方式的变形例1>
在第1实施方式中，从图像数据的图像块的切取在各图像块不重叠的条件下进行，但是图像块处理部231也可以如图18的(A)所示那样以相邻的图像块重叠地切取图像块400P。通过使图像块重叠地切取，进行上述那样的CNN处理，从而能够进一步提高输出图像的画面质量。另外，也可以不使所有的图像块重叠，而是仅使一部分的例如关注区域内的图像块重叠。
在从第2图像700提取特征量C时，如图18的(B)所示，也可以重叠地切取图像块700P。
<第1实施方式的变形例2>
图像块处理部231从图像数据中切取出的图像块可以全部进行处理，也可以仅对关注区域(ROI)内的图像进行处理。
在该情况下，例如也可以在输出部120显示如图19所示那样的UI(ROI设定部140)等，用户经由UI设定ROI。当用户设定ROI时，图像处理部200使用该信息，仅对被设定为ROI的部分的图像数据进行处理。由此，例如能够仅对病变和其附近进行处理，能够缩短预测的处理时间，并且能够提高预测的精度。
这样，根据本变形例，通过省略超出关注区域的部分的图像处理，能够缩短作为整体的处理时间。
<第1实施方式的变形例3>
在第1实施方式中，对根据输入图像计算参数(例如肿瘤恶性程度的等级)的例子进行了说明，但图像处理部能够输出的参数的种类不限于1种。例如，也可以将与乳腺癌、胃癌等被检体的检查部位对应的学习模型、不限于肿瘤而与各种疾病相应的学习模型等多个模式的学习模型存储在存储装置130中。在该情况下，用户从输入部110输入诊断部位、想要诊断的疾病名称等，由此图像处理部200根据所输入的内容选择在处理中使用的学习模型，使用所选择的学习模型来计算参数。
<第2实施方式>
在第1实施方式中，在特征量B以及特征量C的提取中，从各1种图像信息中提取出特征量，但在本实施方式中，提取将多种图像的特征量组合而抽象化的特征量这一点不同。使用概念地表示第1实施方式的处理和本实施方式的处理的差异的图20以及图21来说明第1实施方式的处理和本实施方式的处理的差异。在此，作为一例，说明输入到诊断支援处理部的图像是由MRI装置取得的图像的情况，但不限于此，例如也可以进行CT、X射线、超声波等其他医疗器械图像的输入。
在第1实施方式的处理中，如图20所示，例如，从多张MRI的T1强调图像通过图像块切取病变的相关部分并提取特征量A，结合在各图像块得到的各特征量A，提取特别有助于疾病的判断的特征量B。
另一方面，在本实施方式中，如图21所示那样，输入变更了多个图像种类、在此为MRI的T1强调图像、T2强调图像以及画面质量参数等的图像(弥散增强图像等)，并在每个图像块中分别提取特征量A。结合这些所有特征量A，提取特别有助于疾病的判断的特征量B。即，图2所示的诊断支援处理部230中，图像块处理部231以及特征量提取部232仅准备所输入的图像的种类的数量(例如M)，从各特征量提取部232将图像块数份量(例如L)的特征量作为特征量A输出。
特征量抽象化部233将对从各特征量提取部232输出的特征量A1～A4进行融合而得到的特征量(图像数×图像块数)作为输入，输出1个特征量B。特征量A1～A4的融合既可以将它们单纯地连接，也可以进行相加。如上那样，通过将更多的信息作为特征量抽象化部233的预测模型233M的输入，从而能够得到对诊断更有效的、可靠性高的特征量B。
得到特征量B之后的处理与第1实施方式相同，但在得到特征量C时，也可以使用多个图像作为其他图像。例如，除了病理图像的HE染色图像之外，还添加诸如IHC染色等其它染色图像来提取特征量C。由此，对于第2图像，得到更适当地提取出作为诊断对象的病变的特征的特征量C。其结果，能够提高作为诊断支援处理部230的处理结果的参数的可靠度。
另外，在图21中，示出了输入仅为图像的情况，但也可以是电子病历的信息、各种文本信息、生命数据信息等结合了非图像信息的特征量。
<图像处理装置的实施方式>
在图1中，包括诊断支援处理部230的图像处理部200示出组装于医用摄像装置10的情况，但能够通过与医用摄像装置10独立的图像处理装置来实现图像处理部200的一部分或者全部的功能。图22表示独立的图像处理装置20的结构例。
该图像处理装置20是图1所示的图像处理部200的功能中的使诊断支援处理部230的功能独立的医用图像处理装置，经由通信、网络等与1个或多个医用摄像装置10(10A、10B···)连接。多个医用摄像装置可以是医疗器械不同的摄像装置，也可以是设置于不同施设、设置场所的摄像装置。图像处理装置20的主要功能与图像处理部200同样地作为搭载于CPU或者GPU的软件来实现。此外，在图22中省略了图示，但在图像处理装置20连接有图1所示那样的输入部110、输出部120以及存储装置130。
图像处理装置20接收由各个医用摄像装置10取得的图像数据，进行图2所示的诊断支援处理部230的各部分所进行的处理。图1的图像处理部200中的图像重构部210、修正处理部220的处理由医用摄像装置10所具备的图像处理部进行，因此进行与医用摄像装置的种类相应的图像重构、修正处理。但是，图像处理装置20也可以具有进行图像重构、修正处理的功能。此外，图像处理装置20也可以具备前处理部240，该前处理部240进行为了将从各医用摄像装置发送来的图像数据作为诊断支援处理部230的输入图像所需的前处理。前处理例如是通过医用摄像装置来使不同图像的尺寸、亮度分布等一致的处理、去除不需要的信息(例如背景)的处理等。
该图像处理装置20的诊断支援处理部230的动作与上述的各实施方式或者其变形例相同，对从医用摄像装置10发送来的图像数据进行特征量的提取、抽象化、特征量变换的处理，通过最终使用了识别模型的处理计算成为诊断支援的参数。该诊断支援处理部230的处理结果既可以向图像处理装置20所具备的输出部120输出，也可以向发送了图像数据的医用摄像装置或者放置有该医用摄像装置的设施、其他医疗机构内的数据库等发送。
此外，特征量变换部234中的特征量的变换不限于单纯的两个摄像图像，也能够应用于多种不同的摄像图像。例如，在使用摄像装置10A、10B、10C的图像的情况下，能够在相互学习了从各摄像装置得到的图像的特征量的相关性的基础上，根据诊断所需的摄像装置10A的图像的特征量，相互变换摄像装置10B的图像的特征量或摄像装置10C的图像的特征量等。即，由于能够从1个摄像装置的图像的特征量变换为多个不同摄像装置的特征量，因此能够在1个检查中抑制信息收集成本并且设为精度高的图像诊断。
在第1实施方式中，对无论摄像部的种类如何都能够应用的实施方式及其变形例进行了说明，以下对每个医疗器械的实施方式进行说明。
<第三实施方式>
对将本发明应用于MRI装置的实施方式进行说明。
如图23所示，MRI装置10B由相当于第1实施方式的摄像部100的MR摄像部100B和使用从MR摄像部100B接收到的核磁共振信号进行图像重构等的运算的信号处理部150B构成。
MR摄像部100B具备与以往的MRI装置同样的结构，计测检查对象的磁共振信号，取得由该磁共振信号构成k空间数据。具体地说，MR摄像部100B具备：静磁场产生部102，产生静磁场；倾斜磁场产生部103，包括在静磁场空间中产生3轴方向的倾斜磁场的倾斜磁场线圈109；发送部104，包括对静磁场空间内的被检体101施加高频磁场的发送线圈114a；接收部105，包括接收从被检体101产生的核磁共振信号的接收线圈114b；以及定序器107，按照规定的脉冲序列来控制倾斜磁场产生部103、发送部104以及接收部105的动作。
在倾斜磁场产生部103具备用于驱动倾斜磁场线圈109的倾斜磁场电源106，在发送部104具备对发送线圈114a赋予规定的高频信号并从发送线圈114a照射核磁共振频率的电磁波的高频产生器111、放大器113以及调制器112等。此外，在接收部105中包括对接收线圈114b所探测到的信号进行放大的放大器115、正交相位检波器116、进而用于变换为数字信号的A/D转换器117等。
信号处理部150B具备：图像处理部200B，使用由MR摄像部100B取得的核磁共振信号(k空间数据)，进行与第1实施方式的图像处理部200同样的处理；输入部110，用于输入各部分所需的指令、信息；输出部120，显示所制作的图像、UI；以及存储装置130，保存MR摄像部100B所取得的核磁共振信号、计算中途的数据以及计算所需的参数等数值。
信号处理部150的功能通过搭载在存储器、CPU或者GPU中的软件来实现。但是，也可以由硬件构成其一部分。
图像处理部200B的结构以及功能与第1实施方式的图像处理部200相同，参照图1，具备图像重构部210、修正处理部220以及诊断支援处理部230。此外，如图2所示那样，诊断支援处理部230具备图像块处理部231、特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235。
本实施方式的特征量提取部232中，使用将MR图像与该图像的良恶性信息(有无病变、良性/恶性、或者病变恶性度的等级等)的数据的组合作为学习数据而学习的学习完毕的预测模型(图4：232M)。特征量抽象化部233使用将由特征量提取部232提取的特征量A与良恶性信息的组合作为学习用数据而进行了学习的学习完毕的预测模型(图5：233M)。在特征量变换部234中使用学习数据进行了学习的变换模型(图6：234M)，该学习数据例如组合了作为高精度地识别病理图像的参数(相当于肿瘤部分的等级)的特征量从病理图像提取出的特征量C和由特征量抽象化部233提取的特征量B。此外，在识别部235中使用了采用特征量C和参数进行了学习的识别模型(图11：235M)。
在拍摄时，MR摄像部100B通过任意的摄像方法收集k空间数据，向图像处理部200B发送k空间数据。图像处理部200B进行与第1实施方式相同的处理。首先，图像重构部210从k空间数据生成实际空间的MR图像的图像数据，修正处理部220对所生成的MR图像进行修正处理并输入到诊断支援处理部230。图像块处理部231对所输入的MR图像进行图像块处理，特征量提取部232按照每个图像块从MR图像的图像数据中提取每个图像块的特征量A。特征量抽象化部233将特征量A变换为更加抽象化的特征量B。特征量变换部234将该特征量B进一步变换为从其他图像(病理图像等)提取出的特征量C，识别部235根据特征量C计算参数值并且将图像块进行综合来作为MR图像，将参数值以及MR图像数据输出到输出部120。
在本实施方式中，也可以应用第1实施方式的变形例，仅对MR图像中的期望的区域(ROI)进行上述的图像处理部200B(诊断支援处理部230)的处理，也可以重叠地切取图像块。此外，也可以应用第2实施方式，将通过多个摄像方法取得的多个MR图像传送给图像处理部200B，进行诊断参数的预测。此时，也可以将附加的文本信息输入到诊断支援处理部230。
根据本实施方式的医用摄像装置(MRI装置)，能够根据被检体的输入图像(MR图像)计算用于高精度的诊断的参数值，因此除了使用了医用摄像装置的诊断以外，还能够不进行精密检查而得到表示高精度的诊断结果的图像。由此，若使用本实施方式的MRI装置，则例如能够不进行病理检查而进行与病理诊断同等的诊断，因此能够减小患者的身体的负担并且进行高精度的诊断。
<第四实施方式>
对将本发明应用于超声波摄像装置的实施方式进行说明。
图24示出超声波摄像装置10C的整体概要。该装置由相当于第1实施方式的摄像部100的超声波摄像部100C和使用从超声波摄像部100C接收到的超声波信号进行图像重构等的运算的信号处理部150C构成。
超声波摄像部100C具备与以往的超声波摄像装置相同的结构，具备对被检体900发送超声波的超声波探头901、向探头901发送超声波驱动信号的发送部902、接收来自探头901的超声波信号(RF信号)的超声波接收部903、对超声波接收部903接收到的信号进行整相加法(波束成形)的整相加法部905、以及控制超声波发送部902以及超声波接收部903的超声波发送接收控制部904。
信号处理部150C具备根据摄像部100C取得的超声波信号生成超声波图像并进行与第1实施方式的图像处理部220同样的处理的图像处理部220C、输入部110、输出部120以及存储装置130。信号处理部150C还可以具备多普勒处理部(未图示)等。在图示的结构例中，超声波发送接收控制部904以及图像处理部200C在1个CPU内构建，但超声波发送接收控制部904可以在与图像处理部200C不同的CPU内构建，也可以是发送接收电路等硬件与控制软件的组合。
图像处理部200的结构以及功能与第1实施方式的图像处理部200相同，其诊断支援处理部230与图2所示的结构相同，并省略重复的说明。
本实施方式的特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235所使用的模型除了输入到诊断支援处理部230的图像不是MR图像而是如以下那样取得的超声波图像之外，与第三实施方式相同。
在摄像中，在超声波摄像部100C中对探头901接收到的超声波进行整相加法，向图像处理部200C发送超声波信号。图像处理部200C首先由图像重构部210从超声波信号生成超声波图像，修正处理部220对所生成的超声波图像进行修正处理并输入到诊断支援处理部230。诊断支援处理部230对所输入的超声波图像进行图像块处理部210的图像块处理，特征量提取部232从超声波图像的图像数据中提取每个图像块的特征量A。特征量抽象化部233提取融合了每个图像块的特征量A的抽象化的特征量B。特征量变换部234将特征量B变换为特征量C。识别部235从特征量C计算与病理图像的特征相关联的参数值，并且将参数值输出到输出部120。输出部120以规定的显示方式输出从诊断支援处理部230输出的参数值和CT图像数据。
在本实施方式中，能够适当应用在第1实施方式中说明过的变形例、第2实施方式。
根据本实施方式的超声波摄像装置，由于能够根据超声波图像计算用于高精度的诊断的参数值，因此除了使用了超声波摄像装置的诊断之外，还能够不进行精密检查而得到高精度的诊断结果。
<第五实施方式>
对将本发明应用于CT装置的实施方式进行说明。
图25示出CT装置10D的整体概要。该装置由大致分为相当于第1实施方式的摄像部100的CT摄像部100D、使用从CT摄像部100D接收到的CT图像信号进行图像重构等的运算的信号处理部150D构成。
CT摄像部100D具备与以往的CT装置相同的结构，具备：X射线源801，向被检体800照射X射线；准直器803，限制X射线的放射范围；X射线检测器806，检测透过了被检体800的透射X射线；旋转板802，在中央具有开口804，在对置的位置支承X射线源801以及X射线检测器806；床位805，在开口804内的空间搭载被检体800；数据收集部807，按每个投影数据收集X射线检测器806的输出；以及系统控制部808，控制构成CT摄像部100D的各要素的动作。
信号处理部150D具备对摄像部100D生成的断层图像(CT图像)进行与第1实施方式的图像处理部200同样的处理的图像处理部200D、输入部110、输出部120以及存储装置130。此外，在图示的结构例中，系统控制部808以及图像处理部200D构建在一个CPU内，但系统控制部808可以构建在与图像处理部200D不同的CPU内，也可以是硬件和控制软件的组合。同样地，也可以由硬件构成信号处理部150D的功能的一部分。
图像处理部200的结构以及功能与第1实施方式的图像处理部200相同，其诊断支援处理部230与图2所示的结构相同，并省略重复的说明。
本实施方式的特征量提取部232、特征量抽象化部233、特征量变换部234以及识别部235所使用的模型除了输入到诊断支援处理部230的图像不是MR图像而是如以下那样取得的CT图像之外，与第三实施方式相同。
在摄像中，数据收集部807收集在CT摄像部100D中X射线检测器806检测出的透射X射线的X射线信号并发送给图像处理部200D。图像处理部200D首先由图像重构部210生成CT图像，修正处理部220对所生成的CT图像进行修正处理并输入到诊断支援处理部230。图像块处理部231对所输入的CT图像进行图像块处理，特征量提取部232从CT图像中提取每个图像块的特征量A。特征量抽象化部233将各图像块的特征量A进行综合并变换为进行了抽象化的特征量B。变换部233将特征量B变换成作为病理图像的特征的特征量C。识别部235从特征量C计算参数值，并输出到输出部120。输出部120以规定的显示方式输出从诊断支援处理部230输出的参数值和CT图像数据。
即使在本实施方式中，也能够适当应用在第1实施方式中说明的变形例以及第2实施方式。
根据本实施方式的CT装置，能够从CT图像计算高精度的诊断中所使用的参数值，因此除了使用了CT装置的诊断之外能够不进行精密检查而得到高精度的诊断结果。

Claims (20)

1.一种医用摄像装置，其特征在于，具有：
摄像部，对检查对象的图像信号进行收集；以及图像处理部，从所述图像信号生成第1图像数据而进行该第1图像数据的图像处理，
所述图像处理部具备：
特征量提取部，从所述第1图像数据提取第1特征量；
特征量抽象化部，使用多个所述第1特征量，提取对所述第1特征量进行了抽象化的第2特征量；
特征量变换部，将所述第2特征量变换为通过与所述第1图像数据不同种类的第2图像数据提取的第3特征量；以及
识别部，使用所述特征量变换部进行了变换的所述第3特征量，计算能够根据所述第2图像数据判断的规定的参数值。
2.根据权利要求1所述的医用摄像装置，其中，
所述第2图像数据是所述检查对象的病理图像的图像数据，
所述第3特征量包括所述病理图像的特征。
3.根据权利要求1所述的医用摄像装置，其中，
所述图像处理部具备对图像数据进行图像块处理的图像块处理部，
所述特征量提取部按照所述图像块处理部所处理的所述第1图像数据的每个图像块，提取所述第1特征量。
4.根据权利要求1所述的医用摄像装置，其中，
所述第1图像包括摄像装置的种类、摄像条件、图像种类中的任一种不同的多个图像，所述特征量提取部对多个图像的每一个图像提取所述第1特征量。
5.根据权利要求1所述的医用摄像装置，其中，
所述第1图像数据以及第2图像数据的至少一个还包括电子病历的信息、各种文本信息、生命数据信息等、非图像信息。
6.根据权利要求1所述的医用摄像装置，其中，
所述特征量提取部包括使用从多个检查对象取得的所述第1图像数据而学习的预测模型，
所述特征量抽象化部包括组合多个所述第1特征量而学习的预测模型，
所述特征量变换部包括使用所述第2特征量和所述第3特征量的多个组合而学习的特征量变换模型，
所述识别部包括使用所述第3特征量和所述参数值的多个组合而学习的识别模型。
7.根据权利要求6所述的医用摄像装置，其中，
所述特征量变换模型由编码器和解码器的两个网络构成，当向所述编码器输入所述第2特征量时，从所述解码器输出所述第3特征量。
8.根据权利要求6所述的医用摄像装置，其中，
所述特征量变换模型包括如下模型，通过使用了规定的误差函数的误差逆传播法进行了学习，以使得被映射到规定的空间上的所述第2特征量与所述第3特征量的距离的误差变小。
9.根据权利要求6所述的医用摄像装置，其中，
所述特征量变换模型包括如下模型，通过使用了规定的误差函数的误差逆传播法进行了学习，以使得在被映射到规定的空间上的所述第2特征量与所述第3特征量中更有助于识别精度的特征量间的距离的误差变小。
10.根据权利要求6所述的医用摄像装置，其中，
所述特征量变换模型包括如下模型，通过使用了规定的误差函数的误差逆传播法进行了学习，以使得所述识别部计算出的参数值的输出与教师数据的误差变小。
11.根据权利要求6所述的医用摄像装置，其中，
所述特征量变换模型包括如下模型，通过使用了规定的误差函数的误差逆传播法进行了学习，以使得被映射到规定的空间上的所述第2特征量与所述第3特征量的距离的误差变小，并且使得所述识别部计算出的参数值的输出与教师数据的误差变小。
12.根据权利要求6所述的医用摄像装置，其中，
所述特征量变换模型包括如下模型，通过使用了规定的误差函数的误差逆传播法进行了学习，以使得在被映射到规定的空间上的所述第2特征量与所述第3特征量中更有助于识别精度的特征量间的距离的误差变小，并且使得所述识别部计算出的参数值的输出与教师数据的误差变小。
13.根据权利要求1所述的医用摄像装置，其中，
还具备显示通过所述图像处理部进行了处理的图像的输出部，
所述输出部使所述第1图像数据的图像和基于所述参数值的信息重叠或者并行显示。
14.根据权利要求1所述的医用摄像装置，其中，
还具备对所述检查对象的图像数据设定关注区域的ROI设定部，
所述图像处理部对由所述ROI设定部设定的区域的图像数据进行处理。
15.根据权利要求1所述的医用摄像装置，其中，
所述摄像部是计测检查对象的磁共振信号，取得由该磁共振信号构成的k空间数据的MR摄像部、取得检查对象的超声波信号的超声波摄像部、或者取得透射了检查对象的X射线信号的CT摄像部。
16.根据权利要求1所述的医用摄像装置，其中，
所述特征量提取部、所述特征量抽象化部以及所述特征量变换部使用的学习完毕模型保存在经由网络与所述摄像部连接的云中。
17.一种医用图像处理装置，处理医用摄像装置的摄像部所取得的检查对象的图像信号，计算成为诊断指标的参数，该医用图像处理装置的特征在于，具备：
特征量提取部，从根据所述图像信号制作的第1图像数据提取第1特征量；
特征量抽象化部，使用多个所述第1特征量，提取对所述第1特征量进行了抽象化的第2特征量；
特征量变换部，将所述第2特征量变换为通过与所述第1图像数据不同种类的第2图像数据提取的第3特征量；以及
识别部，使用变换后的所述第3特征量，计算能够根据所述第2图像数据判断的规定的参数值。
18.根据权利要求17所述的医用摄像装置，其中，
通过通信手段，连接有1个或多个医用摄像装置。
19.一种医用图像处理装置，通过通信手段或者网络，连接有多个医用摄像装置，输入并处理该医用摄像装置所取得的多个图像，该医用图像处理装置的特征在于，具备：
前处理部，对多个图像进行处理，制作第1图像数据；
特征量提取部，从所述前处理部制作的第1图像数据提取第1特征量；
特征量抽象化部，使用多个所述第1特征量，提取对所述第1特征量进行了抽象化的第2特征量；
特征量变换部，将所述第2特征量变换为通过与所述第1图像数据不同种类的第2图像数据提取的第3特征量；以及
识别部，使用进行了变换的所述第3特征量，计算能够从所述第2图像数据判断的规定的参数值，
所述第1图像数据以及所述第2图像数据与所述医用摄像装置的图像的种类对应地存在，
所述特征量变换部从所述医用摄像装置的图像的特征量相互变换为不同种类的1个或多个所述医用摄像装置的图像的特征量。
20.一种图像处理程序，使计算机执行：
步骤(1)，从医用摄像装置的摄像部所取得的检查对象的图像信号生成第1图像数据；
步骤(2)，使用根据所述第1图像数据学习的预测模型，从所述第1图像数据提取第1特征量；
步骤(3)，采用使用所述第1特征量进行了学习的预测模型，提取第2特征量；
步骤(4)，使用所述第2特征量和根据第2图像数据提取的第3特征量的多个组合而进行了学习的特征量变换模型，将所述第2特征量变换为所述第3特征量；以及
步骤(5)，使用所述第3特征量计算规定的参数值。
CN202011249884.6A 2020-02-28 2020-11-10 医用摄像装置、医用图像处理装置以及图像处理程序 Pending CN113327673A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-033780 2020-02-28
JP2020033780A JP7256765B2 (ja) 2020-02-28 2020-02-28 医用撮像装置、医用画像処理装置、及び、画像処理プログラム

Publications (1)

Publication Number Publication Date
CN113327673A true CN113327673A (zh) 2021-08-31

Family

ID=77413292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011249884.6A Pending CN113327673A (zh) 2020-02-28 2020-11-10 医用摄像装置、医用图像处理装置以及图像处理程序

Country Status (3)

Country Link
US (1) US11819351B2 (zh)
JP (1) JP7256765B2 (zh)
CN (1) CN113327673A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7094562B2 (ja) * 2019-07-05 2022-07-04 イーグロース株式会社 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
KR102642132B1 (ko) * 2022-08-08 2024-03-06 한국과학기술원 딥 러닝 모델을 이용한 조직 이미지 분류 장치 및 조직 이미지 분류 방법
WO2024048509A1 (ja) * 2022-08-30 2024-03-07 株式会社Preferred Networks 病態評価装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253539A (ja) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> 医用画像識別システム，医用画像識別処理方法，医用画像識別用プログラムおよびその記録媒体
US20140375671A1 (en) * 2011-11-28 2014-12-25 University Of Chicago Method, system, software and medium for advanced image-based arrays for analysis and display of biomedical information
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
WO2017022882A1 (ko) * 2015-08-06 2017-02-09 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
US20170330320A1 (en) * 2016-05-13 2017-11-16 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
US20180108125A1 (en) * 2016-10-17 2018-04-19 International Business Machines Corporation Automatic detection of disease from analysis of echocardiographer findings in echocardiogram videos
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质
CN109805950A (zh) * 2017-10-06 2019-05-28 佳能医疗系统株式会社 医用图像处理装置以及医用图像处理系统
US20190304092A1 (en) * 2018-03-28 2019-10-03 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
US20190378311A1 (en) * 2018-06-12 2019-12-12 Siemens Healthcare Gmbh Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08293025A (ja) * 1995-04-20 1996-11-05 Olympus Optical Co Ltd 画像分類装置
JP4855141B2 (ja) * 2006-05-19 2012-01-18 富士フイルム株式会社 医用画像部位認識装置、及び、医用画像部位認識プログラム
JP2015129987A (ja) 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP6929047B2 (ja) 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10575774B2 (en) 2017-02-27 2020-03-03 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
JP6772112B2 (ja) 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
JP6884344B2 (ja) 2017-11-27 2021-06-09 株式会社国際電気通信基礎技術研究所 脳内ネットワークの活動推定システム、脳内ネットワークの活動推定方法、脳内ネットワークの活動推定プログラム、および、学習済み脳活動推定モデル
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
JP7167515B2 (ja) 2018-07-17 2022-11-09 大日本印刷株式会社 特定装置、プログラム、特定方法、情報処理装置及び特定器
WO2020022027A1 (ja) 2018-07-26 2020-01-30 富士フイルム株式会社 学習装置及び学習方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253539A (ja) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> 医用画像識別システム，医用画像識別処理方法，医用画像識別用プログラムおよびその記録媒体
US20140375671A1 (en) * 2011-11-28 2014-12-25 University Of Chicago Method, system, software and medium for advanced image-based arrays for analysis and display of biomedical information
US20160093050A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Image registration device, image registration method, and ultrasonic diagnosis apparatus having image registration device
WO2017022882A1 (ko) * 2015-08-06 2017-02-09 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
US20170330320A1 (en) * 2016-05-13 2017-11-16 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
KR20180040287A (ko) * 2016-10-12 2018-04-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
US20180108125A1 (en) * 2016-10-17 2018-04-19 International Business Machines Corporation Automatic detection of disease from analysis of echocardiographer findings in echocardiogram videos
US20180144214A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN109805950A (zh) * 2017-10-06 2019-05-28 佳能医疗系统株式会社 医用图像处理装置以及医用图像处理系统
US20190304092A1 (en) * 2018-03-28 2019-10-03 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
US20190378311A1 (en) * 2018-06-12 2019-12-12 Siemens Healthcare Gmbh Machine-Learned Network for Fourier Transform in Reconstruction for Medical Imaging
CN109166087A (zh) * 2018-09-29 2019-01-08 上海联影医疗科技有限公司 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘芳;张宝华;王心强;: "基于灰度共生矩阵提取纹理特征的医学图像检索技术的研究与应用", 科技视界, no. 01, 5 January 2014 (2014-01-05) *

Also Published As

Publication number Publication date
US11819351B2 (en) 2023-11-21
US20210272277A1 (en) 2021-09-02
JP7256765B2 (ja) 2023-04-12
JP2021133142A (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
CN111657858B (zh) 图像诊断装置、图像处理方法和存储介质
US11957497B2 (en) System and method for hierarchical multi-level feature image synthesis and representation
CN110807755B (zh) 使用定位器图像进行平面选择
AU2004252917B2 (en) CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
US11819351B2 (en) Medical imaging apparatus, medical image processing apparatus, and image processing program
US9858665B2 (en) Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models
US11488306B2 (en) Immediate workup
CN111563523B (zh) 利用机器训练的异常检测的copd分类
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
CN109073725A (zh) 用于规划和执行重复介入流程的系统和方法
KR20190105210A (ko) 통합 의료 진단 서비스 제공 시스템 및 그 방법
US11969265B2 (en) Neural network classification of osteolysis and synovitis near metal implants
Dong et al. One step further into the blackbox: a pilot study of how to build more confidence around an AI-based decision system of breast nodule assessment in 2D ultrasound
WO2009050676A1 (en) Pathology-related magnetic resonance imaging
CN110738633A (zh) 一种机体组织的三维图像处理方法及相关设备
JP7479546B2 (ja) 表示装置、方法およびプログラム
Ansari et al. Unveiling the future of breast cancer assessment: a critical review on generative adversarial networks in elastography ultrasound
Bharadwaj et al. Practical Applications of Artificial Intelligence in Spine Imaging: A Review
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
CN112508942B (zh) 一种获取bi-rads等级的方法和系统
US20230096522A1 (en) Method and system for annotation of medical images
EP4099265A1 (en) Determining characteristics of muscle structures using artificial neural network
WO2023223060A1 (en) Method for training a system adapted for aiding evaluation of a medical image
KR20240037867A (ko) 심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법을 통한 의료 영상 표준화 네트워크 모델의 학습 방법 및 의료 영상의 표준화 방법
CN117542495A (zh) 一种医护综合管理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination