CN111986784B - 医疗影像的元数据预测装置及方法 - Google Patents

医疗影像的元数据预测装置及方法 Download PDF

Info

Publication number
CN111986784B
CN111986784B CN201911395855.8A CN201911395855A CN111986784B CN 111986784 B CN111986784 B CN 111986784B CN 201911395855 A CN201911395855 A CN 201911395855A CN 111986784 B CN111986784 B CN 111986784B
Authority
CN
China
Prior art keywords
medical image
information
metadata
input
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911395855.8A
Other languages
English (en)
Other versions
CN111986784A (zh
Inventor
朴钟赞
俞同根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Runyi Co ltd
Original Assignee
Runyi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Runyi Co ltd filed Critical Runyi Co ltd
Publication of CN111986784A publication Critical patent/CN111986784A/zh
Application granted granted Critical
Publication of CN111986784B publication Critical patent/CN111986784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/166—Normalisation of pattern dimensions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

本公开涉及一种利用神经网络对医疗影像及元数据之间的关系进行机器学习，并通过将机器学习模型应用于医疗影像来获得元数据的装置及方法，包括如下步骤：基于用于学习(training)的多个医疗影像及分别与多个医疗影像匹配的元数据来学习预测医疗影像的元数据的预测模型；及利用所学到的预测模型，预测输入的医疗影像的元数据。

Description

医疗影像的元数据预测装置及方法
技术领域
本公开涉及一种利用神经网络对医疗影像及元数据之间的关系进行机器学习，并通过将机器学习模型适用于医疗影像来获取元数据的装置及方法。
背景技术
根据作为医疗影像的数据标准的医学数字成像和通信(Digital ImagingandCommunications in Medicine，DICOM)，DICOM数据大致包括两种信息。一个是拍摄的医疗影像原件(raw pixel array)，另一个是记录在DICOM标头的元数据。
医疗影像分析首先利用记录在DICOM标头(header)中的值。例如，医疗人员通过查看DICOM标头中的“身体检查部位(BodyPartExamined)”属性的值，判断医疗影像是否是作为判断对象的患者的身体部位，并进行医疗影像判断。另外，医疗人员可利用DICOM标头的“窗口中心/宽度(Window Center/Width)”属性，来标准化(normalization)来自各种环境的原始影像。
存储在DICOM标头中的医学图像的元数据对于不同的医院可能具有不同的协议，并且不同的放射科医师可能会输入不同的主观值。在某些情况下，该值可能不存在于DICOM标头中，可能输入不正确或可能以其他基准存储。这种情况下，医疗人员无法判断医疗影像或做出错误的判断。另外，为了对医疗影像进行机器学习，需要标准化的医疗影像，但是，如果根据不同的标准来存储元数据，则存在不能正确地对医疗影像进行机器学习的问题。
发明内容
本公开的一实施例的医疗影像分析方法，包括如下步骤：基于用于学习(training)的多个医疗影像及分别与多个医疗影像匹配的元数据，来学习预测医疗影像的元数据的预测模型；及利用所学到的预测模型，预测输入的医疗影像的元数据。
本公开的一实施例的医疗影像分析方法的元数据包括：与医疗影像中包括的个体有关的信息、医疗影像的拍摄环境的信息及与医疗影像的显示方法有关的信息中的至少一个。
本公开的一实施例的医疗影像分析方法的与医疗影像中包括的个体有关的信息包括：医疗影像包括的身体部位信息及患者的信息中的至少一个；医疗影像的拍摄环境的信息包括：医疗影像的模态信息(modalityinformation)及医疗影像的拍摄方式的信息中的至少一个；与医疗影像的显示方法有关的信息包括：医疗影像的窗口中心(windowcenter)信息、窗口宽度(window width)信息、颜色反转信息、影像的旋转信息及影像的翻转信息中的至少一个。
本公开的一实施例的医疗影像分析方法的学习预测模型的步骤包括如下步骤：从用于学习的多个医疗影像的各DICOM(Digital Imaging andCommunications inMedicine)标头的标准数据元(Standard Data Elements)获取分别与多个医疗影像匹配的多个元数据；及利用用于学习的多个医疗影像及获取的多个元数据，学习预测模型。
本公开的一实施例的医疗影像分析方法的学习预测模型的步骤还包括：将对于输入的医疗影像的进行预测的元数据匹配到输入的医疗影像并存储的步骤。
本公开的一实施例的医疗影像分析方法的存储的步骤还包括：将预测的元数据存储到输入的医疗影像的DICOM(Digital Imaging andCommunications in Medicine)标头中的步骤。
本公开的一实施例的医疗影像分析方法还包括：为了在输入的医疗影像中检测出异常(anomaly)，基于预测的元数据来调整(adjust)输入的医疗影像的步骤。
本公开的一实施例的医疗影像分析方法的调整输入的医疗影像的步骤还包括：基于预测的元数据来调整输入的医疗影像的窗口中心、窗口宽度、颜色及输出方向中的至少一个的步骤。
本公开的一实施例的医疗影像分析方法的用于学习的多个医疗影像及输入的医疗影像是对应于DICOM(Digital Imaging and Communications inMedicine)标准的影像。
本公开的一实施例的医疗影像分析装置包括处理器及存储器，处理器基于存储在存储器中的指令执行如下所述步骤：基于用于学习(training)的多个医疗影像及分别与多个医疗影像匹配的元数据来学习预测医疗影像的元数据的预测模型，及利用学习的预测模型，预测输入的医疗影像的元数据。
本公开的一实施例的医疗影像分析装置的元数据包括：与医疗影像中包括的个体有关的信息、医疗影像的拍摄环境的信息及与医疗影像的显示方法有关的信息中的至少一个。
本公开的一实施例的医疗影像分析装置的与医疗影像中包括的个体有关的信息包括：医疗影像包括的身体部位信息及患者的信息中的至少一个；医疗影像的拍摄环境的信息包括：医疗影像的模态信息(modalityinformation)及医疗影像的拍摄方式的信息中的至少一个；与医疗影像的显示方法有关的信息包括：医疗影像的窗口中心(windowcenter)信息、窗口宽度(window width)信息、颜色反转信息、影像的旋转信息及影像的翻转信息中的至少一个。
本公开的一实施例的医疗影像分析装置的处理器基于存储在存储器中的指令，还执行如下步骤：从用于学习的多个医疗影像的各DICOM(DigitalImaging andCommunications in Medicine)标头的标准数据元(Standard DataElements)获取分别与多个医疗影像匹配的多个元数据；及利用用于学习的多个医疗影像及获取的多个元数据，学习预测模型。
本公开的一实施例的医疗影像分析装置的处理器基于存储在存储器中的指令，还执行：将对于输入的医疗影像的进行预测的元数据匹配到输入医疗影像并存储的步骤。
本公开的一实施例的医疗影像分析装置的处理器基于存储在存储器中的指令，还执行：将预测的元数据存储到输入的医疗影像的DICOM(DigitalImaging andCommunications in Medicine)标头中的步骤。
本公开的一实施例的医疗影像分析装置的处理器基于存储在存储器中的指令，还执行：为了在输入的医疗影像中检测出异常(anomaly)，基于预测的元数据来调整(adjust)输入的医疗影像的步骤。
本公开的一实施例的医疗影像分析装置的处理器基于存储在存储器中的指令，还执行：基于预测的元数据来调整输入的医疗影像的窗口中心、窗口宽度、颜色及输出方向中的至少一个的步骤。
本公开的一实施例的医疗影像分析装置的用于学习的多个医疗影像及输入的医疗影像是对应于DICOM(Digital Imaging and Communications inMedicine)标准的影像。
另外，如上所述，为实现医疗影像分析方法的程序可记录在计算机可读存储介质中。
附图说明
图1是本公开的一实施例的医疗影像分析装置100的框图。
图2是示出本公开的一实施例的医疗影像分析装置的图。
图3是根据本公开的一实施例示出医疗影像分析装置的动作的流程图。
图4是示出本公开的一实施例的DICOM文件的结构的图。
图5示出本公开的一实施例的根据窗口中心信息及窗口宽度信息的CT信息。
图6是示出本公开的一实施例的医疗影像分析装置的动作的流程图。
图7是示出本公开的一实施例的学习预测模型的过程的图。
图8是示出本公开的一实施例的医疗影像分析装置的动作的流程图。
图9是示出本公开的一实施例的利用预测模型的过程的图。
图10是示出本公开的一实施例的检测出病变的过程的流程图。
具体实施方式
参考附图与后述的实施例，所公开的实施例的优点和特征以及达成它们的方法将变得明确。然而，本公开不限于以下公开的实施例，而是可以以互不相同的多种形式来实现，并且提供本实施例仅仅是为了使本公开完整，并且向本公开所属技术领域的普通技术人员充分告知本发明的范围。
将简要说明在本说明书中所使用的术语，并且将具体说明所公开的实施例。
在本说明书中所使用的术语是在考虑本公开中的功能的基础上尽可能选择了当前广泛使用的通常的术语，但是会根据从事相关领域的技术人员的意图、判例或新技术的出现等有所不同。另外，在特定情况下，也有申请人任意选择的术语，但在这种情况下，会在发明的说明部分中详细记载其含义。因此，本公开中所使用的术语应基于该术语具有的含义以及本公开的整体内容来进行定义，而不能以简单的术语名称来进行定义。
在本说明中，除非上下文明确特定为单数，否则单数的表述包括复数表述。另外，除非上下文明确特定为复数，否则复数的表述包括单数表述。
在整个说明书中，某个部分“包括”某一部件是指，除非有与其特别相反的记载，否则该部分还可以包括其他部件，而非排除包括其他部件。
另外，说明书中所使用的术语“部”是指，软件或硬件部件，“部”起到某种作用。然而，“部”不仅限于软件或硬件。“部”可以位于可寻址存储介质中，并且可以激活一个或多个处理器。因此，作为一例，“部”包括软件部件、面向对象软件部件、类(class)部件及任务部件等部件、进程、函数、属性、程序、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组及变量。在部件和“部”内提供的功能可以由数量更少的部件及“部”结合，或者进一步分离为附加的部件和“部”。
根据本公开的一实施例，“部”可由处理器及存储器实现。术语“处理器”应该被广义地解释为包括通用处理器、中央处理器(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在个别环境下，“处理器”可以指专用半导体(ASIC)、可编程逻辑器件(PLD)、现场可编程逻辑门阵列(FPGA)等。术语“处理器”还可指例如DSP和微处理器的组合、多个微处理器的组合、与DSP芯结合的一个以上的微处理器的组合、或任意其他类似结构的组合等处理装置的组合。
术语“存储器”应该广义地解释为包括能够存储电子信息的任意电子组件。术语存储器还可指随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机访问存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦PROM(EEPROM)、闪存、磁或光数据存储装置、电阻器等处理器-可读介质的多种类型。如果处理器可从存储器读取信息/或在存储器记录信息，则称为存储器处于与处理器进行电子通信状态。集成在处理器中的存储器处于与处理器进行电子通信状态。
下面，参照附图，对实施例进行详细说明，以使本公开所属技术领域的普通技术人员可以容易地实施。并且，为了明确说明本公开，在附图中将省略与说明无关的部分。
图1是本公开的一实施例的医疗影像分析装置100的框图。
参照图1，一实施例的医疗影像分析装置100包括数据学习部110及数据识别部120。如上所述的医疗影像分析装置100包括处理器及存储器。
数据学习部110可以学习用于利用标头执行目标任务(target task)的机器学习模型。数据学习部110可接收与标头及目标任务有关的标签信息。数据学习部110可对标头和标签信息的关系执行机器学习，从而获取机器学习模型。作为一实施例，数据学习部110获取的机器学习模型可以是利用标头生成标签信息的模型。
数据识别部120可存储数据学习部110的机器学习模型。
数据识别部120可在输入数据中适用机器学习模型并输出标签信息。另外，数据识别部120可将通过输入数据、标签信息及机器学习模型输出的结果用于更新机器学习模型。
数据学习部110及数据识别部120中的至少一个可以以至少一个硬件芯片形式制造并搭载于电子设备上。例如，数据学习部110及数据识别部120中的至少一个可以以用于人工智能(artificial intelligence，AI)的专用硬件芯片形式制造，或制成现有的通用处理器(例：CPU或应用处理器(application processor))或图形专用处理器(例：GPU)的一部分，并搭载于各种电子设备上。
另外，数据学习部110及数据识别部120可分别搭载于另外的电子设备中。例如，数据学习部110及数据识别部120中的一个可包括在电子设备中，剩余一个可包括在服务器中。另外，数据学习部110及数据识别部120可通过有线或无线，可以向数据识别部120提供数据学习部110构建的机器学习模型信息，输入到数据识别部120的数据也可以作为追加的学习数据提供给数据学习部110。
一方面，数据学习部110及数据识别部120中的至少一个可以以软件模块来实现。当数据学习部110及数据识别部120中的至少一个由软件模块(或，包括指令(instruction)的程序模块)实现时，软件模块可存储在存储器或计算机可读的非暂时性计算机可读介质(non-transitory computerreadable media)中。另外，此时，至少一个软件模块可由操作系统(OperatingSystem，OS)来提供，或由规定的应用来提供。或者，至少一个软件模块中的一部分可由操作系统(Operating System，OS)来提供，其余一部分可由规定的应用来提供。
本公开的一实施例的数据学习部110包括数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115。
数据获取部111可获取机器学习所需的数据。由于学习需要大量的数据，数据获取部111可接收包括多个数据的标头。
对于多个数据可以分别分配标签信息。标签信息可以是说明多个数据中的每一个的信息。标签信息可以是目标任务(target task)要导出的信息。标签信息可通过用户输入获得，或从存储器中获得，或从机器学习模型的结果中获得。例如，如果目标任务是从影像确定是否存在特定物体，则多个数据将是多个影像数据，并且标签信息会是在多个影像中的每个影像中是否存在特定对象。
预处理部112预处理所获取的数据，以使所接收的数据能够用于机器学习。预处理部112可将所获取的标头处理为预设格式，以供后述的模型学习部114使用。
学习数据选择部113可在预处理的数据中选择学习所需的数据。所选择的数据可提供至模型学习部114。学习数据选择部113根据已设定的基准，在预处理的数据中选择学习所需的数据。另外，学习数据选择部113可通过后述的模型学习部114的学习，根据预设的基准来选择数据。
模型学习部114可以学习基于标头输出何种标签信息为宜的基准。另外，模型学习部114可利用标头及标头的标签信息作为学习数据来执行机器学习。另外，模型学习部114可进一步利用以往所获得的机器学习模型来执行机器学习。此时，以往所获的机器学习模型可以是预先构建的模型。例如，机器学习模型可以是通过输入基本学习数据而预先构建的模型。
机器学习模型可考虑学习模型的适用领域、所学到的目的或装置的计算机性能等而构建。例如，机器学习模型可以是基于神经网络(NeuralNetwork)的模型。例如，深度神经网络(Deep Neural Network，DNN)、循环神经网络(Recurrent Neural Network，RNN)、长短期记忆人工神经网络(Long Short-Term Memory models，LSTM)、双向递归深神经网络(Bidirectional Recurrent Deep Neural Network，BRDNN)、卷积神经网络(Convolutional Neural Networks，CNN)等模型作为机器学习模型来使用，但不限于此。
根据多种实施例，当存在多个预先构建的机器学习模型时，模型学习部114可将输入的学习数据和基本学习数据的相关性大的机器学习模型确定为要所学到的机器学习模型。此时，基本学习数据可根据数据的类型被事先分类，并且机器学习模型可根据数据的类型被预先构建。例如，基本学习数据可基于学习数据生成的场所、学习数据生成的时间、学习数据的大小、学习数据的创建者、学习数据内的目标的种类等多种基准被事先分类。
另外，模型学习部114例如可以利用包括误差反向传播法(errorback-propagation)或梯度下降法(gradient descent)的学习算法等来学习机器学习模型。
另外，模型学习部114例如可以通过将学习数据作为输入值的监督学习(supervised learning)来学习机器学习模型。另外，模型学习部114例如通过在没有特别监督的情况下自学目标任务(target task)所需的数据的种类，通过发现用于目标任务的基准的非监督学习(unsupervised learning)，以获取机器学习模型。另外，模型学习部114还可以通过半监督学习(semi-supervised learning)、主动学习(active learning)来获取机器学习模型。另外，模型学习部114例如可以通过根据学习来反馈目标任务的结果是否正确的强化学习(reinforcement learning)来学习机器学习模型。
另外，当学习机器学习模型时，模型学习部114可存储所学到的机器学习模型。此时，模型学习部114可将所学到的机器学习模型存储到包括数据识别部120的电子设备的存储器中。或，模型学习部114可以将所学到的机器学习模型存储在通过有线或无线网络连接的服务器的存储器中。
存储所学到的机器学习模型的存储器例如还可以一同存储与电子设备的至少一个其他部件有关的命令或数据。另外，存储器还可存储软件及/或程序。程序例如可包括内核、中间件、应用程序接口(API)及/或应用程序(或“应用”)等。
模型评估部115将评估数据输入到机器学习模型，当从评估数据输出的结果不满足规定基准时，可使模型学习部114再次进行学习。此时，评估数据可以是用于评估机器学习模型的预设的数据。
例如，与评估数据对应的所学到的机器学习模型的结果中，识别结果不正确的评估数据的数量或比例超过预设的临界值时，模型评估部115可能评估为不满足规定基准。例如，规定基准被定义为2％的比例时，在所学到的机器学习模型为共计1000个的评估数据中，对于超过20个的评估数据输出错误的识别结果时，模型评估部115会将所学到的机器学习模型评估为不符合。
一方面，所学到的机器学习模型存在多个时，模型评估部115会对每个所学到的视频学习模型评估是否满足规定基准，并将满足规定基准的模型确定为最终机器学习模型。此时，当满足规定基准的模型为多个时，模型评估部115可以按照评估分数由高到低的顺序，将预设的任意一个或规定数量的模型确定为最终的机器学习模型。
一方面，数据学习部110内的数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115中的至少一个可以制造成至少一个的硬件芯片形式并搭载于电子设备上。例如，数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115中的至少一个可以制造成用于人工智能(artificial intelligence，AI)的专用硬件芯片形式，或制造成现有的通用处理器(例：CPU或应用处理器(applicationprocessor))或图形专用处理器(例：GPU)的一部分，并搭载于前述的各种电子设备上。
另外，数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115可搭载于一个电子设备上，或分别搭载于单独的电子设备上。例如，数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115中的一部分可包括在电子设备中，其余一部分包括在服务器中。
另外，数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115中的至少一个可以由软件模块来实现。当数据获取部111、预处理部112、学习数据选择部113、模型学习部114及模型评估部115中的至少一个由软件模块(或，包括指令(instruction)的程序模块)实现时，软件模块可存储在计算机可读的非暂时性计算机可读介质(non-transitory computer readable media)中。另外，此时，至少一个软件模块可由操作系统(Operating System，OS)提供，或由规定的应用提供。或者，至少一个软件模块中的一部分可由操作系统(Operating System，OS)提供，其余一部分由规定的应用提供。
本公开的一实施例的数据识别部120包括数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125。
数据获取部121可接收输入数据。预处理部122可预处理所获取的输入数据，使得所获取的输入数据用于识别数据选择部123或识别结果提供部124。
识别数据选择部123可在预处理的数据中选择所需的数据。被选择的数据可提供给识别结果提供部124。识别数据选择部123可根据预设的基准，在预处理的数据中选择一部分或全部。另外，识别数据选择部123也可以根据通过模型学习部114的学习预设的基准来选择数据。
识别结果提供部124可将所选择的数据适用于机器学习模型以获取结果数据。机器学习模型可以是由模型学习部114生成的机器学习模型。识别结果提供部124可输出结果数据。
模型更新部125可基于对于识别结果提供部124提供的识别结果的评估，使机器学习模型更新。例如，模型更新部125将识别结果提供部124提供的识别结果提供给模型学习部114，从而使模型学习部114更新机器学习模型。
一方面，数据识别部120内的数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125中的至少一个可以制造成至少一个硬件芯片形式并搭载于电子设备上。例如，数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125中的至少一个可以制造成用于人工智能(artificialintelligence，AI)的专用硬件芯片形式，或制造成现有的通用处理器(例：CPU或应用处理器(application processor))或图形专用处理器(例：GPU)的一部分，并被搭载于前述的各种电子设备上。
另外，数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125可搭载于一个电子设备上，或分别搭载于单独的电子设备上。例如，数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125中的一部分可包括在电子设备中，其余部分包括在服务器中。
另外，数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125中的至少一个可以由软件模块来实现。当数据获取部121、预处理部122、识别数据选择部123、识别结果提供部124及模型更新部125中的至少一个由软件模块(或，包括指令(instruction)的程序模块)实现时，软件模块可存储在计算机可读的非暂时性计算机可读介质(non-transitory computer readable media)中。另外，此时，至少一个软件模块可由操作系统(Operating System，OS)提供，或由规定的应用提供。或者，至少一个软件模块中的一部分可由操作系统(Operating System，OS)提供，其余一部分可由规定的应用提供。
以下，进一步详细说明数据学习部110依次对标头机器学习的方法及装置。
图2是示出本公开的一实施例的医疗影像分析装置的图。
医疗影像分析装置200可以包括处理器210及存储器220。处理器210可以执行存储在存储器220中的指令。
如上所述，医疗影像分析装置200可包括数据学习部110或数据识别部120中的至少一个。数据学习部110或数据识别部120中的至少一个可由处理器210及存储器220来实现。
以下，进一步详细说明医疗影像分析装置200的动作。
图3是根据本公开的一实施例示出医疗影像分析装置的动作的流程图。
医疗影像分析装置200可以执行基于用于学习(training)的多个医疗影像及分别与多个医疗影像匹配的元数据来学习预测模型的步骤310，所述预测模型预测医疗影像的元数据。基于医疗影像分析装置200的数据学习部110，机器学习医疗影像及元数据的关系，可以获取预测模型。预测模型可对应于图1的机器学习模型。医疗影像分析装置200可将获取的预测模型存储在存储器，或通过有线/无线传输到其他医疗影像分析装置200。
另外，医疗影像分析装置200可以执行利用所学到的预测模型对于所输入的医疗影像的元数据进行预测的步骤320。医疗影像分析装置200的数据识别部120在输入的医疗影像采用预测模型，从而能够预测元数据。预测模型可从医疗影像分析装置200的存储器获取，或从其他医疗影像分析装置200接收。
用于学习的多个医疗影像及输入的医疗影像可以为多种格式(format)的影像。
例如，用于学习的多个医疗影像及输入的医疗影像是对应于DICOM(DigitalImaging and Communications in Medicine：医学数字成像与通信)标准的影像。根据DICOM标准，医疗影像分析装置200可将医疗影像的信息存储到DICOM标头中。
DICOM标头中可包括标准数据元(Standard Data Elements)。标准数据元可指由DICOM标准定义的与医疗影像相关的元素。医疗影像分析装置200可从标准数据元获取元数据。DICOM标头中可包括非标准数据元。非标准数据元可指不是由DICOM标准定义的，但根据医疗影像装置制造商或医疗机构的需要生成的与医疗影像相关的元素。医疗影像分析装置200可从非标准数据元获取元数据。
与医疗影像相关的信息可存储在不是DICOM标头的存储空间。医疗影像分析装置200可存储医疗影像的匹配关系以及与医疗影像相关的多种信息。另外，医疗影像分析装置200可基于与医疗影像相关的多种信息来获取元数据。
以下，进一步详细说明图4以及从DICOM标头获取元数据的过程。
图4是示出本公开的一实施例的DICOM文件的结构的图。
DICOM文件410可包括DICOM标头411以及医疗影像412。医疗影像412可包括各种医疗影像，例如，可包括CT、X射线(X-RAY)、乳房X线照相术(Mammography)或MRI影像中的至少一个。DICOM标头411可包括与医疗影像相关的各种信息。医疗影像分析装置200可基于与包括在DICOM标头411中的医疗影像412相关的各种信息来获取元数据(metadata)420。
DICOM标头411包括标准数据元或非标准数据元。医疗影像分析装置200可基于标准数据元或非标准数据元获取元数据。元数据420包括：医疗影像中包括的个体的信息、医疗影像的拍摄环境的信息及与医疗影像的显示方法有关的信息中的至少一个相关的信息。
更具体而言，与医疗影像中包括的个体有关的信息可以包括：医疗影像中包含的身体部位信息及患者的信息中的至少一个。医疗影像中包含的身体部位信息可以以对应于身体部位的索引表示。例如，身体部位信息可包括表示肺、腹部、臂或腿的索引中的至少一个。
患者的信息可包括患者的性别或患者的年龄信息。患者的年龄信息可以是将患者的年龄以数字表示的值。另外，元数据可包括患者的生日，医疗影像分析装置200可通过患者的生日计算出患者的年龄信息。另外，患者的年龄信息可以是表示年龄的范围，例如，年龄段的信息。作为一实施例，患者的年龄信息可以以表示儿童、青年、中老年或年龄段的索引来表示。
医疗影像的拍摄环境的信息可包括与医疗影像的拍摄有关的多种信息。医疗影像的拍摄环境的信息可以包括：医疗影像的模态信息(modalityinformation)或医疗影像的拍摄方式的信息中的至少一个。
医疗影像的模态信息可表示医疗影像以哪一种类的影像设备拍摄。例如，医疗影像的模态信息可以是医疗影像412表示CT、MRI、X射线(X-RAY)、乳房X线照相术(Mammography)或超声影像中的任意一个的索引。然而，医疗影像的模态信息不限于此，可表示以患者为对象拍摄的多种医疗影像。
另外，医疗影像的拍摄环境的信息可包括医疗影像的拍摄方式的信息。医疗影像的拍摄环境的信息可对应于以数字或文字表示的预定的索引。医疗影像的拍摄环境的信息可包括表示X射线(X-RAY)是否从患者的前部(anterior)照射到后部(posterior)或从患者的后部(posterior)照射到前部(anterior)的信息。通常，当患者站立拍摄X射线(X-RAY)时，X射线(X-RAY)从患者的后部(posterior)照射到前部(anterior)，当患者难以站立拍摄X射线(X-RAY)时，X射线(X-RAY)从前部(anterior)照射到后部(posterior)，从而获得X射线(X-RAY)影像。
与医疗影像的表示方法有关的信息可包括医疗影像的窗口中心(window center)信息、窗口宽度(window width)信息、颜色反转信息、影像的旋转信息、影像的翻转信息中的至少一个。
对于窗口中心信息及窗口宽度信息将与图5一同说明。
图5根据本公开的一实施例示出根据窗口中心信息及窗口宽度信息的CT信息。
窗口中心信息及窗口宽度信息可以为用于调整医疗影像的亮度(brightness)及医疗影像的对比(contrast)的信息。
可基于窗口中心信息531及窗口宽度信息532绘制窗口图。窗口图的横轴可以是输入像素的值。输入像素是指输入医疗影像所具有的像素。输入像素的值可有最小值及最大值。最小值及最大值可由影像拍摄装置、影像显示装置或影像的编码标准中的至少一个来确定。输入像素值为最大值时，输入像素可表示最亮的像素，输入像素值为最小值时，输入像素可表示最暗的像素。但不限于此。
窗口图的竖轴可以是输出像素的值。医疗影像分析装置200可加工输入像素的值以确定输出像素的值。医疗影像分析装置200可基于输出像素的值将医疗影像显示在显示器中。
例如，当窗口中心信息531为a且窗口宽度信息532为b时，可制成窗口图521。医疗影像分析装置200可基于窗口中心信息531及窗口宽度信息532来生成CT影像511。医疗影像分析装置200可基于窗口中心信息531或窗口宽度信息532，将小于第一临界值的输入像素值表示为最小像素值，将大于第二临界值的输入像素值表示为最大像素值，从而生成CT影像511。即，医疗影像分析装置200可区别表示大于等于第一临界值且小于等于第二临界值的输入像素值。
小于第一临界值的输入像素值或大于第二临界值的输入像素值可以是对医疗影像分析不重要的杂波(clutter)信号。医疗影像分析装置200可基于窗口中心信息531及窗口宽度信息532来调整第一临界值及第二临界值，并且仅表示对医疗影像分析重要的像素。
另外，例如，当窗口中心信息531为a且窗口宽度信息532为c时，如图5所示会出现窗口图522。医疗影像分析装置200可基于窗口中心信息531及窗口宽度信息532生成CT影像512。医疗影像分析装置200可基于窗口中心信息531或窗口宽度信息532，区别表示全部输入像素值，从而生成CT影像512。
医疗影像分析装置200可基于窗口图522的线的斜率，将输入像素的较亮部分显示得更亮或更暗。医疗影像分析装置200可基于窗口中心信息531或窗口宽度信息532调整医疗影像的亮度。例如，比较窗口宽度信息532为c的情况和窗口宽度信息532为b的情况，可知，CT影像512比CT影像511更暗。
相比于CT影像511，由于CT影像512包含所有像素值，所以没有丢失的信息。然而，表现出所有对医疗影像分析不重要的杂波(clutter)信号，因此可能并非最优于影像分析。医疗影像分析装置200调节窗口中心信息531或窗口宽度信息532，以使医疗影像最优于影像分析。
另外，例如当窗口中心信息531为d且窗口宽度信息532为c时，如图5所示会出现窗口图523。医疗影像分析装置200可基于窗口中心信息531及窗口宽度信息532，生成CT影像513。医疗影像分析装置200可基于窗口中心信息531或窗口宽度信息532，处理大于第三临界值的输入像素值使其更亮，从而生成CT影像513。
医疗影像分析装置200可基于窗口图522的线的斜率，将输入像素的较亮部分显示得更亮或更暗。医疗影像分析装置200可基于窗口中心信息531或窗口宽度信息532调整医疗影像的亮度。例如，比较窗口中心信息531为a的情况和窗口中心信息531为d的情况，可知，CT影像512比CT影像513更暗。
大于第三临界值的输入像素值可以是对医疗影像分析不重要的杂波信号。医疗影像分析装置200可基于窗口中心信息531及窗口宽度信息532调整第三临界值，并且仅表示对医疗影像分析重要的像素。
医疗影像分析装置200可基于窗口中心信息531或窗口宽度信息532，来标准化(normalization)来自多种环境的原始影像。医疗影像分析装置200的预处理部112及预处理部122可生成从原始医疗影像标准化的医疗影像。另外，医疗影像分析装置200可将预测模型提供给另一医疗影像分析装置。另一医疗影像分析装置可以在执行另一机器学习之前，基于本公开的预测模型来校正医疗影像。
再次参照图4，与医疗影像的表示方法有关的信息可包括颜色反转信息。医疗影像分析装置200可基于颜色反转信息来反转医疗影像的颜色并显示。当颜色反转信息表示颜色反转时，医疗影像分析装置200可在像素值能具备的最大值减去医疗影像内的像素值的值作为像素值来表示医疗影像。
与医疗影像的显示方法有关的信息可包括影像的旋转信息。影像的旋转信息可表示沿顺时针方向或逆时针方向旋转拍摄的医疗影像信息的大小。影像旋转信息可以由与旋转大小对应的索引来表示，或由弧度(radian)或度数(degree)单位的数值来表示。医疗影像分析装置200可基于影像的旋转信息旋转表示医疗影像。
与医疗影像的显示方法有关的信息可包括影像的翻转信息。影像的翻转(flip)信息可表示基于竖轴左右反转显示的医疗影像。但不限于此，影像的翻转信息可表示基于横轴上下反转显示的医疗影像。
到目前为止，说明了在与医疗影像中包括的个体有关的信息、医疗影像的拍摄环境的信息及与医疗影像的显示方法有关的信息中，元数据420包括与至少一个有关的信息。
如上所述，医疗影像分析装置200可基于以DICOM标头的标准形式存储的信息来获取元数据。另外，医疗影像分析装置200可基于DICOM标头内的以非标准形式存储的信息来获取元数据。另外，医疗影像分析装置200可基于以非标准形式存储在DICOM标头之外的存储空间中的信息来获取元数据。
非标准形式可因医疗影像装置的制造商或医院而异。从以非标准形式存储的信息获取元数据时，医疗影像分析装置200针对提供医疗影像的各制造商或各医院使用不同的方法来获取元数据，存在不便。
根据本公开的医疗影像分析装置200，当基于以非标准形式存储的信息获取元数据时或完全不存在与医疗影像相关的信息时，也能够基于医疗影像412来生成元数据。对于图3的学习预测模型的步骤(310)将参照图6及图7详细说明。
图6是示出本公开的一实施例的医疗影像分析装置的动作的流程图。另外，图7是根据本公开的一实施例示出的学习预测模型的过程的图。
为了学习预测模型，医疗影像分析装置200可接收输入标头710。输入标头710可包括多个医疗影像710及元数据712。
医疗影像分析装置200可执行获取多个医疗影像710的步骤610。例如，医疗影像分析装置200可从存储器220获取多个医疗影像。另外，医疗影像分析装置200可基于有线/无线通信来获取多个医疗影像。
医疗影像分析装置200可执行获取分别与多个医疗影像匹配的元数据712的步骤620。医疗影像分析装置200可执行从用于学习的多个医疗影像的各DICOM标头的标准数据元(Standard Data Elements)获取分别与多个医疗影像匹配的多个元数据的步骤。然而不限于此，医疗影像分析装置200可从DICOM标头的非标准数据元或除DICOM标头之外的存储空间的非标准形式的信息中获取元数据。对此的说明与图3至图4的说明相同，因此省略重复的说明。
医疗影像分析装置200可执行利用用于学习的多个医疗影像及获取的多个元数据来学习预测模型的步骤630。医疗影像分析装置200可利用原始医疗影像及标签数据来执行监督学习。标签数据可以为元数据。标签数据可以为DICOM标头中的信息、存储在除DICOM标头之外的区域的信息、用户输入的信息或专业医疗人员对原始医疗影像输入的信息。医疗影像分析装置200可根据标签数据的特性，利用回归(regression)或分类(classification)来进行机器学习。
为了学习预测模型，医疗影像分析装置200可利用机器学习。机器学习可以以神经网络(Neural Network)为基础。例如，深度神经网络(DeepNeural Network，DNN)、循环神经网络(Recurrent Neural Network，RNN)、长短记忆人工神经网络(Long Short-TermMemory models，LSTM)、双向递归深神经网络(Bidirectional Recurrent Deep NeuralNetwork，BRDNN)、卷积神经网络(Convolutional Neural Networks，CNN)等算法可作为机器学习而被使用，但不限于此。
医疗影像分析装置200可将所学到的结果作为预测模型730输出。医疗影像分析装置200可将预测模型730存储在存储器中。医疗影像分析装置200可将预测模型730传输到另一医疗影像分析装置200。
对目前为止，对学习预测模型的步骤310进行了说明。在下文中，将对利用预测模型预测元数据的步骤320与图8及图9一同进行说明。
图8是示出本公开的一实施例的医疗影像分析装置的动作的流程图。另外，图9是根据本公开的一实施例示出利用预测模型的过程的图。
医疗影像分析装置200可包括预测模型。医疗影像分析装置200可从另一医疗影像分析装置200中接收预测模型。另外，医疗影像分析装置200可基于多个医疗影像及元数据执行机器学习，并获取预测模型。
医疗影像分析装置200可执行接收医疗影像910的步骤810。例如，医疗影像分析装置200可通过输入装置从用户接收医疗影像910。作为另一例，医疗影像分析装置200可利用有线/无线通信从另一装置接收医疗影像910。医疗影像910可以独立于多个医疗影像711。医疗影像910可以是与多个医疗影像711不同的影像，也可以是相同的影像。
医疗影像分析装置200可利用预测模型预测对应于输入的医疗影像910的元数据930的步骤820。预测的元数据930可包括与所述医疗影像910中包括的个体有关的信息、所述医疗影像的拍摄环境的信息及与所述医疗影像910的显示方法有关的信息中的至少一个。
如上所述，与医疗影像中包括的个体有关的信息可以包括：医疗影像中包括的身体部位信息及患者的信息中的至少一个。另外，医疗影像的拍摄环境的信息可包括医疗影像的模态信息(modality information)及所述医疗影像的拍摄方式的信息中的至少一个。另外，与医疗影像的显示方法有关的信息可包括医疗影像的窗口中心(window center)信息、窗口宽度(window width)信息、颜色反转信息、影像的旋转信息及影像的翻转信息中的至少一个。
另外，医疗影像分析装置200可执行将对于所输入的医疗影像910进行预测的元数据930匹配到输入的医疗影像910并存储的步骤830。医疗影像分析装置200可将预测的元数据930以标准形式存储在DICOM标头中。然而，不限于此。医疗影像分析装置200可将预测的元数据930以非标准形式存储在DICOM标头中，或存储在不是DICOM标头的存储空间中。
医疗影像分析装置200可将输入的医疗影像调整(adjust)到用于执行目标任务的最佳条件或最佳状态。例如，医疗影像分析装置200为了在输入的医疗影像中检测出异常(anomaly)，还可执行基于预测的元数据930调整(adjust)输入的医疗影像的步骤。另外，医疗影像分析装置200可基于预测的元数据930，执行调整输入的医疗影像的窗口中心、窗口宽度、颜色及输出方向中的至少一个的步骤。
例如，预测的元数据930可包括预测的窗口中心信息、预测的窗口宽度信息、预测的颜色反转信息、预测的影像的旋转信息及预测的影像的翻转信息中的至少一个。医疗影像分析装置200可基于预测的窗口中心信息或预测的窗口宽度信息，来调整医疗影像910的窗口中心或窗口宽度。另外，医疗影像分析装置200可基于预测的颜色反转信息，来调整医疗影像910的颜色。另外，医疗影像分析装置200可基于预测的影像的旋转信息及预测的影像的翻转信息，来确定医疗影像910的输出方向。
医疗影像分析装置200在从医疗影像判断病变之前，可从原始医疗影像预测所需的元数据。另外，医疗影像分析装置200可利用预测的值将医疗影像调整为可判断。另外，医疗影像可基于预测的值，来确定医疗影像是否为判断对象影像。因此，医疗影像分析装置200可提供一致的判断结果，而不依赖主观且可变的DICOM标头。
图10是根据本公开的一实施例示出检测出病变的过程的流程图。
医疗影像分析装置200可接收患者的医疗影像。如图8所说明，医疗影像分析装置200可通过对患者的医疗影像使用预测模型来预测元数据。由于是基于相同的预测模型预测元数据，因此医疗影像分析装置200可基于相同的基准获得元数据，无论其接收到哪种医疗影像。因此，医疗影像分析装置200可在医疗影像及元数据适用机器学习，能够提高目标任务的成功率。目标任务可以是检测病变。
医疗影像分析装置200为了在输入的医疗影像中检测出异常(anomaly)，医疗影像分析装置200可执行基于预测的元数据调整患者的医疗影像的步骤1010。另外，医疗影像分析装置200可执行基于预测的元数据调整输入的医疗影像的窗口中心、窗口宽度、颜色及输出方向中的至少一个的步骤。
医疗影像分析装置200可执行确认包括在预测的元数据中的身体部位的步骤1020。医疗影像分析装置200可确认预测的元数据的身体部位信息是否与要检测出异常(anomaly)的身体部位一致。
例如，为了在患者的医疗影像中诊断出异常，用户可能需要特定身体部位的医疗影像。用户可将特定身体部位的信息输入到医疗影像分析装置200。或，医疗影像分析装置200可自动获取对应于用户所寻找的病变的特定身体部位信息。医疗影像分析装置200可通过比较特定身体部位信息和包括在元数据中的身体部位信息，来确认患者的医疗影像是否是对应于特定身体部位的影像。特定身体部位信息和包括在元数据中的身体部位信息不一致时，医疗影像分析装置200可执行获取患者的新医疗影像或用于获取患者的新医疗影像的动作。
医疗影像分析装置200可执行确认包括在预测的元数据中的模态的步骤1030。医疗影像分析装置200可确认预测的元数据的模态信息是否适合检测异常。
例如，为了在患者的医疗影像中诊断出异常，用户可能需要特定模态的医疗影像。用户可将特定模态的信息输入到医疗影像分析装置200。或，医疗影像分析装置200可自动获取用户用于检测出所寻找的病变所需的特定模态信息。医疗影像分析装置200可通过比较特定模态信息和包括在元数据中的模态信息，来确认患者的医疗影像是否是基于特定模态的影像。当特定模态信息和包括在元数据中的模态信息不一致时，医疗影像分析装置200可执行获取患者的新医疗影像或用于获取患者的新医疗影像的动作。
医疗影像分析装置200可执行确认包括在预测的元数据中的患者的信息的步骤1040。医疗影像分析装置200可确认预测的元数据的患者的信息是否适合检测异常。
例如，为了在患者的医疗影像中诊断出异常，用户可能需要特定患者的信息。医疗影像分析装置200可判断诊断对象和对应于医疗影像的患者是否为同一个人。另外，为了诊断异常，医疗影像分析装置200可对特定年龄范围的患者执行诊断。例如，用户可将患者的信息输入到医疗影像分析装置200。或，医疗影像分析装置200可自动获取用户用于检测出所寻找的病变所需的患者信息。医疗影像分析装置200可比较输入的患者信息和包括在元数据中的患者信息。当输入的患者信息和包括在元数据中的患者信息不一致时，医疗影像分析装置200可输出警告消息。
医疗影像分析装置200可执行从患者的医疗影像检测出病变的步骤1050。为了从医疗影像检测出病变，医疗影像分析装置200可使用专用于病变检测的机器学习模型。
到目前为止，以各种实施例为中心进行了说明。本发明所属技术领域的普通技术人员应理解，在不脱离本发明的本质特性的范围内，本发明可以变形的形式实施。因此，公开的实施例不应以限定的观点考虑，而是应以说明的观点考虑。本发明的范围不是由前述的说明而是由权利要求书限定，并且等同范围内的所有差异将被解释为包括在本发明内。
一方面，上述的本发明的实施例可编程在计算机中可执行的程序，并且可在利用计算机可读存储介质来执行所述程序的通用数字计算机中实现。所述计算机可读存储介质包括磁存储介质(例如，只读存储器(ROM)、软盘、硬盘等)和光学存储介质(例如，高密度磁盘(CD)-ROM、高密度数字视频光盘(DVD)等)存储介质。

Claims (16)

1.一种医疗影像分析方法，使用作为硬件的处理器和存储器，对医疗影像进行分析，其特征在于，包括如下步骤：
所述处理器基于用于学习的多个医疗影像及分别与所述多个医疗影像匹配的元数据来学习预测模型，所述预测模型预测医疗影像的元数据，及
所述处理器利用所学到的预测模型，生成对于输入的医疗影像进行预测的元数据；
预测的所述元数据包括：与所述医疗影像中包括的个体有关的信息、所述医疗影像的拍摄环境的信息及与所述医疗影像的显示方法有关的信息中的至少一个，
预测的所述元数据包括所述医疗影像的窗口中心信息和窗口宽度信息，
根据将基于所述窗口中心信息和所述窗口宽度信息设置的第一临界值与所输入的医疗影像的输入像素的值中的最小值进行比较的结果和将基于所述窗口中心信息和所述窗口宽度信息设置的第二临界值与所述输入像素的值中的最大值进行比较的结果，调整所输入的医疗影像的输入像素中的至少一部分输入像素的像素值，以显示所输入的医疗影像。
2.根据权利要求1所述的医疗影像分析方法，其特征在于，
与所述医疗影像中包括的个体有关的信息包括：所述医疗影像包括的身体部位信息及患者的信息中的至少一个；
所述医疗影像的拍摄环境的信息包括：所述医疗影像的模态信息及所述医疗影像的拍摄方式的信息中的至少一个；
与所述医疗影像的显示方法有关的信息还包括：颜色反转信息、影像的旋转信息及影像的翻转信息中的至少一个。
3.根据权利要求1所述的医疗影像分析方法，其特征在于，
所述处理器学习所述预测模型的步骤，包括如下步骤：
从用于所述学习的多个医疗影像的各DICOM标头的标准数据元获取分别与所述多个医疗影像匹配的多个元数据；及
利用用于所述学习的多个医疗影像及获取的所述多个元数据，学习所述预测模型。
4.根据权利要求1所述的医疗影像分析方法，其特征在于，
还包括：所述处理器将对于输入的所述医疗影像进行预测的元数据匹配到所述输入的医疗影像并存储在所述存储器。
5.根据权利要求4所述的医疗影像分析方法，其特征在于，
存储于所述存储器的所述步骤还包括：
将预测的所述元数据存储到输入的所述医疗影像的DICOM标头中的步骤。
6.根据权利要求1所述的医疗影像分析方法，其特征在于，
还包括：所述处理器为了在输入的所述医疗影像中检测出异常，基于所述预测的元数据来调整输入的所述医疗影像的步骤。
7.根据权利要求6所述的医疗影像分析方法，其特征在于，
调整输入的所述医疗影像的步骤包括：
所述处理器基于预测的所述元数据来调整输入的所述医疗影像的窗口中心、窗口宽度、颜色及输出方向中的至少一个的步骤。
8.根据权利要求1所述的医疗影像分析方法，其特征在于，
用于所述学习的多个医疗影像及输入的所述医疗影像是对应于DICOM标准的影像。
9.一种医疗影像分析装置，其特征在于，
医疗影像分析装置包括处理器及存储器，
所述处理器基于存储在所述存储器中的指令，执行如下步骤：
基于用于学习的多个医疗影像及分别与所述多个医疗影像匹配的元数据来学习预测模型，所述预测模型预测医疗影像的元数据，及
利用所学习的所述预测模型，生成对于预测输入的医疗影像进行预测的元数据；
预测的所述元数据，包括：与所述医疗影像中包括的个体有关的信息、所述医疗影像的拍摄环境的信息及与所述医疗影像的显示方法有关的信息中的至少一个，
预测的所述元数据包括所述医疗影像的窗口中心信息和窗口宽度信息，
根据将基于所述窗口中心信息和所述窗口宽度信息设置的第一临界值与所输入的医疗影像的输入像素的值中的最小值进行比较的结果和将基于所述窗口中心信息和所述窗口宽度信息设置的第二临界值与所述输入像素的值中的最大值进行比较的结果，调整所输入的医疗影像的输入像素中的至少一部分输入像素的像素值，以显示所输入的医疗影像。
10.根据权利要求9所述的医疗影像分析装置，其特征在于，
与所述医疗影像中包括的个体有关的信息包括：所述医疗影像包括的的身体部位信息及患者的信息中的至少一个；
所述医疗影像的拍摄环境的信息包括：所述医疗影像的模态信息及所述医疗影像的拍摄方式的信息中的至少一个；
与所述医疗影像的显示方法有关的信息还包括：颜色反转信息、影像的旋转信息及影像的翻转信息中的至少一个。
11.根据权利要求9所述的医疗影像分析装置，其特征在于，
所述处理器基于存储在所述存储器中的指令，还执行如下步骤：
从用于所述学习的多个医疗影像的各DICOM标头的标准数据元获取分别与所述多个医疗影像匹配的多个元数据；及
利用用于所述学习的多个医疗影像及获取的所述多个元数据，学习所述预测模型。
12.根据权利要求9所述的医疗影像分析装置，其特征在于，
所述处理器基于存储在所述存储器中的指令，还执行，
将对于输入的所述医疗影像进行预测的元数据匹配到所述输入的医疗影像并存储在所述存储器的步骤。
13.根据权利要求12所述的医疗影像分析装置，其特征在于，
所述处理器基于存储在所述存储器中的指令，还执行：
将预测的所述元数据存储到输入的所述医疗影像的DICOM标头中的步骤。
14.根据权利要求9所述的医疗影像分析装置，其特征在于，
所述处理器基于存储在所述存储器中的指令，还执行：
为了在输入的所述医疗影像中检测出异常，基于所述预测的元数据来调整输入的所述医疗影像的步骤。
15.根据权利要求14所述的医疗影像分析装置，其特征在于，
所述处理器基于存储在所述存储器中的指令，还执行：
基于预测的所述元数据来调整输入的所述医疗影像的窗口中心、窗口宽度、颜色及输出方向中的至少一个的步骤。
16.根据权利要求9所述的医疗影像分析装置，其特征在于，
用于所述学习的多个医疗影像及输入的所述医疗影像是对应于DICOM标准的影像。
CN201911395855.8A 2019-05-22 2019-12-30 医疗影像的元数据预测装置及方法 Active CN111986784B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190059860A KR102075293B1 (ko) 2019-05-22 2019-05-22 의료 영상의 메타데이터 예측 장치 및 방법
KR10-2019-0059860 2019-05-22

Publications (2)

Publication Number Publication Date
CN111986784A CN111986784A (zh) 2020-11-24
CN111986784B true CN111986784B (zh) 2021-11-09

Family

ID=69185503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911395855.8A Active CN111986784B (zh) 2019-05-22 2019-12-30 医疗影像的元数据预测装置及方法

Country Status (6)

Country Link
US (4) US10824908B1 (zh)
EP (2) EP3742451B1 (zh)
JP (1) JP6895508B2 (zh)
KR (1) KR102075293B1 (zh)
CN (1) CN111986784B (zh)
WO (1) WO2020235966A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
KR102075293B1 (ko) 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법
US20210366592A1 (en) * 2020-05-20 2021-11-25 Koninklijke Philips N.V. Real-time digital imaging and communication in medicine (dicom) label checker
CN113744117A (zh) * 2020-05-29 2021-12-03 Oppo广东移动通信有限公司 多媒体处理芯片、电子设备及动态图像处理方法
DE102020212205A1 (de) * 2020-09-28 2022-03-31 Siemens Healthcare Gmbh Individuelle Ermittlung der Brustkompression bei der Mammographie mit künstlicher Intelligenz
KR102457962B1 (ko) * 2020-10-30 2022-10-24 한국과학기술정보연구원 논문의 메타데이터 추출 방법 및 장치
KR102467096B1 (ko) * 2020-10-30 2022-11-15 한국과학기술정보연구원 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치
US20220208358A1 (en) * 2020-12-29 2022-06-30 Avicenna.Ai Systems, devices, and methods for rapid detection of medical conditions using machine learning
JP2023511242A (ja) * 2020-12-31 2023-03-17 商▲湯▼国▲際▼私人有限公司 画像内関連対象検出方法、装置、デバイス、及び記録媒体
WO2023074184A1 (ja) * 2021-10-28 2023-05-04 パナソニックＩｐマネジメント株式会社 アノテーション支援システム及びそれを利用した外観検査用モデルの学習支援システム
WO2023074183A1 (ja) * 2021-10-28 2023-05-04 パナソニックＩｐマネジメント株式会社 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
WO2023126246A1 (en) * 2021-12-27 2023-07-06 Koninklijke Philips N.V. Screening for subtle condition sign detection
EP4307243A1 (en) * 2022-07-11 2024-01-17 IB Lab GmbH Processing a medical image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109589089A (zh) * 2017-09-30 2019-04-09 复旦大学 基于多模态影像数据的分析方法及其用途
CN109788936A (zh) * 2016-10-07 2019-05-21 佳能株式会社 图像显示系统、图像显示方法和程序

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011900A (ja) * 2006-07-03 2008-01-24 Fujifilm Corp 画像種類判別装置および方法並びにプログラム
US9171130B2 (en) 2009-11-24 2015-10-27 Penrad Technologies, Inc. Multiple modality mammography image gallery and clipping system
KR101860778B1 (ko) * 2011-08-24 2018-07-02 에스케이플래닛 주식회사 촬영 이미지 편집 방법 및 이에 적용되는 장치
JP5870765B2 (ja) * 2012-03-02 2016-03-01 コニカミノルタ株式会社 電子カルテ装置
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
JP2015043142A (ja) * 2013-08-26 2015-03-05 株式会社東芝 分散バックアップシステム
KR101681313B1 (ko) 2014-01-15 2016-12-02 삼성전자주식회사 의료 영상 제공 장치 및 그에 따른 의료 영상 제공 방법
US20150278726A1 (en) 2014-03-31 2015-10-01 James Gelsin Marx Systems and methods for workflow processing
WO2016071791A1 (en) * 2014-11-07 2016-05-12 Koninklijke Philips N.V. Optimized anatomical structure of interest labelling
US10222942B1 (en) * 2015-01-22 2019-03-05 Clarifai, Inc. User interface for context labeling of multimedia items
JP2017118913A (ja) * 2015-12-28 2017-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、サーバ、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
KR101963650B1 (ko) * 2016-11-30 2019-04-01 오스템임플란트 주식회사 의료영상 보정 방법, 이를 위한 장치, 및 이를 기록한 기록매체
US10275130B2 (en) 2017-05-12 2019-04-30 General Electric Company Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
EP3629898A4 (en) 2017-05-30 2021-01-20 Arterys Inc. AUTOMATED LESION DETECTION, SEGMENTATION AND LONGITUDINAL IDENTIFICATION
JP2019000444A (ja) * 2017-06-16 2019-01-10 株式会社ジェイマックシステム 医療診断支援装置、医療診断支援方法、医療診断支援プログラム、医療診断支援システム、複合医療診断支援方法および複合医療診断支援プログラム
US10949966B2 (en) * 2017-08-18 2021-03-16 Siemens Healthcare Gmbh Detecting and classifying medical images based on continuously-learning whole body landmarks detections
US20190279082A1 (en) * 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks
US10740866B2 (en) * 2018-06-26 2020-08-11 International Business Machines Corporation Determining appropriate medical image processing pipeline based on machine learning
US11151719B2 (en) 2018-12-19 2021-10-19 Caide Systems, Inc. Automatic brightness and contrast control neural network for medical diagnostic imaging
US11354351B2 (en) 2019-01-31 2022-06-07 Chooch Intelligence Technologies Co. Contextually generated perceptions
KR102075293B1 (ko) 2019-05-22 2020-02-07 주식회사 루닛 의료 영상의 메타데이터 예측 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788936A (zh) * 2016-10-07 2019-05-21 佳能株式会社 图像显示系统、图像显示方法和程序
CN109589089A (zh) * 2017-09-30 2019-04-09 复旦大学 基于多模态影像数据的分析方法及其用途

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hierarchical annotation of medical images;Ivica Dimitrovski 等;《Pattern Recognition》;20111130;第44卷(第10-11期);2436-2449 *
Ivica Dimitrovski 等.Hierarchical annotation of medical images.《Pattern Recognition》.2011,第44卷(第10-11期),2436-2449. *
医学影像的DICOM化改造;彭纳 等;《兵工自动化》;20060530;第25卷(第5期);53-54 *

Also Published As

Publication number Publication date
US20210012160A1 (en) 2021-01-14
EP3975197A1 (en) 2022-03-30
CN111986784A (zh) 2020-11-24
US20200372299A1 (en) 2020-11-26
WO2020235966A1 (ko) 2020-11-26
EP3742451A1 (en) 2020-11-25
EP3742451B1 (en) 2023-07-19
US11978548B2 (en) 2024-05-07
JP2020191063A (ja) 2020-11-26
US20220101984A1 (en) 2022-03-31
US10824908B1 (en) 2020-11-03
US20220269905A1 (en) 2022-08-25
EP3975197A4 (en) 2023-07-12
JP6895508B2 (ja) 2021-06-30
KR102075293B1 (ko) 2020-02-07

Similar Documents

Publication Publication Date Title
CN111986784B (zh) 医疗影像的元数据预测装置及方法
KR101887194B1 (ko) 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR101874348B1 (ko) 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치
US10825178B1 (en) Apparatus for quality management of medical image interpretation using machine learning, and method thereof
US20230005251A1 (en) Diagnostic assistance apparatus and model generation apparatus
US11544844B2 (en) Medical image processing method and apparatus
US10130323B2 (en) Method and apparatus for planning computer-aided diagnosis
US20230252626A1 (en) Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods
KR102492463B1 (ko) 병변 판독 결과 표시 방법
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
KR20230118054A (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법및 시스템
KR102480134B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR102464887B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
KR102433054B1 (ko) 의료 영상의 메타데이터 예측 장치 및 방법
KR102213924B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR102507315B1 (ko) 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치
KR20210144253A (ko) 예측된 메타데이터를 이용하여 의료 영상을 처리하는 장치 및 방법
US11928817B2 (en) Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
US20230082499A1 (en) Information processing apparatus, training data generation device, and diagnosis support system
Kukar et al. Multi-resolution image parametrization in stepwise diagnostics of coronary artery disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant