CN109741812A - 发送医学图像的方法以及执行所述方法的医学成像设备 - Google Patents
发送医学图像的方法以及执行所述方法的医学成像设备 Download PDFInfo
- Publication number
- CN109741812A CN109741812A CN201811275981.5A CN201811275981A CN109741812A CN 109741812 A CN109741812 A CN 109741812A CN 201811275981 A CN201811275981 A CN 201811275981A CN 109741812 A CN109741812 A CN 109741812A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image
- assistant images
- medical
- exception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000002159 abnormal effect Effects 0.000 claims description 115
- 230000003902 lesion Effects 0.000 claims description 53
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 17
- 239000003814 drug Substances 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 17
- 201000010099 disease Diseases 0.000 description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 29
- 238000010586 diagram Methods 0.000 description 26
- 210000000988 bone and bone Anatomy 0.000 description 21
- 210000000038 chest Anatomy 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/56—Details of data transmission or power supply, e.g. use of slip rings
- A61B6/563—Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
公开了一种发送医学图像的方法以及执行所述方法的医学成像设备。一种医学图像发送方法包括:获得通过对对象进行成像而产生的医学图像;基于所述医学图像确定所述对象是否具有异常;基于确定的结果来确定是否发送与所述医学图像相关联的至少一个辅助图像;当所述对象没有异常时,向外部设备发送所述医学图像而不发送所述至少一个辅助图像,从而使数据处理量和数据传输量最小化。
Description
本申请基于并要求在韩国知识产权局于2017年10月30日提交的第10-2017-0142565号韩国专利申请和于2018年10月29日提交的第10-2018-0129779号韩国专利申请的优先权,这些韩国专利申请的公开通过引用全部合并于此。
技术领域
本公开涉及用于向外部设备发送医学图像和与医学图像相关联的阅读辅助图像中的至少一个的方法和设备。
更具体地,本公开涉及一种用于进行以下操作的方法和设备:获得医学图像,基于获得的医学图像产生与获得的医学图像相关联的至少一个阅读辅助图像,并向外部设备发送医学图像和所述至少一个阅读辅助图像中的至少一个。
背景技术
医学成像设备用于捕获对象(诸如,患者或患者的部位(诸如,内部器官))的内部结构的图像。医学成像设备是捕获并处理人体的结构细节(例如,人体的内部组织)或人体内的液体流动的图像并且并将处理后的图像提供给用户的非侵入性检查设备。诸如医生或其他类型的医疗保健提供者的用户可通过使用从医学成像设备输出的医学图像来对患者的健康状态和疾病进行诊断。
医学成像设备的示例包括用于通过向对象辐射X射线并感测由对象透射的X射线来获得图像的X射线设备、用于提供磁共振(MR)图像的磁共振成像(MRI)设备、计算机断层扫描(CT)设备和超声诊断设备。
发明内容
提供了一种医学图像发送方法以及执行所述医学图像发送方法的医学成像设备,其中,所述医学图像发送方法能够使当向外部设备发送医学图像和至少一个阅读辅助图像时发生的存储器容量的增大、数据处理量的增大以及数据传输量的增大最小化。
具体地,提供了一种能够使当向外部设备发送X射线图像和基于X射线图像生成的至少一个阅读辅助图像时发生的存储器容量的增大、数据处理量的增大以及数据传输量的增大最小化的医学图像发送方法、以及执行所述医学图像发送方法的医学成像设备。
提供了一种使医生能够通过使用医学图像更方便地确定是否已经在对象中产生了异常的医学图像发送方法、以及执行医学图像发送方法的医学成像设备。
另外的方面将部分地在下面的描述中阐述,并且部分地将从描述是清楚的,或者可通过实践所呈现的实施例而得知。
根据本公开的一方面,一种医学图像发送方法包括:获得通过对对象进行成像而产生的医学图像;基于所述医学图像确定所述对象是否具有异常;基于确定的结果来确定是否发送与所述医学图像相关联的至少一个辅助图像;当所述对象没有异常时,向外部设备发送所述医学图像而不发送所述至少一个辅助图像。
向外部设备发送所述医学图像而不发送所述至少一个辅助图像的步骤可包括:当所述对象没有异常时,不产生与所述医学图像相关联的所述至少一个辅助图像并且向外部设备发送所述医学图像。
根据实施例的医学图像发送方法还可包括:当所述对象具有异常时,产生与所述医学图像相关联的至少一个辅助图像并向外部设备发送所述医学图像和所述至少一个辅助图像。
所述医学图像发送方法还可包括:当所述对象具有异常时,产生与所述医学图像相关联的至少两个辅助图像;基于所述对象的异常部分的特征按照特定顺序布置所述至少两个辅助图像,并且向外部设备发送所述医学图像和按照所述特定顺序布置的所述至少两个辅助图像。
向外部设备发送所述医学图像而不发送所述至少一个辅助图像的步骤可包括:当所述对象没有异常时,将指示所述对象正常的正常标记附贴到所述医学图像,并且向外部设备发送已附贴了正常标记的所述医学图像。
向外部设备发送所述医学图像而不发送所述至少一个辅助图像的步骤还可包括:当所述对象具有异常时,将指示对象异常的异常标记附贴到所述医学图像,并且向外部设备发送已附贴了异常标记的所述医学图像。
所述医学图像发送方法还可包括:当所述对象具有病变时,基于病变的特征确定将被产生的辅助图像的类型,并根据确定的类型产生所述至少一个辅助图像;向外部设备发送所述医学图像和所述至少一个辅助图像。
所述医学图像发送方法还可包括:当所述对象没有异常时,产生与第一用户界面(UI)屏幕相应的数据,其中,第一UI屏幕包括所述医学图像而不包括所述至少一个辅助图像;当所述对象具有异常时,产生与第二UI屏幕相应的数据,其中,第二UI屏幕包括所述医学图像和所述至少一个辅助图像。
根据实施例的医学图像发送方法还可包括:在显示器上显示第一UI屏幕或第二UI屏幕。
所述医学图像发送方法还可包括:当所述对象没有异常时,向外部设备发送与第一UI屏幕相应的数据;当所述对象具有异常时,向外部设备发送与第二UI屏幕相应的数据。
确定所述对象是否具有异常的步骤可包括:通过基于深度神经网络(DNN)的学习操作来确定所述对象是否具有异常。
所述医学图像可包括X射线图像,并且外部设备可包括图片存档通信系统(PACS)服务器、PACS查看器和用于控制执行医学图像捕获的医学成像设备的工作站中的至少一个。
根据本公开的另一方面,一种医学成像设备包括:通信器,被配置为与外部设备通信;控制器,被配置为:获得通过对对象进行成像而产生的医学图像,基于所述医学图像确定所述对象是否具有异常,基于确定的结果来确定是否发送与所述医学图像相关联的至少一个辅助图像,并且当所述对象没有异常时,控制通信器向外部设备发送所述医学图像而不发送所述至少一个辅助图像。
当所述对象没有异常时,控制器还可被配置为:将指示对象正常的正常标记附贴到所述医学图像,并向外部设备发送已附贴了正常标记的所述医学图像。
当所述对象具有异常时,控制器还可被配置为:将指示对象异常的异常标记附贴到所述医学图像,并向外部设备发送已附贴了异常标记的所述医学图像。
当所述对象具有异常时,控制器还可被配置为:产生与所述医学图像相关联的至少两个辅助图像;基于所述对象的异常部分的特征按照特定顺序布置所述至少两个辅助图像,并且控制所述医学图像和按照所述特定顺序布置的所述至少两个辅助图像被发送到外部设备。
当所述对象具有病变时,控制器还可被配置为:基于病变的类型确定将被产生的辅助图像的类型,并根据确定的类型产生所述至少一个辅助图像;向外部设备发送所述医学图像和所述至少一个辅助图像。
当对象没有异常时,控制器还可被配置为:控制产生与第一用户界面(UI)屏幕相应的数据,其中,第一UI屏幕包括所述医学图像而不包括所述至少一个辅助图像。当所述对象具有异常时,控制器还可被配置为控制产生与第二UI屏幕相应的数据,其中,第二UI屏幕包括所述医学图像和所述至少一个辅助图像。控制器还可被配置为控制将与第一UI屏幕相应的数据或与第二UI屏幕相应的数据发送到外部设备。
当所述对象没有异常时,控制器还可被配置为:控制产生与第一UI屏幕相应的数据,其中,第一UI屏幕包括所述医学图像而不包括所述至少一个辅助图像。当所述对象具有异常时,控制器还可被配置为:控制产生与第二UI屏幕相应的数据,其中,第二UI屏幕包括所述医学图像和所述至少一个辅助图像。所述医学成像设备还可包括:显示器,被配置为在控制器的控制下显示第一UI屏幕或第二UI屏幕。
所述医学成像设备还可包括:深度神经网络(DNN)处理器,被配置为通过DNN执行学习操作。控制器还可被配置为:通过基于DNN的学习操作来确定所述对象是否具有异常。
所述医学成像设备还可包括:X射线辐射器,被配置为向所述对象辐射X射线。控制器还可被配置为:控制X射线辐射器以获得所述医学图像。
所述至少一个辅助图像可基于对所述医学图像的分析来产生,并且所述至少一个辅助图像可包括病变以及指示存在病变的标记。
根据本公开的另一方面,一种医学成像设备包括:通信器;控制器,被配置为:获得通过对对象进行成像而产生的医学图像;分析所述医学图像以确定所述医学图像中存在异常还是不存在异常;如果所述医学图像中存在异常,则按照辅助图像产生操作基于所述医学图像产生至少一个辅助图像,并控制通信器向外部设备发送所述医学图像和所述至少一个辅助图像两者;如果所述医学图像中不存在异常,则通过跳过辅助图像产生操作而不产生所述至少一个辅助图像,并控制通信器向外部设备仅发送所述医学图像,其中,所述至少一个辅助图像包括指示存在异常的标记。
控制器可通过从外部设备接收医学图像来获得医学图像。
所述医学成像设备可包括X射线产生器和X射线检测器,控制器通过激活X射线产生器并检测由X射线检测器产生的信号来对对象进行成像并获得医学图像。
如果存在异常,则控制器可产生多个辅助图像,并且每个辅助图像基于医学图像。
根据本公开的另一方面,一种医学成像设备包括:显示器;控制器,被配置为:获得通过对对象进行成像而产生的医学图像;分析所述医学图像以确定所述医学图像中是否存在异常;如果所述医学图像中存在异常,则产生至少一个辅助图像并控制显示器显示所述医学图像和所述至少一个辅助图像两者;如果所述医学图像中不存在异常,则控制显示器仅显示所述医学图像,而不显示所述至少一个辅助图像。
附图说明
通过以下结合附图的描述,本公开的特定实施例的以上和其他方面、特征和优点将更加明显,其中:
图1是根据实施例的X射线设备的构造的外部示图和框图;
图2是根据实施例的医学成像设备的框图;
图3是根据另一实施例的医学成像设备的框图;
图4是根据实施例的医学图像发送方法的流程图;
图5A是根据另一实施例的医学图像发送方法的流程图;
图5B是根据另一实施例的医学图像发送方法的流程图;
图5C是根据另一实施例的医学图像发送方法的流程图;
图6示出根据实施例的通过设备和方法获得的医学图像;
图7是用于解释根据实施例的在设备和方法中使用的深度神经网络(DNN)的示图;
图8A是示出与对象具有异常时对应的医学图像的示图;
图8B至8D是示出当对象具有异常时产生的阅读辅助图像的示图;
图9是示出根据实施例的在设备和方法中产生的用户界面(UI)屏幕的示图;
图10是示出根据实施例的在设备和方法中产生的UI屏幕的另一示图;
图11是示出根据实施例的在设备和方法中产生的UI屏幕的另一示图;
图12A和12B是示出根据实施例的在设备和方法中产生的UI屏幕的其他示图;
图13是示出根据实施例的医学成像设备的实现方式的框图;
图14是示出根据实施例的医学成像设备的另一实现方式的框图;
图15是示出根据实施例的医学成像设备的另一实现方式的框图。
具体实施方式
下面参考附图更详细地描述特定示例性实施例。
在以下描述中,即使在不同的附图中,相同的附图标号也用于相同的元件。提供说明书中定义的事项(例如,详细的构造和元件)以帮助全面理解示例性实施例。因此,显而易见的是,可以在没有那些具体定义的事项的情况下实施示例性实施例。另外,由于公知的功能或构造会以不必要的细节模糊示例性实施例,因此,没有详细描述公知的功能或构造。
这里使用的诸如“部件”和“部分”的术语表示可由软件或硬件实现的那些“部件”和“部分”。根据示例性实施例,多个部件或部分可由单个单元或元件实现,或者单个部件或部分可包括多个元件。
在本说明书中,图像可包括通过磁共振成像(MRI)设备、计算机断层扫描(CT)设备、超声成像设备、X射线设备或其他医学成像设备获得的医学图像。
此外,在本说明书中,“对象”可以是将被成像的目标,并且可包括人体、动物、或者人体或动物的一部分。例如,对象可包括身体部位(器官、组织等)或体模。
图1是根据实施例的X射线设备100的构造的外部示图和框图。
在图1中,假设X射线设备100是固定的X射线设备。
参照图1,X射线设备100包括用于产生并发射X射线的X射线辐射装置、用于检测由X射线辐射装置110发射并透过对象P的X射线的X射线检测器195、以及用于从用户接收命令并向用户提供信息的工作站180。
X射线设备100还可包括:用于根据接收的命令控制X射线设备100的控制器120、以及用于与外部装置通信的通信器140。
控制器120和通信器140的全部组件或一些组件可包括在工作站180中或者与工作站180分离。
X射线辐射装置110可包括用于产生X射线的X射线源以及用于调节用由X射线源产生的X射线照射的区域的准直器。
导轨30可设置在X射线设备100所在的检查室的天花板上,并且X射线辐射装置110可连接到可沿导轨30移动的移动托架40,使得X射线辐射装置110可移动到与对象P相应的位置。移动托架40和X射线辐射装置110可通过可折叠的柱架50彼此连接,使得X射线辐射装置110的高度可被调节。
工作站180可包括用于接收用户命令的输入装置181和用于显示信息的显示器182。
输入装置181可接收用于控制X射线辐射装置110的成像协议、成像条件、成像时序和位置的命令。
输入装置181可包括键盘、鼠标、触摸屏、麦克风、语音识别器等、或者这些组件中的至少两个组件的组合。
显示器182可以是LCD或OLED显示器,并且可显示用于引导用户输入的屏幕、X射线图像、用于显示X射线设备100的状态的屏幕等。
控制器120可根据用户输入的命令控制X射线辐射装置110的成像条件和成像时序,并且可基于从X射线检测器195接收的图像数据产生医学图像。
此外,控制器120可根据成像协议和对象P的位置来控制X射线辐射装置110或安装单元14和24的位置或朝向,其中,每个安装单元中安装有X射线检测器195。即,安装单元14和24都能够容纳并存放X射线检测器195。
控制器120可包括存储器以及处理器或微处理器,其中,存储器被配置为存储用于执行X射线设备100的操作的程序,处理器或微处理器被配置为运行存储的程序。存储器可以是RAM或ROM。存储器可以是存储软件程序的非暂时性存储介质。
控制器120可包括单个处理器或多个处理器或微处理器。当控制器120包括多个处理器时,多个处理器可集成在单个芯片上或者彼此物理上分离。
X射线设备100可连接到外部装置(诸如,外部服务器151、医学设备152和/或便携式终端153(例如,智能电话、平板PC或可穿戴电子装置))以便通过通信器140发送或接收数据。
通信器140可包括能够与外部装置通信的至少一个组件。例如,通信器140可包括局域通信模块、有线通信模块和无线通信模块中的至少一个。通信器可包括通信电路,例如Wi-Fi电路、蓝牙电路或毫米波段电路。
通信器140可从外部装置接收控制信号并将接收的控制信号发送到控制器120,使得控制器120可根据接收的控制信号控制X射线设备100。
另外,通过经由通信器140将控制信号发送到外部装置,控制器120可根据控制信号控制外部装置。
例如,外部装置可根据经由通信器140从控制器120接收的控制信号来处理外部装置的数据。
通信器140还可包括能够实现X射线设备100的组件之间的通信的内部通信模块。
用于控制X射线设备100的程序可安装在外部装置上,并且可包括用于执行控制器120的操作中的一些操作或全部操作的指令。
所述程序可预先安装在便携式终端153上,或者便携式终端153的用户可从提供应用的服务器下载所述程序来进行安装。
提供应用的服务器可包括存储所述程序的记录介质。
此外,X射线检测器195可被实现为固定地安装在支架20或台体10上的固定的X射线检测器,或者可被实现为可拆卸地安装在安装单元14或24中或可在任意位置使用的便携式X射线检测器。
根据数据传输技术和电力供应方法,便携式X射线检测器可被实现为有线检测器或无线检测器。
X射线检测器195可以是或可以不是X射线设备100的组件。
如果X射线检测器195不是X射线设备100的组件,则X射线检测器195可由用户注册以与X射线设备100一起操作。
此外,在两种情况下,X射线检测器195可经由通信器140连接到控制器120,以从控制器120接收控制信号或将图像数据发送到控制器120。
可在X射线辐射装置110的一侧设置向用户提供信息并从用户接收命令的子用户接口80。子用户接口80还可执行由工作站180的输入装置181和显示器182执行的功能中的一些功能或全部功能。也就是说,子用户接口可包括单独的显示器和单独的输入装置。
当控制器120和通信器140的所有组件或一些组件与工作站180分离时,它们可包括在X射线辐射装置110上设置的子用户接口80中。
尽管图1示出连接到检查室的天花板的固定的X射线设备,但是X射线设备100的示例可包括其他构造,诸如,C型臂X射线设备、移动X射线设备和具有各种结构的其他X射线设备。
随着图像处理技术(诸如,计算机辅助检测(CAD)系统和机器学习)的最新发展,医学成像设备可通过使用计算机分析获得的医学图像,从而检测异常区域(其中,异常区域是对象的异常部分)并产生分析结果。如上所述的通过分析获得的医学图像而再次产生的图像被称为“辅助图像”或“阅读辅助图像”。当辅助图像被提供给医生时,医生可通过参考辅助图像更容易地诊断对象中是否存在异常。
医学成像设备可向外部设备发送医学图像和至少一个辅助图像。因此,外部设备还可通过使用医学图像和辅助图像对患者进行诊断。
然而,当向外部设备提供医学图像和至少一个辅助图像时,与向外部设备发送医学图像相比,所需要的存储器容量、数据处理量和数据传输量相对增大。在下文中,通过分析获得的医学图像再次产生的图像将被称为阅读辅助图像。
为了提高医学图像的阅读容易度或使用医学图像的诊断的容易度,医学成像设备或从医学成像设备接收医学图像的外部设备(例如,外部设备150)可通过使用医学图像产生阅读辅助图像,并可向用户提供产生的阅读辅助图像。
详细地,医学成像设备可根据诸如计算机辅助检测(CAD)系统或机器学习的图像处理技术,通过使用计算机分析获得的医学图像。医学成像设备可检测异常区域(其中,异常区域是对象的异常部分),或者可产生分析结果。
通常,产生阅读辅助图像并向用户提供产生的阅读辅助图像的医学成像设备可以是图1的X射线设备100的控制器120、X射线设备100的工作站180、图片存档通信系统(PACS)服务器、PACS查看器等。医学成像设备还可以是能够获得医学图像并基于获得的医学图像产生阅读辅助图像的任何电子装置。
医学成像设备获得医学图像,分析获得的医学图像中的每个医学图像,并产生与获得的医学图像中的每个医学图像相关联的一个或更多个阅读辅助图像。医学成像设备可向外部设备发送获得的医学图像和阅读辅助图像,使得外部设备可以使用接收的医学图像和接收的阅读辅助图像。
例如,当医学成像设备是图1的X射线设备100时,医生通过使用医学图像和阅读辅助图像来诊断对象是否具有异常的空间通常与安装有X射线设备100的空间分离。例如,X射线设备100可位于辐射室中,由医生进行的阅读可在与辐射室分离的医生办公室中执行。在这种情况下,X射线设备100需要将获得的医学图像和获得的阅读辅助图像发送到外部设备,例如,在医生办公室中提供的PACS查看器或医生的计算机。然后,医生可通过PACS查看器查看医学图像和阅读辅助图像,并可对对象或患者进行诊断。
作为另一个例子,当医学成像设备是图1的X射线设备100时,由X射线设备100获得的医学图像和阅读辅助图像需要被存储在服务器(例如,PACS服务器)或电子装置中,以便存储患者的医疗记录。在这种情况下,X射线设备100需要将获得的医学图像和获得的阅读辅助图像发送到与X射线设备100物理地区分开的服务器或电子装置。
然而,当对象没有异常时,医生例如可通过仅使用获得的医学图像来容易地确定对象没有异常。换言之,在不使用阅读辅助图像的情况下,诸如医生的用户可仅通过使用原始医学图像容易地判断对象没有异常。因此,当对象没有异常时,不必产生阅读辅助图像并将产生的阅读辅助图像发送到外部设备(例如,PACS查看器)并且/或者将产生的阅读辅助图像存储在外部设备中。
为了产生阅读辅助图像并将产生的阅读辅助图像发送到外部设备,图像处理所需要的数据处理量、存储器容量和阅读辅助图像获取时间段都增大,并且所需要的数据传输量也增大。由于需要产生并发送阅读辅助图像而发生的这种时间增加可能降低医学图像阅读的工作流程并且可能降低阅读效率。
在根据实施例的医学成像设备和由其执行的医学图像发送方法中,可主要分析医学图像来确定对象是否具有异常,并且可基于主要确定来自动确定是否向外部设备发送阅读辅助图像。因此,可防止不必要的产生和/或发送阅读辅助图像。也就是说,通过确定是否产生或发送阅读辅助图像,医学成像设备可更有效地处理医学图像数据,这是因为将另外用于不必要的处理(即,当存在异常时产生阅读辅助图像)的计算资源可被保留并用于其他更高效的计算目标。这允许医学成像设备更快速地和/或以更低的成本处理数据。此外,当不执行该处理时,降低了存储器要求和数据传输要求。简而言之,提高了若干方面的计算效率。现在将参照附图详细描述根据实施例的能够优化医学图像阅读的工作流程并提高医生的阅读效率的医学成像设备、以及由所述医学成像设备执行的医学图像发送方法。
图2是根据实施例的医学成像设备200的框图。
根据实施例的医学成像设备200可包括能够获得医学图像并分析获得的医学图像以产生阅读辅助图像的任何电子装置。
详细地,医学成像设备可经由医学图像捕获自主地获得医学图像,或者可接收由另一医学成像设备获得的医学图像。
例如,根据实施例的医学成像设备200可以是图1的X射线设备100。在这种情况下,X射线设备100可经由X射线扫描自主地获得作为医学图像的X射线图像。详细地,根据实施例的医学成像设备可包括在图1的X射线设备100的控制器120或工作站180中。
作为另一示例,医学成像设备200可以是经由有线连接或无线通信网络与诸如图1的X射线设备100的医学成像设备连接的服务器151、医学设备152或便携式终端153。在这种情况下,医学设备152可接收由X射线设备100获得的作为医学图像的X射线图像,并可分析接收的医学图像以产生阅读辅助图像。
通过根据实施例的医学图像发送方法和执行医学图像发送方法的医学成像设备获得并使用的医学图像可以是能够实现对对象是否具有异常的确定的任何图像。详细地,医学图像可以是由执行X射线扫描的X射线设备100、CT系统、MRI系统、超声诊断设备和另一医学成像系统中的至少一个获得的对象的图像。
对象可包括人(例如,作为诊断目标的患者)的身体部位,并可包括器官(例如,肝脏、心脏、子宫、脑部、胸部或腹部)或血管。
在整个说明书中,“用户”可以是但不限于医疗提供者(诸如,医生、护士、医疗保健技术人员或医学成像专家),或者可以是管理医疗器械的工程师。
现在将说明和描述通过根据实施例的医学图像发送方法和执行医学图像发送方法的医学成像设备获得并使用的医学图像是X射线图像的情况。
现在将说明和描述根据实施例的医学成像设备200是图1的X射线设备100的情况。
参照图2,医学成像设备200包括控制器210和通信器220。当医学成像设备200对应于图1的X射线设备100时,包括在医学成像设备200中的控制器210和通信器220可分别对应于X射线设备100的控制器120或工作站180以及通信器140。因此,将省略其冗余的描述。
控制器210获得通过对对象进行成像而获得的医学图像。控制器210可首先通过分析接收的医学图像来确定对象是否具有异常,其次基于第一确定来确定是否发送与医学图像相关联的至少一个阅读辅助图像。当对象没有异常时,控制器210控制医学图像被发送到外部设备290。详细地,当对象没有异常时,控制器210控制除了阅读辅助图像之外的医学图像被发送到外部设备290。响应于医学图像,控制器210可自动执行上述两种确定。为了方便描述,关于对象是否具有异常的确定现在将被称为第一确定,并且关于是否发送至少一个阅读辅助图像的确定现在将被称为第二确定。
控制器210可包括例如ROM或RAM的存储器(未示出)、以及执行用于执行上述操作的指令的至少一个处理器(未示出)。包括在控制器210中的至少一个处理器可进行操作以运行用于执行上述操作的指令。详细地,包括在控制器210中的至少一个处理器可进行操作以运行包括用于执行上述操作的指令的程序。
对象具有异常的情况可被称为对象具有不同于健康组织的形状的任何形状的情况或者对象处于不同于健康状态的状态的情况。例如,对象具有异常的情况可以是对象的特定部位患有疾病的情况。
阅读辅助图像可通过处理经由医学图像捕获获得的医学图像而产生,并且可以是通过处理医学图像而获得的便于帮助对对象的阅读的图像。阅读辅助图像可包括被处理使得可容易地检测疾病的图像。
详细地,阅读辅助图像可以是在其上异常部分被自动检测并显示的图像,或者可以是这样的图像:在该图像上显示有异常部分上产生的疾病的类型、对疾病或疾病候选进行分析的结果、或关于产生的疾病是什么的概率信息。
例如,当原始医学图像是胸部X射线图像时,阅读辅助图像可包括骨抑制图像、检测到病变的CAD图像以及异常图,其中,通过去除存在于胸部中的骨骼而更清楚地在骨抑制图像上示出存在于胸部的器官,存在于对象中的病变通过CAD被检测并被显示在检测到病变的CAD图像上,以及包括在对象中的组织或详细区域的异常部分被检测并被显示在异常图上。阅读辅助图像还可包括通过处理原始医学图像而获得的便于帮助确定对象是否具有异常的任何图像。在以上示例中,关于骨抑制图像,当病变位于包括在对象中的软组织(例如,肺)中时,难以从原始医学图像观察被骨骼隐藏的肺部。然而,当从胸部X射线图像去除了骨骼时,可更清楚地观察到肺,因此可容易地读出位于肺中的病变。
可将阅读辅助图像表示为不具有图像形状的数据。详细地,阅读辅助图像可包括指示对象具有异常的分析数据。
例如,阅读辅助图像可包括表示疾病的产生位置的信息、表示疾病的呈现形状的信息、表示疾病的风险的信息、表示疾病的检测准确性的信息、以及表示当异常被确定为疾病时的可靠性的信息(其是指示对象是否具有异常的信息),作为基于骨抑制图像获得的信息。疾病是指对象具有异常的所有情况,因此可包括气胸、病变、肿瘤、组织变化和在对象内产生的异常器官形状。对象具有异常不仅可包括对象具有疾病的情况,而且可包括对象中存在病变(例如,在产生肿瘤之前细胞、组织、器官等的形变等)的情况。阅读辅助图像可包括病变的图像以及指示病变的存在的标记。
控制器210可通过机器学习执行以上描述的确定对象是否具有异常的操作和异常部分分析操作,并且这将参考图3至图7被详细描述。
通信器220在控制器210的控制下向外部设备290发送医学图像。
通信器220可包括能够与外部设备290通信的一个或更多个组件。例如,通信器220可包括短距离通信模块、有线通信模块和无线通信模块。
详细地,通信器220可连接到有线/无线网络250,因此可与外部设备290(例如,诸如图1的服务器151、医学设备152或便携式终端153的外部设备)执行通信。
外部设备290可以是能够接收医学图像和至少一个阅读辅助图像并执行存储、处理、分析和显示接收的图像中的至少一个操作的电子设备。
详细地,外部设备290可以是PACS(未示出),例如,PACS服务器或PACS查看器。因此,医学成像设备200可与医院中的医院服务器或另一医学设备交换数据,其中,医院服务器或另一医学设备通过经由通信器220连接的PACS(未示出)连接到医学成像设备200。
详细地,当基于医学图像确定对象没有异常时,控制器210可控制医学图像被发送到外部设备290,而不产生与医学图像相关联的阅读辅助图像。
现在将参考图3至图8D详细描述医学成像设备200的详细结构和详细操作。
图3是根据另一实施例的医学成像设备300的框图。包括在图3的医学成像设备300中的控制器310和通信器320可分别对应于图2的医学成像设备200的控制器210和通信器220。图3的外部设备390可对应于图2的外部设备290。因此,这里不再重复医学成像设备300的与参考图2进行的描述相同的描述。
参照图3,与图2的医学成像设备200相比,医学成像设备300还可包括深度神经网络(DNN)处理器330、显示器340、存储器350和用户界面(UI)单元360中的至少一个。
控制器310获得通过对对象进行成像而获得的医学图像。控制器310可通过分析接收的医学图像来确定对象是否具有异常,并基于该确定来确定是否发送与医学图像相关联的至少一个阅读辅助图像。
医学成像设备300可根据各种方法获得医学图像。详细地,医学成像设备300可包括图像捕获设备(未示出),并且控制器310可驱动图像捕获设备来获得医学图像。例如,当医学成像设备300对应于图1的X射线设备100时,控制器310可驱动X射线辐射装置110和X射线检测器195来获得X射线图像,其中,X射线图像是医学图像。
医学成像设备300可从外部源接收医学图像。详细地,当医学成像设备300被实现为与执行医学图像捕获的电子设备(例如,图1的X射线设备100)独立的设备时,医学成像设备300可经由有线/无线通信网络从执行医学图像捕获的电子设备(下文中,称为外部医学成像设备)接收医学图像。在这种情况下,医学成像设备300可经由通信器320从外部医学成像设备接收医学图像。详细地,医学成像设备300可经由通信器320从图1的X射线设备100等接收作为医学图像的X射线图像,并可将接收到的X射线图像发送到控制器310。
详细地,当基于医学图像确定对象没有异常时,控制器310可控制除了与医学图像相关联的阅读辅助图像之外的医学图像被发送到外部设备390。另一方面,当基于医学图像确定对象具有异常时,控制器310可控制医学图像和与医学图像相关联的阅读辅助图像两者被发送到外部设备390。
可根据由医学成像设备300针对对象是否具有异常进行的确定的结果来产生阅读辅助图像。详细地,当医学成像设备300确定对象具有异常时,医学成像设备300可产生阅读辅助图像,而当医学成像设备300确定对象没有异常时,医学成像设备300可不产生阅读辅助图像。
可选地,医学成像设备300可获得阅读辅助图像,而不管关于对象是否具有异常的确定的结果如何。详细地,可在医学成像设备300确定对象是否具有异常之前预先获得阅读辅助图像。
详细地,当基于医学图像确定对象没有异常时,控制器310可不产生与医学图像相关联的阅读辅助图像,并且可控制医学图像被发送到外部设备390。当获得了医学图像时,控制器310可自动执行上述确定操作和上述发送操作。
另一方面,当基于医学图像确定对象具有异常时,控制器310可产生与医学图像相关联的至少一个阅读辅助图像,并可控制医学图像和所述至少一个阅读辅助图像被发送到外部设备390。
作为另一示例,控制器310可获得医学图像和至少一个阅读辅助图像,并且当基于医学图像确定对象没有异常时,控制器310可控制除了所述至少一个阅读辅助图像之外的医学图像被发送到外部设备390。控制器310可获得医学图像和所述至少一个阅读辅助图像,并且当基于医学图像确定对象具有异常时,控制器310可控制医学图像和所述至少一个阅读辅助图像两者被发送到外部设备390。
可通过机器学习来执行由控制器310基于医学图像针对对象是否具有异常进行的确定。具体地,可通过经由计算机操作确定并检测对象是否具有异常的CAD操作、通过基于数据的统计学习、或通过根据人工智能(AI)技术执行机器学习的AI系统来执行机器学习。
与现有的基于规则的智能系统相比,AI系统是实现人类水平的智能的计算机系统,并且在自主地执行学习和确定的同时变得越来越智能。由于AI系统提高了识别率并且它们被使用的越多越更准确地了解用户的偏好,因此现有的基于规则的智能系统正逐渐被深度学习AI系统所取代。
AI技术包括机器学习(深度学习)和采用机器学习的元素技术。
机器学习是一种自身对多条输入数据的特征进行分类/学习的算法技术,元素技术中的每种元素技术是使用机器学习算法(诸如,深度学习)的技术并且包括诸如语言理解、视觉理解、推断/预测、知识表达和操作控制的技术领域。
当确定对象是否具有异常时,根据实施例的控制器310可使用AI技术中包括的学习技术来推断和/或预测。具体地,用于推断和/或预测的学习技术是用于基于输入信息逻辑地推断结果并输出与输入信息对应的结果的技术,并且包括基于知识/概率的推断、优化预测、基于偏好的计划、推荐等。例如,AI技术可分析包括在接收的医学图像中的对象,推断或预测对象是否具有异常,并输出推断或预测的结果。
详细地,可经由基于神经网络的操作来执行根据AI技术的推断和预测。详细地,可使用基于诸如DNN的神经网络的操作。DNN操作可包括卷积神经网络(CNN)操作等。
详细地,数据识别模型可通过上述神经网络来实现,并且可使用学习数据被学习。可对使用学习出的数据识别模型输入的数据(例如,医学图像)进行分析或分类,因此可从医学图像分析和分类出在对象图像中已经发生了什么异常。
例如,根据实施例的医学成像设备300可通过基于DNN的学习和推断操作来确定对象是否具有异常。详细地,医学成像设备300可通过基于CNN操作的学习和推断操作来确定对象是否具有异常,其中,CNN操作是一种DNN操作。
执行基于DNN的学习和推断操作的至少一个处理器可被称为DNN处理器。DNN处理器可被制造为用于AI的专用硬件芯片的形式,或者可被制造为现有的通用处理器(例如,中央处理器(CPU)或应用处理器)或图形专用处理器(例如,图形处理单元(GPU))的一部分或控制器310的一部分,并且可安装在上述各种电子装置上。当控制器310包括DNN处理器时,控制器310可以包括执行上述操作的至少一个处理器,并且所述至少一个处理器中的一个可用作DNN处理器。
详细地,控制器310可通过基于DNN的学习和推断操作来确定对象是否具有异常。详细地,控制器310可包括DNN处理器,并且DNN处理器可使用专用芯片、处理器或模块来实现。
医学成像设备300可包括与控制器310分离的DNN处理器330。
DNN处理器330可通过基于DNN的学习和推断操作来确定对象是否具有异常。DNN处理器330可将确定结果发送到控制器310。在这种情况下,控制器310可基于由DNN处理器330获得的确定结果来确定对象是否具有异常。
稍后将参考图7更详细地描述基于DNN的上述学习和推断操作。
显示器340可显示UI屏幕、用户信息、图像处理信息等。详细地,显示器340可显示在控制器310的控制下产生的UI屏幕。UI屏幕可包括医学图像和至少一个阅读辅助图像中的至少一个。UI屏幕可包括通过分析医学图像而获得的关于对象是否具有异常的信息。例如,显示器340可对应于图1的X射线设备100中包括的显示器182。将参考图9至图12B更详细地描述显示器340上显示的UI屏幕。
存储器350可包括医学成像设备300进行操作所需的至少一个程序,或者所述至少一个程序被执行所需的至少一个指令。存储器350还可包括用于执行上述操作的一个或更多个处理器。在一些实施例中,存储器350可以是非暂时性存储器。
存储器350可存储医学图像和至少一个阅读辅助图像中的至少一个,并可存储关于对象是否具有异常的信息。
UI单元360可从用户接收特定数据或特定命令。UI单元360可与图1的子用户接口80和输入装置181中的至少一个相应。可使用与显示器340一体成形的触摸屏来实现UI单元360。作为另一示例,UI单元360可包括用户输入装置,诸如,指示棒、鼠标或键盘。
根据实施例,控制器310可向医学成像设备300和外部设备390中的至少一个的用户提供包括关于对象是否具有异常的第一确定的结果的信息。
根据实施例,控制器310可接收与用户输入相应的信号,并可基于接收的与用户输入相应的信号来执行关于是否发送至少一个阅读辅助图像的第二确定。
详细地,控制器310可控制显示器340显示包括第一确定的结果的UI屏幕。控制器310也可控制医学成像设备300经由包括在医学成像设备300的内部或外部的扬声器(未示出)输出包括第一确定的结果的音频信号。
控制器310也可控制包括第一确定的结果的信息被发送到外部设备390。相应地,外部设备390的用户可识别第一确定的结果。
随后,医学成像设备300和外部设备390中的至少一个的用户可识别第一确定的结果,并可确定是向外部设备390发送医学图像,还是向外部设备390发送医学图像和至少一个阅读辅助图像两者。具体地,基于第一确定的结果,用户可经由医学成像设备300的UI单元360输入指示以下信息的用户输入:是向外部设备390发送医学图像,还是向外部设备390发送医学图像和至少一个阅读辅助图像两者。
可选地,基于第一确定的结果,用户可向外部设备390输入指示以下信息的用户输入:是向外部设备390发送医学图像,还是向外部设备390发送医学图像和至少一个阅读辅助图像两者。当外部设备390接收到前面提到的用户输入时,外部设备390可向医学成像设备300发送与该用户输入相应的信号。因此,医学成像设备300可基于接收到的与该用户输入相应的信号,确定是否向外部设备390发送至少一个阅读辅助图像。
如上所述,医学成像设备300的控制器310可基于用户输入或与用户输入相应的信号,执行关于是否发送至少一个阅读辅助图像的第二确定。详细地,当用户输入是请求至少一个阅读辅助图像不被发送到外部设备390的输入时,控制器310可根据该用户输入控制除了至少一个阅读辅助图像之外的医学图像被发送到外部设备390。另一方面,当用户输入是请求至少一个阅读辅助图像被发送到外部设备390的输入时,控制器310可根据该用户输入控制至少一个阅读辅助图像与医学图像一起被发送到外部设备390。
图4是根据实施例的医学图像发送方法400的流程图。根据实施例的医学图像发送方法400可由医学成像设备200或300执行。因此,医学图像发送方法400的操作可分别由医学成像设备200或300的组件执行。因此,这里不再重复医学图像发送方法400的与参考图1至图3进行的描述相同的描述。
现在将参考图3的医学成像设备300详细描述医学图像发送方法400。
参照图4,在根据实施例的医学图像发送方法400中,在操作S410获得对象的医学图像。可在控制器310的控制下执行操作S410。
在由医学成像设备300执行医学图像发送方法400的情况下,医学成像设备300可包括图像捕获设备(未示出),并且控制器310可以驱动图像捕获设备来获得医学图像。
例如,控制器310可驱动X射线辐射装置110和X射线检测器195来获得作为医学图像的X射线图像。或者,医学成像设备300可从外部源接收医学图像。在这种情况下,医学成像设备300可经由通信器320从外部医学成像设备接收医学图像。
在操作S420中,基于在操作S410接收的医学图像确定对象是否具有异常,并且基于该确定来确定是否发送与医学图像相关联的至少一个阅读辅助图像。当在操作S410接收到医学图像时,可由控制器310自动执行操作S420。或者,当DNN处理器330确定对象是否具有异常时,可由控制器310基于由DNN处理器330获得的确定结果来执行操作S420。
另外,在操作S420,可基于用户输入(或与用户输入相应的信号)来执行关于是否发送至少一个阅读辅助图像的第二确定。以上已参照图3描述了用户输入用作用于确定是否发送至少一个阅读辅助图像的基础,因此,将省略其详细描述。
当在操作S420确定对象没有异常时,在操作S430,可将医学图像发送到外部设备。具体地,当在操作S420确定对象没有异常时,在操作S430,可将除了阅读辅助图像之外的医学图像发送到外部设备。可在控制器310的控制下由通信器320执行操作S430。
图5A是根据另一实施例的医学图像发送方法500的流程图。图5A的医学图像发送方法500的操作S510、S520和S530可分别与图4的医学图像发送方法400的操作S410、S420和S430相应。
参照图5A,在医学图像发送方法500中,在操作S510获得对象的医学图像。
图6示出通过根据实施例的设备和方法获得的医学图像。
在操作S510接收的医学图像可以是例如X射线图像。参照图6,在操作S510接收的医学图像可以是经由X射线扫描获得的X射线图像600。在操作S510接收的医学图像可以是经由X射线扫描获得的原始图像。可选地,X射线图像600可以是通过对原始图像进行后处理而获得的后处理图像。后处理可包括例如用于减少或去除原始图像的噪声的处理、以及用于使图像清晰的滤波处理。在操作S510接收的医学图像是未经改变的表示对象的图像,并且可以是在用于产生阅读辅助图像的处理之前的图像。
在操作S520中,基于在操作S510接收的医学图像确定对象是否具有异常,并且基于该确定来确定是否发送与医学图像相关联的至少一个阅读辅助图像。
详细地,操作S520可包括确定对象是否具有异常的操作S521、以及将确定结果分类为当对象正常时的情况S522和当对象异常时的情况S523的操作。
操作S520可由控制器310或DNN处理器330执行。如上所述,操作S520可经由CAD操作或根据AI技术执行机器学习的AI系统来执行。现在将说明和描述经由根据AI技术而执行的DNN操作来执行确定操作S520的情况。将参考图7更详细地描述经由DNN操作的确定操作S520。图7是用于解释在根据实施例的设备和方法中使用的DNN的示图。现在将说明和描述由DNN处理器330执行经由DNN 720的操作的情况。
DNN处理器330可经由DNN 720执行操作,其中,DNN 720包括输入层、隐藏层和输出层。隐藏层可包括多个层,例如,第一隐藏层、第二隐藏层和第三隐藏层。
参照图7,DNN 720包括输入层730、隐藏层740和输出层750。图7示出DNN 720,其中,DNN 720执行分析包括在作为输入数据的医学图像中的信息以确定在医学图像上对象图像是否具有异常、并且输出关于对象的具有异常的一部分的分析信息的DNN操作。详细地,当输入数据是X射线图像710时,DNN 720将通过分析包括在X射线图像710中的对象图像而获得的结果数据作为输出数据进行输出。X射线图像710与在操作S510接收的医学图像相应。
形成DNN 720的多个层可包括接收数据的多个节点731。如图7所示,两个相邻层经由多条边736彼此连接。因为节点分别具有权重值,所以DNN 720可基于通过对输入信号和权重值中的每个权重值执行算术运算(例如,乘法)而获得的值来获得输出数据。
DNN 720可基于神经网络执行推断和预测操作,并且DNN操作可包括CNN操作等。换言之,可使用执行CNN操作的CNN来实现DNN 720。
参照图7,输入层730接收通过扫描作为对象的胸部而获得的X射线图像710。X射线图像710可以是通过扫描在他的或她的右胸上具有病变711的对象而获得的图像。
参照图7,DNN 720可包括形成在输入层730与第一隐藏层之间的第一层761、形成在第一隐藏层与第二隐藏层之间的第二层762、形成在第二隐藏层与第三隐藏层之间的第三层763、以及形成第三隐藏层和输出层750之间的第四层764。
包括在DNN 720的输入层730中的多个节点接收与X射线图像710相应的多条数据。多条数据可以是通过执行分割X射线图像710的滤波处理而产生的多个局部图像。
通过包括在隐藏层740中的多个层中的操作,输出层750可输出与X射线图像710对应的多条输出数据/图像770和780。在所示说明中,因为DNN 720执行操作以获得指示包括在输入的X射线图像710中的对象是否具有异常的数据,所以输出层750可输出显示从输入的X射线图像710检测到的病变771的图像770和/或通过分析检测到的病变771而获得的数据780。数据780是指示检测到的病变771的特征的信息,并且可包括病变771的类型、严重性、进展、大小和位置。
为了提高经由DNN 720输出的输出数据的准确性,可在从输出层750到输入层730的方向上执行学习,并且可校正权重值,使得输出数据的准确性提高。因此,在X射线图像710被输入之前,DNN 720可通过使用多个不同的胸部X射线图像来执行深度学习,以在用于准确地检测包括在胸部X射线图像中的异常部分的方向上(即,提高检测异常部分的准确性的方向上)校正节点的各自的权重值。
DNN 720可自动执行确定对象是正常还是异常的操作。DNN 720可自动执行分析异常对象以产生指示异常对象的异常部分的特征的图像或数据的操作。
详细地,在图5A的操作S520,可仅确定对象是否具有异常。换言之,在图5A的操作S520,可经由DNN 720仅执行确定对象是具有异常并因此处于异常状态还是没有异常并因此处于正常状态的操作。可不在操作S520执行用于获得图7的数据780的附加分析操作。
换言之,为了执行操作S520,DNN 720执行确定对象是正常还是异常的操作。当确定对象处于异常状态时,DNN 720可执行与操作S540相应的学习操作。
返回参照图5A,当在操作S521确定对象正常时(情况S522),在操作S530,仅将除了阅读辅助图像之外的医学图像发送到外部设备。也就是说,操作S530涉及跳过图像产生操作S542和操作S541。
另一方面,当在操作S521确定对象异常时(情况S523),可进一步执行操作S540。操作S540可由控制器310或DNN处理器330执行。详细地,可经由DNN 720执行操作S541。
详细地,当确定对象异常时(情况S523),在操作S542,可产生与医学图像相关联的至少一个阅读辅助图像。
医学图像发送方法500还可包括在确定对象异常时(情况S523)分析医学图像的操作S541。基于分析的结果,在操作S542,可产生与医学图像相关联的至少一个阅读辅助图像。
现在将参照图8A至图8D详细描述操作S541和S542。
图8A是示出与对象具有异常时相应的医学图像的示图。图8B至图8D是示出当对象具有异常时产生的阅读辅助图像的示图。
参照图8A,可将在胸部中产生病变的情况示出为对象具有异常的情况,并且X射线图像810可以是原始医学图像。
图8B、图8C和图8D分别示出基于X射线图像810获得的骨抑制图像830、基于X射线图像810获得的检测到病变的CAD图像850、以及基于X射线图像810获得的异常图870。图8B、图8C和图8D中示出的所有图像可以是通过处理X射线图像810而获得的图像。具体地,图8B、图8C和图8D中示出的图像可通过将X射线图像810输入到DNN 720的输入层730并对输入的X射线图像810执行学习操作而被获得,并由输出层750输出。
参照图8A,当从作为医学图像的X射线图像810检测到病变811时,可确定对象具有异常。
当对象具有异常时,医学成像设备300可通过使用作为医学图像的X射线图像810来产生至少一个阅读辅助图像,例如,骨抑制图像830、检测到病变的CAD图像850和异常图870。
参照图8B,骨抑制图像830是这样的图像:通过去除存在于胸部中的骨骼(包括胸骨)更清楚地在该图像上显示存在于胸部中的器官。骨抑制图像830可经由基于DNN 720的上述操作获得。骨抑制图像830可经由CAD操作获得。已经从骨抑制图像830去除了隐藏病变811的胸骨。因此,医生可通过使用骨抑制图像830更准确地观察病变811。
参照图8C,检测到病变的CAD图像850是这样的图像:存在于对象中的病变通过CAD操作被检测并被显示被该图像上。检测到病变的CAD图像850将标记851放置在具有病变811的对象部分上,使得医生可一眼确定病变811的存在。
参照图8D,异常图870是这样的图像:包括在对象中的组织或详细区域的异常部分被检测并被分类为至少一个阶段并且被显示在该图像上。异常图870不同地显示正常对象部分和具有病变的部分871,使得医生可容易地检查对象的异常部分和异常程度。
返回参照图5A,在医学图像发送方法500中,在操作S543,将在操作S542产生的至少一个阅读辅助图像与医学图像一起发送到外部设备390。操作S543可在控制器310的控制下由通信器320执行。
在医学图像发送方法500中,在操作S550,可显示或存储获得的医学图像和获得的至少一个阅读辅助图像中的至少一个。
详细地,当对象正常时,不产生阅读辅助图像,因此存储器350可仅存储医学图像。当对象正常时,显示器340可仅显示医学图像,而不显示阅读辅助图像。
另一方面,当对象异常时,产生医学图像和至少一个阅读辅助图像,因此存储器350可存储医学图像和至少一个阅读辅助图像。当对象异常时,显示器340可显示医学图像和至少一个阅读辅助图像。
图5B是根据另一实施例的医学图像发送方法555的流程图。图5B中的与以上参照图5A描述的操作相同的操作由相同的标号指示,因此在图5B的医学图像发送方法555的描述中省略以上参照图5A给出的医学图像发送方法500的重复描述。
参照图5B,在医学图像发送方法555中,在操作S560,可获得医学图像和与医学图像相关联的至少一个阅读辅助图像。详细地,在医学图像发送方法555中,可获得与医学图像相关联的至少一个阅读辅助图像,而不管对象是否具有异常。详细地,在医学图像发送方法555中,可在确定对象是否具有异常之前获得医学图像和与医学图像相关联的至少一个阅读辅助图像。可在控制器310的控制下执行操作S560。
在操作S520,基于在操作S560接收的医学图像确定对象是否具有异常,并且基于该确定来确定是否发送与医学图像相关联的至少一个阅读辅助图像。
当在操作S521确定对象正常时(情况S522),在操作S530,将除了阅读辅助图像之外的医学图像发送到外部设备。另一方面,当确定对象异常时(情况S523),在操作S543,将医学图像和至少一个阅读辅助图像两者发送到外部设备。
在医学图像发送方法555中,在操作S550,可显示或存储获得的医学图像和获得的至少一个阅读辅助图像中的至少一个。
图5C是根据另一实施例的医学图像发送方法570的流程图。
参照图5C,在医学图像发送方法570中,在操作S510,可获得对象的医学图像。
在医学图像发送方法570中,在操作S580,可基于在操作S510获得的医学图像产生与所述医学图像相关联的至少一个阅读辅助图像,而不管对象是否具有异常。详细地,在医学图像发送方法570中,可在确定对象是否具有异常之前获得与医学图像相关联的至少一个阅读辅助图像。可在控制器310的控制下执行操作S580。操作S580对应于图5A的操作S542。因此,将省略其详细描述。
随后,在操作S520,基于在操作S510接收的医学图像确定对象是否具有异常,并且基于该确定来确定是否发送与医学图像相关联的至少一个阅读辅助图像。
当在操作S521确定对象正常时(情况S522),在操作S530,将除了阅读辅助图像之外的医学图像发送到外部设备。另一方面,当确定对象异常时(情况S523),在操作S543,将医学图像和至少一个阅读辅助图像两者发送到外部设备。
在操作S550,可显示或存储获得的医学图像和获得的至少一个阅读辅助图像中的至少一个。
如上所述,在根据实施例的医学图像发送方法400和500以及执行医学图像发送方法400和500的医学成像设备200和300中,当基于医学图像确定对象是正常的时,不将与医学图像相关联的阅读辅助图像发送到外部设备,从而防止不必要的数据发送和数据产生。换言之,当对象没有异常时,可防止阅读辅助图像的不必要的产生和/或发送。因此,可优化医学图像阅读的工作流程,并且医生等不需要不必要地阅读阅读辅助图像,从而提高阅读效率。
在根据实施例的医学图像发送方法500和执行医学图像发送方法500的医学成像设备300中,当对象具有异常时,与医学图像相关联的多个阅读辅助图像可被产生,并可基于对象的异常部分的特征按照特定顺序被布置。可将医学图像和按照特定顺序布置的多个阅读辅助图像发送到外部设备390。该操作可在控制器310的控制下执行。在医学图像发送方法500中,布置操作可在操作S542之后执行。
详细地,医学成像设备300可通过分析医学图像来检测异常特征。异常特征是表示异常部分的特征信息,因此可包括疾病的类型、疾病的位置、异常部分是疾病的概率、疾病的进展、疾病的进展阶段、和/或特征信息的可靠性。可布置阅读辅助图像,使得可按优先级顺序布置清楚地示出这些异常特征的图像。
例如,当医学成像设备300分析医学图像并检测肺气胸时,异常特征可包括肺气胸的大小和肺气胸在对象内的位置的信息。
医学成像设备300可基于异常特征按照更清楚地示出对象的异常部分(详细地,检测到的疾病)的图像的顺序布置多个阅读辅助图像。
详细地,参照图8A至图8D,当作为分析医学图像810的结果而从对象检测到病变811时,可布置多个阅读辅助图像,使得清楚地示出病变811的阅读辅助图像被优先化。例如,可产生骨抑制图像830、检测到病变的CAD图像850和异常图870作为与医学图像810相关联的阅读辅助图像。因为病变811在骨抑制图像830(其是去除了骨骼的图像)上被最清楚地示出,所以骨抑制图像830可以以最高优先级被布置,检测到病变的CAD图像850(其中,在检测到病变的CAD图像850上,病变811被第二清楚地示出)可布置在骨抑制图像830之后,并且异常图870可布置在最后。
作为另一示例,当疾病的可能性被包括作为异常特征信息时,可布置多个阅读辅助图像,使得清楚地示出很可能是疾病的对象部分的图像被优先化。例如,当作为分析医学图像的结果,对象的多个部分或身体部分具有异常时,清楚地示出最可能是疾病的部分的阅读辅助图像可以以最高优先级被布置,并且清楚地示出第二最可能是疾病的部分的阅读辅助图像可以以次高优先级被布置。
当对象具有特定病变时,医学成像设备300可基于作为病变的特征的异常特征来选择将被产生的阅读辅助图像的类型。该选择可由控制器310执行。上述检测异常特征的操作可通过基于神经网络的上述操作来执行。
详细地,当对象具有特定病变时,控制器310可基于病变的特征确定将被产生的阅读辅助图像的类型,并且可根据确定的类型产生至少一个阅读辅助图像。例如,控制器310可选择能够清楚地示出病变的阅读辅助图像的类型,并且可控制所选类型的阅读辅助图像被产生。
图9是示出在根据实施例的设备和方法中产生的UI屏幕的示图。
根据实施例的医学成像设备300可根据对象是否具有异常,产生包括指示对象正常或异常的信息的医学图像,使得与当对象具有异常并因此而异常的时候相应的医学图像可区别于与当对象没有异常并且因此而正常的时候相应的医学图像。
详细地,当对象没有异常时,医学成像设备300可将指示对象正常的正常标记附贴到医学图像。详细地,控制器310可控制附贴有正常标记的医学图像被产生。正常标记是指示没有从对象检测到异常部分的信息,并且可使用字符、符号和颜色中的至少一个来表示。虽然表示为“标记”,但该标记表示区分正常和异常的所有符号。例如,可通过使医学图像的轮廓颜色不同来将对象正常的情况和对象异常的情况彼此相区分。
参照图9,当作为分析对象的医学图像910的结果而没有从对象检测到异常部分并且因此医学成像设备300确定对象是正常的时,医学成像设备300可产生附贴有正常标记“N”920的医学图像910。示出的正常标记“N”920是指示“正常”的标记。
当对象正常时,医学成像设备300可将附贴有正常标记“N”920的医学图像910发送到外部设备390。
当对象没有异常时,医学成像设备300可产生与包括除了阅读辅助图像之外的医学图像910的第一UI屏幕900相应的数据。医学成像设备300的通信器320可在控制器310的控制下将与第一UI屏幕900相应的数据发送到外部设备390。然后,外部设备390的显示器(未示出)可显示第一UI屏幕900。
医学成像设备300可在显示器340上显示医学图像910或第一UI屏幕900。
如上所述,当通过对医学图像910的分析确定对象是正常的时,根据实施例的医学成像设备300可不产生阅读辅助图像,并且可既不将任何阅读辅助图像发送到外部设备390,也不在显示器340上显示任何阅读辅助图像。
换言之,用户(诸如,医生)可通过经由显示在显示器上的第一UI屏幕900检查正常标记“N”920,容易且快速地确定对象是正常的。当确定对象是正常的时,用户(诸如,医生)不花费时间阅读阅读辅助图像,从而提高了阅读效率和诊断效率。
图10是示出在根据实施例的设备和方法中产生的UI屏幕的另一示图。
参照图10,当对象具有异常时,根据实施例的医学成像设备300可将指示对象异常的异常标记“Ab”1020附贴到医学图像1010。详细地,控制器310可控制附贴有异常标记的医学图像被产生。异常标记是指示从对象检测到至少一个异常部分的信息。类似于正常标记,可使用字符、符号和颜色中的至少一个来表示异常标记。
图10示出从对象检测到病变1011并因此确定对象异常的情况。
参照图10,当医学成像设备300由于作为分析医学图像910(其是对象的图像)的结果而已经从对象检测到异常部分,因此确定对象异常时,医学成像设备300可产生附贴有异常标记“Ab”1020的医学图像1010。示出的异常标记“Ab”1020是指示“异常”的标记。
当对象异常时,医学成像设备300可将附贴有异常标记“Ab”1020的医学图像1010与一个或更多个阅读辅助图像1030、1040和1050一起发送到外部设备390。
当对象具有异常并且因此确定对象异常时,医学成像设备300可产生与包括医学图像1010和阅读辅助图像1030、1040和1050的第二UI屏幕1000相应的数据。医学成像设备300的通信器320可在控制器310的控制下将与第二UI屏幕1000相应的数据发送到外部设备390。然后,外部设备390的显示器(未示出)可显示第二UI屏幕1000。
医学成像设备300可在显示器340上显示医学图像1010或第二UI屏幕1000。
图11是示出在根据实施例的设备和方法中产生的UI屏幕的另一示图。
参照图11,UI屏幕1100包括图10的第二UI屏幕1000中包括的医学图像1010和多个阅读辅助图像1030、1040和1050。
根据实施例的医学成像设备300可在显示器340上显示UI屏幕1100。根据实施例的医学成像设备300可经由UI单元360接收用户的操纵、输入或请求。
详细地,响应于选择在UI屏幕1100上显示的多个阅读辅助图像1030、1040和1050中的一个的选择输入,控制器310可控制选择的阅读辅助图像被显示在显示有医学图像1010的主屏幕区域上。
医学成像设备300可接收在UI屏幕1100上显示的医学图像1010上设置感兴趣区域(ROI)的输入。然后,医学成像设备300可放大并显示在医学图像1010上设置的ROI。例如,用户可将对象的具有病变的部分设置为ROI,因此可精确地观察具有病变的部分。
医学成像设备300可接收选择在UI屏幕1100上显示的多个阅读辅助图像1030、1040和1050中的一个的选择输入,然后可接收在医学图像1010上设置ROI的输入。
例如,UI单元360可包括用于在UI屏幕1100上选择或设置特定部分的鼠标。用户可通过操纵鼠标来输入或选择特定数据。在以上示例中,用户可通过使用鼠标从UI屏幕1100上显示的多个阅读辅助图像1030、1040和1050中选择阅读辅助图像1050(即异常图),然后可在医学图像1010上设置ROI1110。
然后,医学成像设备300可将通过放大异常图1050(其中,异常图1050是选择的阅读辅助图像)中的与ROI 1110相应的部分而获得的图像1120重叠在医学图像1010上,并可显示重叠的结果。
因此,用户可从阅读辅助图像放大并查看具有病变的部分,从而便于对病变进行诊断。
图12A和12B是示出在根据实施例的设备和方法中产生的UI屏幕的其他示图。
参照图12A,当通过分析医学图像确定对象具有异常时,根据实施例的医学成像设备300可将对象的异常部分的异常分类为多个阶段1210。例如,医学成像设备300可将正常情况分类为正常(N)阶段1211(其中,正常(N)阶段1211是单个阶段),并且可将异常情况分类为以下五个阶段中的一个阶段:Ab1(异常1)阶段1212至Ab5(异常5)阶段1214。
换言之,根据对对象的异常部分的异常的分析,可将显示的异常标记分类为多个阶段中的单个阶段,并且可显示异常分类。
详细地,可基于异常部分的大小、存在于异常部分中的疾病的进展、以及存在于异常部分中的疾病的严重性来设置或定义多个阶段。
可选地,医学成像设备300可将多个阶段与多个颜色级别或多个灰度级别相匹配,并且可在医学图像中反映匹配的颜色。例如,在包括多个灰度级别或多个颜色级别的颜色条1220中,最亮的颜色可与N阶段1211(其是正常阶段)相匹配,并且最暗的颜色可与Ab5阶段1214(其是具有最高异常的阶段)相匹配。在另一示例中,每个阶段可被设置为具有特定颜色(诸如,红色、橙色、绿色、蓝色等),使得用户可仅通过查看所显示的特定颜色来快速确定阶段。
医学成像设备300可通过使用颜色条1220上的标记1221来显示从当前医学图像检测到的异常部分的异常。换言之,当异常阶段与特定颜色相应时,医学成像设备300可以在颜色条1220的特定颜色所在的部分上显示标记1221。
指示正常或异常的程度的多个阶段可使用字符、符号和颜色中的至少一个、或它们的组合来表示。
参照图12B,UI屏幕1250与对象具有异常的情况相应。UI屏幕1250包括医学图像1260和多个阅读辅助图像1280。医学成像设备300可在医学图像1260上显示标记1270,其中,标记1270指示对象的异常部分的异常的阶段。因此,用户可从医学图像1260快速地确定对象的疾病的进展阶段或对象的疾病的严重性。
图13是示出根据实施例的医学成像设备的实现方式的框图。
根据实施例的医学成像设备300可安装在捕获医学图像的设备(例如,图1的X射线设备100、CT设备、MRI系统或超声波诊断设备)的工作站(例如,X射线设备100的工作站180)或控制台上。图13的医学成像设备1320可与上述工作站(例如,X射线设备100的工作站180)或上述控制台相应。
根据实施例的医学图像发送方法500可由图13的医学成像设备1320执行。
参照图13,医学成像设备1320可接收包括通过在操作S1305执行医学图像捕获而获得的捕获图像或原始数据1310的数据,并且可在操作S1325基于接收到的数据获得医学图像。在操作S1331,医学成像设备1320可基于医学图像确定对象是否具有异常。当确定对象具有异常并且因此被分类为异常状态时,在步骤S1333,医学成像设备1320可自动产生包括指示异常特征的信息和/或至少一个阅读辅助图像的异常阅读辅助数据。在操作S1335中,医学成像设备1320可将产生的数据自动发送到外部设备390,例如,PACS服务器1350。
图14是示出根据实施例的医学成像设备的另一实现方式的框图。图14的与图13的组件相同的组件由相同的标号或字符指示。因此,在对图14中示出的组件的描述中省略其重复描述。
根据实施例的医学成像设备300可安装在独立于捕获医学图像的设备(例如,图1的X射线设备100、CT设备、MRI系统或超声波诊断设备)的特定设备或服务器上。例如,图14的医学成像设备1420可安装在用于分析的工作站、外部医学设备、PACS查看器、外部医学服务器或医院服务器上。
根据实施例的医学图像发送方法500可以由图14的医学成像设备1420执行。
详细地,当工作站1410与图1的X射线设备100的工作站180相应时,工作站1410可将通过医学图像捕获而获得的医学图像发送到医学成像设备1420,其中,医学成像设备1420是医院内的另一医学服务器。然后,医学成像设备1420可基于接收的医学图像自动确定对象是否正常,并且可执行附加的阅读操作。
参照图14,捕获医学图像的设备的工作站1410可接收包括通过在操作S1305执行医学图像捕获而获得的捕获图像或原始数据的数据,并且可基于接收的数据获得医学图像。工作站1410将获得的医学图像发送到医学成像设备1420。然后,医学成像设备1420可执行操作S1430。详细地,在操作S1331,医学成像设备1420可基于医学图像确定对象是否具有异常。当确定对象具有异常并且因此被分类为异常状态时,在操作S1333,医学成像设备1420可自动产生包括指示异常特征的信息和/或至少一个阅读辅助图像的异常阅读辅助数据。在操作S1335,医学成像设备1420可自动地将产生的数据自动发送到外部设备390,例如,PACS服务器1450。
当工作站1410与图1的X射线设备100的工作站180相应时,工作站1410可将通过医学图像扫描而获得的医学图像立即发送到外部设备390,例如PACS服务器1450。医学成像设备1420可从外部设备390(例如,PACS服务器1450)接收医学图像,可基于接收的医学图像执行操作S1331和S1333,并且可将作为操作S1331和S1333的结果而产生的异常阅读辅助数据发送到外部设备390(例如,PACS服务器1450)。也就是说,工作站1410可直接连接到PACS服务器1450,并且PACS服务器1450可直接与医学成像设备1420通信。
因此,外部设备390(例如,PACS服务器1450)可获得医学图像和异常阅读辅助数据,并将获得的医学图像和获得的异常阅读辅助数据提供给用户(诸如,医生)。
图15是示出根据实施例的医学成像设备的另一实现方式的框图。图15的与图13和14的组件相同的组件由相同的标号或字符指示。因此,在对图15中示出的组件的描述中省略其重复描述。
根据实施例的医学成像设备300可安装在独立于捕获医学图像的设备(例如,图1的X射线设备100、CT设备、MRI系统或超声波诊断设备)的特定设备或服务器上。例如,图15的医学成像设备1520可安装在用于分析的工作站、外部医学设备、PACS服务器、外部医学服务器或医院服务器上。
根据实施例的医学图像发送方法500可由图15的医学成像设备1520执行。图15的实施例与图14的实施例的不同之处在于:医学成像设备1520是能够独立处理、存储和管理医学图像数据的独立的电子设备(诸如,PACS服务器),因此可自主地存储和管理至少一个阅读辅助图像而无需向另一外部设备发送至少一个阅读辅助图像。
参照图15,捕获医学图像的设备的工作站1410可接收包括通过在操作S1305执行医学图像捕获而获得的捕获图像或原始数据的数据,并且可基于接收的数据获得医学图像。工作站1410将获得的医学图像发送到医学成像设备1520,例如PACS服务器。然后,医学成像设备1520可执行操作S1430。详细地,在操作S1331中,医学成像设备1520可基于医学图像确定对象是否具有异常。当确定对象具有异常并且因此被分类为异常状态时,在步骤S1333,医学成像设备1520可自动产生包括指示异常特征的信息和/或至少一个阅读辅助图像的异常阅读辅助数据。在操作S1545,医学成像设备1520可自动存储产生的异常阅读辅助数据。医学成像设备1520可将经由操作S1430获得的异常阅读辅助数据和医学图像中的至少一个发送到PACS查看器或连接到PACS查看器的工作站1530。然后,PACS查看器或连接到PACS查看器的工作站1530可将接收的异常阅读辅助数据和接收的医学图像提供给诸如医生的用户。
图15示出图15的操作S1430由医学成像设备1520执行的情况。然而,图15的操作S1430也可由PACS查看器或连接到PACS查看器的工作站1530执行,其中,PACS查看器和工作站1530连接到医学成像设备1520。
在根据实施例的医学图像发送方法和执行所述医学图像发送方法的医学成像设备中,当基于医学图像确定对象是正常的时,不向外部设备发送与医学图像相关联的阅读辅助图像,从而防止数据的不必要的发送和产生。因此,当对象没有异常时,可防止阅读辅助图像的不必要的产生和/或发送。因此,可优化医学图像阅读的工作流程,并且医生等不需要不必要地阅读阅读辅助图像,从而提高阅读效率。
实施例可通过其上记录有计算机可执行指令和数据的非暂时性计算机可读记录介质来实现。指令可以以程序代码的形式存储,并且当由处理器执行时,产生预定程序模块以执行特定操作。此外,指令在由处理器执行时可执行根据实施例的特定操作。
虽然已经参考附图描述了一个或更多个实施例,但是本领域中的普通技术人员将理解,在不脱离由权利要求限定的本公开的精神和范围的情况下,可在其中进行形式和细节上的各种改变。
因此,以上实施例及其所有方面仅是示例而非限制。
Claims (15)
1.一种医学图像发送方法,包括:
获得通过对对象进行成像而产生的医学图像;
基于所述医学图像确定所述对象是否具有异常;
基于确定的结果来确定是否发送与所述医学图像相关联的至少一个辅助图像;
当所述对象没有异常时,向外部设备发送所述医学图像。
2.根据权利要求1所述的医学图像发送方法,其中,向外部设备发送所述医学图像的步骤包括:当所述对象没有异常时,不产生与所述医学图像相关联的所述至少一个辅助图像。
3.如权利要求1所述的医学图像发送方法,其中,
获得所述医学图像的步骤包括:获得医学图像和所述至少一个辅助图像。
4.如权利要求1所述的医学图像发送方法,还包括:
当所述对象具有异常时,产生与所述医学图像相关联的至少两个辅助图像;
基于所述对象的异常的特征按照特定顺序布置所述至少两个辅助图像,并且向外部设备发送所述医学图像和按照所述特定顺序布置的所述至少两个辅助图像。
5.如权利要求1所述的医学图像发送方法,其中,向外部设备发送所述医学图像的步骤包括:当所述对象没有异常时,将指示所述对象正常的正常标记附贴到所述医学图像,并且向外部设备发送已附贴了正常标记的所述医学图像。
6.如权利要求5所述的医学图像发送方法,其中,向外部设备发送所述医学图像的步骤还包括:当所述对象具有异常时,将指示对象异常的异常标记附贴到所述医学图像,并且向外部设备发送已附贴了异常标记的所述医学图像。
7.如权利要求6所述的医学图像发送方法,其中,异常标记根据异常的异常程度被分类为多个阶段中的一个阶段,并且所述多个阶段被显示在显示器上。
8.如权利要求1所述的医学图像发送方法,还包括:
当所述对象具有病变时,基于病变的特征确定将被产生的辅助图像的类型,并根据确定的类型产生所述至少一个辅助图像;
向外部设备发送所述医学图像和所述至少一个辅助图像。
9.如权利要求1所述的医学图像发送方法,还包括:
当所述对象没有异常时,产生与第一用户界面(UI)屏幕相应的数据,其中,第一UI屏幕包括所述医学图像;
当所述对象具有异常时,产生与第二UI屏幕相应的数据,其中,第二UI屏幕包括所述医学图像和所述至少一个辅助图像。
10.如权利要求9所述的医学图像发送方法,还包括:
当所述对象没有异常时,向外部设备发送与第一UI屏幕相应的数据;
当所述对象具有异常时,向外部设备发送与第二UI屏幕相应的数据。
11.如权利要求1所述的医学图像发送方法,其中,确定所述对象是否具有异常的步骤包括:通过基于深度神经网络(DNN)的学习操作来确定所述对象是否具有异常。
12.如权利要求1所述的医学图像发送方法,其中,
所述医学图像包括X射线图像,并且
外部设备包括图片存档通信系统(PACS)服务器、PACS查看器和用于控制执行医学图像捕获的医学成像设备的工作站中的至少一个。
13.如权利要求1所述的医学图像发送方法,其中,确定所述对象是否具有异常的步骤包括:分析所述医学图像并在所述医学图像中检测病变的存在,
其中,所述至少一个辅助图像包括病变的图像和指示病变的存在的标记。
14.一种医学成像设备,包括:
通信器,被配置为与外部设备通信;
控制器,被配置为:
获得通过对对象进行成像而产生的医学图像,
基于所述医学图像确定所述对象是否具有异常,
基于确定的结果来确定是否发送与所述医学图像相关联的至少一个辅助图像,
当所述对象没有异常时,控制通信器向外部设备发送所述医学图像。
15.一种医学成像设备,包括:
显示器;
控制器,被配置为:
获得通过对对象进行成像而产生的医学图像,
分析所述医学图像以确定所述医学图像中是否存在异常,
如果所述医学图像中存在异常,则产生至少一个辅助图像并控制显示器显示所述医学图像和所述至少一个辅助图像两者,
如果所述医学图像中不存在异常,则控制显示器仅显示所述医学图像,而不显示所述至少一个辅助图像。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20170142565 | 2017-10-30 | ||
KR10-2017-0142565 | 2017-10-30 | ||
KR1020180129779A KR20190049524A (ko) | 2017-10-30 | 2018-10-29 | 의료 영상 전송 방법 및 그에 따른 의료 영상 장치 |
KR10-2018-0129779 | 2018-10-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109741812A true CN109741812A (zh) | 2019-05-10 |
Family
ID=64048728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811275981.5A Pending CN109741812A (zh) | 2017-10-30 | 2018-10-30 | 发送医学图像的方法以及执行所述方法的医学成像设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190125306A1 (zh) |
EP (1) | EP3477655A1 (zh) |
CN (1) | CN109741812A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101916347B1 (ko) * | 2017-10-13 | 2018-11-08 | 주식회사 수아랩 | 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램 |
US10783634B2 (en) * | 2017-11-22 | 2020-09-22 | General Electric Company | Systems and methods to deliver point of care alerts for radiological findings |
KR102144672B1 (ko) * | 2020-01-17 | 2020-08-14 | 성균관대학교산학협력단 | 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법 |
US11515033B2 (en) * | 2020-04-22 | 2022-11-29 | GE Precision Healthcare LLC | Augmented inspector interface with targeted, context-driven algorithms |
DE102020215064A1 (de) * | 2020-11-30 | 2022-06-02 | Siemens Healthcare Gmbh | Verfahren und Magnetresonanzvorrichtung zur automatischen Interaktion mit einem Patienten |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604458A (zh) * | 2008-06-11 | 2009-12-16 | 美国西门子医疗解决公司 | 用于显示预先绘制的计算机辅助诊断结果的方法 |
US20110144482A1 (en) * | 2009-12-11 | 2011-06-16 | Fujifilm Corporation | Image display device and method, as well as program |
US20120250961A1 (en) * | 2011-03-30 | 2012-10-04 | Fujifilm Corporation | Medical report generation apparatus, method and program |
US20130257910A1 (en) * | 2012-03-28 | 2013-10-03 | Samsung Electronics Co., Ltd. | Apparatus and method for lesion diagnosis |
US20160027175A1 (en) * | 2014-07-23 | 2016-01-28 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting diagnosis of region of interest by providing comparison image |
US20170270695A1 (en) * | 2016-03-16 | 2017-09-21 | General Electric Company | Systems and methods for progressive imaging |
US10140421B1 (en) * | 2017-05-25 | 2018-11-27 | Enlitic, Inc. | Medical scan annotator system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9760989B2 (en) * | 2014-05-15 | 2017-09-12 | Vida Diagnostics, Inc. | Visualization and quantification of lung disease utilizing image registration |
EP3150123B1 (en) * | 2015-09-29 | 2018-08-29 | Koninklijke Philips N.V. | Improved visualization of projection x-ray image |
-
2018
- 2018-10-30 US US16/174,585 patent/US20190125306A1/en active Granted
- 2018-10-30 CN CN201811275981.5A patent/CN109741812A/zh active Pending
- 2018-10-30 EP EP18203288.8A patent/EP3477655A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101604458A (zh) * | 2008-06-11 | 2009-12-16 | 美国西门子医疗解决公司 | 用于显示预先绘制的计算机辅助诊断结果的方法 |
US20110144482A1 (en) * | 2009-12-11 | 2011-06-16 | Fujifilm Corporation | Image display device and method, as well as program |
US20120250961A1 (en) * | 2011-03-30 | 2012-10-04 | Fujifilm Corporation | Medical report generation apparatus, method and program |
US20130257910A1 (en) * | 2012-03-28 | 2013-10-03 | Samsung Electronics Co., Ltd. | Apparatus and method for lesion diagnosis |
US20160027175A1 (en) * | 2014-07-23 | 2016-01-28 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting diagnosis of region of interest by providing comparison image |
US20170270695A1 (en) * | 2016-03-16 | 2017-09-21 | General Electric Company | Systems and methods for progressive imaging |
US10140421B1 (en) * | 2017-05-25 | 2018-11-27 | Enlitic, Inc. | Medical scan annotator system |
US20180341747A1 (en) * | 2017-05-25 | 2018-11-29 | Enlitic, Inc. | Medical scan annotator system |
Also Published As
Publication number | Publication date |
---|---|
EP3477655A1 (en) | 2019-05-01 |
US20190125306A1 (en) | 2019-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11341646B2 (en) | Systems and methods to deliver point of care alerts for radiological findings | |
US11049250B2 (en) | Systems and methods to deliver point of care alerts for radiological findings | |
KR101887194B1 (ko) | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
KR102243830B1 (ko) | 통합 의료 진단 서비스 제공 시스템 및 그 방법 | |
CN109741812A (zh) | 发送医学图像的方法以及执行所述方法的医学成像设备 | |
KR101874348B1 (ko) | 피검체의 흉부 pa 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
KR101533353B1 (ko) | 환자 정보와 진단 정보를 이용하여 의료 기기의 동작을 제어하기 위한 방법 및 장치 | |
CN109310317A (zh) | 用于自动医学诊断的系统和方法 | |
JP6930411B2 (ja) | 情報処理装置及び情報処理方法 | |
CN109074869B (zh) | 医疗诊断支持装置、信息处理方法以及医疗诊断支持系统 | |
JP2020035432A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
US20240127436A1 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
JPWO2010050334A1 (ja) | 情報処理装置 | |
US20190148015A1 (en) | Medical information processing device and program | |
JP2007151645A (ja) | 医用画像診断支援システム | |
CN102292734A (zh) | 在图像处理期间预测用户交互 | |
KR20190049524A (ko) | 의료 영상 전송 방법 및 그에 따른 의료 영상 장치 | |
US11967424B2 (en) | Information processing apparatus, information processing method, and recording medium | |
CN111226287A (zh) | 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质 | |
EP3362925B1 (en) | Systems and methods for generating correct radiological recommendations | |
EP3716277B1 (en) | Medical care assistance device, and operation method and operation program therefor | |
JP7443929B2 (ja) | 医療診断支援装置、医療診断支援プログラム、および医療診断支援方法 | |
US12014823B2 (en) | Methods and systems for computer-aided diagnosis with deep learning models | |
CN115249527A (zh) | 用于产生医学检查信息并对其进行结构化的方法和系统 | |
JP7485512B2 (ja) | 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |