CN109886913B - 成像扫描中关键发现的标识 - Google Patents
成像扫描中关键发现的标识 Download PDFInfo
- Publication number
- CN109886913B CN109886913B CN201811479702.7A CN201811479702A CN109886913B CN 109886913 B CN109886913 B CN 109886913B CN 201811479702 A CN201811479702 A CN 201811479702A CN 109886913 B CN109886913 B CN 109886913B
- Authority
- CN
- China
- Prior art keywords
- neural network
- tissue
- images
- anatomical region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 62
- 210000003484 anatomy Anatomy 0.000 claims abstract description 39
- 230000001537 neural effect Effects 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000010801 machine learning Methods 0.000 claims abstract description 7
- 230000007547 defect Effects 0.000 claims description 66
- 238000012552 review Methods 0.000 claims description 22
- 238000002591 computed tomography Methods 0.000 claims description 15
- 230000001154 acute effect Effects 0.000 claims description 9
- 206010061216 Infarction Diseases 0.000 claims description 8
- 230000007574 infarction Effects 0.000 claims description 8
- 206010028980 Neoplasm Diseases 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 208000003906 hydrocephalus Diseases 0.000 claims description 7
- 230000003902 lesion Effects 0.000 claims description 7
- 230000000740 bleeding effect Effects 0.000 claims description 5
- 238000003325 tomography Methods 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 description 38
- 238000012549 training Methods 0.000 description 31
- 210000001519 tissue Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 14
- 238000012633 nuclear imaging Methods 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 208000032843 Hemorrhage Diseases 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000561734 Celosia cristata Species 0.000 description 3
- 208000034158 bleeding Diseases 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 210000001520 comb Anatomy 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 210000000798 superior sagittal sinus Anatomy 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 210000000103 occipital bone Anatomy 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 1
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 1
- 208000032382 Ischaemic stroke Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229940124645 emergency medicine Drugs 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/506—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of nerves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Dentistry (AREA)
- Neurology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pulmonology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
成像扫描中关键发现的标识。一种审查神经扫描的方法包括接收对应于解剖区域的至少一个界标。接收包括解剖区域的组织的多个图像,并且生成被配置为在解剖区域内的健康组织和不健康组织之间进行区分的神经网络。神经网络由机器学习过程生成,所述机器学习过程被配置为接收组织的多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子。接收包括解剖区域的组织的至少一个患者图像,以及由神经网络做出组织的至少一个患者图像是否包括健康或不健康组织的确定。
Description
技术领域
本公开的方面一般地涉及基于扫描图像的对患者中的异常的检测,并且更特别地涉及基于异常检测的对异常的标识和对扫描图像审查(review)的优先化。
背景技术
诸如非造影(non-contrast)计算机化断层摄影(CT)扫描之类的核成像(nuclearimaging)通常被用于在急诊和/或非急诊医学期间生成横截面成像研究。在扫描期间生成的图像(即,扫描图像)用作筛选工具(screening tool)以标识患者的大脑中的缺陷(或异常),如果存在的话。通过非造影CT扫描标识的常见缺陷除其他之外包括急性出血、急性梗塞、脑积水、肿块效应(mass effect)、肿块病变和颅内出血。
在当前的健康设置中,放射科医师在视觉上审查每个扫描以标识异常。许多扫描图像缺乏任何可见的发现,但仍然必须被审查,从而增加了患者治疗时间并且降低了关键发现标识的及时性。现有的筛选工作流程利用诸如患者年龄、事件的类型和严重性以及症状的临床表现(manifestations)之类的非成像信息来尝试优先化放射科医师对扫描的审查。尽管此类筛选工作流程可以提供一些过滤,但是现有的系统可能导致对关键发现的延迟的审查和标识,从而降低患者的预后结果(outcome)并且增加费用。
发明内容
在各种实施例中,一种审查神经扫描的方法包括接收对应于解剖区域的至少一个界标(landmark)并且接收包括解剖区域的组织的多个图像。神经网络被生成并且被配置为在解剖区域内的健康组织和不健康组织之间进行区分。由机器学习过程生成神经网络,所述机器学习过程被配置为接收组织的多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子。接收包括解剖区域的组织的至少一个患者图像并且神经网络确定组织的至少一个患者图像是否包括健康或不健康组织。
在各种实施例中,一种用于审查神经扫描的系统包括被配置为获得患者的神经图像的成像模态(modality)和被配置为实现神经网络的处理器。通过以下内容生成神经网络:接收对应于解剖区域的至少一个界标,接收包括解剖区域的组织的多个图像以及执行机器学习过程,所述机器学习过程被配置为审查组织的多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子。所述处理器被配置为经由神经网络标识神经图像中的缺陷。
在各种实施例中,还公开了一种利用计算机可执行指令编码的非暂时性计算机可读介质。计算机可执行指令在由系统中的计算机执行用于审查神经扫描时使得用于审查神经扫描的系统执行以下步骤:接收对应于解剖区域的至少一个界标,接收包括解剖区域的组织的多个图像,生成被配置为在解剖区域内的健康组织和不健康组织之间进行区分的神经网络,接收包括解剖区域的组织的至少一个患者图像以及经由神经网络确定组织的至少一个患者图像是否包括健康或不健康组织。神经网络由机器学习过程生成,所述机器学习过程被配置为接收组织的多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子。
附图说明
根据附图的元素,以下内容将清楚,出于说明性目的提供所述附图并且所述附图不一定是按比例绘制的。
图1图示了根据一些实施例的核成像系统。
图2图示了健康大脑的非造影CT扫描。
图3图示了包含急性出血的大脑的非造影CT扫描。
图4图示了包含肿块效应的大脑的非造影CT扫描。
图5图示了包含急性梗塞的大脑的非造影CT扫描。
图6图示了包含肿块病变的大脑的非造影CT扫描。
图7图示了包含脑积水的大脑的非造影CT扫描。
图8是图示了根据一些实施例的使用神经网络将扫描分类的方法的流程图。
图9图示了根据一些实施例的在图8中图示的将扫描图像分类的方法的步骤。
图10是图示了根据一些实施例的用于由神经网络进行处理的数据准备的方法的流程图。
图11图示了根据一些实施例的在图10中图示的数据准备的方法的步骤。
图12是图示了根据一些实施例的基于使用对称的补片(patch)将扫描图像分类的方法的流程图。
图13图示了根据一些实施例的使用Siamese网络的图12的对扫描图像分类的方法。
图14图示了根据一些实施例的使用三重态网络(triplet network)的图12的对扫描图像分类的方法。
图15是图示了根据一些实施例的用于标识和显示感兴趣的区域的定位(localization)的方法的流程图。
图16图示了根据一些实施例的图15的定位的方法。
图17是图示了根据一些实施例的使用界标偏差(landmark deviation)将扫描图像分类的方法的流程图。
图18是根据一些实施例的计算机系统的框图。
具体实施方式
旨在结合被认为是整个撰写的描述的部分的附图来阅读示例性实施例的该描述。如本文中使用的,术语“健康”、“正常”以及“无缺陷”可互换使用以指代在其中不包括任何异常、缺陷或其他病理(pathology)的解剖结构(例如大脑)。如本文中使用的,术语“不健康”、“异常”以及“包含缺陷”可互换使用以指代包含至少一个异常、缺陷或其他病理的解剖结构(例如大脑)。
在各种实施例中,公开了用于将患者的大脑的扫描进行分类的系统和方法。所述系统被配置为接收包含诸如大脑之类的一个或多个解剖结构的扫描图像。扫描图像可以由诸如核成像系统之类的成像设备生成,从存储器模块加载和/或以其他方式提供给系统。所述系统包括被配置为执行缺陷标识和检测的神经网络。所述神经网络被配置为接收扫描图像并且关于扫描图像中缺陷的存在或不存在生成输出。可以由被配置为接收包括多个扫描图像的训练数据集的学习网络生成神经网络。
图1图示了核成像系统2的一个实施例。核成像系统2包括在第一台架(gantry)16a中提供的用于至少第一模态12的扫描器。第一模态12包括被配置为检测湮灭光子(annihilation photon)、伽马射线和/或其他核成像事件的多个检测器50。在各种实施例中,第一模态12是计算机化断层摄影(CT)模态。患者17躺在可以在台架之间移动的可移动病床18上。在一些实施例中,核成像系统2包括在第二台架16b中提供的用于第二成像模态14的扫描器。第二成像模态14可以是任何合适的成像模态,诸如例如光子发射断层摄影(PET)模态、单光子发射断层摄影(SPECT)模态和/或任何其他合适的成像模态。
来自第一模态12的扫描数据被存储在一个或多个计算机数据库40处并且由计算机系统30的一个或多个计算机处理器60处理。仅通过说明的方式提供图1中的计算机系统30的图形描绘,并且计算机系统30可以包括一个或多个单独的计算设备。可以由第一模态12提供成像数据集和/或可以将成像数据集作为单独的数据集提供,诸如例如从耦合到计算机系统30的存储器提供。计算机系统30可以包括用于处理从多个检测器50中的一个接收的信号的一个或多个处理电子设备。
图2图示了无缺陷大脑102a的非造影CT扫描100a。无缺陷大脑102a关于中矢状平面(midsagittal plane)(MSP)(或中线)104对称并且通常包含均匀分布的大脑物质。图3-图7图示了根据一些实施例的大脑102b-102f的非造影CT扫描100b-100f,其中每个大脑具有至少一个缺陷。图3图示了包含急性出血106的大脑102b。急性出血106在CT扫描100b中被示出为较淡的区。图4图示了具有肿块效应的大脑102c,例如,由缺血性中风引起的水肿导致的。肿块效应108在CT扫描100c中被示出为较暗(或较密集)的区。图5图示了具有急性梗塞110的大脑102d。急性梗塞110是被示出为较暗(或较密集)的区的动脉梗塞。图6图示了包含肿块病变112的大脑102e。肿块病变112被示出为较淡的区。图7图示了包含脑积水114的大脑102f。图示的脑积水114是被示出为对称的较暗(或较密集)的区的脑室脑积水。虽然本文中图示并讨论了特定的缺陷,但是将理解,可以由本文中公开的系统和方法标识任何合适的神经缺陷。
如图3-图7中所示,可以通过非造影CT成像标识具有缺陷106-114的大脑102b-102f中的每个。以及时方式标识缺陷106-114对于为患者提供适当和及时的护理至关重要。图8图示了根据一些实施例的使用神经网络将扫描图像分类的方法200。方法200可以被用于将一个或多个扫描分类成多个类别,所述一个或多个扫描诸如一个或多个非造影CT扫描、PET扫描、SPECT扫描、MRI等。例如,在一些实施例中,方法200被配置为将每个扫描图像分类为高优先级扫描或低优先级扫描。可以基于扫描包含一个或多个缺陷的概率将每个扫描图像分等(classify)。在各种实施例中,方法200可以被应用于二维(2D)图像切片和/或三维(3D)图像体积。图9图示了应用于2D图像切片262的方法200的各个步骤。
在步骤202处,诸如图1中图示的计算机系统30之类的系统接收训练数据集250。训练数据集250包含多个训练图像252a-252c。多个训练图像252a-252c可以包含健康、不健康和/或健康和不健康的解剖结构的组合,诸如健康和/或不健康的神经学扫描图像。训练图像252a-252c中的每个可以包括标识与训练图像252a-252c相关的信息的关联数据,诸如是缺陷的存在和/或不存在、缺陷的类型、缺陷的位置和/或任何其他合适的信息。在一些实施例中,系统30接收多个训练数据集250,其中每个训练数据集250包含具有关联数据的多个训练图像252a-252c。例如,系统30可以接收仅包含健康大脑的第一训练数据集、仅包含具有第一缺陷(诸如急性出血)的不健康大脑的第二训练数据集、仅包含具有第二缺陷的不健康大脑的第三训练数据集等。可以从单个源接收和/或可以从多个源接收(一个或多个)训练数据集250。
在步骤204处,系统30使用训练数据集250生成神经网络260。通过向学习网络254提供训练数据集250中的训练图像252a-252c中的每个来生成神经网络260,所述学习网络254诸如是图像到图像学习网络、深度强化学习网络、残差网络(residual network)、密集连接的卷积网络和/或任何其他合适的学习网络。学习网络254审查训练图像252a-252c中的每个并且尝试标识诸如缺陷的存在或不存在、缺陷的类型、缺陷的位置等之类的一个或多个参数。学习网络254可以利用任何合适的学习算法,仅作为一个示例,诸如优化和/或统计估计算法。在一些实施例中,学习网络254被配置为标识一个或多个界标。例如,在各种实施例中,生成的神经网络260被配置为检测一个或多个半球、脑叶(lobe)、枕骨、眶骨、鸡冠(cristal galli)、上矢状窦、大脑镰、前囟(冠状(coronal)缝和矢状缝的交点)和/或任何其他合适的界标。生成的神经网络260可以被配置为标识界标的位置和/或使用界标来估计扫描图像的其他元素,诸如中矢状平面(mid-sagittal plane)。
在一些实施例中,学习网络254是监督式学习网络。监督式学习网络接收训练数据集250并且尝试标识由训练数据集250暗示的神经网络映射(例如,神经网络地形图(topography))并且将输入的集合(训练图像252a-252c)最佳地映射到它们的正确输出。例如,配备有包含健康大脑和不健康大脑的训练数据集250的监督式学习网络生成将健康和不健康大脑最佳地映射到选择的类别的神经网络260。代价函数与选择的映射和训练数据集250之间的不匹配相关。代价函数可以包括任何合适的代价函数,例如均方误差函数或分类交叉熵损失函数(categorical cross entropy loss function)。在一些实施例中,学习网络254使用反向传播算法以在训练期间计算神经网络260中的每个神经元(例如,节点)的误差贡献。代价函数被配置为基于训练数据集250标识最佳神经网络地形图。
在步骤206处,系统30接收诸如非造影CT扫描图像之类的扫描图像262。在一些实施例中,诸如图1中图示的核成像系统2之类的核成像系统生成扫描图像262。在其他实施例中,从联网的系统和/或存储设备接收扫描图像262。扫描图像262可以包含一个或多个缺陷(即,扫描图像262是不健康大脑)或者可以不包含缺陷(即,扫描图像262是健康大脑)。
在可选的步骤208处,预处理扫描图像262以准备用于由神经网络260审查的扫描图像262。例如,在一些实施例中,系统30被配置为标识扫描图像262中的一个或多个界标以及估计大脑的中矢状平面。在一些实施例中,旋转扫描图像262以在预定的位置定向估计的中矢状平面,所述预定的位置诸如是在修改的扫描图像的中心。可以使用此类预处理来增加神经网络260的准确性并且减少审查时间。虽然将步骤208示出为不同的预处理步骤,但是将理解:扫描图像262的预处理可以作为神经网络260审查扫描图像262的部分和/或与其同时发生。
在步骤210处,神经网络260分析扫描图像262,以生成用于扫描图像262的输出分数264。输出分数264指示神经网络260对扫描图像262的一个或多个表征(characterization)。输出分数264可以包括扫描图像262包含缺陷的概率、与特定缺陷的存在或不存在相关的概率、缺陷的类型、缺陷的位置、在对缺陷的存在和/或不存在的确定中的置信水平和/或任何其他合适的值。输出分数264可以包括关于一个或多个参数的二进制指示和/或可以包括在预定阈值之间的值,诸如在0和1之间的概率。将理解:输出分数264可以包括指示由神经网络260标识的一个或多个参数的存在、不存在和/或可能性的任何合适的输出。
在步骤212处,基于输出分数264将扫描图像262分类。例如,在一些实施例中,将输出分数264与阈值比较,以确定扫描图像262是否具有包含缺陷的高概率或低概率。阈值可以是预定的值和/或由神经网络260生成的值。阈值可以与以下内容相关:对扫描图像262中缺陷的存在或不存在的确定的置信值、将扫描图像262标识为可能包含缺陷所需的最小概率和/或与缺陷的存在和/或不存在相关的任何其他值。在一些实施例中,基于多个特征和/或分数将扫描图像262分类成多个类别266a-266c中的一个或多个。例如,可以将扫描图像262分类成对应于特定缺陷(或特定缺陷不存在)的多个类别266a-266c中的一个。虽然本文中讨论的实施例包括特定的分类,但是将理解:可以使用输出分数264将扫描图像262分类成任何合适的类别(或多个类别)。
在一些实施例中,如果扫描图像262被分类为第一集合中的一个或多个类别,诸如第一类别266a和/或第二类别266b,则方法200行进到步骤214a并且扫描图像262被标识为高优先级扫描。例如,在各种实施例中,如果扫描图像262被分类为高优先级扫描、被分类为具有在预定的最小概率阈值以上的输出分数、被分类为可能包含缺陷和/或任何其他合适的分类,则扫描图像262被标识(或被标记)为是高优先级扫描。在一些实施例中,如果扫描图像262被分类为在第二集合中的一个或多个类别中,诸如第三类别266c,则方法200c行进到步骤214b并且扫描图像被标识/标记为低优先级扫描。例如,在各种实施例中,如果扫描图像262被分类为低优先级扫描、被分类为具有在预定的最小概率阈值以下的输出分数、被分类为不太可能包含缺陷和/或任何其他合适的分类,则扫描图像262被标识(或被标记)为是低优先级扫描。
在步骤216处,扫描图像262被放置在审查队列270中。可以基于由神经网络260生成的分类和/或扫描图像262的标记/标识而将扫描图像262放置在队列中。例如,在一些实施例中,如果扫描图像262在步骤214a处被分类为高优先级扫描,则扫描图像262被放置在审查队列270的较早或开始处。类似地,如果扫描图像262被分类为具有低优先级扫描,则扫描图像262被放置在审查队列270的末尾或较后面处。在一些实施例中,被标记为高优先级的扫描图像262被路由到第一审查队列270以供审查者(诸如神经放射科医师)的第一集合审查,并且被标记为低优先级的扫描图像262被路由到第二审查队列270以供审查者(例如普通放射科医师)的第二集合审查。在一些实施例中,具有在预定阈值以下的概率分数的扫描图像262没有被审查。审查者可以确认在扫描图像262中的缺陷的存在并且基于审查向患者或治疗团队提供治疗和/或指导。
在一些实施例中,神经网络260实现了诸如在上面讨论的步骤208之类的预处理步骤。图10图示了根据一些实施例的用于由神经网络进行的预处理的数据准备的方法300。图11图示了方法300的各种步骤并且结合图10讨论图11。在步骤302处,预处理系统350接收扫描图像262。在一些实施例中,预处理系统350是执行使用神经网络将扫描分类的方法(诸如在上面讨论的方法200)的相同系统。在其他实施例中,预处理系统350与分类系统分离并与其进行信号通信。可以从任何合适的源接收扫描图像262。例如,在各种实施例中,扫描图像可以是从训练数据集250获得的图像、从成像设备2获得的图像、从存储器单元获得的图像和/或从任何其他合适的源获得的图像。
在步骤304处,在扫描图像262中标识一个或多个界标。一个或多个界标对应于出现在健康大脑中的类似(或相同)位置中的解剖结构。例如,在各种实施例中,界标可以包括以下中的一个或多个:鸡冠、上矢状窦、大脑镰、枕骨(或其部分)和/或任何其他合适的解剖结构。可以向一个或多个界标给予优先级和/或可以相等地对所有标识的界标排序。
在步骤306处,标识中矢状平面362。可以基于界标中的一个或多个的相对和/或绝对位置来标识中矢状平面362。例如,在一些实施例中,界标中的一个或多个对应于相对于中矢状平面的位置,诸如中矢状平面的左侧、右侧和/或与中矢状平面对准。具有相对于中矢状平面的已知定向和/或位置的预定数量的界标的标识允许预处理系统350估计扫描图像262的中矢状平面362的位置。将理解:可以使用任何(一个或多个)合适的模型来标识和/或定位中矢状平面362。
在步骤308处,旋转扫描图像262以使扫描图像沿着估计的(或已知的)中矢状平面362定向在预定的位置,诸如与扫描图像262的竖直和/或水平中心对准,以生成均匀图像262a。均匀图像262a的定向确保了类似地呈现由神经网络260审查的每个扫描图像262。在一些实施例中,均匀图像262a的定向还可以包括对扫描图像262的重新采样和/或其他修改。提供类似地取大小和/或定向的图像增加了神经网络260的准确性并且减少了审查时间。
图12图示了根据一些实施例的使用多个对称的补片(patch)将扫描图像262分类的方法400。方法400类似于结合图8-9在上面讨论的方法200,并且在本文中不重复类似的描述。图13-14图示了方法400的各种步骤并且结合图12讨论图13-14。在步骤204a处,使用包含多个训练图像252a-252c的训练数据集250生成神经网络260,训练图像252a-252c中的每个包含多个对称定位的补片。
在步骤402处,系统30标识以扫描图像262的中矢状平面362的第一侧362a上的点为中心的第一补片450a以及以中矢状平面362的第二侧362b上的点为中心的第二补片450b。第一补片450a和第二补片450b关于中矢状平面362对称地定位。
在步骤404处,最小化第一补片450a和第二补片450b之间的距离。如本文中使用的,术语“距离”被用于表示第一补片和第二补片之间的差异或相异(dissimilarity)。在健康大脑中,对称定位的补片450a、450b通常是类似的并且具有在其之间的小(或低)距离。然而,在不健康大脑中,包括非对称缺陷(例如,急性出血、急性梗塞、肿块病变、肿块效应等)的对称定位的补片450a、450b之间的距离将较大。
在一些实施例中,如图13中所示,使用被配置为接收对称定位的补片450a、450b的对作为输入的Siamese网络260a确定第一补片450a和第二补片450b之间的距离。Siamese网络260a包括至少两个分支,所述分支共享加权因子并且由基于铰链的损失项和L2范数正则化驱动。分支中的每个将接收的补片450a、450b分等为健康或不健康。比较对每个分支的确定以例如基于补片450a、450b的分等之间的差异、补片中的每个的输出分数264中的差异和/或由Siamese网络260a标识的任何其他变化来标识补片450a、450b中的非对称性。
在一些实施例中,Siamese网络260a被配置为接收用于缺陷检测的多个多尺度(multi-scale)补片450a、450b。Siamese网络260a可以包括多个网络路径对,以便处理补片450a、450b对。多个网络路径对中的每个包括用于所述对中的每个路径的相同的加权因子。在一些实施例中,网络路径的每个对接收重新缩放的对称补片450a、450b对。重新缩放的对称补片450a、450b的每个对以相对于中矢状线362的对称点为中心并且可以具有不同的应用的缩放因子。基于对于多个网络路径对中的每个的审查进行对缺陷的存在或不存在的比较和确定。
在一些实施例中,如图14中所示,使用三重态网络260b计算第一补片450a和第二补片450b之间的距离。三重态网络260b被配置为在网络路径的每个集合处接收对称补片450a、450b对。网络路径集合中的每个还接收第三输入456。在一些实施例中,第三输入456包括参考补片。例如,在一些实施例中,参考补片对应于第一补片450a或第二补片450b中的一个的位置,但是取自已知健康的图像。第三输入456使得学习网络250基于补片差异的描述而生成网络,所述补片差异的描述与补片450a、450b、456自身的描述相对。
在可选的步骤406处,可以基于诸如距离确定或其他描述符之类的由神经网络260a、260b提供的描述来标识和突出显示扫描图像250中的缺陷454(或异常)。在一些实施例中,神经网络260a、260b应用多个损失函数。损失函数中的每个可以被应用于进一步区分补片450a、450b,以标识在低和/或非对称的补片450a、450b之内的特定缺陷。
在步骤212a处,基于补片450a、450b之间的距离将补片450a、450b的对分等到等级中。例如,在一些实施例中,补片450a、450b可以被分等成“健康”或“不健康”的等级。在其他实施例中,补片450a、450b的集合中的每个可以基于距离计算被分等成“类似”或“相异”的等级。虽然本文中讨论了特定的实施例和等级,但是将理解:神经网络260可以使用任何数量的等级。例如,在包括可选的步骤406的实施例中,对补片450a、450b的分等可以包括对扫描图像中的被标识缺陷的分等。
在一些实施例中,分等包括针对由神经网络260a、260b生成的每个发现的风险(或输出)分数。例如,在一些实施例中,Siamese网络260a或三重态网络260b被配置为检测多个缺陷。针对包含多个缺陷中的每个的扫描图像262的概率来生成风险分数。风险分数可以包括在例如0和1之间的数,其对应于扫描图像内特定缺陷的可能存在。在一些实施例中,风险分数可以是指示在预定阈值之上或之下的距离(或缺陷的可能性)的二进制输出。
在一些实施例中,分等包括通过将每个类别的概率组合成单个合成风险分数而生成的合成分数。例如,在一些实施例中,神经网络260被配置为基于对称定位的补片450a、450b之间的距离计算针对多个缺陷中的每个的概率。可以将单独的概率组合成扫描图像262包含至少一个缺陷的单个概率(例如,加权的概率)。可以将合成分数用于对扫描图像262分等以供审查。
图15图示了根据一些实施例的用于标识缺陷的定位的方法500。图16图示了根据一些实施例的方法500的各种步骤。在步骤502处,神经网络260例如根据先前讨论的一个或多个方法确定扫描图像262中的缺陷的存在。在一些实施例中,虽然将理解,神经网络260可以根据本文中讨论的方法中的任何方法来标识缺陷,但是神经网络260是被配置为如上面讨论的那样接收对称补片450a、450b的Siamese网络260a或三重态网络260b。
在步骤504处,神经网络260确定扫描图像262的哪些部分(或补片)最影响对缺陷的存在的确定,即,扫描图像262内的热点。例如,在一些实施例中,神经网络260利用多个补片450a、450b标识包括一个或多个已知缺陷的区。神经网络260可以标识与健康和/或对称比较补片的最高偏差的区。可以在对缺陷可能存在于扫描图像262中的确定期间和/或之后标识具有最高偏差的补片。
在步骤506处,系统30生成令在步骤504中标识的热点突出显示的修改的扫描图像550。修改的扫描图像550包括对应于对神经网络260确定具有最大影响的扫描图像262的部分,例如具有与健康和/或对称比较补片的最大偏差的补片,的一个或多个突出显示的区552a。在一些实施例中,标识的区对应于在扫描图像262之内的(一个或多个)标识的缺陷的可能位置。(一个或多个)突出显示的区552a虑及审查者的快速确认。
图17图示了根据一些实施例的使用被配置为标识界标偏差的神经网络260在扫描图像262中标识缺陷的方法600。方法600类似于上面讨论的方法200,并且本文中不重复类似的描述。在步骤602处,在扫描图像262中标识一个或多个界标。一个或多个界标对应于存在于健康大脑中的类似(或相同)位置的解剖结构。例如,在各种实施例中,界标可以包括鸡冠、上矢状窦、大脑镰、枕骨(或其部分)和/或任何其他合适的解剖结构中的一个或多个。在各种实施例中,虽然将理解:可以使用任何合适的神经网络260,但是神经网络260包括深度图像到图像网络和/或多尺度深度强化学习网络以标识参考解剖界标。神经网络260可以针对时间效率包括使用全大小的图像和/或体积(如与2D / 3D补片比较)的全卷积实现。可以应用特征连结和深度监督来增加界标标识的准确性。在一些实施例中,神经网络260被训练成遵循到扫描图像262之内的一个或多个界标的最优导航路径。神经网络260可以被训练成使用具有界标的注释(即指示)以及标签(例如,健康或不健康大脑的指示)的大量图像来标识一个或多个界标,以区分缺陷和/或其他因素。在一些实施例中,注释在神经网络260的学习和训练期间提供分辨(discriminative)机制。
在步骤604处,确定了至少第一界标的位置。第一界标的位置可以指示健康或不健康大脑。当缺陷存在时,第一界标可以在一个或多个方向上从解剖学上正确的位置位移(displace)。在一些实施例中,相对于在健康大脑中的第一界标的估计和/或确定的位置(如在神经网络260训练的期间建立的)来测量第一界标的位置和/或投影。在其他实施例中,相对于一个或多个附加的界标确定第一界标的位置和/或投影。虽然步骤602和604被示出为不同的步骤,但是将理解,可以由神经网络260将步骤组合成单个确定。
在步骤606处,神经网络260基于一个或多个标识的界标的位置而确定缺陷存在于扫描图像262中的可能性。例如,在一些实施例中,神经网络260利用深度生成性途径(诸如变分自动编码器(VAE)、生成性对抗网络(GAN)等),尽管将理解,神经网络260可以使用任何合适的准则来基于界标的相对位置来标识缺陷。例如,在包括VAE的实施例中,通过在复印本(manifold)上投影数据来编码数据中的形状可变性,其中预期异常扫描与正常出现的扫描远离定位。作为另一个示例,在包括GAN的实施例中,当使用正常扫描来训练GAN时,预期异常扫描在被提供给分辨网络时具有较低的可能性(例如,较低的匹配)。虽然在本文中讨论了特定的实施例,但是将理解,神经网络260可以利用任何合适的途径来标识缺陷。
在步骤216处,神经网络260基于步骤606中的优先级确定将扫描图像262提供到审查队列270,以供放射科医师(或其他审查者)审查。在一些实施例中,可以使用关于界标如何受最常见和关键的缺陷影响的专家知识(例如,包括关于解剖学的语义信息的经处理的诊断报告)来标识异常的类型和严重性以优先化对扫描图像262的审查,尽管将理解可以使用任何合适的优先化测量。知道界标相对于其他界标的位置可以帮助确定对于某些界标而言是否发生位移,这指示异常。取决于病理学,界标的周围组织或骨骼也可能受到影响(即出血之后的水肿导致大脑组织在扫描图像中示为较暗),因此还引入了附加的特征来表征异常。
图18是包括核成像检测器2和计算机系统700的系统700的框图。可以将计算机系统30用在某些实施例中,例如用于实现系统30控制核成像检测器2。计算机系统700可以包括一个或多个处理器702。每个处理器702连接到通信基础设施706(例如,通信总线、滚动条(cross-over bar)或网络)。可以将处理器702实现为中央处理单元、嵌入式处理器或微控制器、或者专用集成电路(ASIC)。计算机系统700可以包括显示接口722,所述显示接口722从通信基础设施706(或从帧缓冲器,未示出)转发图形、文本和其他数据,以在显示单元724上向用户显示。
计算机系统700还可以包括诸如随机存取存储器(RAM)之类的主存储器704和次级存储器708。主存储器704和/或次级存储器708包括动态随机存取存储器(DRAM)。次级存储器708可以包括例如硬盘驱动器(HDD)710和/或可移动存储驱动器712,其可以代表固态存储器、光盘驱动器、闪存驱动器、磁带驱动器或者诸如此类。可移动存储驱动器712从可移动存储单元716读取和/或向可移动存储单元716写入。可移动存储单元716可以是光盘、磁盘、软盘、磁带或者诸如此类。可移动存储单元716可以包括计算机可读存储介质,所述计算机可读存储介质具有有形地存储在其中(或体现在其上)的数据和/或计算机软件指令,例如用于使得(一个或多个)处理器执行各种操作。
在替代的实施例中,次级存储器708可以包括用于允许计算机程序或其他指令加载到计算机系统700中的其他设备。次级存储器708可以包括可移动存储单元718和对应的可移动存储接口714,可能类似于可移动存储驱动器712,具有其自己的可移动存储单元716。此类可移动存储单元的示例包括但不限于允许软件和数据从可移动存储单元716、718传送到计算机系统700的通用串行总线(USB)或闪存驱动器。
计算机系统700还可以包括通信接口(例如,联网接口)720。通信接口720允许在计算机系统700和核成像检测器2之间传送指令和数据。通信接口720还提供与其他外部设备的通信。通信接口720的示例可以包括调制解调器、以太网接口、无线网络接口(例如,射频、IEEE 802.11接口、蓝牙接口或诸如此类)、个人计算机存储卡国际协会(PCMCIA)插槽和卡或诸如此类。经由通信接口720传送的指令和数据可以是能够被通信接口720接收的信号的形式,所述信号的形式可以是电子、电磁、光学的或诸如此类。可以将这些信号经由通信路径(例如,信道)提供到通信接口720,可以使用导线、线缆、光纤、电话线、蜂窝链路、射频(RF)链路和其他通信信道来实现通信路径。
本文中描述的方法和系统可以至少部分地以计算机实现的过程和用于实践那些过程的装置的形式体现。公开的方法还可以至少部分地以利用计算机程序代码编码的有形、非暂时性机器可读存储介质的形式体现。介质可以包括例如RAM、ROM、CD-ROM、DVD-ROM、BD-ROM、硬盘驱动器、闪存或任何其他非暂时性机器可读存储介质,其中,当将计算机程序代码加载到计算机中并且计算机程序代码被计算机执行时,计算机成为用于实践所述方法的装置。所述方法还可以至少部分地以计算机程序代码被加载到其中的和/或在其中执行的计算机的形式体现,使得计算机成为用于实践所述方法的专用计算机。当在通用处理器上实现时,计算机程序代码段配置处理器以创建用于实现本文中公开的方法的特定的连接、电路和算法。
提供实施例的先前描述以使本领域中的任何技术人员能够实践本公开。对这些实施例的各种修改对于本领域中的技术人员来说将容易清楚,并且本文中限定的一般原理可以在不使用创造性能力的情况下被应用于其他实施例。本公开不旨在被限制为本文中所示的实施例,而是与同本文中公开的原理和新颖特征一致的最宽范围相一致。
Claims (17)
1.一种审查神经扫描的方法,包括:
接收对应于解剖区域的至少一个界标;
接收包括解剖区域的组织的多个图像;
生成被配置为在所述解剖区域内的健康组织和不健康组织之间进行区分的神经网络,其中所述神经网络由机器学习过程生成,所述机器学习过程被配置为接收组织的所述多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子,以及其中所述神经网络被配置为基于至少一个界标的位置的改变来标识不健康组织;
接收包括所述解剖区域的组织的至少一个患者图像;以及
经由所述神经网络确定组织的所述至少一个患者图像是否包括健康或不健康组织。
2.根据权利要求1所述的方法,其中所述神经网络包括相同节点的第一集合和第二集合,其中所述解剖区域包括对称的解剖区域,其中所述至少一个患者图像包括对应于所述对称的解剖区域的第一侧的第一补片以及对应于所述对称的解剖区域的第二侧的第二补片,以及其中将所述第一补片提供到相同节点的所述第一集合并且将所述第二补片提供到相同节点的所述第二集合。
3.根据权利要求2所述的方法,其中所述神经网络包括相同节点的第三集合,其中相同节点的所述第三集合被配置为接收参考补片。
4.根据权利要求1所述的方法,其中网络包括被配置为最小化过度拟合的多个跳连接。
5.根据权利要求1所述的方法,包括经由所述神经网络生成影响图,所述影响图被配置为标识在确定中一个或多个体素的影响。
6.根据权利要求1所述的方法,其中所述多个图像和所述至少一个患者图像是造影计算的断层摄影图像。
7.根据权利要求1所述的方法,包括:
接收多个患者图像;
经由所述神经网络确定在所述多个患者图像中的每个图像中的不健康组织的严重性;以及
所述神经网络根据不健康组织的确定的严重性将所述多个患者图像中的每个图像排序;以及
以排序顺序提供所述多个患者图像中的每个图像,以供进一步审查。
8.根据权利要求1所述的方法,其中所述神经网络被配置为标识出血、急性梗塞、脑积水、肿块效应和/或肿块病变中的至少一个。
9.根据权利要求1所述的方法,其中所述神经网络是监督式学习网络。
10.一种用于审查神经扫描的系统,包括:
成像模态,其被配置为获得患者的神经图像;以及
处理器,其被配置为实现神经网络,其中所述神经网络通过以下内容生成:
接收对应于解剖区域的至少一个界标;
接收包括所述解剖区域的组织的多个图像;
执行机器学习过程,所述机器学习过程被配置为审查组织的所述多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子,其中所述神经网络被配置为基于至少一个界标的位置的改变来标识不健康组织;以及
其中所述处理器被配置为经由所述神经网络标识神经图像中的缺陷。
11.根据权利要求10所述的系统,其中所述神经网络包括相同节点的第一集合和第二集合,其中所述神经扫描包括对应于对称的解剖区域的第一侧的第一补片以及对应于所述对称的解剖区域的第二侧的第二补片,以及其中将所述第一补片提供到相同节点的所述第一集合并且将所述第二补片提供到相同节点的所述第二集合。
12.根据权利要求11所述的系统,其中所述神经网络包括相同节点的第三集合,其中相同节点的所述第三集合被配置为接收参考补片。
13.根据权利要求10所述的系统,包括经由所述神经网络生成影响图,所述影响图被配置为标识一个或多个体素的影响。
14.根据权利要求10所述的系统,其中所述成像模态是计算机化断层摄影(CT)模态。
15.根据权利要求10所述的系统,包括:
接收多个患者图像;
经由所述神经网络确定在所述多个患者图像中的每个图像中的不健康组织的严重性;以及
所述神经网络根据不健康组织的确定的严重性将所述多个患者图像中的每个图像排序。
16.根据权利要求10所述的系统,其中缺陷是出血、急性梗塞、脑积水、肿块效应和/或肿块病变中的至少一个。
17.一种利用计算机可执行指令编码的非暂时性计算机可读介质,当所述计算机可执行指令在由系统中的计算机执行用于审查神经扫描时使得用于审查神经扫描的所述系统执行以下步骤:
接收对应于解剖区域的至少一个界标;
接收包括所述解剖区域的组织的多个图像;
生成被配置为在所述解剖区域内的健康组织和不健康组织之间进行区分的神经网络,其中所述神经网络由机器学习过程生成,所述机器学习过程被配置为接收组织的所述多个图像并且生成被配置为在健康组织和不健康组织之间进行区分的多个加权因子,以及其中所述神经网络被配置为基于至少一个界标的位置的改变来标识不健康组织;
接收包括所述解剖区域的组织的至少一个患者图像;以及
经由所述神经网络确定组织的所述至少一个患者图像是否包括健康或不健康组织。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/831731 | 2017-12-05 | ||
US15/831,731 US10521911B2 (en) | 2017-12-05 | 2017-12-05 | Identification of defects in imaging scans |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109886913A CN109886913A (zh) | 2019-06-14 |
CN109886913B true CN109886913B (zh) | 2023-09-05 |
Family
ID=64661069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811479702.7A Active CN109886913B (zh) | 2017-12-05 | 2018-12-05 | 成像扫描中关键发现的标识 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10521911B2 (zh) |
EP (1) | EP3496034B1 (zh) |
CN (1) | CN109886913B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10748277B2 (en) * | 2016-09-09 | 2020-08-18 | Siemens Healthcare Gmbh | Tissue characterization based on machine learning in medical imaging |
CN108734211B (zh) * | 2018-05-17 | 2019-12-24 | 腾讯科技(深圳)有限公司 | 图像处理的方法和装置 |
US11011257B2 (en) * | 2018-11-21 | 2021-05-18 | Enlitic, Inc. | Multi-label heat map display system |
US11710301B2 (en) | 2019-02-06 | 2023-07-25 | Samsung Electronics Co., Ltd. | Apparatus for Q-learning for continuous actions with cross-entropy guided policies and method thereof |
DE102019209790A1 (de) * | 2019-07-03 | 2021-01-07 | Siemens Healthcare Gmbh | Verfahren zur Bereitstellung eines Bewertungsdatensatzes von einem ersten medizinischen dreidimensionalen Computertomographiedatensatz |
WO2021016201A1 (en) * | 2019-07-19 | 2021-01-28 | The Regents Of The University Of California | Expert-level detection of acute intracranial hemorrhage on head ct scans |
CN110400345B (zh) * | 2019-07-24 | 2021-06-15 | 西南科技大学 | 基于深度强化学习的放射性废物推抓协同分拣方法 |
GB201912149D0 (en) * | 2019-08-23 | 2019-10-09 | Univ Oxford Innovation Ltd | Computerised tomography image processing |
US11527327B2 (en) * | 2019-11-06 | 2022-12-13 | International Business Machines Corporation | Systems and methods for detecting likelihood of malignancy for a patient using a pair of medical images |
EP3913574B1 (en) * | 2020-05-21 | 2022-12-21 | Tata Consultancy Services Limited | Anatomical landmark detection and identification from digital radiography images containing severe skeletal deformations |
CN113436187B (zh) * | 2021-07-23 | 2024-10-22 | 沈阳东软智能医疗科技研究院有限公司 | 颅脑ct血管造影图像的处理方法、装置、介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104936512A (zh) * | 2013-01-24 | 2015-09-23 | 泰勒顿国际控股公司 | 身体结构成像 |
WO2017106645A1 (en) * | 2015-12-18 | 2017-06-22 | The Regents Of The University Of California | Interpretation and quantification of emergency features on head computed tomography |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6141437A (en) | 1995-11-22 | 2000-10-31 | Arch Development Corporation | CAD method, computer and storage medium for automated detection of lung nodules in digital chest images |
US6240201B1 (en) | 1998-07-24 | 2001-05-29 | Arch Development Corporation | Computerized detection of lung nodules using energy-subtracted soft-tissue and standard chest images |
US6470092B1 (en) | 2000-11-21 | 2002-10-22 | Arch Development Corporation | Process, system and computer readable medium for pulmonary nodule detection using multiple-templates matching |
US6795521B2 (en) | 2001-08-17 | 2004-09-21 | Deus Technologies Llc | Computer-aided diagnosis system for thoracic computer tomography images |
US8050734B2 (en) * | 2005-09-07 | 2011-11-01 | General Electric Company | Method and system for performing patient specific analysis of disease relevant changes of a disease in an anatomical structure |
KR101711399B1 (ko) * | 2009-05-27 | 2017-03-03 | 전남대학교산학협력단 | 선택적 경색 조직 타겟팅 박테리아 및 그의 용도 |
US9607373B2 (en) * | 2010-08-13 | 2017-03-28 | Smith & Nephew, Inc. | Detection of anatomical landmarks |
US20140056842A1 (en) * | 2012-08-21 | 2014-02-27 | Jonathan Sackner-Bernstein | Cellular therapeutic approaches to traumatic brain and spinal cord injury |
-
2017
- 2017-12-05 US US15/831,731 patent/US10521911B2/en active Active
-
2018
- 2018-12-05 CN CN201811479702.7A patent/CN109886913B/zh active Active
- 2018-12-05 EP EP18210374.7A patent/EP3496034B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104936512A (zh) * | 2013-01-24 | 2015-09-23 | 泰勒顿国际控股公司 | 身体结构成像 |
WO2017106645A1 (en) * | 2015-12-18 | 2017-06-22 | The Regents Of The University Of California | Interpretation and quantification of emergency features on head computed tomography |
Also Published As
Publication number | Publication date |
---|---|
EP3496034A1 (en) | 2019-06-12 |
CN109886913A (zh) | 2019-06-14 |
US10521911B2 (en) | 2019-12-31 |
US20190172207A1 (en) | 2019-06-06 |
EP3496034B1 (en) | 2024-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886913B (zh) | 成像扫描中关键发现的标识 | |
US10573000B2 (en) | System and method for medical image management | |
KR102243830B1 (ko) | 통합 의료 진단 서비스 제공 시스템 및 그 방법 | |
ES2914873T3 (es) | Sugerencia de segunda lectura | |
US9135695B2 (en) | Method for creating attenuation correction maps for PET image reconstruction | |
US11790279B2 (en) | System and method for class specific deep learning | |
US20120201446A1 (en) | Computer-aided detection (cad) of intracranial aneurysms | |
Liu et al. | Classification of schizophrenia based on individual hierarchical brain networks constructed from structural MRI images | |
US11544844B2 (en) | Medical image processing method and apparatus | |
US10489905B2 (en) | Method and apparatus for presentation of medical images | |
CN112508902B (zh) | 白质高信号分级方法、电子设备及存储介质 | |
CN103562960A (zh) | 用于生成图像的图像区域与元素类之间的分配的装置 | |
US20200129114A1 (en) | Automatic computerized joint segmentation and inflammation quantification in mri | |
Nayan et al. | A deep learning approach for brain tumor detection using magnetic resonance imaging | |
Walger et al. | Artificial intelligence for the detection of focal cortical dysplasia: Challenges in translating algorithms into clinical practice | |
Płotka et al. | BabyNet++: Fetal birth weight prediction using biometry multimodal data acquired less than 24 hours before delivery | |
Roels et al. | A machine learning pipeline for predicting bone marrow oedema along the sacroiliac joints on magnetic resonance imaging | |
Cho et al. | Classification of 18 F-Florbetaben Amyloid Brain PET Image using PCA-SVM | |
US20230263455A1 (en) | Network-based functional imaging output for evaluating multiple sclerosis | |
CN113408533B (zh) | 基于胎儿超声影像特征组学的染色体异常预测模型的构建方法及诊断设备 | |
JP7475968B2 (ja) | 医用画像処理装置、方法及びプログラム | |
Qu et al. | Multiple classifier fusion and optimization for automatic focal cortical dysplasia detection on magnetic resonance images | |
US20230342928A1 (en) | Detecting ischemic stroke mimic using deep learning-based analysis of medical images | |
US20230088616A1 (en) | Progression prediction apparatus, progression prediction method, and progression prediction program | |
EP4343687A1 (en) | Image segmentation with improved expert guidance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240905 Address after: German Phu F Haim Patentee after: Siemens Medical AG Country or region after: Germany Address before: Erlangen, Germany Patentee before: SIEMENS HEALTHCARE GmbH Country or region before: Germany |
|
TR01 | Transfer of patent right |