CN114255208A - 用于程式化医学图像的系统和方法 - Google Patents
用于程式化医学图像的系统和方法 Download PDFInfo
- Publication number
- CN114255208A CN114255208A CN202111125671.7A CN202111125671A CN114255208A CN 114255208 A CN114255208 A CN 114255208A CN 202111125671 A CN202111125671 A CN 202111125671A CN 114255208 A CN114255208 A CN 114255208A
- Authority
- CN
- China
- Prior art keywords
- anatomical structure
- region
- processor
- color scheme
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 210000003484 anatomy Anatomy 0.000 claims description 122
- 238000002604 ultrasonography Methods 0.000 claims description 59
- 230000036541 health Effects 0.000 claims description 23
- 239000003086 colorant Substances 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 20
- 230000000295 complement effect Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 15
- 201000010099 disease Diseases 0.000 claims description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 10
- 239000000090 biomarker Substances 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 description 33
- 238000002059 diagnostic imaging Methods 0.000 description 28
- 210000003734 kidney Anatomy 0.000 description 27
- 206010028980 Neoplasm Diseases 0.000 description 25
- 238000012549 training Methods 0.000 description 19
- 210000000056 organ Anatomy 0.000 description 13
- 239000000523 sample Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000005855 radiation Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 210000004185 liver Anatomy 0.000 description 8
- 208000020832 chronic kidney disease Diseases 0.000 description 6
- 208000008338 non-alcoholic fatty liver disease Diseases 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 102000003855 L-lactate dehydrogenase Human genes 0.000 description 3
- 108700023483 L-lactate dehydrogenases Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036449 good health Effects 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 102100036475 Alanine aminotransferase 1 Human genes 0.000 description 2
- 108010082126 Alanine transaminase Proteins 0.000 description 2
- 102000002260 Alkaline Phosphatase Human genes 0.000 description 2
- 108020004774 Alkaline Phosphatase Proteins 0.000 description 2
- 102100023635 Alpha-fetoprotein Human genes 0.000 description 2
- 108010003415 Aspartate Aminotransferases Proteins 0.000 description 2
- 102000004625 Aspartate Aminotransferases Human genes 0.000 description 2
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 102100026745 Fatty acid-binding protein, liver Human genes 0.000 description 2
- 101710188974 Fatty acid-binding protein, liver Proteins 0.000 description 2
- 101710189565 Fatty acid-binding protein, liver-type Proteins 0.000 description 2
- 108020004206 Gamma-glutamyltransferase Proteins 0.000 description 2
- 102000015779 HDL Lipoproteins Human genes 0.000 description 2
- 108010010234 HDL Lipoproteins Proteins 0.000 description 2
- 102100034459 Hepatitis A virus cellular receptor 1 Human genes 0.000 description 2
- 101710185991 Hepatitis A virus cellular receptor 1 homolog Proteins 0.000 description 2
- 102000007330 LDL Lipoproteins Human genes 0.000 description 2
- 108010007622 LDL Lipoproteins Proteins 0.000 description 2
- 102000013519 Lipocalin-2 Human genes 0.000 description 2
- 108010051335 Lipocalin-2 Proteins 0.000 description 2
- 102000012288 Phosphopyruvate Hydratase Human genes 0.000 description 2
- 108010022181 Phosphopyruvate Hydratase Proteins 0.000 description 2
- 102100035703 Prostatic acid phosphatase Human genes 0.000 description 2
- 102100027378 Prothrombin Human genes 0.000 description 2
- 108010094028 Prothrombin Proteins 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 108010026331 alpha-Fetoproteins Proteins 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 102000015736 beta 2-Microglobulin Human genes 0.000 description 2
- 108010081355 beta 2-Microglobulin Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 102000006640 gamma-Glutamyltransferase Human genes 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 108010043671 prostatic acid phosphatase Proteins 0.000 description 2
- 229940039716 prothrombin Drugs 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 102100027211 Albumin Human genes 0.000 description 1
- 108010088751 Albumins Proteins 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 102000009123 Fibrin Human genes 0.000 description 1
- 108010073385 Fibrin Proteins 0.000 description 1
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 description 1
- 108010049003 Fibrinogen Proteins 0.000 description 1
- 102000008946 Fibrinogen Human genes 0.000 description 1
- 102100036961 Nuclear mitotic apparatus protein 1 Human genes 0.000 description 1
- 102000009843 Thyroglobulin Human genes 0.000 description 1
- 108010034949 Thyroglobulin Proteins 0.000 description 1
- PNNCWTXUWKENPE-UHFFFAOYSA-N [N].NC(N)=O Chemical compound [N].NC(N)=O PNNCWTXUWKENPE-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002091 elastography Methods 0.000 description 1
- 229950003499 fibrin Drugs 0.000 description 1
- 229940012952 fibrinogen Drugs 0.000 description 1
- 230000024924 glomerular filtration Effects 0.000 description 1
- 229940084986 human chorionic gonadotropin Drugs 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 108010036112 nuclear matrix protein 22 Proteins 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 235000018102 proteins Nutrition 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 229960002175 thyroglobulin Drugs 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明题为“用于程式化医学图像的系统和方法”。本公开涉及程式化医学图像。根据某些实施方案,一种方法包括:生成医学图像;将该医学图像分割成第一区域和第二区域;将第一程式应用于该第一区域并且将不同的第二程式应用于该第二区域,由此生成程式化医学图像;以及显示该程式化医学图像。
Description
技术领域
本公开涉及用于程式化医学图像的系统和方法,并且更具体地讲,涉及用于程式化超声图像的系统和方法。
背景技术
为了可视化内部结构,临床医生可指示患者经受各种医学成像过程(即正电子发射断层摄影(PET)扫描、计算机断层摄影(CT)扫描、磁共振成像(MRI)过程、X射线成像过程等)。通常,医学图像以单颜色方案(即,黑色和白色)显示,这可能使得医师难以识别和跟踪解剖结构/器官的健康状态/状况,因为解剖结构/器官可能混合到图像的其余部分中。
发明内容
在一个实施方案中,本公开提供了一种方法。该方法包括:生成医学图像;将该医学图像分割成第一区域和第二区域;将第一程式应用于该第一区域并且将不同的第二程式应用于该第二区域,由此生成程式化医学图像;以及显示该程式化医学图像。
在另一个实施方案中,本公开提供了一种系统。该系统包括处理器以及与该处理器通信的计算机可读存储介质。当该处理器执行存储在该计算机可读存储介质中的程序指令时,该处理器生成医学图像;将该医学图像分割成第一区域和第二区域;将第一程式应用于该第一区域并且将第二程式应用于该第二区域,由此生成程式化医学图像;以及将该程式化医学图像输出到显示器。
在又一个实施方案中,本公开提供了一种具有计算机可读程序指令的计算机可读存储介质,该计算机可读程序指令在由处理器执行时,使得该处理器:识别医学图像内的解剖结构;将该医学图像分割成第一区域和第二区域,其中该第一区域包括该解剖结构;根据生物标志物、该解剖结构的尺寸、对应于该解剖结构的疾病状态、与患者相关的检查参数、或与该患者相关的人口统计资料中的至少一者将第一颜色方案应用于该第一区域,其中该第一颜色方案是单色颜色方案;将不同的第二颜色方案应用于该第二区域,由此生成程式化医学图像;以及将该程式化医学图像输出到显示器。
附图说明
通过阅读以下详细描述并且参考附图,可以更好地理解本公开的各个方面,其中:
图1是根据示例性实施方案的医学成像系统的示意图;
图2是根据示例性实施方案的超声系统的示意图;
图3是根据示例性实施方案的超声系统的超声部件的示意图;
图4是根据示例性实施方案的云计算环境的示意图;
图5是根据示例性实施方案的用于程式化医学图像的方法的流程图;
图6示出了根据示例性实施方案的医学图像;
图7示出了根据示例性实施方案的单色颜色方案;并且
图8示出了根据示例性实施方案的程式化图像;
图9示出了根据示例性实施方案的另一个程式化图像;并且
图10示出了根据示例性实施方案的多个程式化图像。
这些附图示出了用于程式化医学图像的所描述的部件、系统和方法的特定表现。连同以下描述,附图示出并且解释了本文描述的结构、方法和原理。在附图中,为了清楚起见,部件的厚度和尺寸可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。
具体实施方式
下文描述了本公开的一个或多个具体实施方案。这些描述的实施方案仅为用于程式化医学图像的系统和方法的示例。本领域技术人员将理解,在不脱离本公开的实质的情况下,可以在实施时修改实施方案中描述的具体细节。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等,一个对象(即,材料、元件、结构、构件等)可以连接到或联接到另一个对象,而无论该一个对象是否直接连接或联接到另一个对象,还是在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
总体上参考附图,本公开描述了用于程式化医学图像的系统和方法。医学图像经常以单颜色方案(即,黑色和白色)显示,使得难以可视化与解剖结构相关的健康状态/状况和后续变化,并且使得难以组合和可视化关于在相同图像中显示的不同解剖结构/器官的信息。
本公开的一些实施方案提供了将颜色施加到医学图像内的区域的系统和方法。施加颜色可使得更容易地可视化解剖结构/器官的健康状态,并且使得更容易地可视化关于在相同图像中显示的一个或多个解剖结构/器官的组合信息。此外,本公开的一些实施方案提供了将多次患者就诊时的不同已分割解剖结构/器官彩色化的系统和方法,其可有助于可视化解剖结构/器官的健康状况变化。一些实施方案根据颜色方案来施加颜色。根据颜色方案施加颜色可表达以其他方式将不会在视觉上表达的含义(即,区域的健康状况)。本公开的其他实施方案提供了将可听程式(即,一个或多个音符、与解剖结构的健康状况相关的信息等)应用于医学图像中的区域的系统和方法,其可表达未在视觉上表达的含义。
现在参见图1,示出了根据示例性实施方案的医学成像系统100。如图1所示,在一些实施方案中,医学成像系统100包括医学成像设备102、处理器104、系统存储器106、显示器108和一个或多个外部设备110。
医学成像设备102可以是能够捕获患者的图像数据的任何成像设备(即,PET、CT、MRI、X射线机器、超声成像设备等)。具体地讲,医学成像设备102可为超声设备。医学成像设备102经由有线或无线连接与处理器104通信,从而允许医学成像设备102从处理器104接收数据/将数据发送到该处理器。在一个实施方案中,医学成像设备102可连接到网络(即,广域网(WAN)、局域网(LAN)、公共网络(互联网)等),当处理器104连接到同一网络时,该网络允许医学成像设备102将数据传输到处理器104以及/或者从处理器接收数据。在另一个实施方案中,医学成像设备102直接连接到处理器104,从而允许医学成像设备102将数据直接传输到处理器104以及从该处理器直接接收数据。
处理器104可以是计算机系统的处理器。计算机系统可以是能够处理和传输数据的任何设备/系统(即,平板电脑、手持式计算设备、智能电话、个人计算机、膝上型电脑、网络计算机等)。在一个实施方案中,处理器104可包括中央处理单元(CPU)。在另一个实施方案中,处理器104可包括能够执行计算机可读程序指令的其他电子部件,诸如数字信号处理器、现场可编程门阵列(FPGA)、图形处理单元(GPU)或图形板。在又另一个实施方案中,处理器104可被配置为具有并行处理能力的图形处理单元。在又另一个实施方案中,处理器104可包括能够执行计算机可读指令的多个电子部件。例如,处理器104可包括从电子部件的列表中选择的两个或更多个电子部件,这些电子部件包括:CPU、数字信号处理器、FPGA、GPU和图形板。
处理器104与系统存储器106通信。系统存储器106是计算机可读存储介质。如本文所用,计算机可读存储介质是存储用于由处理器执行的计算机可读指令的任何设备,并且不被解释为本身是暂态的。计算机可读程序指令包括但不限于当由处理器执行时创建用于实现图5中指定的功能/动作的手段的程序、逻辑、数据结构、模块、架构等。当存储在计算机可读存储介质中并由处理器执行时,计算机可读程序指令指示计算机系统和/或另一设备以特定方式起作用,使得计算机可读存储介质包括制品。如本文所用的系统存储器包括易失性存储器(即,随机存取存储器(RAM)和动态RAM(DRAM))和非易失性存储器(即,闪存存储器、只读存储器(ROM)、磁性计算机存储设备等)。在一些实施方案中,系统存储器还可包括高速缓存。
显示器108和一个或多个外部设备110经由输入/输出(I/O)接口连接到处理器104并与之通信。一个或多个外部设备110包括允许用户与医学成像设备102和/或包括处理器104的计算机系统交互/操作它们的设备。如本文所用,外部设备包括但不限于鼠标、键盘、触摸屏和扬声器。
显示器108显示图形用户界面(GUI)。如本文所用,GUI包括可编辑数据(即,患者数据)和/或可选图标。用户可使用外部设备来选择图标和/或编辑数据。选择图标使处理器执行存储在计算机可读存储介质中的计算机可读程序指令,该指令使处理器执行各种任务。例如,用户可使用外部设备110来选择致使处理器104控制医学设备102以采集患者的图像数据的图标。
当处理器104执行计算机可读程序指令以开始图像采集时,处理器104将开始成像的信号发送到医学成像设备102。作为响应,医学成像设备102捕获图像数据并且将所捕获的图像数据发送到处理器104。在一个示例中,医学成像设备102可以是CT扫描仪。CT扫描仪包括辐射源(诸如X射线管)以及与辐射源相对的辐射敏感检测器。响应于接收到开始成像的信号,辐射源发射辐射。辐射横穿被成像的患者并且由该患者衰减。辐射敏感检测器检测衰减的辐射,并且作为响应,生成图像数据(即,投影图像数据)。然后,辐射敏感检测器将图像数据发送到处理器104。根据其他实施方案,不同的医学成像系统可从超声设备采集超声成像数据。
响应于接收到图像数据,处理器104将图像数据重建成一个或多个2D医学数字成像和通信(DICOM)图像。在一些实施方案中,成像可包括在捕获图像数据的同时移动成像设备102。在该实施方案中,经配置的处理器104可将所捕获的图像数据重建成解剖结构的多个2D图像(或“切片”)。此外,在一些实施方案中,处理器104还可执行计算机可读程序指令以根据2D切片生成3D体积。
现在参见图2,其示出了根据示例性实施方案的超声系统200。超声系统200可用作医学成像设备102。如图2所示,在一些实施方案中,超声系统200包括超声探头202、处理器204、系统存储器206、显示器208、一个或多个外部设备210和超声部件212。
处理器204可以是计算机系统的处理器。在一个实施方案中,处理器204可以包括CPU。在另一个实施方案中,处理器204可包括能够执行计算机可读程序指令的其他电子部件。在又另一个实施方案中,处理器204可被配置为具有并行处理能力的图形处理单元。在又另一个实施方案中,处理器可包括能够执行计算机可读程序指令的多个电子部件。处理器204与系统存储器206通信。系统存储器206是计算机可读存储介质。
显示器208和一个或多个外部设备210经由I/O接口连接到处理器204并与之通信。一个或多个外部设备210允许用户与超声探头202和/或具有处理器204的计算机系统进行交互/操作。
超声探头202包括换能器阵列214。在一些实施方案中,换能器阵列214包括发射和捕获超声信号的元件阵列。在一个实施方案中,元件可以单个维度布置(“一维换能器阵列”)。在另一个实施方案中,元件可以二维布置(“二维换能器阵列”)。此外,换能器阵列214可以是一个或若干个元件的线性阵列、弯曲阵列、相控阵列、线性相控阵列、弯曲相控阵列等。根据各种实施方案,换能器阵列214可以是1D阵列、1.25D阵列、1.5D阵列、1.75D阵列或2D阵列。代替元件的阵列,其他实施方案可具有单个换能器元件。
换能器阵列214与超声部件212通信。超声部件212经由有线或无线连接将换能器阵列214以及因此将超声探头202连接到处理器204。处理器204可执行存储在系统存储器206中的计算机可读程序指令,该计算机可读程序指令可使换能器阵列214采集超声数据,激活元件的子集,并且以特定形状发射超声波束。
现在参见图3,其示出了根据示例性实施方案的超声部件212。如图3所示,在一些实施方案中,超声部件212包括发射波束形成器302、发射器304、接收器306和接收波束形成器308。参见图2和图3,当处理器204执行计算机可读程序指令以开始图像采集时,处理器204向发射波束形成器302发送开始采集的信号。发射波束形成器302处理信号并将指示成像参数的信号发送到发射器304。作为响应,发射器304向换能器阵列214发送信号以生成超声波。换能器阵列214的元件然后生成脉冲超声波并且将脉冲超声波输出到患者的身体中。脉冲超声波从体内的特征(即,血细胞、肌肉组织等)反射,从而产生返回到元件并被元件捕获的回波。这些元件将所捕获的回波转换成发送到接收器306的电信号。作为响应,接收器306将指示电信号的信号发送到接收波束形成器306,该接收波束形成器将信号处理成超声图像数据。然后,接收波束形成器306将超声数据发送到处理器204。在本文中,术语“扫描”或“在扫描”可用于指处理器通过发射和接收超声信号的过程来采集数据。超声探头202可包括电子电路的全部或部分来执行发射和/或接收波束形成的全部或部分。例如,超声部件212的全部或部分可位于超声探头202内。
处理器204还可执行存储在系统存储器206中的计算机可读程序指令以进一步处理超声数据。在一个实施方案中,处理器204可将超声数据处理成多个2D切片,其中每个切片对应于一个脉冲超声波。在该实施方案中,当超声探头202在扫描期间移动时,每个切片可包括解剖结构的不同区段。在一些实施方案中,处理器204可进一步处理切片以生成3D体积。处理器204可将切片或3D体积输出到显示器208。
处理器204还可执行使处理器204根据多个可选择的超声模态对超声数据执行一个或多个处理操作的计算机可读程序指令。随着接收到回波信号,可以在扫描期间实时处理超声数据。如本文所用,术语“实时”包括在没有任何有意延迟的情况下执行的过程。例如,超声探头202可以7-20体积/秒的实时速率采集超声数据。超声探头202可以更快的速率采集一个或多个平面的2AD数据。应当理解,实时体积速率取决于采集数据体积所花费的时间长度。因此,当采集较大体积的数据时,实时体积速率可能较慢。
超声数据可在扫描期间临时存储在缓冲器(未示出)中,并且在实时或离线操作中以不太实时的方式处理。在一个实施方案中,其中处理器204包括第一处理器204和第二处理器204,第一处理器204可执行使第一处理器204解调射频(RF)数据的计算机可读程序指令,并且第二处理器204可同时执行使第二处理器204在显示图像之前进一步处理超声数据的计算机可读程序指令。
超声探头202可以例如21-30赫兹(Hz)的体积速率连续采集数据。可以类似帧速率刷新根据超声数据生成的图像。根据体积的大小和预期应用,其他实施方案可以不同的速率(即,大于30Hz或小于10Hz)采集和显示数据。在一个实施方案中,系统存储器206存储至少几秒的超声数据体积。体积以便于根据采集顺序或时间进行检索的方式存储。
在各种实施方案中,处理器204可执行各种计算机可读程序指令以通过其他不同的模式相关模块(即,B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)处理超声数据以形成2D或3D超声数据。图像线和/或体积存储在系统存储器206中,其中定时信息指示采集数据的时间。这些模块可包括例如扫描转换模式以用于执行扫描转换操作,以将图像体积从波束空间坐标转换为显示空间坐标。视频处理模块可读取存储在系统存储器206中的图像体积,并且使处理器204在执行扫描的同时实时生成图像并将图像输出到显示器208。
虽然图2将处理器204、系统存储器206、显示器208和外部设备210示出为与超声探头202分开,但在一些实施方案中,处理器204、系统存储器206、显示器208和外部设备210中的一者或多者可与超声探头202在同一设备中。在各种实施方案中,超声探头202以及处理器204、系统存储器206、显示器208和外部设备210可在单独的手持式设备中。
现在参见图4,示出了根据示例性实施方案的云计算环境400。如图4所示,在一些实施方案中,云计算环境400包括一个或多个节点402。每个节点402可包括计算机系统/服务器(即,个人计算机系统、服务器计算机系统、大型计算机系统等)。节点402可彼此通信并且可被分组成一个或多个网络。每个节点402可包括计算机可读存储介质和执行计算机可读存储介质中的指令的处理器。如图4中进一步所示,一个或多个设备(或系统)404可连接到云计算环境400。一个或多个设备404可连接到相同或不同的网络(即,LAN、WAN公共网络等)。一个或多个设备404可包括医学成像系统100和超声系统200。一个或多个节点402可与设备404通信,由此允许节点402向设备404提供软件服务。
在一些实施方案中,处理器104或处理器204可将生成的图像输出到图片存档和通信系统(PACS)的计算机可读存储介质。PACS存储由医学成像设备生成的图像并允许计算机系统的用户访问医学图像。包括PACS的计算机可读存储介质可位于节点402和/或另一个设备404中。在一些实施方案中,PACS耦接到远程系统,诸如放射科系统、医院信息系统等。远程系统允许在不同位置处进行操作以访问图像数据。
节点402或另一个设备404的处理器可执行计算机可读指令以便训练深度学习架构。深度学习架构应用一组算法来使用多个处理层对数据中的高层抽象概念进行建模。深度学习训练包括训练深度学习架构以基于构成训练数据集的多个训练图像中的类似特征来识别图像(即,DICOM图像)内的特征。“监督学习”是其中训练数据集仅包括具有已分类数据的图像的深度学习训练方法。也就是说,训练数据集包括其中临床医生先前已在每个训练图像内识别出感兴趣的解剖结构或区域(即,器官、血管、肿瘤、病变等)的图像。“半监督学习”是其中训练数据集包括一些具有已分类数据的图像和一些没有分类数据的图像的深度学习训练方法。“无监督学习”是其中训练数据集仅包括没有分类数据的图像但识别训练数据集内的异常情况的深度学习训练方法。“迁移学习”是其中存储在计算机可读存储介质中的用于解决第一问题的信息被用来解决与第一问题相同或相似性质的第二问题的深度学习训练方法(即在DICOM图像中识别感兴趣的结构或区域)。
深度学习的操作建立在数据集包括高级特征而高级特征又包括低级特征这一理解上。例如,在检查图像时,深度学习架构不是寻找图像内的对象(即,器官、血管、肿瘤、病变等),而是寻找形成部分的边缘,该部分形成基于学习到的可观测特征而正在寻找的对象。学习到的可观测特征包括在训练期间由深度学习架构学习到的对象和可量化正则性。设置有有效分类的数据的大训练集的深度学习架构更有条件区分并且提取与新数据的成功分类相关的特征。
利用迁移学习的深度学习架构可将数据特征正确地连接到由人类专家确认的某些分类。相反,同一深度学习架构可在人类专家告知分类错误时更新用于分类的参数。例如,可通过学习到的设置和/或其他配置信息的使用来引导设置和/或其他配置信息,并且当系统被使用更多次(即,反复使用和/或由多个用户使用)时,对于给定情况而言,可减少设置和/或其他配置信息的变化和/或其他可能性的数量。可针对专家分类的数据集训练深度学习架构。该数据集构建了架构的第一参数并且是用于监督学习阶段。
在监督学习期间,可测试深度学习架构以确定是否已经实现期望的行为(即,深度学习架构已被训练为根据指定阈值进行操作等)。一旦已实现期望的行为,就可部署架构以供使用。也就是说,深度学习架构可通过“真实”数据进行测试。在操作期间,由深度学习架构进行的分类可由专家用户、专家系统或参考数据库确认或拒绝以继续改善架构行为。架构随后处于迁移学习状态,因为确定架构行为的分类参数基于正在进行的交互来更新。在某些示例中,架构可向另一个过程提供直接反馈。在某些示例中,架构输出的数据先经过缓冲(即,经由云计算环境400)和验证,再提供给另一个过程。
深度学习架构可经由计算机辅助检测(CAD)系统应用以分析由医学成像系统100、超声系统200生成或存储在PACS中的DICOM图像。具体地讲,深度学习架构可用于分析2D(和/或3D)DICOM图像以识别2D和/或3D图像内的解剖结构(即,器官、肿瘤、血管、病变等)。
现在参见图5,根据示例性实施方案示出了用于程式化医学图像的方法500的流程图。方法500的各个方面可由“经配置的处理器”执行。如本文所用,经配置的处理器是根据本公开的一个方面配置的处理器。经配置的处理器可以是处理器104或处理器204。经配置的处理器执行各种计算机可读程序指令以执行方法500的步骤。当由经配置的处理器执行时,使得经配置的处理器执行方法500的步骤的计算机可读程序指令可存储在系统存储器106、系统存储器206、节点402的系统存储器或另一个设备404的系统存储器中。方法500的技术效果是程式化医学图像。
在502处,经配置的处理器利用多个2D图像(“训练数据集”)训练深度学习架构。多个2D图像包括但不限于由CT系统、PET系统、MRI系统、X射线系统和超声系统生成的图像。多个2D图像可包括DICOM图像。如本文先前所述,经由监督学习、半监督学习、无监督学习和迁移学习来训练深度学习架构以识别各个训练图像内的解剖结构。在训练之后,经配置的处理器将深度学习架构应用于2D图像的测试数据集。深度学习架构识别测试数据集的各个图像内的解剖结构。在一些实施方案中,经配置的处理器然后通过将由深度学习架构识别的解剖结构与基础真实掩模进行比较来检查深度学习架构的准确度。如本文所使用,基础真实掩模是包括准确识别出的解剖结构的掩模。在其他实施方案中,临床医生检查深度学习架构的准确度。如果深度学习架构未达到识别解剖结构的准确度的阈值水平(即,80%准确度、90%准确度、95%准确度等),则经配置的处理器继续训练深度学习架构直到达到期望的准确度。当达到期望的准确度时,深度学习架构可应用于具有不包括先前识别的解剖结构的图像的数据集。
在504处,经配置的处理器从成像系统100、超声系统200或PACS接收2D DICOM图像。
在506处,经配置的处理器通过深度学习架构来识别2D DICOM图像内的至少一个解剖结构(即,“第一解剖结构”、“第二解剖结构”、“第三解剖结构”等)。解剖结构可包括但不限于器官、血管、肿瘤和病变。在一个示例中,经配置的处理器通过深度学习架构来识别一个解剖结构(“第一解剖结构”)。在另一个示例中,经配置的处理器识别两个解剖结构(“第一解剖结构”和“第二解剖结构”)。暂时转到图6,示出了根据示例性实施方案的2DDICOM图像600。在该实施方案中,2D DICOM图像由超声数据产生。2D DICOM图像600包括第一解剖结构602A和第二解剖结构602B。在该示例中,第一解剖结构602A和第二解剖结构602B是不同的器官。具体地讲,第一解剖结构602A对应于肝脏,并且第二解剖结构602B对应于肾脏。
在508处,经配置的处理器根据经健康(即,健康状态或状况)识别的解剖结构对已识别的解剖结构进行评分。经配置的处理器根据生物标志物、已识别的解剖结构的尺寸、对应于已识别的解剖结构的疾病状态、与患者相关的检查参数(即,体质指数(BMI)、体重、血压、静息心率等)以及与患者相关的人口统计资料(即,年龄、种族、性别等)来确定已识别的解剖结构的健康状况。在一些实施方案中,生物标志物对应于已识别的解剖结构和/或与已识别的解剖结构相关的疾病状态。在一个示例中,其中已识别的解剖结构为肝脏,生物标志物可包括但不限于天冬氨酸转氨酶(AST)、丙氨酸转氨酶(ALT)、碱性磷酸酶(ALP)、胆固醇、低密度脂蛋白(LDL)、高密度脂蛋白(HDL)、胆红素、凝血酶原时间(PT)、部分凝血酶原时间(PPT)、白蛋白总蛋白、γ-谷氨酰转移酶(GGT)、L-乳酸脱氢酶(LD)和国际标准化比率。在另一个示例中,其中已识别的解剖结构为肾脏,生物标志物可包括但不限于血尿素氮(BUN)、肾小球滤过率(GFR)、中性粒细胞明胶酶相关脂质运载蛋白(NGAL)、肾损伤分子-1(KIM-1)和肝脏型脂肪酸结合蛋白(L-FABP)。在又一个示例中,其中已识别的解剖结构为肿瘤,生物标志物可包括但不限于α-胎蛋白(AFP)、β-2-微球蛋白(B2M)、β-人绒毛膜促性腺激素(β-hCG)、纤维蛋白/纤维蛋白原、乳酸脱氢酶、神经元特异性烯醇酶(NSE)、核基质蛋白22、前列腺酸性磷酸酶(PAP)和甲状腺球蛋白。在一些实施方案中,经配置的处理器自动对已识别的解剖结构进行评分并且自动确定解剖结构的尺寸,包括但不限于解剖结构的长轴的长度和解剖结构的短轴的长度。
在一些实施方案中,经配置的处理器将更高的分数分配给更健康的解剖结构,并且在1-10的标度上对解剖结构进行评分。在一个示例中,临床医生可诊断John Doe患有非酒精性脂肪肝病(NAFLD)。在第一次检查中,临床医生诊断John Doe患有第1阶段NAFLD。在该示例中,因为肝脏处于NAFLD的早期阶段,经配置的处理器可将分数7分配给在第一次检查期间拍摄的第一2D DICOM图像中的解剖结构(肝脏)。在第二次检查中,临床医生可诊断John Doe患有第3阶段NAFLD。在该示例中,因为肝脏处于NAFLD的后期阶段,经配置的处理器可将分数4分配给在第二次检查期间拍摄的第二2D DICOM图像中的解剖结构(肝脏)。由于对应于解剖结构的疾病状态已经进展,经配置的处理器在第二次检查时分配较低的分数。
在另一个示例中,临床医生可诊断Jane Doe患有乳腺癌。在第一次检查中,临床医生可确定肿瘤为6cm大。在该示例中,因为肿瘤是T3级肿瘤,经配置的处理器可将分数3分配给在第一次检查期间拍摄的第一2D DICOM图像中的解剖结构(肿瘤)。在第二次检查中,临床医生可确定肿瘤为1cm大。在该示例中,因为肿瘤是T1级肿瘤,经配置的处理器可将分数7分配给在第二次检查期间拍摄的第二2D DICOM图像中的解剖结构(肿瘤)。经配置的处理器在第二次检查时分配较高的分数,因为解剖结构较小,这对应于较低的肿瘤等级。
在又一个示例中,其中临床医生诊断Jane Doe患有乳腺癌,在第一次检查时,临床医生可确定肿瘤为1cm大。在该示例中,因为肿瘤是T1级肿瘤,经配置的处理器可将分数7分配给在第一次检查期间拍摄的第一2D DICOM图像中的解剖结构(肿瘤)。在第二次检查中,临床医生可确定肿瘤为6cm大。因为肿瘤是T3级肿瘤,经配置的处理器可将分数3分配给在第二次检查期间拍摄的第二2D DICOM图像中的解剖结构(肿瘤)。经配置的处理器在第二次检查时分配较低的分数,因为解剖结构较大,这对应于较高的肿瘤等级。
在510处,经配置的处理器将2D DICOM图像分割成至少两个区域(即,“第一区域”、“第二区域”等),其中区域中的至少一者包括已识别的解剖结构。在一些实施方案中,包括已识别的解剖结构的区域仅包括已识别的解剖结构。经配置的处理器可根据多种技术分割2D DICOM图像。在一个示例中,其中经配置的处理器在506处识别一个解剖结构,经配置的处理器将2D DICOM图像分割成第一区域和第二区域,其中第一区域包括解剖结构并且第二区域不包括解剖结构。在另一个示例中,其中经配置的处理器在506处识别第一解剖结构和第二解剖结构,经配置的处理器将2D DICOM图像分割成包括第一解剖结构的第一区域、包括第二解剖结构的第二区域,以及不包括第一解剖结构或第二解剖结构的第三区域。
在512处,经配置的处理器将程式应用于已分割区域,由此生成程式化的2D DICOM图像。将程式应用于已分割区域包括将程式应用于2D DICOM图像的各个像素。如本文所使用,程式包括调色板程式、可听程式和成像设备程式。在一些实施方案中,其中经配置的处理器应用两个程式(即,第一程式和第二程式),第一程式和第二程式是不同的,并且经配置的处理器自动应用程式。
调色板程式包括基于色轮理论的颜色方案。基于色轮理论的颜色方案包括但不限于单色颜色方案、温度颜色方案、互补颜色方案、类似颜色方案、三色颜色方案、分裂互补颜色方案、四色颜色方案和正方形颜色方案。
单色颜色方案使用一个色调,并且添加白色、黑色或灰色以对色调进行着色、协调和加阴影。暂时参见图7,示出了根据示例性实施方案的单色颜色方案。在该示例中,单色颜色方案包括白色色调702,并且添加不同量的黑色着色704以创建第一阴影706A、第二阴影706B和第三阴影706C。单色颜色方案可用于示出解剖结构的健康状况。在一个示例中,其中经配置的处理器将较高分数分配给较健康的解剖结构,当经配置的处理器将低分数(即,2)分配给解剖结构时,经配置的处理器可将所选色调的深着色应用于解剖结构,因为深着色可在视觉上指示解剖结构处于不良健康状况。在另一个示例中,其中经配置的处理器将较高分数分配给较健康的解剖结构,当经配置的处理器将高分数(即,9)分配给解剖结构时,经配置的处理器可将所选色调的浅着色应用于解剖结构,因为浅着色可在视觉上指示解剖结构处于良好健康状况。
温度颜色方案包括暖色(即红色、橙色或黄色)和冷色(即紫色、蓝色或绿色)。在一些实施方案中,经配置的处理器可根据检查类型向区域施加暖色和冷色。在一个示例中,John Doe可经历常规的医学成像过程。在该示例中,经配置的处理器可将冷色施加到在成像过程期间生成的2D DICOM图像的解剖结构,因为冷色可与正常情况相关联。在另一个示例中,John Doe可经历医学成像过程以确定癌症的进展。在该示例中,经配置的处理器可将暖色施加到在成像过程期间生成的2D DICOM图像的解剖结构(即,肿瘤),因为暖色可与涉及威胁的情况相关联。
互补颜色方案包括配对相对颜色。相对颜色(即在色轮上彼此相对定位的颜色)在组合时彼此抵消。互补颜色包括但不限于红色和绿色、紫色和黄色、以及橙色和蓝色。在一些实施方案中,经配置的处理器可将互补颜色施加到第一区域和第二区域以将第一区域与第二区域进行对比。在一个示例中,2D DICOM图像可包括第一区域和第二区域,该第一区域包括肝脏,该第二区域包括肾脏。在该示例中,经配置的处理器可将蓝色施加到第一区域并且将橙色施加到第二区域以将肾脏与肝脏进行对比。
类似颜色方案包括对色轮上彼此相邻的2-4种颜色进行分组。类似颜色包括但不限于红色、橙色和黄色,以及紫色、蓝色和绿色。在一些实施方案中,经配置的处理器可将来自第一组类似颜色的一种颜色施加到第一区域并且将来自不同的第二组类似颜色的另一种颜色施加到第二区域以将第一区域与第二区域进行对比。
三色颜色方案包括对围绕色轮均匀间隔开的三种颜色进行分组。三色颜色包括但不限于橙色、紫色和蓝色,以及红色、黄色和深蓝色。当经配置的处理器将2D DICOM图像分割成三个区域时,经配置的处理器可部署三色颜色方案。在一些实施方案中,其中经配置的处理器将2D DICOM图像分割成第一区域、第二区域和第三区域,经配置的处理器可将黄色施加到第一区域,将红色施加到第二区域,并且将深蓝色施加到第三区域,从而以平衡方式将第一区域、第二区域和第三区域进行对比。
分裂互补颜色方案包括根据基色对三种颜色进行分组。经配置的处理器选择基色和邻近与基色互补的颜色的两种颜色。当经配置的处理器将2D DICOM图像分割成三个区域时,经配置的处理器可部署分裂互补颜色方案。在一些实施方案中,其中经配置的处理器将2D DICOM图像分割成第一区域、第二区域和第三区域,经配置的处理器可为第一区域分配基色,为第二区域分配邻近与基色互补的颜色的第一颜色,并且为第三区域分配邻近与基色互补的颜色的第二颜色。
四色颜色方案包括对两对互补颜色进行分组。四色颜色方案可包括但不限于红色、绿色、紫色和黄色。当经配置的处理器将2D DICOM图像分割成四个区域时,经配置的处理器可部署四色颜色方案。在一些实施方案中,其中经配置的处理器将2D DICOM图像分割成第一区域、第二区域、第三区域和第四区域,经配置的处理器可将红色分配给第一区域,将绿色分配给第二区域,将紫色分配给第三区域,并且将黄色分配给第四区域以对四个区域进行对比。
正方形颜色方案包括对围绕色轮均匀间隔开的四种颜色进行分组。正方形颜色方案可包括但不限于红色、橙色、紫色和绿色。当经配置的处理器将2D DICOM图像分割成四个区域时,经配置的处理器可部署正方形颜色方案。在一些实施方案中,其中经配置的处理器将2D DICOM图像分割成第一区域、第二区域、第三区域和第四区域,经配置的处理器可将红色分配给第一区域,将紫色分配给第二区域,将绿色分配给第三区域,并且将橙色分配给第四区域以对四个区域进行对比。
可听程式可包括处于相同或不同音量的一个或多个音符、音调、上升或下降音高、歌曲等。经配置的处理器可将不同的可听程式分配给不同区域。在一个示例中,其中经配置的处理器将2D DICOM图像分割成第一区域和第二区域,经配置的处理器可将C音符分配给第一区域并且将A音符分配给第二区域。在另一个示例中,其中经配置的处理器将2D DICOM图像分割成第一区域、第二区域和第三区域,经配置的处理器可将C音符分配给第一区域,将F音符分配给第二区域,并且将A音符分配给第三区域。可听程式还可包括关于解剖结构的健康状态或疾病状态的信息。可听程式
成像设备程式可包括与医学成像设备(即,CT、MRI、超声、X射线等)或医学成像设备的制造商相关的一个或多个显示程式。例如,经配置的处理器可将CT图像程式应用于由超声系统生成的2D DICOM图像/或2DDICOM图像的已分割区域,由此使2D DICOM图像看起来好像CT成像系统生成的2D DICOM图像。在另一个示例中,经配置的处理器可将对应于第一制造商的医学成像系统的程式应用于由不同的第二制造商的医学成像系统生成的2DDICOM图像。
在514处,经配置的处理器将程式化图像输出到显示器108或显示器208。当程式化图像包括可听程式时,当用户通过外部设备110或外部设备210选择具有可听程式的区域时,该选择致使处理器将可听程式输出到扬声器。在一个示例中,其中外部设备110或外部设备210包括显示器108或显示器208的触摸屏并且经配置的处理器输出具有可听程式的程式化图像,用户触摸包括可听程式的区域会致使经配置的处理器将可听程式输出到扬声器。在另一个示例中,其中外部设备110或外部设备210包括鼠标并且经配置的处理器输出具有可听程式的程式化图像,用户点击包括可听程式的区域会致使经配置的处理器将可听程式输出到扬声器。在一些实施方案中,经配置的处理器可将程式化图像保存到节点402、另一个设备404的系统存储器或PACS的系统存储器。
现在参见图8,示出了根据示例性实施方案的第一程式化图像800。在该实施方案中,用作程式化图像800的基础的2D DICOM图像根据超声图像数据来生成。第一程式化图像800包括第一区域802和第二区域804。第一区域802包括第一解剖结构806。第一解剖结构806包括正被成像的患者的肾脏。在该示例中,经配置的处理器应用单色颜色方案,并且根据单色颜色方案依据所确定的肾脏健康状况来分配颜色。在该示例中,经配置的处理器可能已经用对应于良好健康状况的评分(即,在1至10的标度上的分数9,其中10是健康肾脏)对肾脏进行评分,并且因此将较浅颜色分配给第一区域802,由此描绘肾脏处于良好健康状况。
现在参见图9,示出了根据示例性实施方案的第二程式化图像。在该实施方案中,用作程式化图像900的基础的2D DICOM图像根据超声图像数据来生成。第二程式化图像900包括第一区域902和第二区域904。第一区域902包括第一解剖结构906。第一解剖结构906包括正被成像的患者的肾脏。在该示例中,经配置的处理器应用单色颜色方案,并且根据单色颜色方案依据所确定的肾脏健康状况来分配颜色。在该示例中,经配置的处理器可能已经用对应于不良健康状况的评分(即,在1至10的标度上的分数2,其中10是健康肾脏)对肾进行评分,并且因此将较深颜色分配给第一区域902,由此描绘肾脏处于不良健康状况。
方法500的步骤可应用于多次患者就诊中的多个2D(或3D)DICOM图像。经配置的处理器可输出根据在多次患者就诊中单独地或共同地获取的2D(或3D)DICOM图像生成的程式化图像,如本文先前所讨论。当来自不同患者就诊的程式化图像存储在系统存储器中时,经配置的处理器可从系统存储器检索程式化图像并输出程式化图像,如本文先前所讨论。
输出多次患者就诊中的程式化图像可帮助临床医生可视化器官的疾病状态的进展。例如,如图10所示,经配置的处理器可执行方法500以根据在第一次患者就诊时生成的第一2D(或3D)DICOM图像生成并输出第一程式化图像1002,根据在第二次患者就诊时生成的第二2D(或3D)DICOM图像生成并输出第二程式化图像1004,根据在第三次患者就诊时生成的第三2D(或3D)DICOM图像生成并输出第三程式化图像1006,并且根据在第四次患者就诊时生成的第四2D(或3D)DICOM图像生成并输出第四程式化图像1008,在该示例中,经配置的处理器识别每个程式化图像1002-1008中的第一区域1010和第二区域1012。第一区域1010包括肾脏并且第二区域1012包括程式化图像1002-1008的其余部分。在该示例中,经配置的处理器在每次患者就诊时根据肾脏的疾病状态(即,慢性肾疾病(CKD))在1-10的标度上对肾脏的健康状况进行评分,其中分数10对应于健康肾脏。在第一次患者就诊时,肾脏处于第1阶段CKD;在第二次患者就诊时,肾脏处于第3阶段CKD;在第三次患者就诊时,肾脏处于第4阶段CKD;并且在第四次患者就诊时,肾脏处于第5阶段CKD。因此,经配置的处理器可在第一次患者就诊时将肾脏评分为6,在第二次患者就诊时将肾脏评分为4,在第三次患者就诊时将肾脏评分为2,并且在第五次患者就诊时将肾脏评分为1。
在该示例中,经配置的处理器将对应于每个程式化图像1002-1008的2D DICOM图像分割成第一区域1010和第二区域1012,并且将单色颜色方案应用于第一区域1010(肾脏)并将不同的颜色方案应用于第二区域1012。此外,经配置的处理器根据所确定的肾脏的健康状况以及因此根据所确定的肾脏的分数将颜色方案应用于第一区域1010。如图10所示,因为肾脏的健康状况恶化,经配置的处理器将较深色调施加到第一区域1010。变深颜色的这种视觉进展可有助于临床医生或患者可视化肾脏的健康状况。此外,变深颜色可表达肾脏的健康状况恶化,因为较深颜色可与有害情况相关联。虽然上述示例描述了将颜色方案应用于2D(或3D)DICOM中的一个解剖结构,但应当理解,上述方法可应用于多于一个解剖结构,这允许临床医生独立地可视化图像内的多个解剖结构的健康状态或疾病进展。
除了任何先前指示的修改之外,本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和另选布置,并且所附权利要求书旨在覆盖此类修改和布置。因此,尽管上文已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述,但对于本领域的普通技术人员将显而易见的是,在不脱离本文阐述的原理和概念的情况下,可以进行许多修改,包括但不限于形式、功能、操作方式和使用。同样,如本文所用,示例和实施方案仅意图是说明性的,并且不应以任何方式解释为限制性的。
Claims (20)
1.一种方法,包括:
生成医学图像;
将所述医学图像分割成第一区域和第二区域;
将第一程式应用于所述第一区域并且将不同的第二程式应用于所述第二区域,由此生成程式化医学图像;以及
显示所述程式化医学图像。
2.根据权利要求1所述的方法,还包括:
根据超声图像数据生成所述医学图像。
3.根据权利要求1所述的方法,还包括:
识别所述医学图像中的解剖结构,
其中所述第一区域包括所述解剖结构并且所述第二区域包括所述图像的其余部分。
4.根据权利要求3所述的方法,还包括:
确定所述解剖结构的健康状况;以及
根据所述解剖结构的所确定的健康状况将所述第一颜色程式应用于所述第一区域。
5.根据权利要求4所述的方法,其中根据生物标志物、所述解剖结构的尺寸、对应于所述解剖结构的疾病状态、与患者相关的检查参数、或与所述患者相关的人口统计资料中的至少一者来确定所述解剖结构的所述健康状况。
6.根据权利要求1所述的方法,还包括:
识别所述医学图像中的第一解剖结构和不同的第二解剖结构,
其中所述第一区域包括所述第一解剖结构并且所述第二区域包括所述第二解剖结构。
7.根据权利要求1所述的方法,其中所述第一程式和所述第二程式是调色板程式、可听程式和成像设备程式中的一者。
8.根据权利要求7所述的方法,其中所述第一程式或所述第二程式为调色板程式,所述调色板程式选自单色颜色方案、温度颜色方案、互补颜色方案、类似颜色方案、三色颜色方案、分裂互补颜色方案、四色颜色方案和正方形颜色方案中的一者。
9.一种系统,包括:
处理器;
计算机可读存储介质,所述计算机可读存储介质与所述处理器通信,其中所述处理器执行存储在所述计算机可读存储介质中的程序指令,所述程序指令使所述处理器:
接收医学图像;
将所述医学图像分割成第一区域和第二区域;
将第一程式应用于所述第一区域并且将第二程式应用于所述第二区域,由此生成程式化医学图像;以及
将所述程式化医学图像输出到显示器。
10.根据权利要求9所述的系统,其中所述医学图像根据超声图像数据来生成。
11.根据权利要求9所述的系统,其中所述程序指令还致使所述处理器:
识别所述医学图像中的解剖结构,其中所述第一区域包括所述解剖结构。
12.根据权利要求11所述的系统,其中所述指令还致使所述处理器:
确定所述解剖结构的健康状况;以及
根据所述解剖结构的所确定的健康状况将所述第一颜色程式应用于所述第一区域。
13.根据权利要求12所述的系统,其中所述指令还致使所述处理器:
根据生物标志物、所述解剖结构的尺寸、对应于所述解剖结构的疾病状态、与患者相关的检查参数、或与所述患者相关的人口统计资料来确定所述解剖结构的所述健康状况。
14.根据权利要求9所述的系统,其中所述程序指令还致使所述处理器:
识别所述医学图像中的第一解剖结构和不同的第二解剖结构,
其中所述第一区域包括所述第一解剖结构并且所述第二区域包括所述第二解剖结构。
15.根据权利要求9所述的系统,其中所述第一程式和所述第二程式是调色板程式、可听程式和成像设备程式中的一者。
16.根据权利要求15所述的系统,其中所述第一程式或所述第二程式为调色板程式,所述调色板程式选自单色颜色方案、温度颜色方案、互补颜色方案、类似颜色方案、三色颜色方案、分裂互补颜色方案、四色颜色方案和正方形颜色方案中的一者。
17.根据权利要求16所述的系统,其中所述指令还致使所述处理器:
通过将所述调色板程式的颜色施加到所述第一区域或所述第二区域的像素来将所述第一程式或所述第二程式应用于所述第一区域或所述第二区域。
18.一种具有计算机可读程序指令的计算机可读存储介质,所述计算机可读程序指令在由处理器执行时,使得所述处理器:
识别医学图像内的解剖结构;
将所述医学图像分割成第一区域和第二区域,其中所述第一区域包括所述解剖结构;
根据生物标志物、所述解剖结构的尺寸、对应于所述解剖结构的疾病状态、与患者相关的检查参数、或与所述患者相关的人口统计资料中的至少一者将第一颜色方案应用于所述第一区域,其中所述第一颜色方案是单色颜色方案;
将不同的第二颜色方案应用于所述第二区域,由此生成程式化医学图像;以及
将所述程式化医学图像输出到显示器。
19.根据权利要求18所述的计算机可读存储介质,其中所述第一颜色方案为单色颜色方案。
20.根据权利要求18所述的计算机可读存储介质,其中所述计算机可读程序指令还致使所述处理器:
将可听程式应用于所述第一区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/033,249 US20220101518A1 (en) | 2020-09-25 | 2020-09-25 | System and method for stylizing a medical image |
US17/033,249 | 2020-09-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114255208A true CN114255208A (zh) | 2022-03-29 |
Family
ID=80790303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111125671.7A Pending CN114255208A (zh) | 2020-09-25 | 2021-09-24 | 用于程式化医学图像的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220101518A1 (zh) |
CN (1) | CN114255208A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120159391A1 (en) * | 2010-12-17 | 2012-06-21 | Orca MD, LLC | Medical interface, annotation and communication systems |
US20190066294A1 (en) * | 2017-08-31 | 2019-02-28 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image segmentation |
JP2019511342A (ja) * | 2016-02-08 | 2019-04-25 | イマーゴ・システムズ,インコーポレーテッド | 画像中の物体の視覚化および特徴づけのためのシステムおよび方法 |
US20200129142A1 (en) * | 2018-10-26 | 2020-04-30 | Volcano Corporation | Intraluminal ultrasound navigation buidance and associated devices, systems, and methods |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050152588A1 (en) * | 2003-10-28 | 2005-07-14 | University Of Chicago | Method for virtual endoscopic visualization of the colon by shape-scale signatures, centerlining, and computerized detection of masses |
DE102008028945A1 (de) * | 2008-06-18 | 2009-12-31 | Siemens Aktiengesellschaft | Verfahren und Visualisierungsmodul zur Visualisierung von Unebenheiten der Innen-Oberfläche eines Hohlorgans, Bildbearbeitungseinrichtung und Tomographiesystem |
US9256982B2 (en) * | 2010-03-17 | 2016-02-09 | Microsoft Technology Licensing, Llc | Medical image rendering |
WO2014053986A2 (en) * | 2012-10-01 | 2014-04-10 | Koninklijke Philips N.V. | Multi-study medical image navigation |
US20160012183A1 (en) * | 2013-03-19 | 2016-01-14 | Koninklijke Philips N.V. | Aural enhancments to medical systems |
KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
US20180060534A1 (en) * | 2016-08-31 | 2018-03-01 | International Business Machines Corporation | Verifying annotations on medical images using stored rules |
EP3379281A1 (en) * | 2017-03-20 | 2018-09-26 | Koninklijke Philips N.V. | Image segmentation using reference gray scale values |
US10242292B2 (en) * | 2017-06-13 | 2019-03-26 | Digital Surgery Limited | Surgical simulation for training detection and classification neural networks |
-
2020
- 2020-09-25 US US17/033,249 patent/US20220101518A1/en not_active Abandoned
-
2021
- 2021-09-24 CN CN202111125671.7A patent/CN114255208A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120159391A1 (en) * | 2010-12-17 | 2012-06-21 | Orca MD, LLC | Medical interface, annotation and communication systems |
JP2019511342A (ja) * | 2016-02-08 | 2019-04-25 | イマーゴ・システムズ,インコーポレーテッド | 画像中の物体の視覚化および特徴づけのためのシステムおよび方法 |
US20190066294A1 (en) * | 2017-08-31 | 2019-02-28 | Shenzhen United Imaging Healthcare Co., Ltd. | System and method for image segmentation |
US20200129142A1 (en) * | 2018-10-26 | 2020-04-30 | Volcano Corporation | Intraluminal ultrasound navigation buidance and associated devices, systems, and methods |
Non-Patent Citations (3)
Title |
---|
(美)斯华龄(HAROLD SZU): "智能视觉图像处理 多通道图像的无监督学习方法及其他方法", 31 October 2002, 上海:上海科技教育出版社, pages: 213 - 216 * |
ZENG, XH ET AL.: "Adaptive Medical Image Deep Color Perception Algorithm", IEEE, 18 May 2020 (2020-05-18), pages 56559 - 56571 * |
久野尚美: "日本主题配色速查手册", 30 June 2016, 上海:上海人民美术出版社, pages: 276 - 283 * |
Also Published As
Publication number | Publication date |
---|---|
US20220101518A1 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Slomka et al. | Cardiac imaging: working towards fully-automated machine analysis & interpretation | |
Tsang et al. | Transthoracic 3D echocardiographic left heart chamber quantification using an automated adaptive analytics algorithm | |
US10121272B2 (en) | Ultrasonic diagnostic apparatus and medical image processing apparatus | |
US20130046168A1 (en) | Method and system of characterization of carotid plaque | |
CN112513674A (zh) | 基于器官检测自动动态设置成像参数的超声系统 | |
US11373301B2 (en) | Image diagnostic device, image processing method, and program for obtaining diagnostic prediction models using deep learning | |
US20150057544A1 (en) | Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium | |
Cannesson et al. | A novel two-dimensional echocardiographic image analysis system using artificial intelligence-learned pattern recognition for rapid automated ejection fraction | |
JP6841907B2 (ja) | Bラインを自動的に検出し、超音波スキャンの画像をスコア付けすることによる代表超音波画像の向上された視覚化および選択のための方法、システム及び非一時的コンピュータ可読媒体 | |
US11375984B2 (en) | Method and system for managing feature reading and scoring in ultrasound and/or optoacoustic images | |
CN112292086B (zh) | 超声病变评估及相关联的设备、系统和方法 | |
US11246527B2 (en) | Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images | |
Yu et al. | Artificial intelligence-based myocardial texture analysis in etiological differentiation of left ventricular hypertrophy | |
US20220061810A1 (en) | Systems and methods for placing a gate and/or a color box during ultrasound imaging | |
KR20120102447A (ko) | 진단장치 및 방법 | |
WO2020257482A1 (en) | Method and system for managing feature reading and scoring in ultrasound and/or optoacoustice images | |
US11941806B2 (en) | Methods and systems for automatic assessment of fractional limb volume and fat lean mass from fetal ultrasound scans | |
US20220101518A1 (en) | System and method for stylizing a medical image | |
KR102539922B1 (ko) | 탄성초음파영상에 대한 변형률 계산 및 변형량의 자동 측정을 위한 방법 및 시스템 | |
US20190053789A1 (en) | Color coding an image for identifying anatomy using quantitative transmission ultrasound tomography | |
CN114159099A (zh) | 乳腺超声成像方法及设备 | |
CN112294361A (zh) | 一种超声成像设备、盆底的切面图像生成方法 | |
US11657909B2 (en) | Medical image processing apparatus and medical image processing method | |
WO2021230230A1 (ja) | 超音波診断装置、医用画像処理装置、及び、医用画像処理方法 | |
KR102661893B1 (ko) | 물리적 양에 대한 초음파-도출된 프록시 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |