CN117642777A - 医学成像的缩略图动画 - Google Patents
医学成像的缩略图动画 Download PDFInfo
- Publication number
- CN117642777A CN117642777A CN202280050124.3A CN202280050124A CN117642777A CN 117642777 A CN117642777 A CN 117642777A CN 202280050124 A CN202280050124 A CN 202280050124A CN 117642777 A CN117642777 A CN 117642777A
- Authority
- CN
- China
- Prior art keywords
- medical
- medical images
- interest
- region
- medical imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 96
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 42
- 230000015654 memory Effects 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 description 26
- 238000012800 visualization Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 14
- 238000002591 computed tomography Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000012552 review Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radar, Positioning & Navigation (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种生成医学成像缩略图动画(325)的计算机实施的方法包括:从医学成像检查获得多幅医学图像(324),并且自动定义要在所述多幅医学图像(324)中识别的感兴趣区。所述计算机实施的方法还包括:通过处理器(1221)使用经训练的人工智能算法来识别所述多幅医学图像(324)中的感兴趣区,并且使用第二算法来生成所述医学成像缩略图动画(325),以模拟虚拟相机在所述多幅医学图像(324)中的所述感兴趣区中的路径上的移动。
Description
背景技术
放射科医师一天可能遇到数百幅患者图像。患者图像通常是在医学检查期间由医学成像系统捕获的图像,并且通常反映医学检查数据。可以通过将有意义的文件名分配给患者图像的文件或者将有意义的文件夹名分配给与患者图像的文件相关的图像文件夹来将医学检查数据注释到患者图像。当放射科医师需要加载针对特定患者的患者图像时,放射科医师可以在影像归档和通信系统(PACS)中搜索并找到患者的姓名。为了提出来自具有相似状况的另一患者的患者图像,要求利用一个或多个特定关键词进行更复杂的浏览或搜索。然而,放射科医师可能想要纯粹基于患者图像中的解剖结构的视觉外观来快速找到相似之处。
当前,可以在PACS的图形用户接口(GUI)中为每幅医学图像显示图形缩略图。然而,每个医学检查可能涉及捕获数十或数百幅患者图像。此外,许多患者图像没有信息,并且与特定的研究或处置背景无关。
当从针对相同患者或在不同患者中的医学图像中寻找相似医学影像时,临床专家可能需要在PACS中打开来自PACS的多个先前记录的医学检查的多幅医学图像。由于典型检查可能包括数百幅医学图像,加载过程可能花费一些时间,而在甚至快速检查的情况下,临床专家可以决定任何特定潜在相似病例与当前查询无关,并且前进到加载有希望更相关的下一潜在相似病例的数据。
普通缩略图太小而无法提供具有特定患者的医学状况的特性的医学图像中的特征的有意义的视图。此外,普通缩略图个体地表示仅一幅医学图像,而医学图像集可以包括大得多的数据量。
发明内容
根据本公开的方面,一种生成医学成像缩略图动画的计算机实施的方法包括:从医学成像检查获得多幅医学图像,并且自动定义要在所述多幅医学图像中识别的感兴趣区。所述计算机实施的方法还包括:通过处理器使用经训练的人工智能算法来识别所述多幅医学图像中的所述感兴趣区,并且使用第二算法来生成所述医学成像缩略图动画,以模拟虚拟相机在所述多幅医学图像中的所述感兴趣区中的路径上的移动。
根据本公开的另一方面,一种用于生成医学成像缩略图动画的系统包括存储器和处理器。所述存储器存储来自多个医学成像检查的指令和医学图像。所述处理器运行所述指令以处理来自所述多个医学成像检查的医学图像。当由所述处理器运行时,所述指令使所述系统:从医学成像检查获得多幅医学图像,并且自动定义要在所述多幅医学图像中识别的感兴趣区。所述指令还使所述系统:使用经训练的人工智能算法来识别所述多幅医学图像中的所述感兴趣区,并且使用第二算法来生成所述医学成像缩略图动画,以模拟虚拟相机在所述多幅医学图像中的所述感兴趣区中的路径上的移动。
根据本公开的又一方面,一种计算机可读介质存储用于生成医学成像缩略图动画的程序。当由处理器运行时,所述程序使计算装置:从医学成像检查获得多幅医学图像,并且自动定义要在所述多幅医学图像中识别的感兴趣区。所述程序还使所述计算装置:使用经训练的人工智能算法来识别所述多幅医学图像中的所述感兴趣区,并且使用第二算法来生成所述医学成像缩略图动画,以模拟虚拟相机在所述多幅医学图像中的所述感兴趣区中的路径上的移动。
附图说明
当与附图一起阅读时,根据以下具体实施方式最好地理解示例实施例。要强调的是,各种特征不一定按比例绘制。实际上,为了清楚讨论,可以任意增加或减小尺寸。只要适用且实用,相似的附图标记指代相似的元件。
图1图示了根据代表性实施例的用于医学成像的缩略图动画的系统。
图2图示了根据代表性实施例的用于医学成像的缩略图动画的方法。
图3A图示了根据另一代表性实施例的用于医学成像的缩略图动画的混合系统和流程。
图3B图示了根据另一代表性实施例的用于医学成像的缩略图动画的图像集和流程。
图3C图示了根据另一代表性实施例的用于医学成像的缩略图动画的概览流程。
图4图示了根据代表性实施例的用于医学成像的缩略图动画的另一方法。
图5图示了根据代表性实施例的用于医学成像的缩略图动画的用户系统。
图6图示了根据代表性实施例的可以实施用于医学成像的缩略图动画的方法的计算机系统。
图7图示了根据代表性实施例的用于医学成像的缩略图动画的另一方法。
具体实施方式
在以下具体实施方式中,出于解释而非限制的目的,阐述了公开具体细节的代表性实施例,以便提供对根据本教导的实施例的透彻理解。可以省略对已知系统、设备、材料、操作方法和制造方法的描述,以避免模糊对代表性实施例的描述。尽管如此,在本领域普通技术人员的知识范围内的系统、设备、材料和方法也在本教导的范围内,并且可以根据代表性实施例来使用。应理解,本文使用的术语仅用于描述特定实施例的目的,而不旨在为限制。所定义的术语是如在本教导的技术领域中通常理解和接受的所定义的术语的技术和科学含义的补充。
将理解,尽管本文可以使用术语第一、第二、第三等来描述各种元件或部件,但是这些元件或部件不应受这些术语的限制。这些术语仅用于区分一个元件或部件与另一个元件或部件。因此,在不脱离本发明构思的教导的情况下,下面讨论的第一元件或部件可以被称为第二元件或部件。
本文使用的术语仅用于描述特定实施例的目的,而不旨在为限制。如说明书和权利要求中所使用的,单数形式的术语“一”、“一个”和“所述”旨在包括单数和复数形式两者,除非上下文另有明确规定。此外,术语“包括”和/或“包含”和/或类似术语当在该说明书中使用时指定陈述的特征、元件和/或部件的存在,但不排除一个或更多其他特征、元件、部件和/或其组的存在或添加。如本文所使用的,术语“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。
除非另行指出,否则当元件或部件被认为“连接到”、“耦合到”或“邻近于”另一元件或部件时,将理解该元件或部件可以直接连接或耦合到其他元件或部件,或者可以存在中间元件或部件。也就是说,这些和类似术语涵盖可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而,当元件或部件被认为“直接连接”到另一元件或部件时,这仅涵盖两个元件或部件彼此连接而没有任何中间或中介元件或部件的情况。
因此,本公开通过其各个方面、实施例和/或特定特征或子部件中的一项或多项旨在呈出如下具体指出的优点中的一个或多个。出于解释而非限制的目的,阐述了公开具体细节的示例实施例,以便提供对根据本教导的实施例的透彻理解。然而,与本公开一致的脱离本文公开的具体细节的其他实施例仍在权利要求的范围内。此外,可以省略对公知的装置和方法的描述,以免模糊对示例实施例的描述。这样的方法和装置在本公开的范围内。
如本文所描述的,可以为每个医学检查生成动画缩略图可视化。动画缩略图可视化可以以患者图像中的主要感兴趣区为特征。可以基于在医学检查、图像模态等中执行的一个或多个任务来自动定义感兴趣区。感兴趣区可以在患者图像中被自动检测并用于生成动画缩略图。
图1图示了根据代表性实施例的用于医学成像的缩略图动画的系统100。
图1中的系统100包括可以一起提供或者可以分布的部件。系统100包括医学成像系统110、缩略图动画系统120、存储器系统130、用户系统140和AI训练系统170。缩略图动画系统120包括控制器122,并且控制器122包括存储指令的存储器1222和运行指令的处理器1221。处理器1221可以运行指令以执行归因于本文中的缩略图动画系统120的方法的一个或多个步骤或功能。
医学成像系统110表示在患者检查期间生成医学图像的一个或多个医学成像系统。可以由医学成像系统110表示的(一个或多个)医学成像系统包括但不限于X射线成像系统、超声成像系统、磁共振成像(MRI)系统、计算机断层摄影(CT)成像系统、荧光透视成像系统和正电子发射断层摄影(PET)成像系统。
医学成像系统110可以连同缩略图动画系统120一起被提供,诸如在相同设施或医学综合体中。然而,医学成像系统110可以备选地与缩略图动画系统120完全分离地提供。例如,来自医学成像系统110的医学图像可以本地存储在存储器系统130中,并且然后被发送到缩略图动画系统120或由缩略图动画系统120检索,即使当缩略图动画系统120作为与医学成像系统110和存储器系统130分离的第三方服务来提供时也是如此。可以通过诸如局域网(LAN)或广域网(WAN)(诸如因特网)的网络将医学图像从医学成像系统110直接或间接地提供给缩略图动画系统120。备选地,可以在诸如记忆棒或计算机可读盘的便携式存储器上将医学图像提供给缩略图动画系统120。
存储器系统130可以是或包括影像归档和通信系统(PACS)。存储器系统130可以从包括医学成像系统110的多个医学成像系统获得并存储医学图像,并且使得医学图像经由用户系统140可用于用户。存储器系统130可以存储大量的医学图像和信息,并且因此可以包括通过电子通信网络连接的分布式存储器元件。医学图像和信息可以由授权用户从存储器系统130检索和存储在存储器系统130中,并且可以以其他方式对未授权用户保持安全。
用户系统140可以由用户用于从存储器系统130获得医学图像和对应于医学图像的缩略图动画。用户系统140可以包括一个或多个计算机、一个或多个监测器以及诸如键盘、鼠标和/或麦克风的一个或多个输入设备。用户系统140还可以包括其他类型的电子装备,用户可以通过该电子装备检索和查看医学图像以及对应于医学图像的缩略图动画。在图5中示出并关于图5描述了用户系统140的示例。在图6所示的计算机系统600中示出并关于其描述了用户系统140中使用的计算机的示例。
AI训练系统170是人工智能训练系统,并且可以训练被提供给包括缩略图动画系统120的多个缩略图动画系统的人工智能。AI训练系统170可以与缩略图动画系统120完全分离地提供,诸如由第三方服务提供,但是可以备选地连同缩略图动画系统120一起提供。可以通过诸如局域网(LAN)或广域网(WAN)(诸如因特网)的网络将经训练的人工智能从AI训练系统170提供给缩略图动画系统120。备选地,可以在诸如记忆棒或计算机可读盘的便携式存储器上将经训练的人工智能提供给缩略图动画系统120。
缩略图动画系统120可以包括一个或多个计算机、一个或多个监测器以及诸如键盘、鼠标、麦克风的一个或多个输入设备。缩略图动画系统120还可以包括其他类型的电子装备,通过其可以生成医学图像的缩略图动画。控制器122可以在诸如台式计算机或膝上型计算机的计算机中实施。在图6所示的计算机系统600中示出并关于其描述了缩略图动画系统120中使用的计算机的示例。
使用计算机,缩略图动画系统120可以执行生成医学成像缩略图动画的计算机实施的方法。缩略图动画系统120可以从医学成像检查中获得多幅医学图像。医学成像检查可以由医学成像系统110执行,并且所得的医学图像可以被提供给缩略图动画系统120。缩略图动画系统120可以自动定义要在多幅医学图像中识别的感兴趣区。例如,可以基于通过医学成像系统110进行的医学成像的模态、通过由医学成像系统110在医学成像中执行的任务和/或使用由用户输入到缩略图动画系统120的输入设备的信息来定义感兴趣区。由缩略图动画系统120实施的计算机实施的方法还可以包括:通过处理器1221使用经训练的人工智能算法识别多幅医学图像中的感兴趣区,并且使用第二算法生成医学成像缩略图动画以模拟虚拟相机在多幅医学图像中的感兴趣区中的路径上的移动。
在图2中示出并关于图2描述了使用系统100执行的方法的概述。在图4中示出并关于图4描述了由缩略图动画系统120执行的更详细的方法。在图7中示出并关于图7描述了由用户系统140执行的更详细的方法。
在图1中,处理器1221可以被用于实施本文所描述的一个或多个方法。处理器1221可以是任何适合的处理器类型,包括但不限于,微处理器、微控制器、数字信号处理器(DSP)、现场可编程阵列(FPGA)(其中,FPGA已被编程为形成处理器)、图形处理单元(GPU)、专用电路(ASIC)(其中,ASIC已被设计为形成处理器)或其组合。处理器1221可以包括一个或多个核心,其中,一个核心可以包括算术逻辑单元(ALU)和/或另一核心可以包括浮点逻辑单元(FPLU)和/或另一核心可以包括数字信号处理单元(DSPU)。处理器1221还可以包括通信地耦合到一个或多个核心并且使用专用逻辑门电路(例如,触发器)和/或任何存储器技术来实施的一个或多个寄存器。这样的寄存器可以使用静态存储器来实施,并且可以向核心提供数据、指令和地址。
图2图示了根据代表性实施例的用于医学成像的缩略图动画的方法。
可以使用图1的系统100来执行图2的方法。在图2中,方法通过训练人工智能(AI)在S201处开始。训练人工智能(AI)的结果可以是经训练的人工智能算法,诸如本文所描述的经训练的人工智能算法。
在S205处,图2的方法包括为用户提供经训练的人工智能。在S205处提供的经训练的人工智能可以是作为计算机程序提供的经训练的人工智能算法,并且可以是在S201处的训练的结果。本文所描述的经训练的人工智能的示例是卷积神经网络。卷积神经网络(CNN)通过将滤波技术与通用神经网络组合来实施,并且可以用于诸如当通用神经网络将导致过于复杂的加权值集时的情况,该加权值集由于诸如图像数据的输入数据的大的大小而急剧增加。
在S211处,图2的方法包括获得医学图像。医学图像可以是来自医学成像检查的多幅医学图像。医学图像可以从图1中的存储器系统130获得,并且可以通过图1中的缩略图动画系统120来获得。
在S220处,图2的方法包括将经训练的人工智能应用于医学图像。在S220处应用的经训练的人工智能可以应用于使用如本文所描述的经训练的人工智能算法来识别多幅医学图像中的感兴趣区。
在S292处,图2的方法包括生成缩略图动画。可以在S292处使用第二算法来生成缩略图动画。缩略图动画可以模拟虚拟相机在多幅医学图像中的感兴趣区中的路径上的移动。
在S298处,图2的方法包括显示缩略图动画。缩略图动画可以使用图1中的用户系统140被显示给用户。例如,用户可以使用用户系统来搜索医学图像的特定系列,并且可以检索对应于缩略图动画的医学图像集。不是必须复查医学图像集中的多幅单独的医学图像,而是用户可以复查缩略图动画以确定医学图像集是否与查询相关。
关于图4提供了如在S220中将经训练的人工智能应用于医学图像的详细说明。
图3A图示了根据另一代表性实施例的用于医学成像的缩略图动画的混合系统和流程。
在图3A中,系统300包括存储器321、计算机322和输入设备323。系统300可以是图1中的缩略图动画系统120的示例,并且计算机322可以包括图1中的控制器122。医学图像集324被用于通过计算机322以本文所描述的方式将人工智能应用于医学图像集324来生成缩略图动画325。关于图4提供了将经训练的人工智能应用于医学图像的详细说明。
图3B图示了根据另一代表性实施例的用于医学成像的缩略图动画的图像集和流程。
在图3B中,医学图像集324经受计算机322的处理,以便生成缩略图动画325。缩略图动画325的缩略图各自包括由计算机322的处理器将经训练的人工智能算法应用于医学图像集324所识别的感兴趣区。使用第二算法来生成缩略图动画325,以模拟虚拟相机在医学图像集中的每幅医学图像中的感兴趣区中的路径上的移动。
图3C图示了根据另一代表性实施例的用于医学成像的缩略图动画的概览流程。
如图3C所示,对二维(2D)医学图像进行处理以生成缩略图动画。然而,缩略图动画也可以被用于生成用于医学数据的三维(3D)体积的动画缩略图可视化。可以使用还包括成像操纵/图像处理软件的软件模块来实施被用于生成缩略图动画的软件。
在图3C中,可以将医学图像提供为数字文件,诸如医学数字成像和通信(DICOM)文件。数字医学图像文件还可以包括可以被输入以用于处理的背景数据。在图3C中,第一过程包括从DICOM文件的字段中提取背景信息,或者诸如经由图3A中的输入设备323从用户接收背景信息。背景信息可以包括:成像模态,诸如CT或MRI;在医学成像中执行的任务,诸如腹部或头部的CT扫描、胸部X射线或乳房摄影;和/或感兴趣器官,诸如肝脏或胰腺。
在图3C中,第二过程包括通过算法对医学图像的图像数据进行处理。第二过程可以包括用于估计显著图像区域并且生成锚点的多种不同方法中的任一种,该锚点稍后用作用于创建动画缩略图可视化的帧的裁剪的中心。基于在医学图像中指定的感兴趣区中的像素的坐标来识别锚点。
第二过程中的图像数据处理可以包括分析,诸如:
o器官检测,其包括通过边界框(针对N维中的点集的最低或最小边界框或包围框)来描绘感兴趣器官,或者将点放置在图像中的该器官的中心
o器官分割,其包括通过标志标记属于感兴趣器官的像素
o图像分类,其假设可以基于全部图像内容做出诊断决策,而不特别地检测或分割任何东西
o注意力图估计,其包括在每像素基础上计算每个像素的某个重要性度量的图
第二过程可以通过基于将深度学习的卷积神经网络(CNN)作应为经训练的人工智能来执行。第二过程的目标是将注意力焦点从整幅医学图像缩小到用户可能更感兴趣的最显著部分。可以通过具有少量参数的相对简单且快速的CNN对低分辨率图像执行第二过程中的图像分析。可以在采集医学图像/体积数据之后立即在第二过程中或者在采集和由人类操作者进行检查之间的某个点处处理医学图像/体积数据。
在第二过程中执行的图像分析的结果可以基于第二过程是否包括对象分割、对象检测、图像分类或注意力图估计而变化。除了分割掩模和边界框之外,还可以为图像分类的任务产生类激活图(CAM、GradCAM等)。此外,如果在真实人类注视数据上训练的CNN可用,则CNN可以被用于产生针对给定图像的注意力图。
如果第二过程包括对象分割,则输出可以是针对感兴趣器官的掩模和对象概率图。指定(一个或多个)对象的锚点可以包括掩模的边界、对象掩模形状的几何末端和/或分割对象的中心。
如果第二过程包括对象检测,则输出可以是针对感兴趣器官的边界框和/或对象概率图。指定(一个或多个)对象的锚点可以包括边界框的角和中心、阈值化对象概率图的边界和/或概率图的局部最大值。
如果第二过程包括图像分类,则输出可以是基于图像的类标签和/或类激活图(CAM)。指定(一个或多个)对象的锚点可以包括阈值化类激活图的边界和/或类激活图的局部最大值。
如果第二过程包括注意力图估计,则输出可以是模仿专家注视的固定点的图。指定(一个或多个)对象的锚点可以包括阈值化显著性图的边界和/或显著性图的局部最大值。
在图3C中,第三过程包括产生像素坐标的形式的锚点。可以通过对显著性/概率/注意力图进行阈值化并找到局部最大值来找到锚点。产生锚点的另一种方式是在检测的情况下选择属于显著性图的等值线、或属于分割器官的轮廓、或属于边界框的边界的像素。在该后者情况下,锚点的坐标通常位于平滑曲线上。如果在图像中存在若干分割或检测到的器官,或者在显著性图上存在若干突出的最大值,那么可以选择分割/检测到的区域的中心和最突出的显著性最大值的位置作为锚点。
在图3C中,第四过程包括使用先前找到的锚点来生成针对虚拟相机的轨迹。首先,通过其像素坐标对锚点的列表进行排序。然后,通过将平滑曲线(例如样条曲线)拟合到不同图像中的锚点的列表来计算属于轨迹的锚点的坐标。在找到曲线之后,从曲线中采样额外的锚点,以便使虚拟相机轨迹从开始到结束的所有锚点的分布更均匀。在采样期间,锚点坐标可以被调节并且变为非整数。在这种情况下,以这些锚点为中心的帧可以通过简单的图像插值来生成,例如双线性、双三次、Lanczos等。
使用图3C的过程,生成具有近似5-7秒的查看时间的动画缩略图可视化,该查看时间可以对应于每秒10到15帧的50到105帧,并且沿着轨迹采样~50个锚点。在它们将不提供快速浏览数据的情况下,可以避免较长的动画。
此外,在图3C的过程中,动画缩略图可视化的第一帧和最后一帧可以被设置为缩小的图像。在这种情况下,可以通过从轨迹放大到第一个锚点并通过从最后锚点再次缩小到整幅图像的总体视图来生成若干帧。然后可以将帧变换为动画缩略图可视化,其可以例如保存为动画GIF文件。
此外,图像对比度或直方图修改(诸如窗口化)可以应用于最终动画缩略图可视化,以便突出显示特定结构。可以基于在第一过程中获得的背景信息来选择窗口化参数。像素值也可以根据用户的偏好映射到特定的颜色图,诸如“jet”、“hsv”、灰度。
图3C的过程可以应用于三维体积。例如,可以向在移动到新深度之前注意地扫描整个切片的放射科医师提供穿过异常或器官中心的单个切片,并且然后可以应用上文所描述的过程来生成平滑查看体验。通过滚动通过图像切片,但仅聚焦于感兴趣区域,而不是整幅图像,可以向在深度上滚动通过切片时将其搜索限制于器官的狭窄部分的放射科医师提供动画缩略图可视化。
图4图示了根据代表性实施例的用于医学成像的缩略图动画的另一方法。
在图4中,方法通过获得医学图像在S411处开始。医学图像可以由缩略图动画系统120直接从存储器系统130或者直接或间接地从医学成像系统110获得。
在S414处,提取背景信息。背景信息可以从用于医学图像的文件的字段中提取,并且可以解释捕获医学图像的背景。例如,可以从DICOM文件的字段中提取背景信息。备选地,可以通过用户向缩略图动画系统120输入信息来指定背景信息。背景信息可以包括捕获医学图像的医学成像的模态。示例模态包括但不限于CT和MRI。背景信息可以包括当捕获医学图像时执行的调查的类型。调查的示例类型包括但不限于腹部或头部的CT扫描、胸部X射线和乳房摄影。背景信息还可以指示在医学图像中捕获的感兴趣器官。示例感兴趣器官包括但不限于肝脏或胰腺。
在S421处,定义感兴趣区。可以通过或使用来自S414的背景信息来定义在S421处定义的感兴趣区。感兴趣区可以包括解剖特征,诸如要在医学图像中识别的解剖对象或区域。
在S423处,生成显著性图。可以通过将经训练的人工智能应用于医学图像以在每幅医学图像中找到感兴趣区来生成显著性图。经训练的人工智能可以包括基于深度学习的算法,该算法选择静止医学图像或体积中的最显著区域。基于在S414处提取的背景和在S421处的感兴趣区的定义来进行选择。
被用于生成显著性图的分析可以包括器官检测、器官分割、图像分类和/或注意力图估计。器官检测包括通过边界框来描绘感兴趣器官,或者将点放置在图像中的该器官的中心。器官分割包括通过标志标记属于感兴趣器官的像素。图像分类假设可以基于整体图像内容做出诊断决策,而不特别地检测或分割任何东西。注意力图估计包括在每像素基础上计算每个像素的某个重要性度量的映射。S431处的图像分析可以通过应用基于深度学习的卷积神经网络(CNN)来执行,并且S431处的分析的目标是将注意力焦点从整幅图像缩小到用户可能更感兴趣的最显著部分。可以通过具有少量参数的相对简单且快速的CNN对低分辨率图像执行S431处的图像分析。医学图像/体积数据可以在其由医学成像系统110采集之后立即进行处理,或者在采集和由人类操作者进行检查之间的某个点处进行处理。
在S425处,医学图像的第一子集被选择为丢弃,并且医学图像的第二子集被选择为保留。医学图像的第一子集可以是容易被识别为缺少感兴趣区的医学图像。
在S431处,在医学图像中识别锚点。通过使用经训练的人工智能处理图像数据来识别锚点。以像素坐标的形式产生锚点。图4的方法可以包括基于针对医学图像中的感兴趣区的像素的坐标来识别锚点。可以通过对显著性/概率/注意力图进行阈值化并找到它们的局部最大值来找到锚点。产生锚点的另一种方式是在检测的情况下选择属于显著性图的等值线、或属于分割器官的轮廓、或属于边界框的边界的像素。在该后者情况下,锚点的坐标将通常位于平滑曲线上。如果在图像中存在若干分割或检测到的器官,或者在显著性图上存在若干突出的最大值,那么可以选择分割/检测到的区域的中心和最突出的显著性最大值的位置作为锚点。
在S433处,在医学图像中识别锚点的坐标。坐标可以是两个维度中的像素的坐标,诸如垂直的X维度和Y维度。
在S435处,在医学图像中识别感兴趣区。感兴趣区对应于锚点,诸如当锚点识别感兴趣区的中心和/或外围时。作为示例,可以在医学图像的第二子集中捕获的器官或另一解剖对象、肿瘤、解剖对象的交叉点或另一类型的对象周围识别感兴趣区。
在S437处,创建通过医学图像的第二子集的路径。路径可以是使用先前找到的锚点生成的虚拟相机的轨迹。可以通过突出显示或以其他方式强调所选择的第二子集的医学图像中的锚点和/或感兴趣区来创建路径。路径可以由第二算法创建,该第二算法模拟虚拟相机通过图像中的显著区域的集合的移动。可以基于在医学图像中设置的锚点来模拟虚拟相机的移动,以识别医学图像中的感兴趣区。第二算法可以被用于在医学图像中的感兴趣区中生成平滑化路径。图4的方法可以包括使用第二算法对感兴趣区中的路径进行平滑化,以生成平滑化路径。
此外,第二算法可以在创建缩略图动画的过程中平滑化初始选择的锚点。可以通过将平滑曲线(例如样条曲线)拟合到不同图像中的锚点的列表来执行平滑化。在找到曲线之后,可以从中采样额外的锚点,以便使虚拟相机轨迹从开始到结束的所有锚点的分布更均匀。在采样期间,锚点坐标可以被调节并且变为非整数。在这种情况下,以这些锚点为中心的帧可以通过简单的图像插值来生成,例如双线性、双三次、Lanczos等。
在S441处,设置第一帧和/或最后一帧。动画缩略图可视化的第一帧和最后一帧可以通过以与任何图形用户接口(GUI)中的常规缩略图可视化相同的方式缩小整个帧来设置。
在S443处,突出显示结构。图像对比度或直方图修改,例如窗口化,可以被应用于最终动画缩略图可视化,以便突出显示特定结构。窗口化参数可以基于从图像文件中提取的背景信息来选择,或者可以由用户给出。像素值也可以根据用户的偏好映射到特定的颜色图(“jet”、“hsv”、灰度)。
在S492处,生成缩略图动画。然后将帧变换为动画缩略图可视化,其可以例如保存为动画GIF文件。缩略图动画可以被生成为以每秒10帧与每秒15帧之间的帧速率显示动画的帧,并且可以被对准到持续5至7秒。
在S498处,显示缩略图动画。缩略图动画可以以每秒10帧和每秒15帧的帧速率显示,诸如当使用图1中的用户系统140的用户基于搜索选择医学图像的文件并且希望复查缩略图动画以查看医学图像的文件是否似乎相关时。
图4的描述主要适用于二维(2D)医学图像。然而,图4处的用于医学成像的缩略图动画的方法也可以应用于生成用于医学数据的三维(3D)体积的动画缩略图可视化。图3C所示的元件可以执行图4中的方法的特征中的一些或全部,并且被包括在图像操纵软件中的模块可以被用于在缩略图动画系统120处执行这些特征。
图5图示了根据代表性实施例的用于医学成像的缩略图动画的用户系统。
图5中的用户系统可以对应于图1中的用户系统140,并且可以被用于检索和复查图像文件和对应的缩略图动画。计算机540可以本地于显示器541,并且可以经由诸如以太网线缆的本地有线接口或者经由诸如Wi-Fi连接的本地无线接口连接到显示器541。
计算机540可以包括一个或多个输入接口。计算机540的输入接口(未示出)可以包括端口、磁盘驱动器、无线天线或其他类型的接收器电路。输入接口还可以将诸如鼠标、键盘、麦克风、视频相机、触摸屏显示器或另一元件或部件的用户接口连接到计算机540。
显示器541可以是监测器,诸如计算机监测器、移动设备上的显示器、电视、电子白板或被配置为显示电子影像的另一屏幕。显示器541还可以包括一个或多个输入接口,例如上文提到的可以将其他元件或部件连接到计算机540的那些输入接口,以及使能经由触摸进行直接输入的触摸屏。
图6图示了根据代表性实施例的可以实施用于医学成像的缩略图动画的方法的计算机系统。
图6图示了根据另一代表性实施例的实施用于医学成像的缩略图动画的方法的计算机系统。
图6的计算机系统600示出了用于通信设备或计算机设备的整个部件集合。然而,如本文所描述的“控制器”可以利用少于图6的部件集合来实施,诸如通过存储器和处理器组合来实施。计算机系统600可以包括本文中用于医学成像的缩略图动画的系统中的一个或多个部件装置的一些或全部元件,尽管任何这样的装置可以不必包括针对计算机系统900描述的元件中的一个或多个,并且可以包括未描述的其他元件。
参考图6,计算机系统600包括可以被运行以使计算机系统600执行本文所公开的方法或基于计算机的功能中的任一项的软件指令集。计算机系统600可以作为独立设备操作,或者可以例如使用网络601连接到其他计算机系统或外围设备。在实施例中,计算机系统600基于经由模数转换器接收的数字信号来执行逻辑处理。
在联网部署中,计算机系统600在服务器的容量中或者作为服务器-客户端用户网络环境中的客户端用户计算机或者作为对等(或分布式)网络环境中的对等计算机系统来操作。计算机系统600也可以被实施为或并入到各种设备,诸如图1中的缩略图动画系统120或用户系统140、固定计算机、移动计算机、个人计算机(PC)、膝上型计算机、平板计算机、或能够运行指定要由该机器采取的动作的软件指令集(顺序的或以其他方式)的任何其他机器。计算机系统600可以被并入为设备或被并入到设备,该设备继而在包括额外的设备的集成系统中。在实施例中,可以使用提供语音、视频或数据通信的电子设备来实施计算机系统600。此外,尽管单一地图示了计算机系统600,但是术语“系统”还应该被理解为包括个体或联合运行一个软件指令集或多个软件指令集以执行一个或多个计算机功能的系统或子系统的任何集合。
如图6所图示的,计算机系统600包括处理器610。处理器610可以被认为是图1中的控制器122的处理器1221的代表性示例,并且运行指令以实施本文所描述的方法和过程的一些或所有方面。处理器610是有形和非瞬态的。如本文所使用的,术语“非瞬态”不应被解释为状态的永久特性,而是应被解释为将持续一段时间的状态的特性。术语“非瞬态”特别地否认短暂的特性,诸如载波或信号的特性或在任何时间在任何地点仅短暂存在的其他形式。处理器610是制品和/或机器部件。处理器610被配置为运行软件指令以执行如本文中的各种实施例中所描述的功能。处理器610可以是通用处理器或者可以是专用集成电路(ASIC)的部分。处理器610还可以是微处理器、微型计算机、处理器芯片、控制器、微控制器、数字信号处理器(DSP)、状态机、或可编程逻辑设备。处理器610还可以是逻辑电路,包括诸如现场可编程门阵列(FPGA)的可编程门阵列(PGA),或包括分立门和/或晶体管逻辑的另一类型的电路。处理器610可以是中央处理单元(CPU)、图形处理单元(GPU)或两者。此外,本文所描述的任何处理器可以包括多个处理器、并行处理器或两者。多个处理器可以被包括在单个设备或多个设备中,或者被耦合到单个设备或多个设备中。
如本文所使用的术语“处理器”涵盖能够运行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应该被解释为包括超过一个处理器或处理核心,如在多核处理器中。处理器还可以是指在单个计算机系统内或分布在多个计算机系统中的处理器的集合。术语计算设备统还应该被解释为包括各自包括一个或多个处理器的计算设备的集合或网络。程序具有由可以在相同计算设备内或者可以跨多个计算设备分布的一个或多个处理器执行的软件指令。
计算机系统600还包括主存储器620和静态存储器630,其中,计算机系统600中的存储器经由总线608彼此通信以及与处理器610通信。主存储器620和静态存储器630中的任一者或两者可以被认为是图1B中的控制器122的存储器1222的代表性示例,并且存储被用于实施本文所描述的方法和过程的一些或所有方面的指令。本文所描述的存储器是用于存储数据和可执行软件指令的有形存储介质并且在时间软件指令被存储在其中期间是非瞬态的。如本文所使用的,术语“非瞬态”不应被解释为状态的永久特性,而是应被解释为将持续一段时间的状态的特性。术语“非瞬态”特别地否认短暂的特性,诸如载波或信号的特性或在任何时间在任何地点仅短暂存在的其他形式。主存储器620和静态存储器630是制品和/或机器部件。主存储器620和静态存储器630是计算机可读介质,计算机(例如处理器610)可以从其中读取数据和可执行软件指令。主存储器620和静态存储器630中的每个可以被实施为以下中的一项或多项:随机存取存储器(RAM)、只读存储器(ROM)、闪速存储器、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、磁带、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、软盘、蓝光光盘或本领域已知的任何其他形式的存储介质。存储器可以是易失性或非易失性的、安全的和/或加密的、不安全的和/或未加密的。
“存储器”是计算机可读存储介质的示例。计算机存储器是对处理器直接可访问的任何存储器。计算机存储器的示例包括但不限于RAM存储器、寄存器和寄存器堆。对“计算机存储器”或“存储器”的引用应该被解释为可能是多个存储器。存储器可以例如是相同计算机系统内的多个存储器。存储器也可以是分布在多个计算机系统或计算设备中的多个存储器。
如所示的,计算机系统600还包括视频显示单元650,诸如例如液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器、或阴极射线管(CRT)。此外,计算机系统600包括:输入设备660,诸如键盘/虚拟键盘或触敏输入屏幕或具有语音识别的语音输入;以及光标控制设备670,诸如鼠标或触敏输入屏幕或小键盘。计算机系统600还任选地包括磁盘驱动单元680、信号生成设备690(诸如扬声器或遥控器)和/或网络接口设备640。
在实施例中,如图6中所描绘的,磁盘驱动单元680包括在其中嵌入一个或多个软件指令集684(软件)的计算机可读介质682。从计算机可读介质682读取软件指令集684以由处理器610运行。此外,当由处理器610运行时,软件指令684执行如本文所描述的方法和过程的一个或多个步骤。在实施例中,软件指令684在由计算机系统600运行期间全部或部分地驻留在主存储器620、静态存储器630和/或处理器610内。此外,计算机可读介质682可以包括软件指令684或者响应于传播信号而接收并且运行软件指令684,使得被连接到网络601的设备通过网络601传递语音、视频或数据。软件指令684可以经由网络接口设备640通过网络601来发送或接收。
在实施例中,专用硬件实施方式(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列和其他硬件部件)被构建为实施本文所描述的方法中的一个或多个。本文所描述的一个或多个实施例可以使用两个或更多个特定互连硬件模块或设备来实施功能,该两个或更多个特定互连硬件模块或设备具有可以在模块之间和通过模块进行通信的相关控制和数据信号。因此,本公开涵盖软件、固件和硬件实施方式。本申请中的任何内容都不应被解释为仅仅利用软件而非硬件(诸如有形非瞬态处理器和/或存储器)来实施或可实施。
根据本公开的各种实施例,本文所描述的方法可以使用运行软件程序的硬件计算机系统来实施。此外,在示例性非限制性实施例中,实施方式可以包括分布式处理、部件/对象分布式处理和并行处理。虚拟计算机系统处理可以实施如本文所描述的方法或功能中的一个或多个,并且本文所描述的处理器可以被用于支持虚拟处理环境。
图7图示了根据代表性实施例的用于医学成像的缩略图动画的另一方法。
图7的方法在S710处从存储第一医学图像开始。第一医学图像可以存储在图1中的存储器系统130中。
在S720处,图7的方法包括存储第一缩略图动画。第一缩略图动画可以由图1中的缩略图动画系统120生成,并且是基于在S710处存储的第一医学图像来生成的。第一缩略图动画可以与描述第一医学图像中的主题的第一描述符一起存储。
在S730处,图7的方法包括存储第二医学图像。第二医学图像可以存储在图1中的存储器系统130中。
在S740处,图7的方法包括存储第二缩略图动画。第二缩略图动画可以由图1中的缩略图动画系统120生成,并且是基于在S730处存储的第二医学图像来生成的。第二缩略图动画可以与描述第二医学图像中的主题的第二描述符一起存储。
在S720和S740处存储的描述符可以包括对在第一医学成像检查和第二医学成像检查中执行的任务的描述。描述符还可以或备选地包括对在第一医学成像检查和第二医学成像检查中使用的医学成像的模态的描述,和/或对在第一医学成像检查和第二医学成像检查中解决的医学状况的类型的描述。
此外,针对图7的方法描述了来自第一医学检查和第二医学检查的医学图像。尽管如此,将理解,可以以相同或相似的方式存储和处理来自数十次、数百次或数千次医学检查的医学图像,使得可以从基于许多医学检查生成的许多可用医学成像缩略图动画中选择性地检索医学成像缩略图动画。
在S750处,图7的方法包括接收查询。可以使用图1中的用户系统140,诸如经由键盘命令、光标选择或语音命令,从用户接收查询。
在S760处,图7的方法包括转换查询。可以使用自然语言处理将查询转换成可以匹配来自S720的第一描述符和/或来自S740的第二描述符的类型的描述符。
在S770处,图7的方法包括将来自查询的描述符与针对第一缩略图动画和/或第二缩略图动画的描述符相匹配。
在S780处,图7的方法包括基于在S770处匹配描述符来显示第一缩略图动画和/或第二缩略图动画。例如,用户可以将查询输入到用户系统140中,查询可以被转换成适当的描述符,并且导致从存储器系统130检索医学图像和对应的缩略图动画的一个或多个文件。然后,用户可以个体地选择文件以复查针对个体医学文件中的医学图像的内容的缩略图动画,并确定所选择的文件是否相关。如果所选择的文件是相关的,则用户可以更详细地复查所选择的文件。
如已经指出的,本文中的教导主要是在二维(2D)缩略图动画的背景下描述的。然而,对三维体积的扩展也是适用的。查看诸如CT扫描的体积数据的第一组放射科医师倾向于在移动到新深度之前注意地搜索整个切片。对于第一组,信息动画缩略图可视化可以包括穿过异常或器官中心的单个切片,并且然后可以应用本文中关于生成平滑查看体验的教导。查看体积数据的第二组放射科医师倾向于将他们的搜索限于器官的狭窄部分,同时在深度上滚动通过切片。对于第二组,适当的动画缩略图可视化将显示滚动通过图像切片,但仅聚焦于感兴趣区域,而不是整体图像。
因此,医学成像的缩略图动画可以通过生成演示与任务最相关的医学图像或医学图像的部分的动画缩略图可视化来帮助防止在PACS中不必要地加载大型数据集并为临床专家节省时间。本文所描述的特征还提供了一种找到和选择与放射科医师最相关的图像(或体积)部分并将它们包括到缩略图可视化中的方式。因此,医学成像的缩略图动画可以在由人类专家对数据进行更彻底的检查之前提供医学图像的快速和粗略的可视化。
尽管已经参考若干示例性实施例描述了医学成像的缩略图动画,但是应理解,已经使用的词语是描述和说明的词语而不是限制的词语。在不脱离其各方面中的医学成像的缩略图动画的范围和精神的情况下,如目前说明和修改的,可以在权利要求书的知识范围内做出改变。尽管已经参考特定模块、材料和实施例描述了医学成像的缩略图动画,但是医学成像的缩略图动画不旨在限于所公开的细节;相反,医学成像的缩略图动画扩展到诸如在权利要求书的范围内的所有功能等效的结构、方法和用途。
对本文描述的实施例的图示旨在提供对各种实施例的结构的总体理解。这些图示并非旨在用作对本文描述的公开内容的所有元件和特征的完整描述。在查看本公开后,许多其他实施例对于本领域技术人员而言可以是显而易见的。可以利用其他实施例并从本公开中导出该其他实施例,使得可以在不脱离本公开的范围的情况下做出结构和逻辑替换和改变。此外,图示仅仅是代表性的,并且可以不按比例绘制。图示内的某些比例可能被夸大,而其他比例可能被最小化。因此,本公开和附图应被视为说明性的而非限制性的。
本文仅仅出于方便通过术语“发明”个体地和/或共同地在本文中提及本公开的一个或多个实施例,而不旨在将本申请的范围自愿地限制于任何特定发明或发明构思。此外,尽管本文已经图示并描述了特定实施例,但应该意识到,被设计为实现相同或相似目的的任何后续布置可以替代所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有后续适应或变化。在查看本说明书之后,上述实施例以及本文未具体描述的其他实施例的组合对于本领域技术人员而言将是显而易见的。
本公开的摘要被提供为符合37C.F.R.§1.72(b)并且被提交有以下理解:即其不会用于解释或限制权利要求的范围或含义。此外,在前面的具体实施方式中,各种特征可以分组在一起或在单个实施例中描述,以用于简单化本公开的目的。本公开不应被解释为反映所要求保护的实施例需要比每个权利要求中明确记载的更多特征的意图。而是,如以下权利要求所反映的,发明主题可以涉及少于任何所公开的实施例的所有特征。因此,以下权利要求被并入具体实施方式中,每个权利要求自身作为定义单独要求保护的主题。
所公开的实施例的先前描述被提供为使本领域技术人员能够实践本公开中所描述的概念。这样一来,以上公开的主题应被认为是说明性的而非限制性的,并且权利要求旨在覆盖落入本公开的真实精神和范围内的所有这样的修改、增强和其他实施例。因此,在由法律允许的最大范围内,本公开的范围应由权利要求及其等效方案的最宽泛的可允许解释来确定,并且不应受前述具体实施方式约束或限制。
Claims (35)
1.一种生成医学成像缩略图动画(325)的计算机实施的方法,包括:
从医学成像检查获得多幅医学图像(324);
自动定义要在所述多幅医学图像(324)中识别的感兴趣区;
通过处理器(1221)使用经训练的人工智能算法来识别所述多幅医学图像(324)中的所述感兴趣区;
使用第二算法来生成所述医学成像缩略图动画(325),以模拟虚拟相机在所述多幅医学图像(324)中的所述感兴趣区中的路径上的移动。
2.根据权利要求1所述的计算机实施的方法,还包括:
基于针对所述感兴趣区的像素的坐标来识别锚点;并且
在所述多幅医学图像(324)中的所述感兴趣区中创建所述路径。
3.根据权利要求2所述的计算机实施的方法,还包括:
生成针对所述多幅医学图像(324)的显著性图;并且
基于所述显著性图来识别针对所述感兴趣区的像素的坐标。
4.根据权利要求1所述的计算机实施的方法,还包括:
使用所述第二算法对所述多幅医学图像(324)中的所述感兴趣区中的所述路径进行平滑化,以生成所述多幅医学图像(324)中的所述感兴趣区中的平滑化路径。
5.根据权利要求1所述的计算机实施的方法,其中,所述感兴趣区是基于以下各项中的至少一项自动地识别的:要基于所述医学成像检查执行的任务,或者所述医学成像检查的成像模态。
6.根据权利要求1所述的计算机实施的方法,还包括:
选择包括所述感兴趣区的所述医学图像(324)的子集,
其中,所述医学成像缩略图动画(325)仅包括来自包括所述感兴趣区的所述医学图像(324)的所述子集的医学图像(324)。
7.根据权利要求1所述的计算机实施的方法,还包括:
从针对所述医学图像(324)的文件的字段中提取背景信息(324),其中,所述经训练的人工智能算法被应用于所述多幅医学图像(324),以基于所述背景信息来识别所述多幅医学图像(324)中的所述感兴趣区。
8.根据权利要求1所述的计算机实施的方法,其中,所述经训练的人工智能算法包括基于深度学习的卷积神经网络(601)。
9.根据权利要求1所述的计算机实施的方法,其中,以每秒10帧与每秒15帧之间的帧速率来显示所述医学成像缩略图动画(325)的帧。
10.根据权利要求2所述的计算机实施的方法,还包括:
将所述医学成像缩略图动画(325)的第一帧设置为没有锚点或感兴趣区的缩略图;并且
将所述医学成像缩略图动画(325)的最后一帧设置为没有锚点或感兴趣区的缩略图。
11.根据权利要求10所述的计算机实施的方法,还包括:
突出显示所述医学成像缩略图动画(325)的所述最后一帧中的至少一个结构。
12.一种用于生成医学成像缩略图动画(325)的系统(100),包括:
存储器(1222),其存储来自多个医学成像检查的指令和医学图像(324);
处理器(1221),其运行所述指令以处理来自所述多个医学成像检查的所述医学图像(324),其中,当由所述处理器(1221)运行时,所述指令使所述系统(100):
从医学成像检查获得多幅医学图像(324);
自动定义要在所述多幅医学图像(324)中识别的感兴趣区;
使用经训练的人工智能算法来识别所述多幅医学图像(324)中的所述感兴趣区;并且
使用第二算法来生成所述医学成像缩略图动画(325),以模拟虚拟相机在所述多幅医学图像(324)中的所述感兴趣区中的路径上的移动。
13.根据权利要求12所述的系统(100),还包括:
显示器(541),其基于所述系统(100)接收到对所述多幅医学图像(324)的选择来显示所述医学成像缩略图动画(325)。
14.根据权利要求12所述的系统(100),还包括:
至少一个医学成像系统(110),其生成所述多幅医学图像(324)。
15.根据权利要求12所述的系统(100),还包括:
人工智能训练系统(100),其对所述经训练的人工智能算法进行训练。
16.根据权利要求12所述的系统(100),还包括:
影像归档和通信系统(100)(PACS),其包括显示器(541),所述显示器基于所述系统(100)接收到对所述多幅医学图像(324)的选择来显示所述医学成像缩略图动画(325)。
17.根据权利要求12所述的系统(100),
其中,当由所述处理器(1221)运行时,所述指令还使所述系统(100):
生成针对所述多幅医学图像(324)的显著性图;
基于所述显著性图来识别针对所述感兴趣区的像素的坐标;
基于针对所述感兴趣区的像素的坐标来识别锚点;并且
在所述多幅医学图像(324)中的所述感兴趣区中创建所述路径。
18.根据权利要求12所述的系统(100),其中,当由所述处理器(1221)运行时,所述指令还使所述系统(100):
使用所述第二算法对所述多幅医学图像(324)中的所述感兴趣区中的所述路径进行平滑化,以生成所述多幅医学图像(324)中的所述感兴趣区中的平滑化路径。
19.根据权利要求12所述的系统(100),其中,当由所述处理器(1221)运行时,所述指令还使所述系统(100):
从针对所述医学图像(324)的文件的字段中提取背景信息(324),其中,所述经训练的人工智能算法被应用于所述多幅医学图像(324),以基于所述背景信息来识别所述多幅医学图像(324)中的所述感兴趣区。
20.一种存储用于生成医学成像缩略图动画(325)的程序的计算机可读介质(682),其中,当由处理器(1221)运行时,所述程序使计算装置:
从医学成像检查获得多幅医学图像(324);
自动定义要在所述多幅医学图像(324)中识别的感兴趣区;
使用经训练的人工智能算法来识别所述多幅医学图像(324)中的所述感兴趣区;
使用第二算法来生成所述医学成像缩略图动画(325),以模拟虚拟相机在所述多幅医学图像(324)中的所述感兴趣区中的路径上的移动。
21.根据权利要求20所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
基于针对所述感兴趣区的像素的坐标来识别锚点;并且
在所述多幅医学图像(324)中的所述感兴趣区中创建所述路径。
22.根据权利要求21所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
生成针对所述多幅医学图像(324)的显著性图;并且
基于所述显著性图来识别针对所述感兴趣区的像素的坐标。
23.根据权利要求20所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
使用所述第二算法对所述多幅医学图像(324)中的所述感兴趣区中的所述路径进行平滑,以生成所述多幅医学图像(324)中的所述感兴趣区中的平滑路径。
24.根据权利要求20所述的计算机可读介质(682),其中,所述感兴趣区是基于以下各项中的至少一项自动地识别的:要基于所述医学成像检查执行的任务,或者所述医学成像检查的成像模态。
25.根据权利要求20所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
选择包括所述感兴趣区的所述医学图像(324)的子集,
其中,所述医学成像缩略图动画(325)仅包括来自包括所述感兴趣区的所述医学图像(324)的所述子集的医学图像(324)。
26.根据权利要求20所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
从针对所述医学图像(324)的文件的字段中提取背景信息(324),其中,所述经训练的人工智能算法被应用于所述多幅医学图像(324),以基于所述背景信息来识别所述多幅医学图像(324)中的所述感兴趣区。
27.根据权利要求20所述的计算机可读介质(682),其中,所述经训练的人工智能算法包括基于深度学习的卷积神经网络(601)。
28.根据权利要求20所述的计算机可读介质(682),其中,以每秒10帧与每秒15帧之间的帧速率来显示所述医学成像缩略图动画(325)的帧。
29.根据权利要求21所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
将所述医学成像缩略图动画(325)的第一帧设置为没有锚点或感兴趣区的缩略图;并且
将所述医学成像缩略图动画(325)的最后一帧设置为没有锚点或感兴趣区的缩略图。
30.根据权利要求29所述的计算机可读介质(682),其中,当由所述处理器(1221)运行时,所述程序还使所述计算装置:
突出显示所述医学成像缩略图动画(325)的所述最后一帧中的至少一个结构。
31.一种提供医学成像缩略图动画的方法,包括:
存储从第一医学成像检查获得的第一多幅医学图像(324)和描述所述第一多幅医学图像(324)中的主题的第一描述符;
存储针对所述第一多幅医学图像(324)的第一医学成像缩略图动画(325);
存储从第二医学成像检查获得的第二多幅医学图像(324)和描述所述第二多幅医学图像(324)中的主题的第二描述符;
存储针对所述第二多幅医学图像(324)的第二医学成像缩略图动画(325);
接收针对医学图像(324)的查询;
将针对医学图像(324)的所述查询转换成描述所述查询中的主题的描述符;
将描述所述查询中的主题的所述描述符与所述第一描述符或所述第二描述符中的至少一个描述符相匹配,并且
基于将描述所述查询中的主题的所述描述符与所述第一描述符或所述第二描述符中的至少一个描述符相匹配来显示所述第一医学成像缩略图动画(325)或所述第二医学成像缩略图动画(325)中的至少一项。
32.根据权利要求31所述的方法,其中,所述描述符包括捕获所述第一多幅医学图像(324)和所述第二多幅医学图像(324)的成像模态。
33.根据权利要求31所述的方法,其中,所述描述符包括对在所述第一医学成像检查和所述第二医学成像检查中执行的任务的描述。
34.根据权利要求31所述的方法,其中,所述第一医学成像缩略图动画(325)包括模拟虚拟相机通过所述第一多幅医学图像(324)的移动,并且所述第二医学成像缩略图动画(325)包括模拟虚拟相机通过所述第二多幅医学图像(324)的移动。
35.根据权利要求34所述的方法,其中,所述虚拟相机的所述移动是基于锚点来模拟的,所述锚点被设置在所述第一多幅医学图像(324)和所述第二多幅医学图像(324)中,以识别所述第一多幅医学图像(324)和所述第二多幅医学图像(324)中的感兴趣区。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2021121121 | 2021-07-16 | ||
RU2021121121 | 2021-07-16 | ||
PCT/EP2022/069054 WO2023285305A2 (en) | 2021-07-16 | 2022-07-08 | Thumbnail animation for medical imaging |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117642777A true CN117642777A (zh) | 2024-03-01 |
Family
ID=82780762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280050124.3A Pending CN117642777A (zh) | 2021-07-16 | 2022-07-08 | 医学成像的缩略图动画 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4371079A2 (zh) |
CN (1) | CN117642777A (zh) |
WO (1) | WO2023285305A2 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090309874A1 (en) * | 2008-06-11 | 2009-12-17 | Siemens Medical Solutions Usa, Inc. | Method for Display of Pre-Rendered Computer Aided Diagnosis Results |
KR101634334B1 (ko) * | 2014-03-25 | 2016-06-29 | 재단법인 아산사회복지재단 | 의료 영상으로부터 대표 영상을 추출하는 방법 |
US11158047B2 (en) * | 2017-09-15 | 2021-10-26 | Multus Medical, Llc | System and method for segmentation and visualization of medical image data |
-
2022
- 2022-07-08 EP EP22750664.9A patent/EP4371079A2/en active Pending
- 2022-07-08 WO PCT/EP2022/069054 patent/WO2023285305A2/en active Application Filing
- 2022-07-08 CN CN202280050124.3A patent/CN117642777A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023285305A2 (en) | 2023-01-19 |
EP4371079A2 (en) | 2024-05-22 |
WO2023285305A3 (en) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11861829B2 (en) | Deep learning based medical image detection method and related device | |
US20230106440A1 (en) | Content based image retrieval for lesion analysis | |
US10304198B2 (en) | Automatic medical image retrieval | |
US20200320336A1 (en) | Control method and recording medium | |
KR101943011B1 (ko) | 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치 | |
KR101898575B1 (ko) | 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치 | |
US20200085382A1 (en) | Automated lesion detection, segmentation, and longitudinal identification | |
RU2493593C2 (ru) | Способ извлечения данных из набора данных медицинских изображений | |
EP3499509B1 (en) | Method for memorable image generation for anonymized three-dimensional medical image workflows | |
US10853409B2 (en) | Systems and methods for image search | |
US10261681B2 (en) | Method for displaying a medical image and a plurality of similar medical images obtained from a case search system | |
US9305358B2 (en) | Medical image processing | |
US11830605B2 (en) | Image visualization of medical imaging studies between separate and distinct computing system using a template | |
US20220101034A1 (en) | Method and system for segmenting interventional device in image | |
KR102108418B1 (ko) | 재구성된 영상군에 기초한 영상 제공 방법 및 이를 이용한 장치 | |
CN111223556B (zh) | 集成医学图像可视化和探索 | |
US20210082567A1 (en) | Method for supporting viewing of images and apparatus using same | |
JP2022058397A (ja) | 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム | |
US20100269064A1 (en) | Navigation in a series of images | |
KR101885562B1 (ko) | 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치 | |
WO2010029470A1 (en) | System and method for processing medical images | |
CN113658284A (zh) | 用于训练结节检测系统的来自ct图像的x射线图像合成 | |
KR102222816B1 (ko) | 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치 | |
KR101923962B1 (ko) | 의료 영상의 열람을 지원하는 방법 및 이를 이용한 장치 | |
CN117642777A (zh) | 医学成像的缩略图动画 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |