CN110741270A - 用于改善的肝癌和肾癌诊断的计算超声 - Google Patents
用于改善的肝癌和肾癌诊断的计算超声 Download PDFInfo
- Publication number
- CN110741270A CN110741270A CN201880028198.0A CN201880028198A CN110741270A CN 110741270 A CN110741270 A CN 110741270A CN 201880028198 A CN201880028198 A CN 201880028198A CN 110741270 A CN110741270 A CN 110741270A
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasound
- signal
- enhanced
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 116
- 210000004185 liver Anatomy 0.000 title description 26
- 238000003745 diagnosis Methods 0.000 title description 4
- 208000008839 Kidney Neoplasms Diseases 0.000 title description 3
- 208000014018 liver neoplasm Diseases 0.000 title description 3
- 206010038389 Renal cancer Diseases 0.000 title description 2
- 201000010982 kidney cancer Diseases 0.000 title description 2
- 201000007270 liver cancer Diseases 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000001914 filtration Methods 0.000 claims description 25
- 238000012876 topography Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 17
- 210000001519 tissue Anatomy 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 210000004872 soft tissue Anatomy 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000008054 signal transmission Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 5
- 235000020061 kirsch Nutrition 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 238000012800 visualization Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 210000005228 liver tissue Anatomy 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 7
- 208000010706 fatty liver disease Diseases 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 210000003734 kidney Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 208000019423 liver disease Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000008338 non-alcoholic fatty liver disease Diseases 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 241000711549 Hepacivirus C Species 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 238000009557 abdominal ultrasonography Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了用于生成超声图像的系统和方法。该方法包括接收从超声设备输出的原始超声信号，并执行操作以将原始超声信号变换为增强的超声图像。可以通过径向对称滤波来进一步处理增强的超声图像，以生成径向对称图像。增强的图像和径向对称图像都可以由医疗从业者基于超声数据进行肝癌或肾癌诊断。
Description
相关申请的交叉引用
本申请根据35 U.S.C.§119(e)要求2017年2月27日提交的美国临时专利申请序列号62/464,058的优先权。前述申请通过引用包含于此。
技术领域
本文件总体上涉及图像处理。更具体地，本文件涉及促进改善的癌症诊断和治疗监测的用于超声图像处理的系统和方法。
背景技术
丙型肝炎病毒(“HCV”)和非酒精性脂肪肝病(“NAFLD”)是北美地区中慢性肝病的两种最常见原因。其可能是美国最常见的肝病类型。在临床实践中，经腹超声因为其可用性、低成本和无辐射暴露而最广泛用作初始成像模式。NAFLD可能导致纤维化、肝硬化、肝癌、需要肝脏移植的肝功能衰竭和死亡。腹部超声不能检测轻度肝脏脂肪变性，不能区分单纯性脂肪变性、非酒精性脂肪性肝炎(NASH)和肝纤维化。其依赖于操作者，受到腹腔内气体的干扰，并且在肥胖患者中具有图像质量差的技术困难。
发明内容
本公开提供了用于生成增强的超声图像的系统和方法。由本系统和方法处理的超声图像显示具有视觉清晰度水平的软组织图案，其使得医疗从业者能够仅基于超声数据进行肝脏或肾脏疾病诊断，而不需要活组织检查样本。
在一方面，系统可以包括非暂时性计算机可读存储器、一个或更多个处理器以及包含编程指令的计算机可读介质。当由所述一个或多个处理器执行时，所述编程指令使系统进行如下过程：获取从超声设备输出的原始超声信号，并通过对原始超声信号进行滤波以将信息从信号域变换到频域来生成滤波的超声图像数据。系统还可以从滤波的超声图像数据中提取图像相位和能量特征，并通过将图像相位和能量特征从频域变换到信号域来生成滤波的超声信号。该系统还可以基于来自组织界面的反向散射超声信号产生传输图估计，并且基于传输图估计增强滤波的超声信号的图像相位和能量特征，使得与其关联的软组织的部分在增强的超声图像中变得更暗或更亮。
在一些实施例中，系统可通过分析增强的超声图像中的暗球形形状对增强的超声图像执行径向对称滤波，并生成径向对称图像以识别增强的超声图像中的感兴趣区域。在一些实施例中，系统可以另外基于径向对称图像输出表面形貌图。在一些实施例中，通过傅立叶变换执行生成滤波的超声图像数据的步骤。在一些实施例中，通过逆傅立叶变换执行产生滤波的超声信号的步骤。
在一些实施例中，通过α尺度滤波执行提取图像相位和能量特征的步骤。在一些实施例中，在频域中执行α尺度滤波，α尺度滤波可以由如下表达式定义
其中，α是常数导数参数，σ是滤波器α尺度参数，nc是从滤波器α计算的单位归一化常数。nc根据如下数学等式计算
其中，s是尺度参数，a是导数参数。
在一些实施例中，传输图估计包括基于下面的等式组合软组织中的散射和衰减效应
US(x,y)＝USA(x,y)USE(x,y)+(1-USA(x,y))α
其中，US(x,y是局部能量图像，USA(x,y)是信号传输图，USE(x,y)是增强的超声图像，α是代表局部区域中的软组织中的回声反射性的恒定值。可以通过使用Beer-Lambert定律估计信号传输图USA(x,y)来提取USE(x,y)，Beer-Lambert定律将衰减函数建模为成像深度的函数。Beer-Lambert定律由如下等式定义
UST(x,y)＝USo(x,y)exp(-ηd(x,y))
其中，USo(x,y)是初始强度图像，UST(x,y)是衰减强度图像，η是衰减系数，d(x,y)是距超声换能器表面的距离。通过最小化由下面的等式定义的目标函数来获得USA(x,y)
其中，ω是索引集，o代表逐元素相乘，*是卷积运算，使用由八个Kirsch滤波器和一个Laplacian滤波器组成的高阶微分滤波器组获得Dj，Wj是根据以下等式计算的加权矩阵：
Wj＝exp(-|Dj(x,y)*US(x,y)|2)
USE(x,y)根据下面的等式计算
在一些实施例中，径向对称滤波由下面的等式指定
Sn＝Fn*An
其中，“*”表示卷积运算；An是各向同性高斯函数，Fn定义为：
其中，α是径向严格性参数，kn是不同半径之间的比例因子。径向对称图像由如下等式定义
其中，S是所有考虑范围内所有对称贡献的总和。
在另一方面，还提供了一种用于生成超声图像的方法。所述方法包括：通过计算设备获取从超声设备输出的原始超声信号，并且通过对原始超声信号进行滤波以将信息从信号域变换到频域来生成滤波的超声图像数据。所述方法还包括从滤波的超声图像数据中提取图像相位和能量特征，并且通过将图像相位和能量特征从频域变换到信号域来生成滤波的超声信号。所述方法还包括基于来自组织界面的反向散射超声信号产生传输图估计，并且基于传输图估计增强滤波的超声信号的图像相位和能量特征，使得与其关联的软组织的部分在增强的超声图像中变得更暗或更亮。
在一些实施例中，所述方法还包括通过分析增强的超声图像中的暗球形形状对增强的超声图像执行径向对称滤波，并且生成径向对称图像以识别增强的超声图像中的感兴趣区域。在一些实施例中，所述方法另外地包括基于径向对称图像输出表面形貌图。
附图说明
将参照下面的附图描述本解决方案，其中，同样的附图标记在所有附图中表示同样的项目。
图1示出用于生成增强的超声图像的过程的示例。
图2示出用于生成径向对称图像的过程的示例。
图3示出指示脂肪肝疾病的非健康肝脏的活组织检查(组织病理学)图像。
图4A-图4D(统称为“图4”)示出正常/健康肝脏的B模式(原始)超声图像(图4A)和正常/健康肝脏的增强的超声图像(图4B)，以及患病肝脏的B模式(原始)超声图像(图4C)和患病肝脏的增强的超声图像(图4D)。
图5A-图5E(统称为“图5”)示出不同图像类型的比较；图5A示出正常/健康肝脏的B模式(原始)超声图像；图5B示出对应于正常/健康肝脏组织的径向对称图像的表面形貌可视化；图5C示出对应于正常/健康肝脏组织的径向对称图像的表面形貌可视化，其与图5B相比应用了不同的径向对称滤波器参数；图5D示出对应于正常/健康组织的增强的超声图像的表面形貌可视化；图5E示出对应于正常/健康组织的增强的超声图像的表面形貌可视化，其与图5D相比使用了不同的滤波器参数。
图6A-图6E(统称为“图6”)示出不同图像类型的比较；图6A示出患病肝脏的B模式(原始)超声图像；图6B示出对应于患病肝脏组织的径向对称图像的表面形貌可视化；图6C示出对应于患病肝脏组织的径向对称图像的表面形貌可视化，其与图6B相比应用了不同的径向对称滤波器参数；图6D示出对应于患病组织的增强的超声图像的表面形貌可视化；图6E示出对应于患病组织的增强的超声图像的表面形貌可视化，其与图6D相比使用了不同的滤波器参数。
图7是可以实现本解决方案的示例性超声设备的示意图。
图8是用于计算设备的示例性架构的示意图。
具体实施方式
将容易理解的是，如这里一般描述的和附图中示出的实施例的组件可以以广泛不同的配置来布置和设计。因此，如附图中表示的各种实施例的以下更详细描述并非旨在限制本公开的范围，而仅是各种实施例的代表。虽然在附图中呈现了实施例的各个方面，但是除非特别指出，否则附图不一定按比例绘制。
本解决方案涉及在特别关注肾和肝的癌症诊断和治疗监测的背景下的用于超声图像处理和下一代超声成像平台的设计的系统和方法。本解决方案的超声图像处理使用原始超声信号从滤波的超声数据中提取图像特征。先前的平台使用图像数据。这些先前的平台存在许多缺点。例如，这些先前的平台由于对肾癌和肝癌检测的敏感性和特异性差而存在问题，这导致癌症的管理和治疗中的主要问题。通常，肝转移的成像外观是非特异性的，并且组织学诊断需要活组织检查样本。本解决方案通过在超声设备中实现如这里所述的新计算算法来解决这些缺点。
图3中示出了指示脂肪肝疾病的非健康肝脏的活组织检查(组织病理学)图像。如箭头所突出显示的，活组织检查图像中的圆形图案表明肝脏具有脂肪肝疾病。然而，圆形图案是通过研究超声图像不可见的或不可检测的。因此，基于超声图像，疾病的诊断是复杂的。需要一种图像处理设备，其可以增强超声数据并提供对于进行诊断有用的更多信息。这种方法由本解决方案实现。
在一些情况下，本解决方案用于早期检测脂肪肝、肝癌和肾癌。活组织检查是目前用于这种早期检测的标准技术。本解决方案不需要通过进行活组织检查来获得样品。因此，本解决方案允许更早期检测和不会对患者造成过度压力的检测。
本发明组合了不同的步骤，以便创建引起肝脏和/或肾脏超声数据增强的框架。每个步骤的优化也是主要贡献之一。算法的主要部分是基于从肝脏和肾脏超声数据中提取局部相位图像特征。先前已提出基于相位的图像增强和处理来处理各种医学图像数据。图像相位信息是对场景的解释中的关键组成部分，长期以来已知图像相位信息对图像的视觉外观的贡献大于幅度信息。相位特征是强度不变的并且对噪声更稳健，这是对于处理超声图像尤其重要的特性。在频域中执行相位信息的提取，其中通过傅里叶变换运算将B模式超声图像(原始图像)变换到频域并且与带通正交滤波器相乘。
现在参照图1，提供了用于图像增强的示例性方法100的图示，其对于理解本解决方案是有用的。步骤102-108的操作的组合创建了引起肝脏和/或肾脏超声数据增强的框架。
该过程的主要部分基于从超声信号中提取局部相位图像特征。图像相位信息是场景解释中的关键组成部分，因为它对图像的视觉外观的贡献大于幅度信息。相位特征是强度不变的并且对噪声更稳健，这是对于处理超声图像尤其重要的特性。
如箭头101所示，在频域中执行相位信息的提取，其中从超声设备接收原始超声信号或B模式超声图像。如102所示，然后将原始超声图像信号从信号域变换为频域。傅立叶变换用于实现这种变换。此后，如104所示，滤波的超声图像数据与带通正交滤波器相乘。傅立叶变换和带通正交滤波器在本领域中是公知的。这里可以使用任何已知的或将要已知的傅里叶变换和/或带通正交滤波器，而没有限制。例如，在104中采用优化的带通正交滤波器。优化与滤波器参数的选择有关。通常，这是通过试错法完成的。一旦找到一组好的参数，这些参数就保持不变，并且用这个优化的滤波器对所有超声图像进行滤波。然而，这里可以采用自动滤波器参数优化。用于自动滤波器参数优化的技术在本领域中是已知的。这里可以使用用于自动滤波器参数优化的任何已知或将要已知的技术，而没有限制。
在一些场景中，带通正交滤波器包括α尺度滤波器。如此，可以在104中采用α尺度滤波。执行α尺度滤波，以从滤波的原始超声信号中提取相位和能量特征。该特征提取促进生成增强的超声图像，该增强的超声图像示出具有视觉清晰度的软组织图案，其使得医疗从业者能够仅基于超声数据进行肝癌或肾癌诊断。值得注意的是，其他频域正交滤波器(例如，Log Gabor滤波器)不适合单独用于肝脏和肾脏诊断应用，因为这种滤波不会引起增强的软组织特征。
应当理解，与α尺度滤波器相比，Log Gabor滤波器的计算量较小并且资源密集。因此，当处理超声图像数据时，本领域技术人员不会有动机使用α尺度滤波器。然而，发明人认识到，当对可视化某些软组织特征感兴趣时，α尺度滤波器与102的傅里叶变换过程和106-108的传输图滤波过程的组合提供了某些非显而易见的优点。这些优点包括增强具有视觉清晰度的软组织特征，其使得医疗从业者能够仅基于超声数据进行肝癌或肾癌诊断。
在一些场景中，频域中的α尺度滤波器被构造为由以下等式(1)定义：
其中，α是常数导数参数，其被选择为α＝0.2，以使滤波器满足DC条件。σ是滤波器α尺度参数(例如，在一些实施例中，滤波器α尺度参数是25)，并且nc是使用以下等式(2)从滤波器α值计算的单位归一化常数：
其中，s是尺度参数，a是导数参数。在一些实施例中，尺度参数是2，导数参数是1.83。
利用构建的α尺度滤波器对傅里叶变换的超声图像进行滤波，并使用逆傅里叶变换运算，从超声图像中提取图像相位和能量特征。局部能量图像编码肝脏或肾脏超声图像的基础结构信息。
在完成α尺度滤波之后，方法100继续经由逆傅里叶变换过程将超声图像数据从频域变换到信号域的105。然后在106中使用105的结果以获得传输图估计。超声信号在组织内的相互作用可以表征为两个主要类别(即，散射和衰减)。由于反向散射的超声信号(从组织界面到超声换能器)的信息由这两种相互作用调制，因此它们可被视为结构信息编码的机制。在此基础上开发了一个模型。该模型在这里称为超声信号传输图。超声信号传输图用于从超声图像中恢复相关的肝脏和/或肾脏组织结构。为了实现这一点，采用线性内插模型，其组合了组织中的散射和衰减效应。线性内插模型由以下等式(3)定义：
US(x,y)＝USA(x,y)USE(x,y)+(1-USA(x,y))α (3)
其中，US(x,y)是104中计算的局部能量图像，USA(x,y)是信号传输图，USE(x,y)是增强的肝脏/肾脏超声图像，α是代表局部区域中的组织中的回声反射性的恒定值。在本解决方案中，使用α的三个不同值来获得三种不同的增强结果。
在104中生成的局部能量图像用于后续滤波过程中，如106和108所示。106和108的滤波过程通常被执行以增强提取的相位和能量特征，使得与其关联的软组织的部分在增强的超声图像中变得更暗或更亮(例如，如图3所示)。
在106中，通过使用众所周知的Beer-Lambert定律估计信号传输图USA(x,y)来提取USE(x,y)，Beer-Lambert定律将衰减函数建模为成像深度的函数。Beer-Lambert定律由以下等式(4)定义：
UST(x,y)＝USo(x,y)exp(-ηd(x,y)) (4)
其中，USo(x,y)是初始强度图像(从α尺度滤波步骤获得的滤波图像)，UST(x,y)是衰减强度图像，η是衰减系数(例如，在一些实施例中，使用的衰减系数是2)，d(x,y)是距超声换能器表面的距离。
一旦获得UST(x,y)，通过最小化由等式(5)定义的目标函数来获得USA(x,y)。
其中，ω是索引集，o代表逐元素相乘(element wise multiplication)，*是卷积运算。使用由八个Kirsch滤波器和一个Laplacian滤波器组成的高阶微分滤波器组获得Dj。Wj是使用以下等式(6)计算的加权矩阵：
Wj＝exp(-|Dj(x,y)*US(x,y)|2) (6)
一旦估计了USA(x,y)，使用以下等式(7)计算USE(x,y)：
图3示出指示脂肪肝疾病的非健康肝脏的活组织检查(组织病理学)图像。如箭头所突出显示的，活组织检查图像中的圆形图案表明肝脏具有脂肪肝疾病。然而，圆形图案是通过研究超声图像(图4A和图4C)不可见的或不可检测的。圆形图案在通过本解决方案生成的增强的超声图像中是可见的，如图4D所示，图4D是从图4C的B模式超声图像生成的。如此，本解决方案提供了一种医疗从业者仅基于超声数据并且无需获得活组织检查标本的进行肝脏或肾脏疾病诊断的方法。
现在参照图2，提供了一种用于基于增强的超声图像生成径向对称图像的方法。该过程在201开始，通过对增强的超声图像执行径向对称滤波。通过利用局部径向对称性来进一步处理增强的超声图像，以识别增强图像中的感兴趣区域。该分析依赖于以下事实：与健康肝脏相比，患病肝脏具有更高程度的径向对称性。通过使用快速径向特征检测算法在增强图像中搜索暗球形形状来执行分析。在203，该过程包括生成径向对称图像，如图5和图6所示。图5B示出对应于正常/健康肝脏组织的径向对称图像的表面形貌可视化；图5C示出对应于正常/健康肝脏组织的径向对称图像的表面形貌可视化，其与图5B相比应用了不同的径向对称滤波器参数。图6B示出对应于患病肝脏组织的径向对称图像的表面形貌可视化；图6C示出对应于患病肝脏组织的径向对称图像的表面形貌可视化，其与图6B相比应用了不同的径向对称滤波器参数。在205，该过程可选地包括基于径向对称图像输出表面形貌图。下面详细描述快速径向对称算法。
快速径向对称用于处理多媒体图像。对于每个半径n，该算法使用图像梯度来决议正面和负面影响的像素。使用等式(8)和(9)计算这些像素；
在上面的等式中，“round”将每个矢量元素四舍五入到最接近的整数，“g”是图像的梯度(例如，增强图像的梯度)，“n”表示在图像中搜索的球形结构的半径值。p-ve和p+ve对应于具有分别指向中心和远离中心的梯度g(p)的像素。使用这些像素，计算分别表示为On和Mn的取向和幅度投影图像。对于每个受影响的像素，On和Mn中的对应点p+ve分别增加1和||g(p)||。类似地，对于受负面影响的像素，对应点在每个图像中减少相同的量，如等式(10)-(13)所定义：
On(p+ve(p))＝On(p+ve(p))+1， (10)
On(p-ve(p))＝On(p-ve(p))-1， (11)
Mn(p+ve(p))＝Mn(p+ve(p))+||g(p)||， (12)
Mn(p-ve(p))＝Mn(p-ve(p))-||g(p)||. (13)
使用这些图像，径向对称响应图像被定义为：Sn＝Fn*An，其中，“*”表示卷积运算。An是各向同性高斯函数，Fn在等式(14)和(15)中定义：
这里，α是径向严格性参数，kn是不同半径之间的比例因子。通过对各种半径值执行此操作并对所得特征图求和来定义最终的完全径向对称变换，如等式(16)所示：
通过基于径向对称和相位图像之上的图像强度值显示形貌图来获得最终形貌图像。与健康肝脏相比，患病肝脏具有更高的形貌。图5D-图5E示出健康肝脏的表面形貌图像的示例，图6D-图6E示出患病肝脏的表面形貌图像的示例。具体地，图5D示出对应于正常/健康组织的增强的超声图像的表面形貌可视化；图5E示出对应于正常/健康组织的增强的超声图像的表面形貌可视化，其与图5D相比使用了不同的滤波器参数。图6D示出对应于患病组织的增强的超声图像的表面形貌可视化；图6E示出对应于患病组织的增强的超声图像的表面形貌可视化，其与图6D相比使用了不同的滤波器参数。
现在参照图7，提供了可以实现本解决方案的示例性超声设备700的示意图。超声设备700包括设备底座702，计算设备704设置在设备支架702中。计算设备704通常被配置为控制超声设备700的操作。这种控制可以经由输入设备716和/或根据预定义的规则响应于用户-软件交互。机械臂706可移动地附接到设备底座702。机械臂706包括但不限于具有多个关节708的关节臂。超声换能器710设置在机械臂706的远端。超声换能器710在待检查的物体表面712上移动并产生原始超声信号。该物体被布置在患者定位台714上。原始超声信号被提供到本地计算设备704或远程计算设备，以根据本解决方案进行处理。该处理的结果是将原始超声数据变换为增强的超声图像(例如，诸如图4中所示的那样)。
现在参照图8，提供了计算设备800的示例性架构的图示。计算设备800可以是超声设备(例如，图7的超声设备700)的本地设备。在这种情况下，计算设备704与计算设备800相同或基本相似。在其他场景中，计算设备800定位为远离超声设备。在这种情况下，超声设备的计算设备704包括网络接口，其促进两个计算设备之间通过网络(例如，内联网或因特网)的通信。
计算设备800可以包括比图8中所示的组件更多或更少的组件。然而，所示组件足以公开实现本解决方案的说明性实施例。图8的硬件架构代表了被配置为促进基于原始超声信号生成增强的超声图像的代表性计算设备的一个实施例。如此，图8的计算设备800实现了根据本解决方案的用于提供这种增强的超声图像的方法的至少一部分。
计算设备800的一些或所有组件可以实现为硬件、软件和/或硬件和软件的组合。硬件包括但不限于一个或更多个电子电路。电子电路可以包括但不限于无源组件(例如，电阻器和电容器)和/或有源组件(例如，放大器和/或微处理器)。无源组件和/或有源组件可以适于、布置为和/或编程为执行这里描述的方法、过程或功能中的一个或更多个。
如图8所示，计算设备800包括用户接口802、中央处理单元(“CPU”)806、系统总线810、通过系统总线810连接到计算设备800的其他部分并由计算设备800的其他部分可访问的存储器812、以及连接到系统总线810的硬件实体814。用户界面可以包括促进用户-软件交互以控制计算设备800的操作的输入设备(例如，键盘850、光标控制设备858和/或相机860)和输出设备(例如，扬声器852、显示器854和/或发光二极管856)。
至少一些硬件实体814执行涉及访问和使用存储器812的动作，存储器812可以是随机存取存储器(“RAM”)、磁盘驱动器和/或紧凑型光盘只读存储器(“CD-ROM”)。硬件实体814可以包括磁盘驱动器单元816，磁盘驱动器单元816包括计算机可读存储介质818，在计算机可读存储介质818上存储有配置为实现这里描述的方法、过程或功能中的一个或更多个的一组或更多组指令820(例如，软件代码)。指令820还可以在通过计算设备800的执行期间完全或至少部分地驻留在存储器812内和/或CPU 806内。存储器812和CPU 806也可以构成机器可读介质。如这里使用的，术语“机器可读介质”是指存储一组或更多组指令820的单个介质或多个介质(例如，集中式或分布式数据库和/或关联的高速缓存和RPU)。如这里使用的，术语“机器可读介质”还指能够存储、编码或携带一组指令820以供计算设备800执行以及使计算设备800执行本公开的任何一个或更多个方法的任何介质。
在一些场景中，硬件实体814包括被编程用于促进提供增强的超声图像的电子电路(例如，处理器)。在这方面，应该理解，电子电路可以访问并运行安装在计算设备800上的软件应用程序864。软件应用程序824通常可操作以促进增强的超声图像的生成。随着讨论的进行，软件应用程序864的其他功能将变得明显。
实现这里描述的本解决方案的软件应用程序864作为软件程序存储在计算机可读存储介质中，并且被配置为在CPU 806上运行。此外，本解决方案的软件实现可以包括但不限于分布式处理、组件/对象分布式处理、并行处理、虚拟机处理。在各种场景中，连接到网络环境的网络接口设备862使用指令820通过网络进行通信。
在不脱离本发明的精神或基本特征的情况下，本解决方案可以以其他特定形式实施。描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求书而不是由该具体实施方式表示。在权利要求书的含义和等同范围内的所有变化都包含在其范围内。
在整个说明书中对特征、优点或类似语言的引用并不意味着可以用本发明实现的所有特征和优点应该是或者在发明的任何单个实施例中。相反，提及特征和优点的语言被理解为意味着结合实施例描述的特定特征、优点或特性包括在本发明的至少一个实施例中。因此，在整个说明书中对特征和优点的讨论以及类似语言可以但不必然指相同的实施例。
此外，本发明的所描述的特征、优点和特性可以在一个或更多个实施例中以任何合适的方式组合。根据这里的描述，相关领域的技术人员将认识到，可以在没有具体实施例的一个或更多个特定特征或优点的情况下实践发明。在其他情况下，在某些实施例中可以认识到可能不存在于发明的所有实施例中的附加特征和优点。
在整个说明书中对“一个实施例”、“实施例”或类似语言的引用意味着结合所指示的实施例描述的具体特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个本说明书中的短语“在一个实施例中”、“在实施例中”和类似语言可以但不必然全部指相同的实施例。
如在本文件中使用的，单数形式“一”、“一个”和“所述”包括复数指代，除非上下文另有明确说明。除非另外定义，否则这里使用的所有技术和科学术语具有与本领域普通技术人员通常理解的含义相同的含义。如在本文件中所使用的，术语“包括”意味着“包括但不限于”。
根据本公开，无需过度实验即可进行和执行这里公开和要求保护的所有装置、方法和算法。虽然已经根据优选实施例描述了发明，但是对于本领域普通技术人员而言将明显的是，在不脱离发明的概念、精神和范围的情况下，可以将变化应用于装置、方法和方法的步骤的顺序。更具体地，明显的是，可以将某些组件添加到、组合或替代这里描述的组件，同时可以实现相同或相似的结果。对于本领域普通技术人员而言明显的所有这些类似的替代和修改被认为是在所定义的发明的精神、范围和概念内。
以上公开的特征和功能以及替代方案可以组合到许多其他不同的系统或应用中。本领域技术人员可以进行各种目前无法预料或未预料到的替代、修改、变化或改进，其中的每一个也旨在被所公开的实施例所涵盖。
Claims (31)
1.一种用于生成超声图像的系统，包括：
非暂时性计算机可读存储器；
一个或更多个处理器；以及
计算机可读介质，包含编程指令，当由所述一个或更多个处理器执行时，所述编程指令使系统：
获取从超声设备输出的原始超声信号；
通过对原始超声信号滤波以将信息从信号域变换到频域来生成滤波的超声图像数据；
从滤波的超声图像数据提取图像相位和能量特征；
通过将图像相位和能量特征从频域变换到信号域来生成滤波的超声信号；
基于来自组织界面的反向散射超声信号产生传输图估计；以及
基于传输图估计增强滤波的超声信号的图像相位和能量特征，使得与所述图像相位和能量特征相关联的软组织的部分在增强的超声图像中更暗或更亮。
2.根据权利要求1所述的系统，还包括编程指令，当由所述一个或更多个处理器执行时，所述编程指令使系统
通过分析增强的超声图像中的暗球形形状，对增强的超声图像执行径向对称滤波；以及
生成径向对称图像以识别增强的超声图像中的感兴趣区域。
3.根据权利要求2所述的系统，还包括编程指令，当由所述一个或更多个处理器执行时，所述编程指令使系统基于径向对称图像输出表面形貌图。
4.根据权利要求1所述的系统，其中，通过α尺度滤波执行提取图像相位和能量特征的步骤。
5.根据权利要求4所述的系统，其中，在频域中执行所述α尺度滤波。
6.根据权利要求5所述的系统，其中，所述α尺度滤波由如下表达式定义
其中，α是常数导数参数，σ是滤波器α尺度参数，nc是从滤波器α计算的单位归一化常数。
7.根据权利要求6所述的系统，其中，根据如下数学等式计算nc
其中，s是尺度参数，a是导数参数。
8.根据权利要求1所述的系统，其中，所述传输图估计包括基于如下等式组合软组织中的散射和衰减效应
US(x，y)＝USA(x，y)USE(x，y)+(1-USA(x，y))α
其中，US(x，y)是局部能量图像，USA(x，y)是信号传输图，USE(x，y)是增强的超声图像，α是代表局部区域中的软组织中的回声反射性的常数值。
9.根据权利要求8所述的系统，其中，通过使用Beer-Lambert定律估计信号传输图USA(x，y)来提取USE(x，y)，其中Beer-Lambert定律将衰减函数建模为成像深度的函数。
10.根据权利要求9所述的系统，其中，Beer-Lambert定律由如下等式定义
UST(x，y)＝USo(x，y)exp(-ηd(x，y))
其中，USo(x，y)是初始强度图像，UST(x，y)是衰减强度图像，η是衰减系数，d(x，y)是距超声换能器表面的距离。
11.根据权利要求10所述的系统，其中，通过最小化由如下等式定义的目标函数来获得USA(x，y)
其中，ω是索引集，o代表逐元素相乘，*是卷积运算，使用由八个Kirsch滤波器和一个Laplacian滤波器组成的高阶微分滤波器组获得Dj，Wj是根据以下数学等式计算的加权矩阵：
Wj＝exp(-|Dj(x，y)*US(x，y)|2)。
12.根据权利要求11所述的系统，其中，根据如下等式计算USE(x，y)
13.根据权利要求2所述的系统，其中，由如下等式指定径向对称滤波
Sn＝Fn*An
其中，“*”表示卷积运算；An是各向同性高斯函数，Fn定义为：
其中，α是径向严格性参数，kn是不同半径之间的比例因子。
14.根据权利要求2所述的系统，其中，径向对称图像由如下等式定义
其中，S是所有考虑范围内所有对称贡献的总和。
15.一种用于生成超声图像的方法，包括：
通过计算设备获取从超声设备输出的原始超声信号；
通过对原始超声信号滤波以将信息从信号域变换到频域来生成滤波的超声图像数据；
从滤波的超声图像数据提取图像相位和能量特征；
通过将图像相位和能量特征从频域变换到信号域来生成滤波的超声信号；
基于来自组织界面的反向散射超声信号产生传输图估计；以及
基于传输图估计增强滤波的超声信号的图像相位和能量特征，使得与所述图像相位和能量特征相关联的软组织的部分在增强的超声图像中更暗或更亮。
16.根据权利要求15所述的方法，还包括：
通过计算设备，通过分析增强的超声图像中的暗球形形状对增强的超声图像执行径向对称滤波；
通过计算设备，生成径向对称图像以识别增强的超声图像中的感兴趣区域。
17.根据权利要求16所述的方法，还包括基于径向对称图像输出表面形貌图。
18.根据权利要求15所述的方法，其中，通过与组织的相互作用来调制所述反向散射超声信号，所述相互作用包括散射和衰减。
19.根据权利要求15所述的方法，其中，通过傅里叶变换执行生成滤波的超声图像数据的步骤。
20.根据权利要求15所述的方法，其中，通过逆傅里叶变换执行生成滤波的超声信号的步骤。
21.根据权利要求15所述的方法，其中，通过α尺度滤波执行提取图像相位和能量特征的步骤。
22.根据权利要求21所述的方法，其中，在频域中执行所述α尺度滤波。
23.根据权利要求22所述的方法，其中，由如下表达式定义所述α尺度滤波
其中，α是常数导数参数，σ是滤波器α尺度参数，nc是从滤波器α计算的单位归一化常数。
24.根据权利要求23所述的方法，其中，根据如下等式计算nc
其中，s是尺度参数，a是导数参数。
25.根据权利要求15所述的方法，其中，所述传输图估计包括基于如下等式组合软组织中的散射和衰减效应
US(x，y)＝USA(x，y)USE(x，y)+(1-USA(x，y))α
其中，US(x，y)是局部能量图像，USA(x，y)是信号传输图，USE(x，y)是增强的超声图像，α是代表局部区域中的软组织中的回声反射性的常数值。
26.根据权利要求25所述的方法，其中，通过使用Beer-Lambert定律估计信号传输图USA(x，y)来提取USE(x，y)，其中Beer-Lambert定律将衰减函数建模为成像深度的函数。
27.根据权利要求26所述的方法，其中，Beer-Lambert定律由如下等式定义
UST(x，y)＝USo(x，y)exp(-ηd(x，y))
其中，USo(x，y)是初始强度图像，UST(x，y)是衰减强度图像，η是衰减系数，d(x，y)是距超声换能器表面的距离。
28.根据权利要求27所述的方法，其中，通过最小化由如下等式定义的目标函数来获得USA(x，y)
其中，ω是索引集，o代表逐元素相乘，*是卷积运算，使用由八个Kirsch滤波器和一个Laplacian滤波器组成的高阶微分滤波器组获得Dj，Wj是根据以下等式计算的加权矩阵：
Wj＝exp(-|Dj(x，y)*US(x，y)|2)。
29.根据权利要求28所述的方法，其中，根据如下等式计算USE(x，y)
30.根据权利要求16所述的方法，其中，由如下等式指定径向对称滤波
Sn＝Fn*An
其中，“*”表示卷积运算，An是各向同性高斯函数，Fn定义为：
其中，α是径向严格性参数，kn是不同半径之间的比例因子。
31.根据权利要求16所述的方法，其中，由如下等式定义径向对称图像
其中，S是所有考虑范围内所有对称贡献的总和。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762464058P | 2017-02-27 | 2017-02-27 | |
| US62/464,058 | 2017-02-27 | ||
| PCT/US2018/019945 WO2018157130A1 (en) | 2017-02-27 | 2018-02-27 | Computational ultrasound for improved liver and kidney cancer diagnosis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110741270A true CN110741270A (zh) | 2020-01-31 |
Family
ID=63254129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880028198.0A Pending CN110741270A (zh) | 2017-02-27 | 2018-02-27 | 用于改善的肝癌和肾癌诊断的计算超声 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11308590B2 (zh) |
| EP (1) | EP3586157A4 (zh) |
| JP (1) | JP2020508174A (zh) |
| CN (1) | CN110741270A (zh) |
| WO (1) | WO2018157130A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7159025B2 (ja) * | 2018-11-30 | 2022-10-24 | 富士フイルムヘルスケア株式会社 | 診断装置及び診断方法 |
| IT202000029327A1 (it) | 2020-12-01 | 2022-06-01 | Imedicals S R L | Metodo per la diagnosi del carcinoma renale mediante analisi di segnali ultrasonici ed immagini ecografiche |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1954235A (zh) * | 2003-10-08 | 2007-04-25 | 艾克提斯有源传感器有限公司 | 用于超声波信号的局部频谱分析的改进方法和设备 |
| WO2009056857A1 (en) * | 2007-10-31 | 2009-05-07 | Imperial Innovations Limited | Attenuation correction in ultrasound contrast agent imaging |
| US20090136104A1 (en) * | 2007-11-27 | 2009-05-28 | Hajian Arsen R | Noise Reduction Apparatus, Systems, and Methods |
| CN101023376B (zh) * | 2004-07-23 | 2011-05-18 | 比约恩·A·J·安杰尔森 | 超声成像 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9205280B2 (en) * | 2011-05-25 | 2015-12-08 | Brainlab Ag | Method and apparatus for planning or controlling a radiation treatment |
| US9384548B1 (en) | 2015-01-23 | 2016-07-05 | Kabushiki Kaisha Toshiba | Image processing method and apparatus |
-
2018
- 2018-02-27 JP JP2019546275A patent/JP2020508174A/ja active Pending
- 2018-02-27 EP EP18758169.9A patent/EP3586157A4/en active Pending
- 2018-02-27 US US16/489,151 patent/US11308590B2/en active Active
- 2018-02-27 CN CN201880028198.0A patent/CN110741270A/zh active Pending
- 2018-02-27 WO PCT/US2018/019945 patent/WO2018157130A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1954235A (zh) * | 2003-10-08 | 2007-04-25 | 艾克提斯有源传感器有限公司 | 用于超声波信号的局部频谱分析的改进方法和设备 |
| CN101023376B (zh) * | 2004-07-23 | 2011-05-18 | 比约恩·A·J·安杰尔森 | 超声成像 |
| WO2009056857A1 (en) * | 2007-10-31 | 2009-05-07 | Imperial Innovations Limited | Attenuation correction in ultrasound contrast agent imaging |
| US20090136104A1 (en) * | 2007-11-27 | 2009-05-28 | Hajian Arsen R | Noise Reduction Apparatus, Systems, and Methods |
Non-Patent Citations (1)
| Title |
|---|
| PAWLICKI 等: "Method for Estimating Total Attenuation from a Spatial Map of Attenuation Slope for Quantitative Ultrasound Imaging", 《ULTRASON IMAGING》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200065948A1 (en) | 2020-02-27 |
| WO2018157130A1 (en) | 2018-08-30 |
| EP3586157A4 (en) | 2021-08-18 |
| JP2020508174A (ja) | 2020-03-19 |
| EP3586157A1 (en) | 2020-01-01 |
| US11308590B2 (en) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Local statistics and non-local mean filter for speckle noise reduction in medical ultrasound image | |
| Wang et al. | High-resolution image reconstruction for portable ultrasound imaging devices | |
| JP2009291618A (ja) | 超音波−ｃｔ映像整合のための３次元超音波肝臓映像の解剖学的特徴を抽出するシステム及び方法 | |
| Yu et al. | PCANet based nonlocal means method for speckle noise removal in ultrasound images | |
| Abdallah et al. | Automatic extraction of blood vessels in the retinal vascular tree using multiscale medialness | |
| Gungor et al. | The homogeneity map method for speckle reduction in diagnostic ultrasound images | |
| Siddharth et al. | A log-ratio based unsharp masking (UM) approach for enhancement of digital mammograms | |
| CN110430819A (zh) | 用于超声断层成像的波形增强反射和边缘边界表征 | |
| Shao et al. | Optimization of ultrasound information imaging algorithm in cardiovascular disease based on image enhancement | |
| Marusina et al. | Noise suppression in the task of distinguishing the contours and segmentation of tomographic images | |
| Koundal et al. | Nakagami-based total variation method for speckle reduction in thyroid ultrasound images | |
| CN110741270A (zh) | 用于改善的肝癌和肾癌诊断的计算超声 | |
| Hu et al. | Cluster driven anisotropic diffusion for speckle reduction in ultrasound images | |
| Kushwaha et al. | Optimization of the proposed hybrid denoising technique to overcome over-filtering issue | |
| Wagner et al. | Deep learning based guidewire segmentation in x-ray images | |
| Wang et al. | Multi-modal medical image fusion based on GAN and the shift-invariant Shearlet transform | |
| JP2019522519A (ja) | 対象の身体の少なくとも一部の画像における構造の少なくとも一部をマッピングするための方法及び装置 | |
| Xie et al. | Boundary enhancement and speckle reduction for ultrasound images via salient structure extraction | |
| Kushwaha | An efficient filtering approach for speckle reduction in ultrasound images | |
| Khare et al. | Efficient and robust similarity measure for denoising ultrasound images in non-local framework | |
| Sneha et al. | Performance analysis of wiener filter in restoration of COVID-19 chest X-ray images, ultrasound images and mammograms | |
| Loizou et al. | Despeckle filtering of ultrasound images | |
| Ben Gharsallah et al. | Phase congruency-based filtering approach combined with a convolutional network for lung CT image analysis | |
| Pathak et al. | A technique to suppress speckle in ultrasound images using nonlocal mean and cellular automata | |
| Chang et al. | Restoration algorithm for image noise removal using double bilateral filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200131 |
|
| WD01 | Invention patent application deemed withdrawn after publication |