CN113768546A - 超声弹性图像生成与处理系统和方法 - Google Patents
超声弹性图像生成与处理系统和方法 Download PDFInfo
- Publication number
- CN113768546A CN113768546A CN202111072641.4A CN202111072641A CN113768546A CN 113768546 A CN113768546 A CN 113768546A CN 202111072641 A CN202111072641 A CN 202111072641A CN 113768546 A CN113768546 A CN 113768546A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- ultrasonic
- ultrasound
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 135
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 29
- 238000002091 elastography Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000013500 data storage Methods 0.000 claims description 64
- 238000002113 ultrasound elastography Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 238000012552 review Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 11
- 238000002099 shear wave elastography Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 abstract description 58
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 210000005075 mammary gland Anatomy 0.000 abstract description 4
- 210000002307 prostate Anatomy 0.000 abstract description 4
- 210000001685 thyroid gland Anatomy 0.000 abstract description 4
- 210000000056 organ Anatomy 0.000 abstract description 3
- 210000004185 liver Anatomy 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 description 13
- 230000003902 lesion Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 239000000523 sample Substances 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002559 palpation Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本申请涉及超声弹性图像生成与处理系统和方法，该系统包括：超声图获取模块，通过超声获取预定位置活体组织的超声图像；超声弹性图像生成模块，与超声图获取模块通信连接，基于USE‑GAN图像生成模型对超声图像生成超声弹性图像；显示模块，显示超声弹性图像和超声图像；人工审核模块，依据算法程序对超声弹性图像进行弹性评分预评价，且在人工核对的情况下，确定超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及输出模块，输出人工审核模块确定的超声弹性图像的弹性评分以及人工确定的与弹性评分相关的结论性报告。本申请的系统和方法可用于甲状腺、肝脏、乳腺、前列腺等组织、脏器需进行超声弹性成像评估时的辅助诊断。
Description
技术领域
本申请涉及超声波成像及其处理，特别是，涉及超声弹性图像生成与处理系统以及采用超声弹性图像生成与处理系统对超声弹性图像生成与处理的方法。
背景技术
超声弹性成像是利用声波检测组织的硬度属性。目前，临床上有两种常用超声弹性成像方式：即应力式弹性成像和剪切波弹性成像。应力式弹性成像时，运用特定探头对组织表面施加一定压力，使检查组织发生形变和位移，再通过超声成像测量形变及位移的大小，从而间接反映组织硬度。剪切波弹性成像时，经超声探头发射声辐射脉冲波，作用于检测靶组织，靶目标受声辐射脉冲波作用产生形变，进而在组织内形成剪切波，其方向与探头脉冲波方向垂直。该剪切波在组织中传导速度较慢，易被探头接收进行分析。剪切波速度与组织硬度呈正比，因此，可利用剪切波速度来评估组织硬度。生成的弹性成像图为一张具有不同颜色的彩色图，通过特定颜色的比例来确定靶组织的硬度，从而获得弹性评分或弹性硬度值。多种疾病的早期阶段，病变组织和健康组织的常规二维超声回声相似，难以区分，而超声弹性成像技术通过测量病变组织的弹性参数，可显示出二者的差异，为疾病早期诊断提供更多信息。该技术已广泛应用于临床多种疾病的超声诊断与鉴别诊断，如甲状腺、肝脏、乳腺、前列腺、骨肌等组织、器官病变的评估。
超声弹性成像具有很高的临床应用价值，但进行超声弹性成像获得靶组织、器官弹性评分需要一个额外的弹性成像设备，而且需要依赖医生进过专业训练后具备相关的经验后才能达到好的效果。
发明内容
本申请要解决的技术问题是通过超声图获取模块与PC机的联网，将超声图像转化为超声弹性图像，以实现就地或远程对超声图像进行分析判断而对各种病变进行高效排查。
为解决上述技术问题，根据本申请的一个方面，提供一种超声弹性图像生成与处理系统，包括：超声图获取模块，通过超声获取预定位置活体组织的超声图像；超声弹性图像生成模块，与超声图获取模块通信连接，基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像；显示模块，显示超声弹性图像生成模块生成的超声弹性图像和超声图获取模块输出的超声图像；人工审核模块，依据算法程序对超声弹性图像生成模块生成的超声弹性图像进行弹性评分预评价，并且在人工核对的情况下，确定超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及输出模块，输出人工审核模块确定的超声弹性图像的弹性评分以及人工确定的与弹性评分相关的结论性报告。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括数据存储模块，数据存储模块与输出模块连接，并且将超声弹性图像的结论性报告作为新案例存储到数据存储模块备档。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括：通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括：选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。
根据本申请的实施例，数据存储模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例，超声弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像可包括模拟的应力式弹性成像或者剪切波弹性成像。
根据本申请的实施例，数据存储模块、超声弹性图像生成模块、人工审核模块和输出模块可集成在一台PC中。在此情况下，B超机与PC之间可为远程通信连接，或者B超机与PC之间可为彼此相邻设置且通信连接。
根据本申请的实施例，数据存储模块可具有与数据库或云端连接的通信端口。在此情况下，数据存储模块可从数据库或云端接收所需的数据信息，并且数据存储模块上存储的数据信息可传输到数据库或云端，从而实现医学诊断上的互联网和信息共享。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括优化模块，采用所述优化模块对USE-GAN图像生成模型不断优化，以提高准确率和模型稳定性。
根据本申请的实施例，超声图获取模块可包括常规B超机。
根据本申请的另一方面，提供一种采用超声弹性图像生成与处理系统对超声弹性图像生成与处理的方法，超声弹性图像生成与处理系统包括超声图获取模块、超声弹性图像生成模块、显示模块、人工审核模块和输出模块，方法包括如下步骤：S1、通过超声图获取模块获取预定位置活体组织的超声图像；S2、采用图像生成模块基于USE-GAN图像生成模型对超声图像生成超声弹性图像；S3、通过显示模块显示超声弹性图像生成模块生成的超声弹性图像和超声图获取模块输出的超声图像；S4、通过人工审核模块依据算法程序对超声弹性图像生成模块生成的超声弹性图像进行弹性评分预评价，并且在人工核对的情况下，确定超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及S5、通过输出模块输出人工审核模块确定的超声弹性图像的弹性评分以及人工确定的与所述弹性评分相关的结论性报告。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括数据存储模块，在超声弹性图像生成与处理方法中，数据存储模块与输出模块连接，并且将超声弹性图像的结论性报告作为新案例存储到数据存储模块备档。
根据本申请的实施例，超声弹性图像生成与处理方法还可包括：通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。
根据本申请的实施例，超声弹性图像生成与处理方法还可包括：选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。
根据本申请的实施例，数据存储模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。
根据本申请的实施例，超声弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像可包括模拟的应力式弹性成像或者剪切波弹性成像。
根据本申请的实施例，数据存储模块、超声弹性图像生成模块、人工审核模块和输出模块可集成在一台PC中。在此情况下，B超机与PC之间可为远程通信连接，或者B超机与PC之间可为彼此相邻设置且通信连接。
根据本申请的实施例，数据存储模块可具有与数据库或云端连接的通信端口。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括优化模块，采用所述优化模块对USE-GAN图像生成模型不断优化，以提高准确率和模型稳定性。
根据本申请的实施例，超声弹性图像生成与处理方法还可包括在生成超声弹性图像步骤前的图像预处理步骤，图像预处理步骤可对实时图像进行裁剪与特征提取。
根据本申请的实施例，超声图获取模块可包括常规B超机。
与现有技术相比，本申请的实施例所提供的技术方案至少可实现如下有益效果：
无需改变现有的B超机和PC机，而是将B超机和PC机通过互联网连接而实现信息共享，无论B超机和PC机二者之间彼此相邻或彼此远离的远程操作。
B超机上形成的超声图像通过PC机的存储模块上存储的软件利用USE-GAN图像生成模型而生成超声图像的超声弹性图像，该超声弹性图像是虚拟图像，可呈现超声弹性图像所代表的被检测活性组织的弹性评分。弹性评分代表被检测活性组织的硬度。因此，弹性评分超过某阈值时，医生可在此基础上结合其它参数对患者的病灶进行比较准确的诊断。
因为B超成像是相对比较便宜的成像技术，并且可应用于各种软组织的超声波检查，所以在对超声图像自动形成超声弹性图像后，可直接确定其弹性评分而对医生评估病变具有极大帮助。这可及时且快捷地筛查各种病变，从而降低了筛查成本。
在远程医疗的情况下，PC端上可清楚地接收来自远方的B超机传输的超声图像，因此如同在同地一样实现远程医疗。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本申请的一些实施例，而非对本申请的限制。
图1是根据本申请实施例的超声弹性图像生成与处理系统的模块图。
图2是根据本申请实施例的超声弹性图像生成与处理系统的优化模块图。
图3是根据本申请实施例的超声弹性图像生成与处理方法的步骤模块图。
图4是根据本申请实施例的超声弹性图像生成与处理方法的模型采样架构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。
下面，将结合附图详细描述本申请的实施例。
图1是根据本申请实施例的超声弹性图像生成与处理系统的模块图。
参见图1，本申请提供一种超声弹性图像生成与处理系统，包括超声图获取模块、超声弹性图像生成模块、显示模块、人工审核模块和输出模块。分述如下。
超声图获取模块通过超声获取预定位置活体组织的超声图像。根据本申请的实施例，超声图获取模块例如可为常规B超机，因此在下面的描述中可将超声图获取模块直接称之为常规B超机或B超机。然而，本申请的实施例不限于此，而是超声图获取模块也可为通过超声获取预定位置活体组织的超声图像的任何其它装置，例如，A型超声、M型超声、D型超声、彩超等装置。
超声弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像。根据本申请的实施例，用于超声弹性图像生成的模型为一种基于U-Net网络的USE-GAN图像生成模型，利用USE-GAN模型对超声图像进行特征提取后生成对应的超声弹性图像。超声弹性成像能够研究传统超声无法探测的肿瘤及扩散疾病成像，可应用于乳腺、甲状腺、前列腺等方面。组织的弹性依赖于其分子和微观结构,临床医生通过触诊定性评价和诊断乳腺肿块，其基础是组织硬度或弹性与病变的组织病理密切相关。与临床医生的触诊定性评价和诊断类似，弹性成像技术提供了组织硬度的图像，也就是关于病变的组织特征的信息。根据不同组织间弹性评分不同，在受到外力压迫后组织发生变形的程度不同，将受压前后回声信号移动幅度的变化转化为实时彩色图像，弹性评分小、受压后位移变化大的组织显示为红色，弹性评分大、受压后位移变化小的组织显示为蓝色，弹性评分中等的组织显示为绿色，借图像色彩反映组织的硬度。弹性成像技术，使超声图像拓宽，弥补了常规超声的不足，能更生动地显示及定位病变。
显示模块可显示弹性图像生成模块生成的弹性图像和超声图获取模块输出的超声图像。显示模块可为黑白或彩色显示器。
人工审核模块依据算法程序对超声弹性图像生成模块生成的超声弹性图像进行弹性评分预评价，并且在人工干预和核对的情况下，确定超声弹性图像生成模块生成的超声弹性图像的弹性评分。人工审核模块也称为纠错模块，是对超声弹性图像生成模块生成的超声弹性图像进行纠错和核准的过程，从而确保由超声图像形成的超声弹性图像的弹性评分准确无误。
输出模块，输出人工审核模块确定的超声弹性图像的弹性评分以及人工确定的与弹性评分相关的结论性报告，并且将超声弹性图像的结论性报告作为新案例存储到数据存储模块备档。在完成与弹性评分相关的结论性报告后，将超声图像、超声弹性图像、弹性评分作为新案例的基本数据信息，存储到数据存储模块备档，会不断积累经验，从而进行机器深入学习，训练超声弹性图像生成模块在未来的工作中更加准确地为超声图像生产超声弹性图像及其弹性评分。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括数据存储模块。数据存储模块与输出模块连接，并且将超声弹性图像的结论性报告作为新案例存储到数据存储模块备档。
根据本申请的实施例，数据存储模块可为挥发性存储器或非挥发性存储器，因此可包括硬盘、硬盘分区的一部分、闪存存储器、缓存存储器等。优选地，数据存储模块至少包括接收并处理超声图像的缓存部分和保存数据的硬盘部分，并且优选为PC计算机硬件资源中的一部分。根据本申请的实施例，数据存储模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。然而，本申请的实施例不限于此，而是数据存储模块与超声图获取模块的通信连接也可为非实时信号传输连接，例如，通过可移动硬盘、U盘、发邮件等转移超声图像至数据存储模块，或者可通过微信等通信工具进行实时或间接方式传输超声图像，也在本申请的保护范围之内。
图2是根据本申请实施例的超声弹性图像生成与处理系统的优化模块图。
如图2所示，根据本申请的实施例，超声弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像可包括模拟的应力式弹性成像或者剪切波弹性成像。
目前，临床上有两种常用超声弹性成像方式：即应力式弹性成像和剪切波弹性成像。应力式弹性成像时，运用特定探头对组织表面施加一定压力，使检查组织发生形变和位移，再通过超声成像测量形变及位移的大小，从而间接反映组织硬度。剪切波弹性成像时，经超声探头发射声辐射脉冲波，作用于检测靶组织，靶目标受声辐射脉冲波作用产生形变，进而在组织内形成剪切波，其方向与探头脉冲波方向垂直。该剪切波在组织中传导速度较慢，易被探头接收进行分析。剪切波速度与组织硬度呈正比，因此，可利用剪切波速度来评估组织硬度。
然而，根据本申请的实施例，弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声波图像生成弹性图像。生成弹性图像的方式主要有压力式和剪切波式，而根据本申请实施例的生成弹性图像是在超声图像上基于USE-GAN图像生成模型生成虚拟的弹性图像，该虚拟的弹性图像可模拟使用弹性成像技术生成的弹性成像图，并且与使用弹性成像技术生成的弹性图像具有高度一致性。
尽管附图中没有示出，但是，根据本申请的实施例，数据存储模块、超声弹性图像生成模块、人工审核模块和输出模块可集成在一台PC中。在此情况下，超声图获取模块(常规B超机)与PC之间可为远程通信连接，或者B超机与PC之间可为彼此相邻设置且通信连接。当B超机与PC之间为彼此相邻设置且通信连接时，将大大缩短B超检查的时间，并且在几乎同时生成超声弹性图像过程中，高效率地对各种结节实施良性或恶性肿瘤的排查。当B超机与PC之间为远程通信连接时，例如，北京与西藏或新疆的远程连接，可方便地实现远程医疗，帮助偏远地区共享发达地区的医疗资源。因此，根据本申请实施例的超声弹性图像生成与处理系统将对远程医疗中的医疗资源共享做出应有的重要贡献。
如图2所示，根据本申请的实施例，数据存储模块可具有与数据库或云端连接的通信端口。在此情况下，数据存储模块可从数据库或云端接收所需的数据信息，并且数据存储模块上存储的数据信息可传输到数据库或云端，从而实现医学诊断上的互联网和信息共享。
如图2所示，根据本申请的实施例，超声弹性图像生成与处理系统还可包括优化模块，采用所述优化模块对USE-GAN图像生成模型不断优化，以提高准确率和模型稳定性。优化模块中存储有学习软件、更新软件、升级软件。优化模块具有或支持深入学习的功能。优化模块与超声弹性图像生成模块互联，对超声弹性图像生成模块上的USE-GAN图像生成模型不断优化。
下面，结合附图描述根据本申请实施例的采用超声弹性图像生成与处理系统对超声弹性图像生成与处理的方法。
图3是根据本申请实施例的超声弹性图像生成与处理方法的步骤模块图。
参见图3，根据本申请的实施例，提供一种采用超声弹性图像生成与处理系统对超声弹性图像生成与处理的方法。
如前面参照图1和2所描述，根据本申请的超声弹性图像生成与处理系统包括超声图获取模块、超声弹性图像生成模块、显示模块、人工审核模块和输出模块。优选地，根据本申请的超声弹性图像生成与处理系统还可包括数据存储模块、数据库、优化模块、打印模块，并且还可连接到云端。为避免冗余，在下面的描述中，与前面已经参照图1和2描述的技术方案相同或类似的特征将不再重复描述。
如图3所示，根据本申请的超声弹性图像生成与处理方法包括如下步骤：S1、通过超声图获取模块获取预定位置活体组织的超声图像；S2、采用图像生成模块基于USE-GAN图像生成模型对超声图像生成超声弹性图像；S3、通过显示模块显示超声弹性图像生成模块生成的超声弹性图像和超声图获取模块输出的超声图像；S4、通过人工审核模块依据算法程序对超声弹性图像生成模块生成的超声弹性图像进行弹性评分预评价，并且在人工核对的情况下，确定超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及S5、通过输出模块输出人工审核模块确定的超声弹性图像的弹性评分以及人工确定的与所述弹性评分相关的结论性报告。
根据本申请的实施例，超声弹性图像生成与处理系统还可包括数据存储模块，在超声弹性图像生成与处理方法中，数据存储模块与输出模块连接，并且将超声弹性图像的结论性报告作为新案例存储到数据存储模块备档。
根据本申请的实施例，超声图像可为常规B超图像。然而，本申请的实施例不限于此，而是超声图获取模块也可为通过超声获取预定位置活体组织的超声图像的任何其它装置，例如，A型超声、M型超声、D型超声、彩超等装置。因此，超声图像也可为A型超声、M型超声、D型超声、彩超等图像。
根据本申请的实施例，显示模块可显示超声弹性图像生成模块生成的超声弹性图像和超声图获取模块输出的超声图像，从而给医生显示直观的超声弹性图像。
根据本申请的实施例，数据存储模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。然而，本申请的实施例不限于此，而是数据存储模块与超声图获取模块的通信连接也可为非实时信号传输连接，例如，通过可移动硬盘、U盘、发邮件等转移超声图像至数据存储模块，或者可通过微信等通信工具进行实时或间接方式传输超声图像，因此这里所说的连接也包括通过必要的传输手段转移超声图像，这也在本申请的保护范围之内。
根据本申请的实施例，超声弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像可包括模拟的应力式弹性成像或者剪切波弹性成像。
如前所述，超声弹性图像生成模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像。根据本申请的实施例，用于超声弹性图像生成的模型为一种基于U-Net网络的USE-GAN图像生成模型，利用USE-GAN模型对超声图像进行特征提取后生成对应的超声弹性图像，因此超声弹性图像也称为超声超声弹性图像或超声弹性成像。超声弹性成像能够研究传统超声无法探测的肿瘤及扩散疾病成像，可应用于乳腺、甲状腺、前列腺等方面。组织的弹性依赖于其分子和微观结构,临床医生通过触诊定性评价和诊断乳腺肿块，其基础是组织硬度或弹性与病变的组织病理密切相关。与临床医生的触诊定性评价和诊断类似，弹性成像技术提供了组织硬度的图像，也就是关于病变的组织特征的信息。根据不同组织间弹性评分不同，在受到外力压迫后组织发生变形的程度不同，将受压前后回声信号移动幅度的变化转化为实时彩色图像，弹性评分小、受压后位移变化大的组织显示为红色，弹性评分大、受压后位移变化小的组织显示为蓝色，弹性评分中等的组织显示为绿色，借图像色彩反映组织的硬度。弹性成像技术，使超声图像拓宽，弥补了常规超声的不足，能更生动地显示及定位病变。因此，根据本申请实施例的超声弹性图像生成与处理方法就是运用这样的机理基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像，从而仿真模拟组织受到外力压迫后变形而形成的超声弹性图像。
根据本申请的实施例，数据存储模块、超声弹性图像生成模块、人工审核模块和输出模块可集成在一台PC中。在此情况下，B超机与PC之间可为远程通信连接，或者B超机与PC之间可为彼此相邻设置且通信连接。根据本申请实施例的超声弹性图像生成与处理方法可运用B超机与PC相邻设置和远程通信两种方式对超声图像处理而形成超声弹性图像。
根据本申请的实施例，数据存储模块可具有与数据库或云端连接的通信端口。如前所述，数据存储模块基于USE-GAN图像生成模型对数据存储模块接收的超声图像生成超声弹性图像。同时，数据存储模块具有机器深入学习的功能。当数据存储模块具有与数据库或云端连接的通信端口时，USE-GAN图像生成模型就会不断地更新、升级，因此根据本申请实施例的超声弹性图像生成与处理方法就相应地更加高效和准确。
为了实现USE-GAN图像生成模型的深入学习，根据本申请的实施例，超声弹性图像生成与处理系统还可包括优化模块，采用所述优化模块对USE-GAN图像生成模型不断优化，以提高准确率和模型稳定性。同时，优化模块本身也具有较好的深入学习功能，并且便利更新、升级和改造。
根据本申请的实施例，超声弹性图像生成与处理方法还可包括在生成超声弹性图像步骤前的图像预处理步骤，图像预处理步骤可对实时图像进行裁剪与特征提取。图像预处理步骤是对图像处理的必要环节，其主要功能在于修正图像偏差，便于模型分析，例如，放大缩小图像。
图4是根据本申请实施例的超声弹性图像生成与处理方法的模型采样架构图。
参见图4，根据本申请的实施例，超声弹性图像生成与处理方法还可包括：通过空间注意力模块对超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。
如图4所示，在根据本申请实施例的超声弹性图像生成与处理系统中，还包括空间注意力模块、下采样模块、残差模块、通道注意力模块和上采样模块。为了区别起见，这些模块在图4中以不同的颜色表示。在根据本申请实施例的超声弹性图像生成与处理方法中，进行三层下采样、六层残差特征提取和三层上采样。通过上面的采样操作，形成图4中最右面的彩色超声弹性图像。该彩色超声弹性图像可给医生或操作人员以提示，并且对重点区域进行进一步的分析和判断，从而做出判断结果。
根据本申请的实施例，超声弹性图像生成与处理方法还可包括：选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。该方法步骤是对USE-GAN图像生成模型的进一步训练和优化。
与现有技术相比，本申请的实施例所提供的超声弹性图像生成与处理系统和方法的技术方案至少可实现如下有益效果：
无需改变现有的B超机和PC机，而是将B超机和PC机通过互联网连接而实现信息共享，无论B超机和PC机二者之间彼此相邻或彼此远离的远程操作。
B超机上形成的超声图像通过PC机的存储模块上存储的软件利用USE-GAN图像生成模型而生成超声图像的超声弹性图像，该超声弹性图像是虚拟图像，可呈现超声弹性图像所代表的被检测活性组织的弹性评分。弹性评分代表被检测活性组织的可弹性变形程度，即其硬度。因此，弹性评分超过某阈值时，医生可在此基础上结合其它参数对患者的病灶进行比较准确的诊断。
因为B超成像是相对比较便宜的成像技术，并且可应用于各种软组织的超声波检查，所以在对超声图像自动形成超声弹性图像后，可直接确定其弹性评分而对医生诊断病灶具有极大帮助。这可及时且快捷地筛查各种病变，从而降低了筛查成本。
在远程医疗的情况下，PC端上可清楚地接收来自远方的B超机传输的超声图像，因此如同在同地一样实现远程医疗。
以上所述仅是本申请的示范性实施方式，而非用于限制本申请的保护范围，本申请的保护范围由所附的权利要求确定。
Claims (24)
1.一种超声弹性图像生成与处理系统，包括：
超声图获取模块，通过超声获取预定位置活体组织的超声图像；
超声弹性图像生成模块，与超声图获取模块通信连接，基于USE-GAN图像生成模型对所述超声图像生成超声弹性图像；
显示模块，显示所述超声弹性图像生成模块生成的超声弹性图像和所述超声图获取模块输出的超声图像；
人工审核模块，依据算法程序对所述超声弹性图像生成模块生成的超声弹性图像进行弹性评分预评价，并且在人工核对的情况下，确定所述超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及
输出模块，输出所述人工审核模块确定的所述超声弹性图像的弹性评分以及人工确定的与所述弹性评分相关的结论性报告。
2.如权利要求1所述的超声弹性图像生成与处理系统，还包括数据存储模块，所述数据存储模块与所述输出模块连接，并且将所述超声弹性图像的结论性报告作为新案例存储到所述数据存储模块备档。
3.如权利要求1所述的超声弹性图像生成与处理系统，其中，所述USE-GAN图像生成模型的功能包括通过空间注意力模块对所述超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。
4.如权利要求1所述的超声弹性图像生产与处理系统，还包括在所述USE-GAN图像生成模型上选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。
5.如权利要求1所述的超声弹性图像生成与处理系统，其中，所述数据存储模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
6.如权利要求1所述的超声弹性图像生成与处理系统，其中，所述超声弹性图像生成模块基于USE-GAN图像生成模型对所述数据存储模块接收的超声图像生成超声弹性图像包括模拟的应力式弹性成像。
7.如权利要求1所述的超声弹性图像生成与处理系统，其中，所述超声弹性图像生成模块基于USE-GAN图像生成模型对所述数据存储模块接收的超声图像生成超声弹性图像包括模拟的剪切波弹性成像。
8.如权利要求2所述的超声弹性图像生成与处理系统，其中，所述数据存储模块、所述超声弹性图像生成模块、所述人工审核模块和所述输出模块集成在一台PC中。
9.如权利要求8所述的超声弹性图像生成与处理系统，其中，所述超声图获取模块与所述PC之间为远程通信连接。
10.如权利要求1所述的超声弹性图像生成与处理系统，其中，所述数据存储模块具有与数据库或云端连接的通信端口。
11.如权利要求1所述的超声弹性图像生成与处理系统，还包括优化模块，采用所述优化模块对USE-GAN图像生成模型不断优化，以提高准确率和模型稳定性。
12.如权利要求1所述的超声弹性图像生成与处理系统，其中，所述超声图获取模块包括常规B超机。
13.一种采用超声弹性图像生成与处理系统对超声弹性图像生成与处理的方法，所述超声弹性图像生成与处理系统包括超声图获取模块、超声弹性图像生成模块、显示模块、人工审核模块和输出模块，所述方法包括如下步骤：
S1、通过超声图获取模块获取预定位置活体组织的超声图像；
S2、采用图像生成模块基于USE-GAN图像生成模型对所述超声图像生成超声弹性图像；
S3、通过显示模块显示所述超声弹性图像生成模块生成的超声弹性图像和所述超声图获取模块输出的超声图像；
S4、通过人工审核模块依据算法程序对所述超声弹性图像生成模块生成的超声弹性图像进行弹性评分预评价，并且在人工核对的情况下，确定所述超声弹性图像生成模块生成的超声弹性图像的弹性评分；以及
S5、通过输出模块输出所述人工审核模块确定的所述超声弹性图像的弹性评分以及人工确定的与所述弹性评分相关的结论性报告。
14.如权利要求13所述的方法，其中，所述超声弹性图像生成与处理系统还包括数据存储模块，所述数据存储模块与所述输出模块连接，并且将所述超声弹性图像的结论性报告作为新案例存储到所述数据存储模块备档。
15.如权利要求13所述的方法，还包括：通过空间注意力模块对所述超声图像进行三层下采样、进行六层残差模块的特征提取、三层上采样，最后通过通道注意力模块后的整合输出通道输出结果。
16.如权利要求13所述的方法，还包括：选择GAN+L1+Color+VGG19损失函数以使训练过程更加稳定，其中，GAN损失函数用以生成更真实的图像，L1损失函数关注图像每个像素的相似程度，Color损失函数关注图像上的颜色分布相似程度，VGG19损失函数关注图像整体结构相似程度。
17.如权利要求13所述的方法，其中，所述数据存储模块与所述超声图获取模块的通信连接包括有线连接和无线连接之一或二者。
18.如权利要求13所述的方法，其中，所述超声弹性图像生成模块基于USE-GAN图像生成模型对所述数据存储模块接收的超声图像生成超声弹性图像包括模拟的应力式弹性成像或者剪切波弹性成像。
19.如权利要求14所述的方法，其中，所述数据存储模块、所述超声弹性图像生成模块、所述人工审核模块和所述输出模块集成在一台PC中。
20.如权利要求19所述的方法，其中，所述超声图获取模块与所述PC之间为远程通信连接。
21.如权利要求14所述的方法，其中，所述数据存储模块具有与数据库或云端连接的通信端口。
22.如权利要求14所述的方法，其中，所述超声弹性图像生成与处理系统还包括优化模块，采用所述优化模块对USE-GAN图像生成模型不断优化，以提高准确率和模型稳定性。
23.如权利要求13所述的方法，还包括在生成超声弹性图像步骤前的图像预处理步骤，所述图像预处理步骤对实时图像进行裁剪与特征提取。
24.如权利要求13所述的方法，其中，所述超声图获取模块包括常规B超机。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072641.4A CN113768546B (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
| CN202410063813.9A CN117679077A (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111072641.4A CN113768546B (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410063813.9A Division CN117679077A (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113768546A true CN113768546A (zh) | 2021-12-10 |
| CN113768546B CN113768546B (zh) | 2024-02-20 |
Family
ID=78843286
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410063813.9A Pending CN117679077A (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
| CN202111072641.4A Active CN113768546B (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410063813.9A Pending CN117679077A (zh) | 2021-09-14 | 2021-09-14 | 超声弹性图像生成与处理系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN117679077A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011928A (ja) * | 2016-07-08 | 2018-01-25 | キヤノン株式会社 | 制御装置、制御方法、制御システム及びプログラム |
| WO2020246773A1 (ko) * | 2019-06-06 | 2020-12-10 | 삼성메디슨 주식회사 | 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법 |
| US20210077060A1 (en) * | 2019-09-17 | 2021-03-18 | GE Precision Healthcare LLC | System and methods for interventional ultrasound imaging |
| EP3836022A1 (en) * | 2019-12-12 | 2021-06-16 | Koninklijke Philips N.V. | Data augmentation for a machine learning method |
| CN113633315A (zh) * | 2021-09-14 | 2021-11-12 | 上海市第六人民医院 | 采用超声图处理系统的超声图处理方法 |
| CN113647987A (zh) * | 2021-09-14 | 2021-11-16 | 上海市第六人民医院 | 用于检测活体组织结节的系统和方法 |
| CN113679426A (zh) * | 2021-09-14 | 2021-11-23 | 上海市第六人民医院 | 超声图处理系统 |
| CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
| CN113842159A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 颈部淋巴结超声分区图像的生成系统和方法 |
-
2021
- 2021-09-14 CN CN202410063813.9A patent/CN117679077A/zh active Pending
- 2021-09-14 CN CN202111072641.4A patent/CN113768546B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011928A (ja) * | 2016-07-08 | 2018-01-25 | キヤノン株式会社 | 制御装置、制御方法、制御システム及びプログラム |
| WO2020246773A1 (ko) * | 2019-06-06 | 2020-12-10 | 삼성메디슨 주식회사 | 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법 |
| US20210077060A1 (en) * | 2019-09-17 | 2021-03-18 | GE Precision Healthcare LLC | System and methods for interventional ultrasound imaging |
| EP3836022A1 (en) * | 2019-12-12 | 2021-06-16 | Koninklijke Philips N.V. | Data augmentation for a machine learning method |
| CN113633315A (zh) * | 2021-09-14 | 2021-11-12 | 上海市第六人民医院 | 采用超声图处理系统的超声图处理方法 |
| CN113647987A (zh) * | 2021-09-14 | 2021-11-16 | 上海市第六人民医院 | 用于检测活体组织结节的系统和方法 |
| CN113679426A (zh) * | 2021-09-14 | 2021-11-23 | 上海市第六人民医院 | 超声图处理系统 |
| CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
| CN113842159A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 颈部淋巴结超声分区图像的生成系统和方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113842164A (zh) * | 2021-09-14 | 2021-12-28 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
| CN113842164B (zh) * | 2021-09-14 | 2024-02-20 | 上海市第六人民医院 | 用于检测braf-v600e突变的系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113768546B (zh) | 2024-02-20 |
| CN117679077A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7407790B2 (ja) | 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム | |
| US11094138B2 (en) | Systems for linking features in medical images to anatomical models and methods of operation thereof | |
| US10515452B2 (en) | System for monitoring lesion size trends and methods of operation thereof | |
| JP5304986B2 (ja) | 超音波診断装置 | |
| JP4966578B2 (ja) | 弾性画像生成方法及び超音波診断装置 | |
| CN113679426B (zh) | 超声图处理系统 | |
| US11241221B2 (en) | Method for processing morphology information and elasticity information of tissue and device for elasticity detection | |
| JPWO2011034005A1 (ja) | 超音波診断装置、弾性画像の分類方法、及び弾性画像の分類プログラム | |
| CN113768546B (zh) | 超声弹性图像生成与处理系统和方法 | |
| US20170011516A1 (en) | Systems for monitoring lesion size trends and methods of operation thereof | |
| US20220265242A1 (en) | Method of determining scan planes in the acquisition of ultrasound images and ultrasound system for the implementation of the method | |
| JP5680703B2 (ja) | 超音波診断装置 | |
| KR102539922B1 (ko) | 탄성초음파영상에 대한 변형률 계산 및 변형량의 자동 측정을 위한 방법 및 시스템 | |
| US11890142B2 (en) | System and methods for automatic lesion characterization | |
| CN115666400A (zh) | 辅助用户执行医学超声检查 | |
| CN114246611B (zh) | 用于超声成像系统的自适应接口的系统和方法 | |
| EP4260811A1 (en) | Graphical user interface for providing ultrasound imaging guidance | |
| Cherkas | Thyroid Gland Ultrasonography Automation Through Intelligent Analysis | |
| CN116158783A (zh) | 超声波图像分析装置、超声波诊断装置及超声波图像分析装置的控制方法 | |
| CN114246611A (zh) | 用于超声成像系统的自适应接口的系统和方法 | |
| CN117982171A (zh) | 胃部超声扫查提示方法及超声成像设备 | |
| KR20240015562A (ko) | 매질과 연관된 초음파 이미지 데이터를 매질과 연관된 다른 이미지 데이터와 연결하는 방법 및 시스템 | |
| CN116650006A (zh) | 用于自动超声检查的系统和方法 | |
| CN117204885A (zh) | 超声成像装置、超声成像方法和存储介质 | |
| CN113180724A (zh) | 用于造影剂增强的超声成像的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |