CN112990267B - 基于风格迁移模型的乳腺超声成像方法、装置及存储介质 - Google Patents
基于风格迁移模型的乳腺超声成像方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112990267B CN112990267B CN202110174432.4A CN202110174432A CN112990267B CN 112990267 B CN112990267 B CN 112990267B CN 202110174432 A CN202110174432 A CN 202110174432A CN 112990267 B CN112990267 B CN 112990267B
- Authority
- CN
- China
- Prior art keywords
- breast
- style
- breast ultrasound
- image
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 167
- 230000005012 migration Effects 0.000 title claims abstract description 36
- 238000013508 migration Methods 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 230000003902 lesion Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000012935 Averaging Methods 0.000 claims abstract description 4
- 238000002604 ultrasonography Methods 0.000 claims description 92
- 238000012285 ultrasound imaging Methods 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 11
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 210000005075 mammary gland Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 201000009030 Carcinoma Diseases 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 201000004933 in situ carcinoma Diseases 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 208000024312 invasive carcinoma Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000009458 Carcinoma in Situ Diseases 0.000 description 1
- 208000007054 Medullary Carcinoma Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000003714 breast lobular carcinoma Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000010985 invasive ductal carcinoma Diseases 0.000 description 1
- 208000023356 medullary thyroid gland carcinoma Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 208000010576 undifferentiated carcinoma Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种基于风格迁移模型的乳腺超声成像方法、一种基于风格迁移模型的乳腺超声成像装置以及一种计算机可读存储介质，该方法包括以下步骤：获取被检测对象的内容乳腺超声图像，内容乳腺超声图像包括至少一个内容乳腺图像特征；根据内容乳腺超声图像，自动获取N张与内容乳腺超声图像最接近的风格乳腺超声图像，内容乳腺图像特征的分类属于风格乳腺超声图像特征的分类；使用经过训练的风格迁移神经网络对输入的内容乳腺超声图像和N张风格乳腺超声图像处理，得到N张风格转换后的乳腺超声图像；将N张风格转换后的乳腺超声图像输入经训练的乳腺病灶分类网络，得到N个分类结果，将N个分类结果进行平均，得到最终的乳腺病灶分类结果。
Description
技术领域
本发明涉及超声医疗成像技术领域，具体涉及基于风格迁移模型的乳腺超声成像方法、装置及存储介质。
背景技术
随着医疗诊断设备的不断发展，超声成像设备以其无创性、实时性、操作方便、价格便宜等诸多优势，成为临床上应用最为广泛的诊断工具之一。
目前在使用超声设备对患者乳腺部位进行检查时，超声设备的成像质量受不同设备型号、设备参数设置、探头声束方向以及医生经验等因素的影响。同时，由于临床中日复一日的繁重的工作任务，超声医生易受体力及情绪等因素影响，导致对超声图像的标注方式与内容上的差异也很明显。因此，各个厂家不同的超声设备型号、各个医院不同医生之间成像手法的不同，导致获取的超声图像质量千差万别、差异性明显，且不同超声图像的标注内容、图像风格差异很大，比如有的机器图像风格偏暗，有的机器图像风格偏亮，有的机器图像粒子较细，有的机器图像噪声强。而目前深度学习的人工智能模型对超声图像的风格变化非常敏感，往往只能适用于某一台特定的超声设备型号及固定的成像参数设置，而很难适用于所有超声设备型号及不同的成像参数。
发明内容
本发明提供了一种基于风格迁移模型的超声成像方法、装置及存储介质，能够根据不同医生的需求，将不同机型、不同成像参数、不同标注习惯、不同维度的超声图像统一转换成固定的集中风格，从而利于人工智能模型对超声图像病灶的分类判断。
本发明提供了一种基于风格迁移模型的乳腺超声成像方法，其包括以下步骤：
获取被检测对象的内容乳腺超声图像，内容乳腺超声图像包括至少一个内容乳腺图像特征；
根据所述内容乳腺超声图像，自动获取N张与所述内容乳腺超声图像最接近的风格乳腺超声图像，所述风格乳腺超声图像包括：至少一个风格乳腺超声图像特征、至少一个风格标注特征；内容乳腺图像特征的分类属于风格乳腺超声图像特征的分类；
使用经过训练的风格迁移神经网络对输入的内容乳腺超声图像和N张风格乳腺超声图像进行处理，得到N张风格转换后的乳腺超声图像，所述风格转换后的乳腺超声图像包括：至少一个转换后的风格标注特征、至少一个转换后的乳腺超声图像特征；
将N张风格转换后的乳腺超声图像输入经过训练的乳腺病灶分类网络，得到N个分类结果，将N个分类结果进行平均，得到最终的乳腺病灶分类结果。
在本发明的一实施例中，N≥3。
在本发明的一实施例中，基于风格迁移模型的乳腺超声成像方法还包括以下步骤：使用经过训练的风格迁移神经网络，显示转换后的乳腺超声图像。
在本发明的一实施例中，经过训练的风格迁移神经网络包括：输入层、多个卷积层、多个池化层、多个插值层以及输出层。
在本发明的一实施例中，多个卷积层的卷积核大小为3×3×3。
在本发明的一实施例中，经过训练的风格迁移神经网络还包括归一化层，归一化层用于将输入的内容乳腺超声图像进行尺寸的归一化，使得归一化的内容乳腺超声图像尺寸与选择的风格乳腺超声图像尺寸一致。
在本发明的一实施例中，转换后的风格标注特征至少包括乳腺病理分型。
在本发明的一实施例中，基于风格迁移模型的乳腺超声成像方法还包括以下步骤：
将得到的风格转换后的乳腺超声图像输入金标准配准神经网络模型，所述金标准配准神经网络模型包括：至少一个金标准乳腺超声图像特征以及至少一个金标准标注特征；判断转换后的风格标注特征是否属于金标准标注特征，以及判断转换后的乳腺超声图像特征是否属于金标准乳腺超声图像特征。
本发明还提供了一种基于风格迁移模型的乳腺超声成像装置，其包括存储器和处理器，存储器和处理器通过总线连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述基于风格迁移模型的乳腺超声成像方法。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述基于风格迁移模型的乳腺超声成像方法。
本发明能够根据不同医生的需求，将不同机型、不同成像参数、不同标注习惯、不同维度的超声图像统一转换成固定的集中风格，从而利于人工智能模型对超声图像病灶的分类判断，提高乳腺超声辅助诊断的准确率及效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例所示的三维风格迁移神经网络结构示意图；
图2为本发明一实施例所示的二维风格迁移神经网络结构示意图；
图3为本发明一实施例所示的基于风格迁移模型的乳腺超声成像装置示意图；
图4为本发明一实施例所示的超声辅助成像方法流程示意图；
图5为本发明另一实施例所示的超声辅助成像方法流程示意图；
图6为本发明另一实施例所示的超声辅助成像方法流程示意图。
具体实施方式
下面将结合附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
以下分别给予介绍，为了便于理解和描述，在描述本发明第一方面时，会加入其他主体，例如使用者、医生、被检测对象，以对基于匹配模型网络的超声辅助成像方法的执行主体执行该方法的过程加以辅助说明。
如图3所示，本发明的一个实施例中，提供了基于风格迁移模型的乳腺超声成像装置，该装置包括内容乳腺超声图像获取模块110、处理器120、显示器130、风格乳腺超声图像获取模块140。内容乳腺超声图像获取模块110获取乳腺二维或三维超声图像，处理器120使用过经过训练的风格迁移神经网络对输入的内容乳腺超声图像和风格乳腺超声图像进行处理，得到风格转换后的乳腺超声图像；转换后的乳腺超声图像包括：至少一个转换后的风格标注特征以及至少一个转换后的乳腺超声图像特征；显示器130可以显示获取到的转换后的乳腺超声图像，供医生进行辅助诊断。
如图3所示，本实施例的内容乳腺超声图像获取模块110为超声成像设备，即通过超声成像设备获取超声图像或视频。如图3所示，超声成像设备至少包括换能器101、超声主机102、输入单元103、控制单元104、和存储器105。超声成像设备可以包括显示屏(图中未标出)，超声成像设备的显示屏可以为显示器130。换能器101用于发射和接收超声波，换能器101受发射脉冲的激励，向目标组织(例如，人体或者动物的器官，比如乳腺等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像或者视频。换能器101可以通过有线或无线的方式连接到超声主机102。
输入单元103用于输入操作人员的控制指令。输入单元103可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。
控制单元104至少可以控制焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。控制单元104根据用户所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如B图像，C图像，D图像，多普勒血流图像，包含组织弹性特性的弹性图像等等，或者其他类型的二维超声图像或三维超声图像。
显示器130用于显示转换后的乳腺超声图像、参数以及动态信息等信息。显示器130可以是触摸屏显示器。当然，超声诊断设备还可以通过输入单元103的端口连接另一个显示器，实现双屏显示系统。此外，本实施例中的显示器不限制数量。显示的图像数据(超声图像、MRI图像、CT图像)可以是显示在一个显示器上，也可以同时显示在多个显示器上，当然也可以是将超声图像的部分分别同步显示在多个显示器上，在此本实施例也不作限制。此外，显示器130在显示图像的同时还提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给用户利用人机交互设备输入操作指令来控制这些被控对象，从而执行相应的控制操作。
如本文中使用的术语“模块”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)或处理器，例如CPU、GPU。模块可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
本发明提供的基于风格迁移模型的乳腺超声成像方法，如图4所示：
基于风格迁移模型的乳腺超声成像方法200，可以应用于超声设备中，方法200可以包括如下步骤：
210：获取被检测对象的内容乳腺超声图像，内容乳腺超声图像包括至少一个内容乳腺图像特征；获取的方式可以从工作站上获取、或者直接通过超声设备现场实时获取。
220：获取选择的风格乳腺超声图像。由所述内容乳腺超声图像，经过一个深度神经网络，比如VGG16、Inceptionv3等，得到内容乳腺超声图像的特征图fc。在风格乳腺超声图像库中，事先存储了大量的风格乳腺超声图像及其对应的特征图，特征图也是应用相同的VGG16或者Inceptionv3计算所得。在库中搜索跟fc最接近的N张(N≥3)风格乳腺超声图像，搜索采用欧式距离作为衡量特征图是否接近的标准：
上式中L为风格乳腺超声图像库总的张数(L>N)，C为特征图的通道数，H为特征图的高度，W为特征图的宽度，在计算得到的L个disti中，取最小的N张风格乳腺超声图像作为后续的处理。
在库中的每张风格乳腺超声图像包括：至少一个风格乳腺超声图像特征、至少一个风格标注特征；内容乳腺图像特征的分类属于风格乳腺超声图像特征的分类；
230：使用经过训练的风格迁移神经网络对输入的内容乳腺超声图像和风格乳腺超声图像处理，得到风格转换后的乳腺超声图像；转换后的乳腺超声图像包括：至少一个转换后的风格标注特征以及至少一个转换后的乳腺超声图像特征。
260：将上述N张风格转换后的乳腺超声图像输入经训练的乳腺病灶分类网络，得到N个分类结果，将N个分类结果进行平均，得到最终的乳腺病灶分类结果：
上式中resi是乳腺病灶分类网络对第i张风格转换后的乳腺超声图像的分类结果，是一个长度为D的向量，其中D是病灶的种类(D≥1)。FinalResult通过对N个不同的resi进行平均计算，得到的仍然是一个长度为D的向量，在FinalResult的D个分量中，找到最大的那个分量，其对应的病灶种类就是最终输出的乳腺病灶分类结果。通过风格转换网络，将原始输入的内容乳腺超声图像扩充到了N张风格最接近的风格乳腺超声图像，这样能够充分考虑不同的机型、成像参数等等因素对病灶分类网络的影响，通过最后对N个分类结果进行平均，得到了非常鲁棒的结果。
在一个实施例中，如图5所示，该方法还包括：步骤240：使用经过训练的风格迁移神经网络，显示转换后的乳腺超声图像。
在一个实施例中，对于三维的超声图像或者动态超声视频进行风格转换处理，如图1所示，经过训练的风格迁移神经网络包括：输入层、多个卷积层、多个池化层、多个插值层以及输出层。输入层输入内容乳腺超声图像和风格乳腺超声图像；对于三维的超声图像或者动态超声视频，首先将输入进行下采样，风格乳腺超声图像和内容乳腺超声图像都下采样成尺寸为K×64×64的三维乳腺超声图像，其中K小于等于三维超声图像的切片张数或者动态超声视频的总帧数，接下来应用一系列三维卷积层对输入的内容乳腺超声图像和风格乳腺超声图像进行三维乳腺图像特征提取，卷积核大小均设置为3×3×3，相比于二维卷积层，三维卷积层可以处理三维空间或者二维空间+时间的特征提取，从而更好地对三维乳腺超声图像或者动态超声视频的内容和风格部分的特征进行分离并单独提取；池化层用于对被提取乳腺图像特征进行进一步的降采样处理，得到低分辨率但是更有代表性的乳腺图像特征；插值层用于对低分辨率的乳腺图像超声图像特征进行上采样插值，同时融合内容图像和风格图像的特征；输出层用于输出风格转换后的乳腺超声图像。
在另外一个实施例中，对于二维的静态超声图像进行风格转换处理，如图2所示，经训练的风格迁移神经网络包括：输入层、多个卷积层、多个池化层、多个插值层以及输出层。输入层输入内容乳腺超声图像和风格乳腺超声图像；对于二维的静态超声图像，首先将输入进行下采样，风格乳腺超声图像和内容乳腺超声图像都下采样成尺寸为64×64的二维乳腺超声图像，接下来应用一系列二维卷积层对输入的内容乳腺超声图像和风格乳腺超声图像进行二维乳腺图像特征提取，卷积核大小均设置为3×3，二维卷积层只能处理静态的图像，通过一系列卷积层的堆叠，可以更好地对二维乳腺超声图像的内容和风格部分的特征进行分离并单独提取；池化层用于对被提取乳腺图像特征进行进一步的降采样处理，得到低分辨率但是更有代表性的乳腺图像特征；插值层用于对低分辨率的乳腺图像超声图像特征进行上采样插值，同时融合内容图像和风格图像的特征；输出层用于输出风格转换后的乳腺超声图像。
在一个实施例中，如图2所示，经过训练的风格迁移神经网络还包括：归一化层，归一化层用于将输入的内容乳腺超声图像进行尺寸的归一化，使得归一化的内容乳腺超声图像尺寸与选择的风格乳腺超声图像尺寸一致。
在一个实施例中，转换后的风格标注特征至少包括乳腺病理分型。乳腺病理分型结果包括并不限于：早期浸润癌、浸润癌、非浸润性癌、小叶腺癌、导管腺癌、髓样癌、硬癌、单纯癌、原位癌、早期癌、浸润癌、未分化癌、低分化癌、中分化癌以及高分化癌等。
在一个实施例中，如图6所示，将得到的风格转换后的乳腺超声图像输入金标准配准神经网络模型，金标准配准神经网络模型包括：至少一个金标准乳腺超声图像特征以及至少一个金标准标注特征；判断转换后的风格标注特征是否属于金标准标注特征，以及判断转换后的乳腺超声图像特征是否属于金标准乳腺超声图像特征。
本发明提供的基于风格迁移模型的乳腺超声成像装置包括存储器和处理器，存储器和处理器通过总线连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行本发明的基于风格迁移模型的乳腺超声成像方法。
本发明提供的计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行本发明的基于风格迁移模型的乳腺超声成像方法。
从以上可以看出，本发明提供的基于风格迁移模型的乳腺超声成像方法、装置及存储介质，与现有技术相比具备以下优点：
能够根据不同医生的需求，将不同机型、不同成像参数、不同标注习惯、不同维度的超声图像统一转换成固定的集中风格，从而利于人工智能模型对超声图像病灶的分类判断，提高乳腺超声辅助诊断的准确率及效率。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于风格迁移模型的乳腺超声成像方法，其特征在于，包括以下步骤：
获取被检测对象的内容乳腺超声图像，内容乳腺超声图像包括至少一个内容乳腺图像特征；
根据所述内容乳腺超声图像，自动获取N张与所述内容乳腺超声图像最接近的风格乳腺超声图像，所述风格乳腺超声图像包括：至少一个风格乳腺超声图像特征、至少一个风格标注特征；内容乳腺图像特征的分类属于风格乳腺超声图像特征的分类；
使用经过训练的风格迁移神经网络对输入的内容乳腺超声图像和N张风格乳腺超声图像进行处理，得到N张风格转换后的乳腺超声图像，所述风格转换后的乳腺超声图像包括：至少一个转换后的风格标注特征、至少一个转换后的乳腺超声图像特征；
将N张风格转换后的乳腺超声图像输入经过训练的乳腺病灶分类网络，得到N个分类结果，将N个分类结果进行平均，得到最终的乳腺病灶分类结果。
2.如权利要求1所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，N≥3。
3.如权利要求1所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，还包括以下步骤：使用经过训练的风格迁移神经网络，显示转换后的乳腺超声图像。
4.如权利要求3所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，经过训练的风格迁移神经网络包括：输入层、多个卷积层、多个池化层、多个插值层以及输出层。
5.如权利要求4所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，多个卷积层的卷积核大小为3×3×3。
6.如权利要求4所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，经过训练的风格迁移神经网络还包括归一化层，归一化层用于将输入的内容乳腺超声图像进行尺寸的归一化，使得归一化的内容乳腺超声图像尺寸与选择的风格乳腺超声图像尺寸一致。
7.如权利要求1所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，转换后的风格标注特征至少包括乳腺病理分型。
8.如权利要求1所述的基于风格迁移模型的乳腺超声成像方法，其特征在于，还包括以下步骤：
将得到的风格转换后的乳腺超声图像输入金标准配准神经网络模型，所述金标准配准神经网络模型包括：至少一个金标准乳腺超声图像特征以及至少一个金标准标注特征；判断转换后的风格标注特征是否属于金标准标注特征，以及判断转换后的乳腺超声图像特征是否属于金标准乳腺超声图像特征。
9.一种基于风格迁移模型的乳腺超声成像装置，其特征在于，基于风格迁移模型的乳腺超声成像装置包括存储器和处理器，存储器和处理器通过总线连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行权利要求1～8中任意一项所述的基于风格迁移模型的乳腺超声成像方法。
10.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行权利要求1-8中任意一项所述的基于风格迁移模型的乳腺超声成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174432.4A CN112990267B (zh) | 2021-02-07 | 2021-02-07 | 基于风格迁移模型的乳腺超声成像方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110174432.4A CN112990267B (zh) | 2021-02-07 | 2021-02-07 | 基于风格迁移模型的乳腺超声成像方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990267A CN112990267A (zh) | 2021-06-18 |
| CN112990267B true CN112990267B (zh) | 2022-06-28 |
Family
ID=76347789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110174432.4A Active CN112990267B (zh) | 2021-02-07 | 2021-02-07 | 基于风格迁移模型的乳腺超声成像方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990267B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179227A (zh) * | 2019-12-16 | 2020-05-19 | 西北工业大学 | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 |
| CN111583320A (zh) * | 2020-03-17 | 2020-08-25 | 哈尔滨医科大学 | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质 |
| CN111657997A (zh) * | 2020-06-23 | 2020-09-15 | 无锡祥生医疗科技股份有限公司 | 超声辅助引导方法、装置及存储介质 |
| KR20200108685A (ko) * | 2019-03-11 | 2020-09-21 | 가천대학교 산학협력단 | 딥러닝 알고리즘을 이용한 유방의 병변 검출 프로그램 |
| CN111768366A (zh) * | 2020-05-20 | 2020-10-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像系统、bi-rads分级方法及模型训练方法 |
| CN111899229A (zh) * | 2020-07-14 | 2020-11-06 | 武汉楚精灵医疗科技有限公司 | 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 |
| CN112232425A (zh) * | 2020-10-21 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11653900B2 (en) * | 2019-04-04 | 2023-05-23 | Koninklijke Philips N.V. | Data augmentation for training deep learning models with ultrasound images |
-
2021
- 2021-02-07 CN CN202110174432.4A patent/CN112990267B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200108685A (ko) * | 2019-03-11 | 2020-09-21 | 가천대학교 산학협력단 | 딥러닝 알고리즘을 이용한 유방의 병변 검출 프로그램 |
| CN111179227A (zh) * | 2019-12-16 | 2020-05-19 | 西北工业大学 | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 |
| CN111583320A (zh) * | 2020-03-17 | 2020-08-25 | 哈尔滨医科大学 | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质 |
| CN111768366A (zh) * | 2020-05-20 | 2020-10-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像系统、bi-rads分级方法及模型训练方法 |
| CN111657997A (zh) * | 2020-06-23 | 2020-09-15 | 无锡祥生医疗科技股份有限公司 | 超声辅助引导方法、装置及存储介质 |
| CN111899229A (zh) * | 2020-07-14 | 2020-11-06 | 武汉楚精灵医疗科技有限公司 | 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 |
| CN112232425A (zh) * | 2020-10-21 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112990267A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7407790B2 (ja) | 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム | |
| JP6367425B2 (ja) | 超音波診断装置 | |
| US11653897B2 (en) | Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus | |
| JP5645811B2 (ja) | 医用画像診断装置、関心領域設定方法、医用画像処理装置、及び関心領域設定プログラム | |
| CN104093363B (zh) | 医学图像诊断装置及其设定感兴趣区域的方法 | |
| US20150178921A1 (en) | Ultrasound diagnosis apparatus and image processing method | |
| US20060034513A1 (en) | View assistance in three-dimensional ultrasound imaging | |
| EP1198200A1 (en) | Intravascular ultrasonic analysis using active contour method and system | |
| JP7010948B2 (ja) | 胎児超音波撮像 | |
| CN111971688A (zh) | 具有用于检索复发患者的成像参数设置的人工神经网络的超声系统 | |
| JP7203823B2 (ja) | 画像とのタッチインタラクションを使用してボリュームデータから画像平面を抽出する超音波システム | |
| JP2014184145A (ja) | 弾性情報提供装置及び方法 | |
| JPWO2020027228A1 (ja) | 診断支援システム及び診断支援方法 | |
| JP2021510595A (ja) | 超音波画像から解剖学的測定値を取得するための装置及び方法 | |
| JP2018079070A (ja) | 超音波診断装置、及び走査支援プログラム | |
| KR20170047873A (ko) | 초음파 영상 장치 및 그 제어 방법 | |
| CN114159099A (zh) | 乳腺超声成像方法及设备 | |
| CN112998748A (zh) | 用于超声弹性成像的应变自动测量和应变比计算的方法和系统 | |
| JP2019526357A (ja) | 超音波診断装置 | |
| CN112990267B (zh) | 基于风格迁移模型的乳腺超声成像方法、装置及存储介质 | |
| CN112137643A (zh) | 用于在定量超声中纵向监测的感兴趣区域定位 | |
| EP3655972B1 (en) | Imaging method, controller and imaging system, for monitoring a patient post evar | |
| US20240268792A1 (en) | Systems and Methods for User-Assisted Acquisition of Ultrasound Images | |
| CN114693864A (zh) | 基于匹配模型网络的超声辅助成像方法、装置及存储介质 | |
| WO2021199961A1 (ja) | コンピュータプログラム、情報処理方法及び情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |