CN113951931B - 基于孪生原型网络的肝外伤超声诊断设备及系统 - Google Patents
基于孪生原型网络的肝外伤超声诊断设备及系统 Download PDFInfo
- Publication number
- CN113951931B CN113951931B CN202111239991.5A CN202111239991A CN113951931B CN 113951931 B CN113951931 B CN 113951931B CN 202111239991 A CN202111239991 A CN 202111239991A CN 113951931 B CN113951931 B CN 113951931B
- Authority
- CN
- China
- Prior art keywords
- prototype
- liver
- image
- trauma
- diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 136
- 238000003745 diagnosis Methods 0.000 title claims abstract description 114
- 208000014674 injury Diseases 0.000 title claims abstract description 74
- 230000008733 trauma Effects 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 89
- 206010067979 Traumatic liver injury Diseases 0.000 claims abstract description 59
- 231100000753 hepatic injury Toxicity 0.000 claims abstract description 33
- 206010052428 Wound Diseases 0.000 claims abstract description 22
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 206010067125 Liver injury Diseases 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 97
- 238000002607 contrast-enhanced ultrasound Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000002604 ultrasonography Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000000586 desensitisation Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 5
- 230000006378 damage Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 description 9
- 239000002872 contrast media Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002790 cross-validation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002504 physiological saline solution Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010029155 Nephropathy toxic Diseases 0.000 description 1
- 229910018503 SF6 Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 239000002961 echo contrast media Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007694 nephrotoxicity Effects 0.000 description 1
- 231100000417 nephrotoxicity Toxicity 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- SFZCNBIFKDRMGX-UHFFFAOYSA-N sulfur hexafluoride Chemical compound FS(F)(F)(F)(F)F SFZCNBIFKDRMGX-UHFFFAOYSA-N 0.000 description 1
- 229960000909 sulfur hexafluoride Drugs 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
- A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明属于超声诊断仪领域，具体涉及了一种基于孪生原型网络的肝外伤超声诊断设备及系统，旨在解决现有肝外伤超声诊断设备操作复杂、对人体有创并且检查成本高的问题。本发明包括：通过肝脏图像采集设备采集B‑mode图像；通过图像预处理装置进行每一个B‑mode图像的脱敏和归一化处理；通过肝外伤诊断装置中训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；通过诊断结果输出装置输出待诊断对象的肝创伤诊断结果；其中，肝外伤诊断模型基于原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数以及预训练ResNet18模型构建的肝外伤诊断孪生原型网络。本发明设备操作简单、对人体无创、成本低，并且诊断效率、准确性和精度高。
Description
技术领域
本发明属于超声诊断仪领域，具体涉及了一种基于孪生原型网络的肝外伤超声诊断设备及系统。
背景技术
临床肝脏外伤诊断的常用影像学方法包括B-mode超声、CEUS(contrast-enhancedultrasound，超声造影)以及增强CT。B-mode超声是最常用的筛查手段，但是B-mode超声对肝外伤的诊断率较低，B-mode超声无法显示早期肝创伤和轻微肝创伤，同时无法精确评估创伤的范围和进行准确分级，而创伤分级直接影响临床医师做出手术治疗还是保守治疗的决策。CEUS和增强CT是诊断肝脏外伤的金标准，通过建立外周静脉通路，向体内输注造影剂，增强显影，达到提升创伤和正常肝组织对比度、提高诊断准确率的目的，不仅能够准确诊断肝脏创伤，还可以进行精确分级。
目前的肝外伤超声诊断依赖CEUS和增强CT检查，其方法是选择具有内置CEUS软件的超声诊断仪，设备的机械指数(MI)为0.08，对比谐波增益为50～60db。患者取平卧位，经肘静脉建立静脉通路。超声造影剂选用SonoVue,(Bracco,Milan,Italy)，用5ml生理盐水溶解59mg六氟化硫冻干粉，震荡混匀制备成混悬液。先用B-mode超声扫查全肝，然后定位可疑区域，保持探头位置固定，将设备切换到CEUS模式，同时，嘱助手震荡摇匀造影剂，经肘前静脉团注(2.4ml/次)，后使用5ml生理盐水冲洗。注药同时启动计时功能，并动态存储图像以供分析。增强CT需要将创伤患者推至CT检查室，同CEUS，先给患者经肘静脉建立静脉通路，将造影剂输注到患者体内，实现对比增强成像，借以诊断创伤的部位和范围。
然而，CEUS和增强CT还存在诸多缺陷，具体体现为：第一，对超声设备要求较高，需要内置CEUS软件；第二，在创伤的现场，不具备紧急输液、注射造影剂的条件；第三，造影剂费用高，增加患者诊疗费用；第四，CEUS检查方法和诊断、鉴别诊断要点需要提前培训和练习，对基层医疗单位人员培训周期长、成本高；第五，增强CT的费用比CEUS更高；同时，检查耗时长、有辐射、需要在院内多次转运和搬动伤者以及有加重病情的危险；再次，因存在电离辐射、造影剂具有肾毒性的原因，无法利用增强CT进行反复多次检查。
总的来说，现有肝外伤超声诊断还存在操作复杂、有创、成本高等缺陷，因而肝外伤超声诊断领域亟需一种快速、无创、便捷的成像方法。
发明内容
为了解决现有技术中的上述问题，即现有肝外伤超声诊断设备操作复杂、对人体有创并且检查成本高的问题，本发明提供了一种基于孪生原型网络的肝外伤超声诊断设备，该肝外伤超声诊断设备包括以下装置：
肝脏图像采集装置，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像；
图像预处理装置，配置为通过图像扇形区域进行每一个B-mode图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集；
肝外伤诊断装置，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；
诊断结果输出装置，配置为输出待诊断对象的肝创伤诊断结果。
在一些优选的实施例中，所述肝外伤超声诊断设备还包括图像标记装置；
所述图像标记装置，配置为对于肝脏图像采集装置采集并通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像，通过VOTT图像标注工具进行每一个B-mode图像的创伤区标记，获得带标签肝脏图像集；
所述图像预处理装置通过图像扇形区域进行所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得肝外伤诊断模型的带标签训练图像集。
在一些优选的实施例中，所述肝外伤诊断模型，其构建和训练方法为：
步骤S10，通过Imagenet自然图像进行ResNet18模型的预训练，获得预训练ResNet18模型；
步骤S20，基于所述预训练ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络；
步骤S30，基于所述带标签训练图像集进行所述肝外伤诊断孪生原型网络的训练，获得训练好的肝外伤诊断模型。
在一些优选的实施例中，所述网络训练总损失函数为：
Ltotal＝αLproto1+βLproto2+γL1+λL2
其中，Lproto1代表肝外伤诊断孪生原型网络的原型特征约束函数，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数，L1和L2代表肝外伤诊断孪生原型网络的分类损失函数，α、α、γ和λ分别为原型特征约束、原型损失、分类损失在网络训练总损失中所占权重。
在一些优选的实施例中，所述原型特征约束函数为：
其中，fproto(k)为肝外伤诊断孪生原型网络的输入训练图像x对应类别k的原型特征，和/>分别代表肝外伤诊断孪生原型网络输入类别为k的样本xinput1和xinput2后通过可学习参数得到的原型特征空间，φ为肝外伤诊断孪生原型网络学习的权重参数，argmin为Lproto1取最小值时fproto(k)的特征表示，input1和input2分别对应于肝外伤诊断孪生原型网络的第一输入口和第二输入口。
在一些优选的实施例中，所述原型特征空间，其中类别k对应的输入图像的特征分布为：
其中，pφ(y＝k|xinput1)和pφ(y＝k|xinput2)分别代表在不同输入xinput1和xinput2下的肝外伤诊断孪生原型网对于给定训练权重φ后推断到分类k的概率，k′代表除了第k类外的其他类别，d()代表两个特征向量之间的欧几里得距离，exp为以自然数e为底的指数函数。
在一些优选的实施例中，所述原型损失函数为：
其中，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数。
在一些优选的实施例中，所述原型损失函数为：
其中，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数。
在一些优选的实施例中，所述分类损失函数为：
L1＝-[y1logypred1+(1-y1)log(1-ypred1)]
L2＝-[y2logypred2+(1-y2)log(1-ypred2)]
其中，L1为肝外伤诊断孪生原型网络对应第一输入口的分类损失函数，L2为肝外伤诊断孪生原型网络对应第二输入口的分类损失函数，y1和ypred1分别为肝外伤诊断孪生原型网络第一输入口对应的训练图像标签和输出预测标签，y2和ypred2分别为肝外伤诊断孪生原型网络第二输入口对应的训练图像标签和输出预测标签，log为对数函数。
本发明的另一方面，提出了一种基于孪生原型网络的肝外伤超声诊断系统，基于上述的基于孪生原型网络的肝外伤超声诊断设备，该肝外伤超声诊断系统包括以下模块：
图像采集模块，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像；还配置为通过便携式超声诊断仪进行多个诊断对象的肝脏扫描，并获取通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像；
图像标记模块，配置为通过VOTT图像标注工具进行每一个通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像的创伤区标记，获得带标签肝脏图像集；
图像预处理模块，配置为通过图像扇形区域进行待诊断对象对应的每一个B-mode图像和/或所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集和/或带标签训练图像集；
模型构建及训练模块，配置为通过Imagenet自然图像进行ResNet18模型的预训练，基于预训练的ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络，并通过所述带标签训练图像集进行网络训练，获得训练好的肝外伤诊断模型；
诊断模块，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；
输出模块，配置为输出待诊断对象的肝创伤诊断结果。
本发明的有益效果：
(1)本发明基于孪生原型网络的肝外伤超声诊断设备，适用于B-mode超声图像，可以在医生无法通过B-mode超声图像判断是否存在肝外伤时，通过本发明基于孪生原型网络的肝外伤超声诊断设备做出诊断结果，以供医生进行辅助诊断。
(2)本发明基于孪生原型网络的肝外伤超声诊断设备，使用自然图像预训练的ResNet模型，结合孪生网络结构与原型架构，构建基于ResNet18模块为基础的孪生原型网络，通过肝损伤数据对自然图像ResNet模型权重进行微调，最终实现可针对B-mode超声图像进行肝损伤诊断的肝外伤诊断模型，模型参数量少，计算效率高、速度快。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于孪生原型网络的肝外伤超声诊断设备的结构组成示意图；
图2是本发明基于孪生原型网络的肝外伤超声诊断设备一种实施例的肝外伤诊断孪生原型网络结构示意图；
图3是本发明基于孪生原型网络的肝外伤超声诊断设备一种实施例的模型数据处理过程示意图；
图4是本发明基于孪生原型网络的肝外伤超声诊断设备一种实施例的模型交叉验证训练集和验证集的ROC曲线。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于孪生原型网络的肝外伤超声诊断设备，该肝外伤超声诊断设备包括以下装置：
肝脏图像采集装置，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像；
图像预处理装置，配置为通过图像扇形区域进行每一个B-mode图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集；
肝外伤诊断装置，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；
诊断结果输出装置，配置为输出待诊断对象的肝创伤诊断结果。
为了更清晰地对本发明基于孪生原型网络的肝外伤超声诊断设备进行说明，下面结合图1对本发明实施例中各装置展开详述。
本发明第一实施例的基于孪生原型网络的肝外伤超声诊断设备，包括肝脏图像采集装置、图像预处理装置、肝外伤诊断装置、诊断结果输出装置，各装置详细描述如下：
肝脏图像采集装置，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像。
肝脏图像采集装置也用于肝外伤诊断模型训练图像的采集，对于作为肝外伤诊断模型训练用的训练图像，在采集之后需要通过CEUS进行创伤灶检查定位，最后将B-mode图像存储为JPG格式。
肝外伤超声诊断设备还包括图像标记装置：
图像标记装置主要针对用于模型训练的图像，对于肝脏图像采集装置采集并通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像，通过VOTT图像标注工具进行每一个B-mode图像的创伤区标记，获得带标签肝脏图像集。
图像预处理装置，配置为通过图像扇形区域进行每一个B-mode图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集。
图像预处理装置还通过图像扇形区域进行所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得肝外伤诊断模型的带标签训练图像集。
本发明一个实施例中，通过python 3.6版本对采集的数据进行数据预处理，首先读取JPG格式的二维超声图像(B-mode图像)，然后取图像扇形区域进行脱敏处理，最后对图像进行归一化处理并将图像规模调整到224×224大小。
肝外伤诊断装置，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果。
肝外伤诊断模型，其构建和训练方法为：
步骤S10，通过Imagenet自然图像进行ResNet18模型的预训练，获得预训练ResNet18模型。
步骤S20，基于所述预训练ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络。
本发明采用Imagenet自然图像训练的ResNet18模型结构权重，增加一个全连接层得到肝外伤诊断孪生原型网络的模型结构和初始权重，设置ResNet18的最后一个卷积模块为可训练模式，其他模块保持初始权重不可训练。将该模块作为基础组件，提取高维特征，通过高维特征聚类有无损伤的原型特征，通过高维特征与原型特征的比较判断原图像是否存在损伤。
如图2所示，为本发明基于孪生原型网络的肝外伤超声诊断设备一种实施例的肝外伤诊断孪生原型网络结构示意图，包括两个预训练ResNet18模型，分别对应肝外伤诊断孪生原型网络的第一输入口和第二输入口，其训练中的总损失函数包括一个原型特征约束函数、一个原型损失函数和两个分类损失函数。
网络训练总损失函数如式(1)所示：
Ltotal＝αLproto1+βLproto2+γL1+λL2 (1)
其中，Lproto1代表肝外伤诊断孪生原型网络的原型特征约束函数，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数，L1和L2代表肝外伤诊断孪生原型网络的分类损失函数，α、β、γ和λ分别为原型特征约束、原型损失、分类损失在网络训练总损失中所占权重。
原型特征约束函数如式(2)所示：
其中，fproto(k)为肝外伤诊断孪生原型网络的输入训练图像x对应类别k的原型特征，和/>分别代表肝外伤诊断孪生原型网络输入类别为k的样本xinput1和xinput2后通过可学习参数得到的原型特征空间，φ为肝外伤诊断孪生原型网络学习的权重参数，argmin为Lproto1取最小值时fproto(k)的特征表示，input1和input2分别对应于肝外伤诊断孪生原型网络的第一输入口和第二输入口。
原型特征空间，其中类别k对应的输入图像的特征分布如式(3)所示：
其中，pφ(y＝k|xinput1)和pφ(y＝k|xinput2)分别代表在不同输入xinput1和xinput2下的肝外伤诊断孪生原型网对于给定训练权重φ后推断到分类k的概率，k′代表除了第k类外的其他类别，d()代表两个特征向量之间的欧几里得距离，exp为以自然数e为底的指数函数。
针对上述的特征分布，通过最小化负对数似然函数求取这部分损失函数，即原型损失函数，如式(4)所示：
其中，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数。
若考虑两个输入口之间输入图像的相似性比较，原型损失函数还可采用如式(5)所述的函数：
分类损失函数如式(6)和式(7)所示：
L1＝-[y1logypred1+(1-y1)log(1-ypred1)] (6)
L2＝-[y2logypred2+(1-y2)log(1-ypred2)] (7)
其中，L1为肝外伤诊断孪生原型网络对应第一输入口的分类损失函数，L2为肝外伤诊断孪生原型网络对应第二输入口的分类损失函数，y1和ypred1分别为肝外伤诊断孪生原型网络第一输入口对应的训练图像标签和输出预测标签，y2和ypred2分别为肝外伤诊断孪生原型网络第二输入口对应的训练图像标签和输出预测标签，log为对数函数。
步骤S30，基于所述带标签训练图像集进行所述肝外伤诊断孪生原型网络的训练，获得训练好的肝外伤诊断模型。
模型训练具体过程为：
1、将获取的所有训练数据按病灶划分为训练集和验证集，保证训练集数据量与验证集数据量为2:1，并通过三折交叉验证来划分数据集。
2、分别通过三次划分的数据集进行训练模型，以归一化脱敏的B-mode超声图像作为输入图像，以该图像是否存在肝损伤为诊断结果作为标签。
3、使用Adam优化器对模型进行训练，使用原型特征约束函数、原型损失函数和分类损失函数构成的函数作为网络训练总损失函数，通过监控验证集总损失函数来判断模型优化程度。
4、通过50个epoch训练后，得到三个交叉验证模型，三个交叉验证模型的平均结果即为模型最后的输出结果。
如图3所示，为本发明基于孪生原型网络的肝外伤超声诊断设备一种实施例的模型数据处理过程示意图，数据处理包括数据采集、数据标注和数据预处理三个阶段，模型处理包括模型构建、模型训练和模型评估三个阶段，模型构建过程为：选用现有的ImageNet训练集首先进行ResNet18的预训练，预训练之后固定模型的ResNet模块1、ResNet模块2和ResNet模块3，仅更新ResNet模块4的参数，将ResNet模块4作为基础组件，提取高维特征，通过高维特征聚类有无损伤的原型特征，通过高维特征与原型特征的比较判断原图像是否存在损伤，最后基于训练集，通过3折交叉验证进行模型评估，并以ROC曲线描述模型的分类性能。
模型训练完成后，本发明还通过ROC曲线描述模型的分类性能，计算ROC曲线下的面积即为AUC，ROC曲线的横坐标为假阳率，纵坐标为真阳率。
诊断结果输出装置，配置为输出待诊断对象的肝创伤诊断结果。
本发明一个实施例中，通过目前采集到的总共46个病灶，共3311张图片，划分训练集3037张图片，验证集274张图，如图4所示，为本发明基于孪生原型网络的肝外伤超声诊断设备一种实施例的模型交叉验证训练集和验证集的ROC曲线，图4左图是训练集ROC曲线图4右图是验证集ROC曲线，从图中可以看出，训练集平均AUC为0.99，敏感度为0.98，特异度为0.99，验证集平均AUC为0.88，敏感度为0.87，特异度为0.79，可见该模型具有较高的敏感度，假阴性率较低能够在一定程度上辅助肝损伤诊断。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于孪生原型网络的肝外伤超声诊断系统，基于上述的基于孪生原型网络的肝外伤超声诊断设备，该肝外伤超声诊断系统包括以下模块：
图像采集模块，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像；还配置为通过便携式超声诊断仪进行多个诊断对象的肝脏扫描，并获取通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像；
图像标记模块，配置为通过VOTT图像标注工具进行每一个通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像的创伤区标记，获得带标签肝脏图像集；
图像预处理模块，配置为通过图像扇形区域进行待诊断对象对应的每一个B-mode图像和/或所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集和/或带标签训练图像集；
模型构建及训练模块，配置为通过Imagenet自然图像进行ResNet18模型的预训练，基于预训练的ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络，并通过所述带标签训练图像集进行网络训练，获得训练好的肝外伤诊断模型；
诊断模块，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；
输出模块，配置为输出待诊断对象的肝创伤诊断结果。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于孪生原型网络的肝外伤超声诊断系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (5)
1.一种基于孪生原型网络的肝外伤超声诊断设备，其特征在于，该肝外伤超声诊断设备包括以下装置：
肝脏图像采集装置，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像；
图像预处理装置，配置为通过图像扇形区域进行每一个B-mode图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集；
肝外伤诊断装置，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；
所述肝外伤超声诊断设备还包括图像标记装置；
所述图像标记装置，配置为对于肝脏图像采集装置采集并通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像，通过VOTT图像标注工具进行每一个B-mode图像的创伤区标记，获得带标签肝脏图像集；
所述图像预处理装置通过图像扇形区域进行所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得肝外伤诊断模型的带标签训练图像集；
所述肝外伤诊断模型，其构建和训练方法为：
步骤S10，通过Imagenet自然图像进行ResNet18模型的预训练，获得预训练ResNet18模型；
步骤S20，基于所述预训练ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络；
步骤S30，基于所述带标签训练图像集进行所述肝外伤诊断孪生原型网络的训练，获得训练好的肝外伤诊断模型；
肝外伤诊断模型包括两个预训练ResNet18模型，分别对应肝外伤诊断孪生原型网络的第一输入口和第二输入口，其训练中的总损失函数包括一个原型特征约束函数、一个原型损失函数和两个分类损失函数；
所述网络训练总损失函数为：
Ltotal＝αLproto1+βLproto2+γL1+λL2
其中，Lproto1代表肝外伤诊断孪生原型网络的原型特征约束函数，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数，L1和L2代表肝外伤诊断孪生原型网络的分类损失函数，α、β、γ和λ分别为原型特征约束、原型损失、分类损失在网络训练总损失中所占权重；所述分类损失函数为：
L1＝-[y1logypred1+(1-y1)log(1-ypred1)]
L2＝-[y2logypred2+(1-y2)log(1-ypred2)]
其中，L1为肝外伤诊断孪生原型网络对应第一输入口的分类损失函数，L2为肝外伤诊断孪生原型网络对应第二输入口的分类损失函数，y1和ypred1分别为肝外伤诊断孪生原型网络第一输入口对应的训练图像标签和输出预测标签，y2和ypred2分别为肝外伤诊断孪生原型网络第二输入口对应的训练图像标签和输出预测标签，log为对数函数；
所述原型特征约束函数为：
其中，fproto(k)为肝外伤诊断孪生原型网络的输入训练图像x对应类别k的原型特征，和/>分别代表肝外伤诊断孪生原型网络输入类别为k的样本xinput1和xinput2后通过可学习参数得到的原型特征空间，/>为肝外伤诊断孪生原型网络学习的权重参数，argmin为Lproto1取最小值时fproto(k)的特征表示，input1和input2分别对应于肝外伤诊断孪生原型网络的第一输入口和第二输入口；
诊断结果输出装置，配置为输出待诊断对象的肝创伤诊断结果。
2.根据权利要求1所述的基于孪生原型网络的肝外伤超声诊断设备，其特征在于，所述原型特征空间，其中类别k对应的输入图像的特征分布为：
其中，和/>分别代表在不同输入xinput1和xinput2下的肝外伤诊断孪生原型网对于给定训练权重/>后推断到分类k的概率，k′代表除了第k类外的其他类别，d()代表两个特征向量之间的欧几里得距离，exp为以自然数e为底的指数函数。
3.根据权利要求2所述的基于孪生原型网络的肝外伤超声诊断设备，其特征在于，所述原型损失函数为：
其中，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数。
4.根据权利要求2所述的基于孪生原型网络的肝外伤超声诊断设备，其特征在于，所述原型损失函数为：
其中，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数。
5.一种基于孪生原型网络的肝外伤超声诊断系统，其特征在于，基于权利要求1-4任一项所述的基于孪生原型网络的肝外伤超声诊断设备，该肝外伤超声诊断系统包括以下模块：
图像采集模块，配置为通过便携式超声诊断仪进行待诊断对象的肝脏扫描，获取待诊断对象肝脏不同切面的B-mode图像；还配置为通过便携式超声诊断仪进行多个诊断对象的肝脏扫描，并获取通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像；
图像标记模块，配置为通过VOTT图像标注工具进行每一个通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像的创伤区标记，获得带标签肝脏图像集；
图像预处理模块，配置为通过图像扇形区域进行待诊断对象对应的每一个B-mode图像和/或所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得待诊断图像集和/或带标签训练图像集；
模型构建及训练模块，配置为通过Imagenet自然图像进行ResNet18模型的预训练，基于预训练的ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络，并通过所述带标签训练图像集进行网络训练，获得训练好的肝外伤诊断模型；
诊断模块，配置为基于所述待诊断图像集，通过训练好的肝外伤诊断模型，获取待诊断对象是否存在肝创伤的诊断结果；
所述诊断模块还包括图像标记模块；
所述图像标记装置，配置为对于肝脏图像采集装置采集并通过CEUS进行创伤灶检查定位的肝脏不同切面的B-mode图像，通过VOTT图像标注工具进行每一个B-mode图像的创伤区标记，获得带标签肝脏图像集；
所述图像预处理装置通过图像扇形区域进行所述带标签肝脏图像集中每一个带标签肝脏图像的脱敏处理，并将脱敏后的图像归一化至设定大小，获得肝外伤诊断模型的带标签训练图像集；
所述肝外伤诊断模型，其构建和训练方法为：
步骤S10，通过Imagenet自然图像进行ResNet18模型的预训练，获得预训练ResNet18模型；
步骤S20，基于所述预训练ResNet18模型以及原型特征约束函数、原型损失函数和分类损失函数构成的网络训练总损失函数，构建肝外伤诊断孪生原型网络；
步骤S30，基于所述带标签训练图像集进行所述肝外伤诊断孪生原型网络的训练，获得训练好的肝外伤诊断模型；
所述网络训练总损失函数为：
Ltotal＝αLproto1+βLproto2+γL1+λL2
其中，Lproto1代表肝外伤诊断孪生原型网络的原型特征约束函数，Lproto2代表肝外伤诊断孪生原型网络的原型损失函数，L1和L2代表肝外伤诊断孪生原型网络的分类损失函数，α、β、γ和λ分别为原型特征约束、原型损失、分类损失在网络训练总损失中所占权重；所述原型特征约束函数为：
所述分类损失函数为：
L1＝-[y1logypred1+(1-y1)log(1-ypred1)]
L2＝-[y2logypred2+(1-y2)log(1-ypred2)]
其中，L1为肝外伤诊断孪生原型网络对应第一输入口的分类损失函数，L2为肝外伤诊断孪生原型网络对应第二输入口的分类损失函数，y1和ypred1分别为肝外伤诊断孪生原型网络第一输入口对应的训练图像标签和输出预测标签，y2和ypred2分别为肝外伤诊断孪生原型网络第二输入口对应的训练图像标签和输出预测标签，log为对数函数；
其中，fproto(k)为肝外伤诊断孪生原型网络的输入训练图像x对应类别k的原型特征，和/>分别代表肝外伤诊断孪生原型网络输入类别为k的样本xinput1和xinput2后通过可学习参数得到的原型特征空间，/>为肝外伤诊断孪生原型网络学习的权重参数，argmin为Lproto1取最小值时fproto(k)的特征表示，input1和input2分别对应于肝外伤诊断孪生原型网络的第一输入口和第二输入口；
输出模块，配置为输出待诊断对象的肝创伤诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111239991.5A CN113951931B (zh) | 2021-10-25 | 2021-10-25 | 基于孪生原型网络的肝外伤超声诊断设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111239991.5A CN113951931B (zh) | 2021-10-25 | 2021-10-25 | 基于孪生原型网络的肝外伤超声诊断设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113951931A CN113951931A (zh) | 2022-01-21 |
| CN113951931B true CN113951931B (zh) | 2024-02-13 |
Family
ID=79466657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111239991.5A Active CN113951931B (zh) | 2021-10-25 | 2021-10-25 | 基于孪生原型网络的肝外伤超声诊断设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113951931B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818821A (zh) * | 2016-09-09 | 2018-03-20 | 西门子保健有限责任公司 | 在医学成像中的基于机器学习的组织定征 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180350459A1 (en) * | 2017-06-05 | 2018-12-06 | University Of Florida Research Foundation, Inc. | Methods and apparatuses for implementing a semantically and visually interpretable medical diagnosis network |
-
2021
- 2021-10-25 CN CN202111239991.5A patent/CN113951931B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818821A (zh) * | 2016-09-09 | 2018-03-20 | 西门子保健有限责任公司 | 在医学成像中的基于机器学习的组织定征 |
Non-Patent Citations (1)
| Title |
|---|
| SPNet: Siamese-Prototype Network for Few-Shot Remote Sensing Image Scene Classification;Gong Cheng et al;IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING;第1-11页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113951931A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111133526B (zh) | 发掘可用于机器学习技术中的新颖特征，例如用于诊断医疗状况的机器学习技术 | |
| Al Mubarok et al. | Pneumonia detection with deep convolutional architecture | |
| Panganiban et al. | ECG diagnostic support system (EDSS): A deep learning neural network based classification system for detecting ECG abnormal rhythms from a low-powered wearable biosensors | |
| CN114334123A (zh) | 一种适用于轻度认知障碍快速检测的认知测评体系 | |
| Zhang et al. | Application of heartbeat-attention mechanism for detection of myocardial infarction using 12-lead ECG records | |
| Jatmiko et al. | Developing smart telehealth system in Indonesia: Progress and challenge | |
| Radha | Analysis of COVID-19 and pneumonia detection in chest X-ray images using deep learning | |
| WO2021054901A1 (en) | Automated system and method of monitoring anatomical structures | |
| Zeng et al. | Machine Learning-Based Medical Imaging Detection and Diagnostic Assistance | |
| Jiang et al. | Continuous blood pressure estimation based on multi-scale feature extraction by the neural network with multi-task learning | |
| Masadeh et al. | An efficient machine learning-based COVID-19 identification utilizing chest X-ray images | |
| Prabakaran et al. | FPUS23: an ultrasound fetus phantom dataset with deep neural network evaluations for fetus orientations, fetal planes, and anatomical features | |
| CN114241187A (zh) | 基于超声双模态影像的肌肉疾病诊断系统、设备及介质 | |
| Ghafoor | COVID-19 pneumonia level detection using deep learning algorithm | |
| CN113951931B (zh) | 基于孪生原型网络的肝外伤超声诊断设备及系统 | |
| CN110827275B (zh) | 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法 | |
| CN115862897A (zh) | 一种基于临床数据的症候群监测方法及系统 | |
| CN109087712A (zh) | 一种基于随机子空间集成学习的主动脉夹层筛查模型及其建立方法、系统和模型 | |
| Konnova et al. | Application of machine learning algorithms for SCG signal classification | |
| Perumal et al. | Tumor Identification in CTScan/UltraSound Using Deep Learning Technique | |
| Hilal et al. | Design of Intelligent Alzheimer Disease Diagnosis Model on CIoT Environment | |
| Martinez et al. | Strategic attention learning for modality translation | |
| Ali et al. | Detection of crackle and wheeze in lung sound using machine learning technique for clinical decision support system | |
| Mei et al. | HC-Net: Hybrid Classification Network for Automatic Periodontal Disease Diagnosis | |
| Kazancigil | Innovations in Medical Apps and the Integration of Their Data into the Big Data Repositories of Hospital Information Systems for Improved Diagnosis and Treatment in Healthcare |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |