CN113990488A - 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 - Google Patents
甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 Download PDFInfo
- Publication number
- CN113990488A CN113990488A CN202111270721.0A CN202111270721A CN113990488A CN 113990488 A CN113990488 A CN 113990488A CN 202111270721 A CN202111270721 A CN 202111270721A CN 113990488 A CN113990488 A CN 113990488A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- lymph node
- target object
- thyroid nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 156
- 210000001165 lymph node Anatomy 0.000 title claims abstract description 135
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 128
- 238000003745 diagnosis Methods 0.000 title claims abstract description 99
- 238000002604 ultrasonography Methods 0.000 claims abstract description 65
- 230000004927 fusion Effects 0.000 claims abstract description 60
- 230000003211 malignant effect Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 26
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 210000002751 lymph Anatomy 0.000 abstract 1
- 210000001685 thyroid gland Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000405 serological effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备，所述系统包括：超声图像获取模块，用于获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；图像特征获取模块，用于对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征；图像特征融合模块，用于对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；诊断结果获取模块，用于对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。所述系统对甲状腺结节和颈部淋巴结节良恶性的诊断具有较高的准确性和可靠性。
Description
技术领域
本发明涉及一种诊断系统，特别是涉及一种甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备。
背景技术
甲状腺结节是指甲状腺内的肿块，是临床常见的病症。现有技术中对甲状腺结节的检查方法主要包括血清学检查、核素扫描、超声诊断、细针穿刺细胞学检查、甲状腺细针抽吸细胞学检查、颈部X线检查等，其中，超声检查在判断结节大小、鉴别结节部位、引导定位穿刺等方面具有重要意义，因而在临床中得到了广泛应用。
然而，发明人在实际应用中发现，现有技术在利用超声检查对甲状腺结节进行诊断时，通常仅依靠甲状腺结节自身的图像特征进行分析和诊断，因而导致现有技术中甲状腺超声诊断的准确性与可靠性不足。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备，用于解决现有技术中甲状腺超声诊断的准确性与可靠性不足的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种基于超声图像的甲状腺结节与颈部淋巴结联合诊断系统，所述系统包括：超声图像获取模块，用于获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；图像特征获取模块，用于对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，且颈部淋巴结的关联对象为一个或多个甲状腺结节，甲状腺结节的关联对象为一个或多个颈部淋巴结；图像特征融合模块，用于对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；诊断结果获取模块，用于对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
于所述第一方面的一实施例中，所述系统还包括：对象检测模块，用于对所述目标超声图像进行处理以检测出其中的颈部淋巴结和甲状腺结节；对象获取模块，用于根据所述对象检测模块的检测结果获取所述目标对象及其关联对象。
于所述第一方面的一实施例中，所述对象获取模块包括：目标对象获取单元，用于从所述目标超声图像的检测结果中获取所述目标对象；相关对象获取单元，用于从所述目标超声图像的检测结果中获取与所述目标对象相关联的颈部淋巴结和/或甲状腺结节作为所述目标对象的关联对象。
于所述第一方面的一实施例中，所述对象获取模块还包括：关联关系获取单元，用于根据所述目标超声图像的检测结果中甲状腺结节和颈部淋巴结的空间方位获取甲状腺结节与颈部淋巴结之间的关联关系，所述相关对象获取单元根据所述关联关系获取与所述目标对象相关联的颈部淋巴结和/或甲状腺结节。
于所述第一方面的一实施例中，所述图像特征获取模块利用训练好的神经网络模型对所述目标超声图像进行处理，以获取所述目标对象及其关联对象的图像特征。
于所述第一方面的一实施例中，所述神经网络模型在训练中所采用的训练数据包括含有甲状腺结节良恶性标签的金标准数据集和/或含有颈部淋巴结良恶性标签的金标准数据集。
于所述第一方面的一实施例中，所述图像特征融合模块包括：特征聚合单元，用于在所述目标对象具有两个或多个关联对象时对所述目标对象的两个或多个关联对象的图像特征进行特征聚合，以得到聚合特征；特征融合单元，用于对所述聚合特征和所述目标对象的图像特征进行融合以得到所述融合特征。
于所述第一方面的一实施例中，所述诊断结果获取模块利用训练好的特征分类器模型对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一基于超声图像的甲状腺结节与颈部淋巴结联合诊断方法，其中，所述方法包括：获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，当所述目标对象为颈部淋巴结时，其关联对象为甲状腺结节，当所述目标对象为甲状腺结节时，其关联对象为颈部淋巴结；对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行一基于超声图像的甲状腺结节与颈部淋巴结联合诊断方法，其中，所述方法包括：获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，当所述目标对象为颈部淋巴结时，其关联对象为甲状腺结节，当所述目标对象为甲状腺结节时，其关联对象为颈部淋巴结；对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
如上所述，本发明一个或多个实施例中所述的联合诊断系统具有以下有益效果：
在对甲状腺结节进行诊断时，所述联合诊断系统能够基于甲状腺结节及其关联的颈部淋巴结的图像特征进行融合来得到融合特征，并通过对融合特征进行处理来获取甲状腺结节的良恶性诊断结果。对比可知，现有技术中仅依靠甲状腺结节的图像特征进行诊断，而本发明所述联合诊断系统则是基于甲状腺结节及其关联的颈部淋巴结的图像特征联合进行诊断，因而本发明所述联合诊断系统得到的诊断结果具有更高的可靠性和准确性。类似地，本发明所述联合诊断系统在对颈部淋巴结进行诊断时同样具有较高的可靠性和准确性。
附图说明
图1显示为本发明所述联合诊断系统于一具体实施例中的结构示意图。
图2A显示为本发明所述联合诊断系统于另一具体实施例中的结构示意图。
图2B显示为本发明所述联合诊断系统于一具体实施例中对象获取模块的结构示意图。
图3显示为本发明所述联合诊断系统于一具体实施例中图像特征融合模块的结构示意图。
图4显示为本发明所述联合诊断系统于一具体实施例中的诊断流程图。
图5显示为本发明所述联合诊断方法于一具体实施例中的流程图。
图6显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
1 联合诊断系统
11 超声图像获取模块
12 图像特征获取模块
13 图像特征融合模块
131 特征聚合单元
132 特征融合单元
14 诊断结果获取模块
15 对象检测模块
16 对象获取模块
161 目标对象获取单元
162 相关对象获取单元
163 关联关系获取单元
600 电子设备
610 存储器
620 处理器
630 显示器
S41～S46 步骤
S51～S54 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
现有技术在利用超声检查对甲状腺结节进行诊断时，通常仅依靠甲状腺结节自身的图像特征进行分析和诊断，因而导致现有技术中甲状腺超声诊断的准确性与可靠性不足。针对这一问题，发明人进行了大量的研究和实践，最终发现甲状腺结节呈现恶性时会造成一定比例的颈部淋巴结转移，因而颈部淋巴结评估应当作为甲状腺超声诊断的重要组成部分，具体来说，即便甲状腺结节呈现良性特征，如果在其周围发现带有恶性特征的异常颈部淋巴结，该甲状腺结节也应当被归类至恶性，以便尽可能提升甲状腺结节良恶性诊断的准确度以及可靠度，类似地，即便颈部淋巴结呈现良性特征，如果在其周围发现带有恶性特征的甲状腺结节，该颈部淋巴结也应当被归类至恶性，以便尽可能提升颈部淋巴结良恶性诊断的准确度以及可靠性。基于此发现，发明人提出了一种基于超声图像的甲状腺结节与进步淋巴结联合诊断系统，具体地，请参阅图1，于本发明的一实施例中所述联合诊断系统1包括超声图像获取模块11、图像特征获取模块12、图像特征融合模块13和诊断结果获取模块14。
所述超声图像获取模块11用于获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节。具体地，所述超声图像获取模块11可以包括一处或多处颈部淋巴结，并包括一处或多处甲状腺结节。此外，所述超声图像获取模块11可以从超声图像采集设备直接获取所述目标超声图像，也可以从医学影像数据库等获取所述目标超声图像，但本发明并不以此为限。
所述图像特征获取模块12与所述超声图像获取模块11相连，用于对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征。其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，当所述目标对象为颈部淋巴结时，其关联对象为甲状腺结节，当所述目标对象为甲状腺结节时，其关联对象为颈部淋巴结，也即，所述目标对象中的一颈部淋巴结与一或多处甲状腺结节相关联，所述目标对象中的一甲状腺结节与一或多处颈部淋巴结相关联。
所述图像特征融合模块13与所述图像特征获取模块12相连，用于对所述目标对象及其关联对象的图像特征进行特征融合以得到融合特征。所述图像特征融合模块13例如可以采用基于贝叶斯理论的特征融合算法、基于稀疏表示的特征融合算法等对所述目标对象及其关联对象的图像特征进行特征融合从而得到所述融合特征。
所述诊断结果获取模块14与所述图像特征融合模块13相连，用于对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
具体地，当所述目标对象为甲状腺结节时，为了提升诊断结果的准确度以及可靠性，甲状腺结节的图像特征与颈部淋巴结的图像特征均应当作为甲状腺结节良恶性诊断的依据，而上述两种图像特征的融合结果，也即所述融合特征，携带有甲状腺结节良恶性诊断过程中所需要的必要信息，因而所述诊断结果获取模块13能够通过对所述融合特征进行处理来得到甲状腺良恶性诊断结果。
当所述目标对象为颈部淋巴结时，为了提升诊断结果的准确度以及可靠性，甲状腺结节的图像特征与颈部淋巴结的图像特征均应当作为颈部淋巴结良恶性诊断的依据，因而甲状腺结节的图像特征与颈部淋巴结的图像特征的融合结果，也即所述融合特征，携带有颈部淋巴结良恶性诊断过程中所需要的必要信息，因而所述诊断结果获取模块13能够通过对所述融合特征进行处理来得到颈部淋巴结的良恶性诊断结果。
需要说明的是，本实施例中所述诊断结果获取模块14可以同时获取颈部淋巴结和甲状腺结节的良恶性诊断结果，也可以仅获取颈部淋巴结或甲状腺结节的良恶性诊断结果，本发明对此不做限制。
根据以上描述可知，本实施例在对甲状腺结节或颈部淋巴结进行诊断时，所述联合诊断系统能够基于甲状腺结节及其关联的颈部淋巴结的图像特征进行融合来得到融合特征，并通过对融合特征进行处理来获取甲状腺结节或颈部淋巴结的良恶性诊断结果。对比可知，现有技术中仅依靠甲状腺结节的图像特征进行甲状腺结节良恶性的诊断，仅依靠颈部淋巴结的图像特征进行颈部淋巴结良恶性的诊断，而本实施例所述联合诊断系统1则是基于甲状腺结节及其关联的颈部淋巴结的图像特征联合进行甲状腺结节的良恶性诊断，基于颈部淋巴结及其关联的甲状腺结节的图像特征联合进行颈部淋巴结的良恶性诊断，因而本发明所述联合诊断系统得到的诊断结果具有更高的可靠性和准确性。
请参阅图2A，于本发明的一实施例中，所述联合诊断系统1还包括对象检测模块15以及对象获取模块16。
所述对象检测模块15与所述超声图像获取模块11相连，用于对所述目标超声图像进行处理以检测出其中的特定对象，所述特定对象包括颈部淋巴结和甲状腺结节。
可选地，所述对象检测模块15利用训练好的超声目标检测器对所述目标超声图像进行处理，以检测出其中的颈部淋巴结和甲状腺结节。其中，所述超声目标检测器例如为基于YOLO等目标检测神经网络所组成的超声目标检测器，该超声目标检测器的训练数据包括多个标注有颈部淋巴结和甲状腺结节的超声图像。
可选地，所述超声目标检测器能够对所述目标超声图像进行分割处理以获取其中的颈部淋巴结和甲状腺结节的分割结果，此时，该分割结果即为所述目标超声图像的检测结果。此种方式获得的目标超声图像的检测结果具有较高的精度。
可选地，所述超声目标检测器能够对所述目标超声图像进行处理以获取其中的颈部淋巴结和甲状腺结节的检测框，此时，该检测框即为所述目标超声的检测结果，该检测框例如为包含单处颈部淋巴结节或甲状腺结节的最小检测框。此种方式中所使用的超声目标检测器在训练过程中，只需要获取带有颈部淋巴结和甲状腺结节检测框的训练超声图像即可，因而能够减少训练超声图像的标注工作量。
所述对象获取模块16与所述对象检测模块15和所述图像特征获取模块12相连，用于根据所述对象检测模块15的检测结果获取所述目标对象及其关联对象。
可选地，请参阅图2B，所述对象获取模块16包括目标对象获取单元161和相关对象获取单元162。
其中，所述目标对象获取单元161用于从所述目标超声图像的检测结果中获取所述目标对象。例如，在对甲状腺结节进行诊断时，所述目标对象获取单元161可以根据接收到的用户指令从所述对象检测模块15检测到的甲状腺结节中选取一个或多个作为所述目标对象，但本发明并不以此为限。
所述相关对象获取单元162与所述目标对象获取单元161相连，用于从所述目标超声图像的检测结果中获取与所述目标对象相关联的颈部淋巴结和/或甲状腺结节作为所述目标对象的关联对象。例如，当所述目标对象为甲状腺结节时，所述相关对象获取单元162可以根据所述目标对象与各颈部淋巴结之间的相对位置关系获取与所述目标对象的关联对象，具体来说，可以获取所述目标对象某一空间邻域内的所有颈部淋巴结作为所述目标对象的关联对象，其中，所述目标对象的空间邻域是指所述目标超声图像中包含所述目标对象且具有特定位置、形状和/或尺寸的区域。
可选地，所述对象获取模块16还包括关联关系获取单元163，所述关联关系获取单元163与所述相关对象获取单元162和所述目标对象获取单元161相连，用于根据所述目标超声图像的检测结果中甲状腺结节和颈部淋巴结的空间方位获取甲状腺结节与颈部淋巴结之间的关联关系，所述相关对象获取单元162根据所述关联关系获取与所述目标对象相关联的颈部淋巴结和/或甲状腺结节，其中，所述关联关系优选为通过关联图谱的形式进行表示。
可选地，所述关联关系获取单元163可以根据预设的空间方位划分规则获取所述目标对象与颈部淋巴结之间的关联关系，例如，可以将位于所述目标超声图像左侧的甲状腺结节和颈部淋巴结确定为彼此关联，或者，将位于所述目标超声图像左侧上方的甲状腺结节和颈部淋巴结确定为彼此关联。
可选地，所述关联关系获取单元163可以根据用户输入的指令确定甲状腺结节和颈部淋巴结的空间方位，也可以采用其他方法获取该空间方位，本发明对此不做限制。
于本发明的一实施例中，所述图像特征获取模块12利用训练好的神经网络模型对所述目标超声图像进行处理，以获取所述目标对象及其关联对象的图像特征。
可选地，所述神经网络模型包括第一神经网络模型和第二神经网络模型。
所述图像特征获取模块12利用所述第一神经网络模型对所述目标超声图像进行处理，以提取甲状腺结节的高维特征，该高维特征即为甲状腺结节的图像特征。可选地，所述第一神经网络模型可以基于含有甲状腺结节良恶性标签的金标准数据集训练得到，此时，该高维特征例如可以通过所述第一神经网络模型中间层的输出得到。
所述图像特征获取模块12利用所述第二神经网络模型对所述目标超声图像进行处理，以提取颈部淋巴结的高维特征，该高维特征即为颈部淋巴结的图像特征。可选地，所述第二神经网络模型可以基于含有颈部淋巴结良恶性标签的金标准数据集训练得到，此时，该高维特征例如可以通过所述第二神经网络模型中间层的输出得到。
请参阅图3，于本发明的一实施例中，所述图像特征融合模块13包括特征聚合单元131和特征融合单元132。
所述特征聚合单元131用于在所述目标对象具有N个关联对象时对所述目标对象的所有关联对象的图像特征进行特征聚合，以得到聚合特征，其中，N为大于1的整数。
所述特征融合单元132与所述特征聚合单元131相连，用于对所述聚合特征和所述目标对象的图像特征进行融合以得到所述融合特征。
具体来说，若所述目标对象的关联对象的数量为一个时，所述特征融合单元132直接对所述目标对象及其关联对象的图像特征进行融合来得到所述融合特征。若所述目标对象的关联对象的数量为两个或多个时，所述特征聚合单元131对所述目标对象的所有关联对象的图像特征进行特征聚合，以得到聚合特征，所述特征融合单元132对所述聚合特征和所述目标对象的图像特征进行融合来得到所述融合特征。
于本发明的一实施例中，所述诊断结果获取模块14利用训练好的特征分类器模型对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
具体地，当所述目标对象为甲状腺结节时，所述特征分类器模型能够对所述目标对象及其关联的颈部淋巴结的融合特征进行处理从而预测所述目标对象的良恶性。当所述目标对象为颈部淋巴结时，所述特征分类器模型能够对所述目标对象及其关联的甲状腺结节的融合特征进行处理从而预测所述目标对象的良恶性。
于本发明的一实施例中，所述联合诊断系统包括超声图像获取模块、图像特征获取模块、图像特征融合模块、诊断结果获取模块、对象检测模块和对象获取模块，其中，所述对象获取模块包括目标对象获取单元、相关对象获取单元以及关联关系获取单元，所述图像特征融合模块包括特征聚合单元和特征融合单元。接下来将通过一目标甲状腺结节良恶性的诊断为例对所述联合诊断系统的诊断过程进行详细介绍，具体地，请参阅图4，该过程包括：
S41，所述超声图像获取模块获取目标超声图像，所述目标超声图像包括颈部淋巴结和所述目标甲状腺结节。
S42，所述对象检测模块对所述目标超声图像进行处理以检测出其中的颈部淋巴结和所述目标甲状腺结节。
S43，所述对象获取模块根据一关联图谱获取所述目标甲状腺结节关联的颈部淋巴结。其中，所述关联图谱由所述关联关系获取单元根据预设的空间方位划分规则得到。具体地，所述目标对象获取单元可以从步骤S42得到的检测结果中获取所述目标甲状腺结节，所述相关对象获取单元根据所述关联图谱从步骤S42检测得到的颈部淋巴结中选取所述目标甲状腺结节关联的颈部淋巴结。
S44，所述图像特征获取模块对所述目标超声图像进行处理，以获取目标甲状腺结节及其关联的颈部淋巴结的图像特征。具体地，所述图像特征获取模块可以利用甲状腺结节图像特征提取器对所述目标超声图像进行处理以提取所述目标甲状腺结节的高维特征作为其图像特征，该甲状腺结节图像特征提取器由神经网络组成，且该甲状腺结节图像特征提取器基于含有甲状腺结节良恶性标签的金标准数据集训练实现。所述图像特征获取模块利用淋巴结图像特征提取器对所述目标超声图像进行处理以提取所述目标甲状腺结节关联的颈部淋巴结的高维特征作为其图像特征，该淋巴结图像特征提取器由神经网络组成，且该淋巴结图像特征提取器基于含有颈部淋巴结良恶性标签的金标准数据集训练实现。
S45，所述图像特征融合模块对所述目标甲状腺结节及其关联的颈部淋巴结的图像特征进行融合以得到融合特征。具体地，当所述目标甲状腺结节关联的颈部淋巴结的数量为两个或多个时，所述特征聚合单元首先对所述目标甲状腺结节关联的颈部淋巴结的图像特征进行特征聚合以得到聚合特征，基于此，所述特征融合单元对所述聚合特征和所述目标甲状腺结节的图像特征进行融合以得到所述融合特征。当所述目标甲状腺结节关联的颈部淋巴结的数量为一个时，所述特征融合单元直接对所述目标甲状腺结节及其关联的颈部淋巴结的图像特征进行融合以得到所述融合特征。
S46，所述诊断结果获取模块对所述融合特征进行处理以获取所述目标甲状腺结节的良恶性诊断结果。具体地，所述诊断结果获取模块可以将所述目标甲状腺结节及其关联的颈部淋巴结的融合特征输入特征分类器，以预测所述目标甲状腺结节的良恶性。
应当理解的是，对目标颈部淋巴结良恶性的诊断与上述目标甲状腺结节良恶性的诊断过程类似，此处不做过多赘述。
根据以上描述可知，本实施例所述联合诊断系统能够检测出目标超声图像中的甲状腺结节和颈部淋巴结，且能够建立甲状腺结节与颈部淋巴结的关联图谱。此外，所述联合诊断系统能够分别提取关联的甲状腺结节和颈部淋巴结的图像特征并进行特征融合，且能够根据特征融合的结果实现甲状腺结节和颈部淋巴结的良恶性概率预测。所述联合诊断系统能够依据甲状腺超声扫描的实际流程和规范将甲状腺结节和颈部淋巴结进行联合评估，从而使得晾着相互补充和促进，并最终提升甲状腺超声诊断的准确性与可靠性。
基于以上对所述联合诊断系统的描述，本发明还提供一种基于超声图像的甲状腺结节与颈部淋巴结联合诊断方法，具体地，请参阅图5，于本发明的一实施例中，所述联合诊断方法包括：
S51，获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节。
S52，对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，当所述目标对象为颈部淋巴结时，其关联对象为甲状腺结节，当所述目标对象为甲状腺结节时，其关联对象为颈部淋巴结。
S53，对所述目标对象及其关联对象的图像特征进行融合以得到融合特征。
S54，对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
需要说明的是，上述步骤S51～S54与图1所示联合诊断系统1中的相应模块一一对应，为节省说明书篇幅，此处不做过多赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图5所示联合诊断方法。
本发明还提供一种电子设备，具体地，请参阅图6，于本发明的一实施例中，所述电子设备600包括存储器610和处理器620，其中，所述存储器610存储有一计算机程序，所述处理器620与所述存储器610通信相连，调用所述计算机程序时执行图5所示联合诊断方法。
可选地，所述电子设备600还包括显示器630，所述显示器630与所述存储器610和所述处理器620通信相连，用于显示所述联合诊断方法的相关GUI交互界面。
综上所述，在对甲状腺结节进行诊断时，本发明所述联合诊断系统能够基于甲状腺结节及其关联的颈部淋巴结的图像特征进行融合来得到融合特征，并通过对融合特征进行处理来获取甲状腺结节的良恶性诊断结果。对比可知，现有技术中仅依靠甲状腺结节的图像特征进行诊断，而本发明所述联合诊断系统则是基于甲状腺结节及其关联的颈部淋巴结的图像特征联合进行诊断，因而本发明所述联合诊断系统得到的诊断结果具有更高的可靠性和准确性。类似地，本发明所述联合诊断系统在对颈部淋巴结进行诊断时也具有较高的可靠性和准确性。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种基于超声图像的甲状腺结节与颈部淋巴结联合诊断系统，其特征在于，所述系统包括：
超声图像获取模块，用于获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；
图像特征获取模块，用于对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，且颈部淋巴结的关联对象为一个或多个甲状腺结节，甲状腺结节的关联对象为一个或多个颈部淋巴结；
图像特征融合模块，用于对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；
诊断结果获取模块，用于对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
对象检测模块，用于对所述目标超声图像进行处理以检测出其中的颈部淋巴结和甲状腺结节；
对象获取模块，用于根据所述对象检测模块的检测结果获取所述目标对象及其关联对象。
3.根据权利要求2所述的系统，其特征在于，所述对象获取模块包括：
目标对象获取单元，用于从所述目标超声图像的检测结果中获取所述目标对象；
相关对象获取单元，用于从所述目标超声图像的检测结果中获取与所述目标对象相关联的颈部淋巴结和/或甲状腺结节作为所述目标对象的关联对象。
4.根据权利要求3所述的系统，其特征在于，所述对象获取模块还包括：
关联关系获取单元，用于根据所述目标超声图像的检测结果中甲状腺结节和颈部淋巴结的空间方位获取甲状腺结节与颈部淋巴结之间的关联关系，所述相关对象获取单元根据所述关联关系获取与所述目标对象相关联的颈部淋巴结和/或甲状腺结节。
5.根据权利要求1所述的系统，其特征在于：所述图像特征获取模块利用训练好的神经网络模型对所述目标超声图像进行处理，以获取所述目标对象及其关联对象的图像特征。
6.根据权利要求5所述的系统，其特征在于：所述神经网络模型在训练中所采用的训练数据包括含有甲状腺结节良恶性标签的金标准数据集和/或含有颈部淋巴结良恶性标签的金标准数据集。
7.根据权利要求1所述的系统，其特征在于，所述图像特征融合模块包括：
特征聚合单元，用于在所述目标对象具有两个或多个关联对象时对所述目标对象的两个或多个关联对象的图像特征进行特征聚合，以得到聚合特征；
特征融合单元，用于对所述聚合特征和所述目标对象的图像特征进行融合以得到所述融合特征。
8.根据权利要求1所述的系统，其特征在于：所述诊断结果获取模块利用训练好的特征分类器模型对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一基于超声图像的甲状腺结节与颈部淋巴结联合诊断方法，其中，所述方法包括：
获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；
对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，当所述目标对象为颈部淋巴结时，其关联对象为甲状腺结节，当所述目标对象为甲状腺结节时，其关联对象为颈部淋巴结；
对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；
对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行一基于超声图像的甲状腺结节与颈部淋巴结联合诊断方法，其中，所述方法包括：
获取目标超声图像，所述目标超声图像包括颈部淋巴结和甲状腺结节；
对所述目标超声图像进行处理，以获取目标对象及其关联对象的图像特征，其中，所述目标对象包括颈部淋巴结和/或甲状腺结节，当所述目标对象为颈部淋巴结时，其关联对象为甲状腺结节，当所述目标对象为甲状腺结节时，其关联对象为颈部淋巴结；
对所述目标对象及其关联对象的图像特征进行融合以得到融合特征；
对所述融合特征进行处理以获取所述目标对象的良恶性诊断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111270721.0A CN113990488A (zh) | 2021-10-29 | 2021-10-29 | 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111270721.0A CN113990488A (zh) | 2021-10-29 | 2021-10-29 | 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113990488A true CN113990488A (zh) | 2022-01-28 |
Family
ID=79744248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111270721.0A Pending CN113990488A (zh) | 2021-10-29 | 2021-10-29 | 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113990488A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934738A (zh) * | 2023-08-14 | 2023-10-24 | 威朋（苏州）医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
-
2021
- 2021-10-29 CN CN202111270721.0A patent/CN113990488A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934738A (zh) * | 2023-08-14 | 2023-10-24 | 威朋（苏州）医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
| CN116934738B (zh) * | 2023-08-14 | 2024-03-22 | 威朋（苏州）医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10607346B2 (en) | Method for characterizing images acquired through a video medical device | |
| US10650286B2 (en) | Classifying medical images using deep convolution neural network (CNN) architecture | |
| Wang et al. | Smartphone-based wound assessment system for patients with diabetes | |
| CN102138827B (zh) | 图像显示装置 | |
| Prinzi et al. | A yolo-based model for breast cancer detection in mammograms | |
| KR20200100806A (ko) | 테스트 결과를 결정하기 위한 캡처된 이미지의 분석 | |
| Wang et al. | IILS: Intelligent imaging layout system for automatic imaging report standardization and intra-interdisciplinary clinical workflow optimization | |
| US20170185713A1 (en) | Automatic detection of medical image acquisition protocol | |
| US20220028510A1 (en) | Medical document creation apparatus, method, and program | |
| CN111476776A (zh) | 胸部病灶位置确定方法、系统、可读存储介质和设备 | |
| KR20230021665A (ko) | 디지털 병리학에서 현저한 정보를 결정하기 위해 전자 이미지들을 처리하는 시스템들 및 방법들 | |
| JP2009045121A (ja) | 医用画像処理システム、医用画像処理方法、及びプログラム | |
| TW202346826A (zh) | 影像處理方法 | |
| CN110796039B (zh) | 一种面部瑕疵检测方法、装置、电子设备及存储介质 | |
| CN113990488A (zh) | 甲状腺结节与颈部淋巴结联合诊断系统、介质及电子设备 | |
| WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
| JP2023530070A (ja) | 電子画像を処理して組織マップ可視化を生成するシステム及び方法 | |
| KR20200117344A (ko) | 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템 | |
| CN112002407A (zh) | 一种基于超声视频的乳腺癌诊断装置及其方法 | |
| JP2012027617A (ja) | パターン識別装置、パターン識別方法及びプログラム | |
| Reverter et al. | Reliability of a computer-aided system in the evaluation of indeterminate ultrasound images of thyroid nodules | |
| CN115564763A (zh) | 甲状腺超声图像处理方法、装置、介质及电子设备 | |
| JP2024528381A (ja) | 医用画像データの自動追跡読影方法及びシステム | |
| CN115546476A (zh) | 基于多尺度特征的多对象检测方法与数据平台 | |
| CA3202030A1 (en) | Systems and methods for processing electronic images of slides for a digital pathology workflow |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |