CN113850753B - 医学图像信息计算方法、装置、边缘计算设备和存储介质 - Google Patents
医学图像信息计算方法、装置、边缘计算设备和存储介质 Download PDFInfo
- Publication number
- CN113850753B CN113850753B CN202110943471.6A CN202110943471A CN113850753B CN 113850753 B CN113850753 B CN 113850753B CN 202110943471 A CN202110943471 A CN 202110943471A CN 113850753 B CN113850753 B CN 113850753B
- Authority
- CN
- China
- Prior art keywords
- medical image
- image
- training
- information
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 156
- 238000012549 training Methods 0.000 claims description 164
- 238000000034 method Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 19
- 210000002569 neuron Anatomy 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 208000024891 symptom Diseases 0.000 claims description 15
- 238000012821 model calculation Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000002308 calcification Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 claims description 6
- 229910052750 molybdenum Inorganic materials 0.000 claims description 6
- 239000011733 molybdenum Substances 0.000 claims description 6
- 206010006187 Breast cancer Diseases 0.000 claims description 5
- 208000026310 Breast neoplasm Diseases 0.000 claims description 5
- 206010006223 Breast discharge Diseases 0.000 claims description 4
- 210000000481 breast Anatomy 0.000 claims description 4
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 201000011510 cancer Diseases 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012502 risk assessment Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000001574 biopsy Methods 0.000 description 5
- 230000001575 pathological effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 2
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009245 menopause Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010061968 Gastric neoplasm Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 208000008839 Kidney Neoplasms Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000011281 clinical therapy Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- -1 existence of mass Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 208000037841 lung tumor Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Epidemiology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种医学图像信息计算方法包括:获取待计算医学图像;获取与所述待计算医学图像对应的对象的目标信息;通过预先训练的医学图像信息计算模型对所述待计算医学图像进行特征提取得到图像特征;通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征;通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,所述图像指标用于指示下一计算流程。本申请基于待计算医学图像及与待计算医学图像对应的对象的目标信息,具有更高的临床相关性和信息量,准确识别医学图像的风险等级。另外本申请提出的模型与已有模型不同的是其具有很高的鲁棒性。
Description
技术领域
本申请涉及医疗技术领域,特别是涉及一种医学图像信息计算方法、装置、边缘计算设备和存储介质。
背景技术
人工智能深度学习技术因近几年的快速发展而越来越多地运用在各领域中,其中卷积神经网络模型作为深度学习技术中最重要的方法之一,在分类、检测和分割等方面都已取得显著成就,在医学图像领域亦是如此。卷积神经网络模型往往由多层的神经元组成,从而具有很强的特征学习能力,学习得到的网络模型对原始数据具有很好的表征能力,从而通过大规模的训练数据可以提取出数据内在的丰富特征,有利于完成数据挖掘、检测、分割等任务。因此,基于卷积神经网络等相关技术,由大量数据通过训练学习图像特征以及经过检测、分割等模型,在常见的医学图像中分割一些小目标(如乳腺肿瘤、肾肿瘤、肺部肿瘤、肝肿瘤、胃肿瘤等病灶)成为了可能。
图像分割是图像处理和计算机视觉领域中的一个基本问题,特别是医学图像分割,近来已经成为医学图像领域最热门的研究方向之一,其对于临床诊断和治疗有重要的意义。在医学图像的目标分割应用方面,比较常用的卷积神经网络结构主要有U-Net、V-Net等,这些网络结构是因为具有编码阶段和解码阶段,在网络的形状上呈现U/V的形状而进行命名。在网络结构中,编码阶段和解码阶段都是全卷积结构,且没有全连接结构,它在分割较大的器官、组织等目标图像时,其准确率通常较高,因此获得了较为广泛地使用。
虽然这些研究表明可以使用癌症概率作为结果测量做出更准确的决策,但这些模型仅部分解决了问题,因为它们没有为活检决策提供最佳阈值,而且大多数缺乏外部临床验证或前瞻性临床评价。因此,迫切需要一种能够更好地对癌症风险进行分层并定义更理想的活检阈值的系统,从而减少不必要的活检数量及其不良副作用、风险和成本。
发明内容
基于此,有必要针对上述技术问题,提供一种医学图像信息计算方法、装置、分散式边缘计算设备和存储介质。
本申请实施例提供了一种医学图像信息计算方法,包括:
获取待计算医学图像;
获取与所述待计算医学图像对应的对象的目标信息;
通过预先训练的医学图像信息计算模型对所述待计算医学图像进行特征提取得到图像特征;
通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征;
通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,所述图像指标用于指示下一计算流程。
在其中一个实施例中,所述获取与所述待计算医学图像对应的对象的目标信息,包括:
输出目标信息采集界面;
通过所述目标信息采集界面获取用户输入的目标信息。
在其中一个实施例中,所述通过预先训练的医学图像信息计算模型对所述待计算医学图像进行特征提取得到图像特征,包括:
通过预先训练的医学图像信息计算模型的第一编码层对所述待计算医学图像进行编码计算以得到初始特征;
通过预先训练的医学图像信息计算模型的池化层对所述初始特征进行计算以对所述初始特征进行降维得到图像特征。
在其中一个实施例中,所述第一编码层计算公式如下:
其中,xVAE是输入集,是网络的重构输出,M2是神经元数量,Wg和Wq表示可学习参数。
在其中一个实施例中,所述通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征,包括:
将所述图像特征和所述目标信息输入至预先训练的医学图像信息计算模型的第二编码层;
通过所述第二编码层对所述图像特征和所述目标信息进行编码计算以得到综合特征。
在其中一个实施例中,所述通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,包括:
将所述综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层;
通过所述决策层对所述综合特征进行计算,所述决策层输出图像指标。
在其中一个实施例中,所述决策层计算公式如下:
其中,xMLP是输入集,M3是网络中神经元的数量,Wh表示医学图像信息计算模型参数,是图像指标。
在其中一个实施例中,所述医学图像信息计算模型的训练方法,包括:
获取训练数据,所述训练数据包括训练图像和训练信息;
将所述训练图像输入至图像特征提取网络得到训练图像特征;
将所述训练图像特征和所述训练信息融合得到训练综合特征;
将所述训练综合特征输入至决策网络得到模型计算结果;
根据所述模型计算结果和训练数据所对应的真实结果进行医学图像信息计算模型优化。
在其中一个实施例中,所述将所述训练图像输入至图像特征提取网络得到训练图像特征之前,还包括:
对所述训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。
在其中一个实施例中,所述将所述训练图像特征和所述训练信息融合得到训练综合特征之前,还包括:
图像特征提取网络的反池化层对所述训练图像特征进行解压得到解压图像;
判断所述解压图像与所述训练图像一致则图像特征提取正确。
在其中一个实施例中,所述医学图像信息,包括:
钼靶X光照片或超声图像。
在其中一个实施例中,所述目标信息包括:临床数据信息和临床症状信息,
所述临床数据信息包括:年龄、种族、身高、体重、体重指数、乳腺癌的个人和家族史中的一项或多项;
所述临床症状信息包括:可触及的肿块、皮肤变化、乳头溢液、乳房密度、肿块的存在、钙化、结构变形以及不对称的密度和钙化中的一项或多项。
在其中一个实施例中,所述医学图像信息计算装置包括:
获取单元,用于获取待计算医学图像;以及用于获取与所述待计算医学图像对应的对象的目标信息;
特征提取单元,用于通过预先训练的医学图像信息计算模型对所述待计算医学图像进行特征提取得到图像特征;
融合单元,用于通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征;
计算单元,用于通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,所述图像指标用于指示下一计算流程。
在其中一个实施例中,一种边缘计算设备,包括存储器和计算器,所述存储器存储有计算机程序,所述计算器执行所述计算机程序时实现上述实施例中任一项所述的方法的步骤。
在其中一个实施例中,一种边缘计算设备存储介质,其上存储有计算机程序,所述计算机程序被计算器执行时实现上述实施例中任一项所述的方法的步骤。
上述一种医学图像信息计算方法、装置、边缘计算设备和存储介质,通过获取预先建立的模型训练数据库及临床数据;根据所述模型训练数据库以及所述临床数据,建立癌症风险评估模型;根据所述癌症风险评估模型,对癌症检测的医学图像特征信息进行风险评估输出癌症风险等级。本申请基于待计算医学图像及与待计算医学图像对应的对象的目标信息,具有更高的临床相关性和信息量,准确识别医学图像的风险等级,而且还提高了对症状可疑的患者进一步诊断支持的准确性。
另外本申请提出的模型与已有模型不同的是其需要具有很高的鲁棒性,对于部分数据缺省情况下依然需要保持较高的正确性。以实例来说,我们使用来自1424名患者的数据评估了数据缺省对模型准确性的影响。在这里,我们为每个患者随机删除一个输入变量,计算模型的准确性,并对每个变量进行重复验证。然后,我们为每个变量缺省情况下生成的一个新结果计算准确度,并计算了p值的显着性。这样就确定了缺失变量对模型鲁棒性的影响以及模型允许的最大缺省变量数。我们计算的结果是模型最多可以允许四个缺省变量。在我们使用的1424数据集进行的缺失数据分析显示,四个缺省变量时的精度会比变量不缺省上的最佳精度略有下降(准确率从81%下降到79%),但是p值的差异不显著(P=0.06)。这说明我们的模型对于部分数据缺省情况下依然需要保持较高的鲁棒性。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中医学图像信息计算方法的应用环境图;
图2为一个实施例中医学图像信息计算方法的流程示意图;
图3为一个实施例中医学图像信息计算方法的获取目标信息流程示意图;
图4为一个实施例中用户界面示意图;
图5为一个实施例中基础信息输入界面示意图;
图6为一个实施例中症状基本信息输入界面示意图;
图7为一个实施例中症状其他信息输入界面示意图;
图8为一个实施例中结果输出界面示意图;
图9为一个实施例中医学图像信息计算方法的提取得到图像特征流程示意图;
图10为一个实施例中医学图像信息计算方法的图像特征和目标信息进行融合流程示意图;
图11为一个实施例中医学图像信息计算方法的综合特征进行计算流程示意图;
图12为一个实施例中医学图像信息计算方法的模型的训练流程示意图;
图13为一个实施例中医学图像信息计算方法的图像特征判断流程示意图;
图14为一个实施例中边缘计算设备的内部结构图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的耦合。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
如图1所示,本申请所提供的一种医学图像信息计算方法,可以应用于如图1所示的应用环境中。其中,医学图像信息计算装置的图像特征提取网络100获取待计算医学图像,以及获取与待计算医学图像对应的对象的目标信息,通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征。医学图像信息计算装置的图像特征融合网200通过预先训练的医学图像信息计算模型,将所得到的图像特征和目标信息进行融合得到综合特征。最后医学图像信息计算装置的决策网络300通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,图像指标用于指示下一计算流程。基于待计算医学图像及与待计算医学图像对应的对象的目标信息,具有更高的临床相关性和信息量,准确识别医学图像的风险等级,而且还提高了对症状可疑的患者进一步诊断支持的准确性。
在一个实施例中,如图2所示,提供了一种医学图像信息计算方法,以该方法应用于如图1所示的医学图像信息计算装置为例进行说明,包括以下步骤:
S202:获取待计算医学图像。
其中,医学图像是通过医学影像技术得到的图像,例如CT技术,核磁共振技术,钼靶技术等医学影像技术。医学影像是指为了医疗或医学研究,对人体或人体某部分以非侵入方式取得内部组织影像的技术与计算过程,包含影像诊断学、放射学、内视镜、医疗用热影像技术、医学摄影和显微镜。
具体地,医学图像信息计算装置对医学图像信息计算之前要获取待计算医学影像,其中,待计算医学图像可以是钼靶X光照片或超声图像。
例如,以钼靶X光照片为例。该实施例中的训练图像、训练信息来自医院图像数据库以及病人的信息系统数据库,总共有14000组实例。图像是选择了目标兴趣区域,也就是含肿瘤信息的图像部分。具体的计算模型提取的是多模态的特征信息,包括了钼靶X光图像中的肿瘤特征以及病人的临床病理特征信息,利用神经网络原理将多模特信息进行融合,这里同时利用人工提取了训练图像特征,并利用病人的活检结果进行对目标信息进行验证,在测试数据集中检测准确性达到81%。
S204:获取与待计算医学图像对应的对象的目标信息。
其中,目标信息是指与待计算医学图像对应的对象的临床数据和病理特征。
具体地,医学图像信息计算装置对医学图像信息计算之前要获取待计算医学影像,以及与待计算医学图像对应的对象的目标信息。其中,目标信息包括临床数据和病理特征,临床数据可以是年龄、种族、身高、体重、体重指数、乳腺癌的个人和家族史等,但不限于上述临床数据。病理特征可以是通过报告中提取亚型信息ER、PR和HER2以及从手术病理报告中提取病理信息分期和ER、PR和HER2状态,识别出浸润性癌症患者并从报告忠提取这些患者的临床症状,例如可触及的肿块、皮肤变化和乳头溢液以及乳房密度、肿块的存在、钙化、结构变形以及不对称的密度和钙化,但不限于上述病理特征。
S206:通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征。
其中,图像特征是图像或图像区域所对应的事物的性质,图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。
具体地,医学图像信息计算装置获取待计算医学影像以及与待计算医学图像对应的对象的目标信息。通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征。
S208:通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征。
其中,融合是指图像融合(Image Fusion),将多源信道所采集到的关于同一目标的图像数据经过图像信息计算和边缘计算技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像。
具体地,医学图像信息计算装置获取待计算医学影像以及与待计算医学图像对应的对象的目标信息。通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征,再将所得到的图像特征和目标信息进行融合得到综合特征。
S210:通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,图像指标用于指示下一计算流程。
具体地,医学图像信息计算装置通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征,再将所得到的图像特征和目标信息进行融合得到综合特征,对综合特征进行计算得到待计算医学图像对应的图像指标,图像指标可以以量化的分数形式显示,并将分数划分多个区间,当分数低于下限时显示为低风险,当分数介于下限值与上限值之间时显示为中风险,当分数大于上限值时为高风险,用户可根据分数或者风险区域自行判断是否有必要进行下一步的计算流程。其中,下一步的计算流程可以是活检检测图像。
在该实施例中,医学图像信息计算方法通过获取预先建立的模型训练数据库及临床数据;根据所述模型训练数据库以及所述临床数据,建立癌症风险评估模型;根据所述癌症风险评估模型,对癌症检测的医学图像特征信息进行风险评估输出癌症风险等级。本申请基于待计算医学图像及与待计算医学图像对应的对象的目标信息,具有更高的临床相关性和信息量,准确识别医学图像的风险等级,而且还提高了对症状可疑的患者进一步诊断支持的准确性。
如图3所示,在其中一个实施例中,获取与待计算医学图像对应的对象的目标信息,包括:
S302:输出目标信息采集界面。
如图4所示,具体地,医学图像信息计算装置输出目标信息采集界面,用户进入医学图像信息计算装置的欢迎界面,在欢迎界面内设有“开始诊断”按钮,用户点击界面上的“开始诊断”按钮则启动医学图像信息计算装置。当医学图像信息计算装置启动以后,显示如图5所示的基础信息输入界面,需要输入的基础信息包括:年龄、种族、身高、体重、是否BIRAD4病人、医疗保险情况、癌症史、绝经等信息。
S304:通过目标信息采集界面获取用户输入的目标信息。
具体地,医学图像信息计算装置通过目标信息采集界面获取用户输入的目标信息,当用户进入基础信息输入界面后,需要输入包括:年龄、种族、身高、体重、是否BIRAD4病人、医疗保险、癌症史、绝经等基础信息,然后点击下一步按钮。用户进入如图6所示的症状基本信息输入界面,用户填入症状的基本信息,例如可触及的肿块、皮肤变化和乳头溢液,然后用户点击下一步按钮。用户进入如图7所示的症状其他信息输入界面,用户填入症状的其他信息,例如乳房密度、肿块的存在、钙化、结构变形以及不对称的密度和钙化,然后用户点击计算风险按钮,如果用户对输入信息有误,则点击复位按钮重新输入信息。
当用户点击计算风险按钮以后,医学图像信息计算装置将所有输入信息导入预先训练的医学图像信息计算模型中进行预测,当预测结果计算完毕时,软件将显示诊断结果,如图8所示,该结果以分数形式显示,当分数低于0.4时显示为低风险以绿色表示,当分数介于0.4-0.55时显示为中风险以橘色表示,当分数大于0.55时显示为高风险以红色表示,用户可根据分数或者风险区域自行判断是否有必要进行下一步的计算流程。
在本实施例中,医学图像信息计算装置输出目标信息采集界面,通过目标信息采集界面获取用户输入的目标信息。通过对用户的目标信息采集,使医学图像信息计算装置的诊断结果具有更高的临床相关性和信息量,使诊断结果更加精准。
如图9所示,在其中一个实施例中,通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征,包括:
S402:通过预先训练的医学图像信息计算模型的第一编码层对待计算医学图像进行编码计算以得到初始特征。
具体地,医学图像信息计算模型包括第一编码层、第二编码层以及决策层。医学图像信息计算装置获取待计算医学图像,将待计算医学图像输入预先训练的医学图像信息计算模型的第一编码层,通过第一编码层对待计算医学图像进行编码计算以得到初始特征。
S404:通过预先训练的医学图像信息计算模型的池化层对初始特征进行计算以对初始特征进行降维得到图像特征。
具体地,医学图像信息计算装置通过预先训练的医学图像信息计算模型的第一编码层对待计算医学图像进行编码计算以得到初始特征。将得到的初始特征输入医学图像信息计算模型的池化层,通过池化层对初始特征进行计算,具体为对初始特征进行降维、压缩计算,得到图像特征。
在该实施例中,医学图像信息计算装置通过预先训练的医学图像信息计算模型的第一编码层对待计算医学图像进行编码计算以得到初始特征,通过预先训练的医学图像信息计算模型的池化层对初始特征进行计算以对初始特征进行降维得到图像特征。如此将全视野高像素的医学图像,通过编码计算与池化层的降维计算,得到目标区域内低像素的图像特征,便于做下一步的计算。
如图10所示,在其中一个实施例中,通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征,包括:
S502:将图像特征和目标信息输入至预先训练的医学图像信息计算模型的第二编码层。
具体地,医学图像信息计算装置将计算得到图像特征和获取的目标信息,共同输入至预先训练的医学图像信息计算模型的第二编码层,第二编码层对图像特征和目标信息进行计算。
S504:通过第二编码层对图像特征和目标信息进行编码计算以得到综合特征。
具体地,医学图像信息计算装置将计算得到图像特征和获取的目标信息,共同输入至预先训练的医学图像信息计算模型的第二编码层,第二编码层对图像特征和目标信息进行编码计算以得到综合特征。具体为第二编码层将图像特征和目标信息进行融合,得到综合特征。
在该实施例中,医学图像信息计算装置将图像特征和目标信息输入至预先训练的医学图像信息计算模型的第二编码层,通过第二编码层对图像特征和目标信息进行编码计算以得到综合特征。将图像特征和目标信息进行编码、融合计算,使诊断结果具有更高的临床相关性和信息量,准确识别医学图像的风险等级,而且还提高了对症状可疑的患者进一步诊断支持的准确性
如图11所示,在其中一个实施例中,通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,包括:
S602:将综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层。
具体地,医学图像信息计算装置将计算得到的综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层,通过输入层输入决策层,决策层对综合特征进行下一步的计算。
S604:通过决策层对综合特征进行计算,决策层输出图像指标。
具体地,医学图像信息计算装置将计算得到的综合特征输入至决策层的输入层,通过输入层输入决策层,决策层对综合特征进行计算,决策层输出图像指标。
在本实施例中,医学图像信息计算装置将综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层,决策层输出图像指标。基于综合特征得到图像指标,并将增强医学图像和目标信息在图像指标决策过程中的作用,使图像指标更加精确。
如图12所示,在其中一个实施例中,医学图像信息计算模型的训练方法,包括:
S702:获取训练数据,训练数据包括训练图像和训练信息。
具体地,训练图像和训练信息是医院影像数据库检索得到的,临床研究者随机选择20%的图像特征进行人工检查,并监控图像定量结果的准确性。定量表达了训练图像和训练信息中正常或非正常组织的临床特征。训练信息包括年龄、种族、身高、体重、体重指数、乳腺癌的个人和家族史等,来自医院数据仓库。
S704:将训练图像输入至图像特征提取网络得到训练图像特征。
具体地,将训练图像输入至图像特征提取网络得到训练图像特征,每个临床特征是从结构化数据库中的统计和训练图像查报告中提取的,并合并为一个特征矩阵,不同的行代表不同的特征类型。每行的特征向量由Mikolov的word2vec模型和Pennington的GloVe模型生成。应用零填充技术以确保特征向量的维度在不同的特征类型上是相同的。
S706:将训练图像特征和训练信息融合得到训练综合特征。
具体地,获取训练图像特征和训练信息,将所得到的训练图像特征和训练目标信息进行融合得到训练综合特征。
S708:将训练综合特征输入至决策网络得到模型计算结果。
具体地,将训练综合特征输入至决策网络设置模型。第一编码层输入-输出关系定义为:
其中,xCAE是输入集,是该网络的重构输出,M1是网络中的神经元数量,Wf和Wp表示可学习参数的集合。
在第二编码层的多特征自动融合网络中,使用变分贝叶斯方法进行多特征自动编码器学习,该方法应用了随机梯度变分贝叶斯的训练算法。神经元的输入-输出关系定义为:
其中,xVAE是输入集,是该网络的重构输出,M2是网络中的神经元数量,Wg和Wq表示可学习的参数。
在决策层中使用了多层感知器,由一层输入层、一层输出层和若干隐藏层组成。每个神经元的任务基本上是添加加权输入,获得净输入并通过线性整流激活函数传输该净输入来获得输出。输入中神经元的输入-输出关系定义为:
其中,xMLP是输入集,是我们模型的输出,M3是网络中神经元的数量,Wh表示可学习参数的集合。
为了优化学习到的表征与自编码器的重构误差之间的相关性组合,使用以下误差函数来优化我们的模型,该模型由两个自编码器网络和多层感知器组成:
其中,xi,i=1,…,N是医学图像自动编码器深度网络的输入图像,N是样本大小。yi,i=1,…,N是多特征自动编码器深度网络的输入,f和p是医学图像自动编码器深度网络的编码和解码网络,而g和q是多特征自动编码器深度网络的编码和解码网络,h表示决策多层感知器,Wf,Wg,Wp,Wq,Wh是每个网络的可学习参数,α,β是该函数中的可调参数,θ是所需的输出。
S710:根据模型计算结果和训练数据所对应的真实结果进行医学图像信息计算模型优化。
具体地,为了限制过度优化,我们网络所需提取稀疏性的特征,以便它允许使用更多数量的隐藏单元,使得网络能够学习不同的连接并提取不同的特征。在两个自编码器网络中,我们分别定义了隐藏层神经元的平均值为 和我们还将稀疏参数定义为每个隐藏神经元所需的平均激活值,并将其初始化为接近于零的值,因此我们可以得到了强制稀疏结果,即:为了实现这一点,我们使用了Kullback-Leibler(KL)散度项,即
其中,KL散度在具有均值,ρ的伯努利随机变量和具有均值和的伯努利随机变量之间测量若干次,用于模拟单个神经元。因此,能量函数的最终形式为:
具体使用了10折交叉验证用于多次测试,将数据集拆分为10个子集后,我们在9个子集上训练我们的模型并在剩下的子集上评估模型。在用于测试的不同子集重复此过程,将为每个评估生成一个模型性能指标,每个评估都将报告受试者工作特征曲线下面积指标,通过计算10个指标的平均值来获得整体性能指标以评估模型敏感性和特异性。
将训练数据输入医学图像特征计算深度网络中,输入-输出关系定义为:
其中,xCAE是输入特征集,是该网络的重构输出,M1是网络中的神经元数量,Wf和Wp表示已学习的模型参数。然后将训练图像和训练信息输出合并输入第二编码层。输入-输出关系定义为
其中,xVAE是输入合并特征集,是该网络的重构输出,M2是网络中的神经元数量,Wg和Wq表示已学习的模型参数,最后将作为决策网络输入并通过线性整流激活函数传输该净输入来获得输出。输入-输出关系定义为:
其中,xMLP是输入集,即M3是网络中神经元的数量,Wh表示已学习的模型参数,是我们模型预测的目标信息。
在本实施例中,模型训练使用贝叶斯优化来优化各种参数,以实现优化的深度学习模型。使用数据库中的临床参数、患者特征和图像特征来训练风险评估模型。当训练集用于微调网络参数时,验证数据集用于确定最佳网络配置,训练后,使用了测试集来验证系统性能。
在其中一个实施例中,将训练图像输入至图像特征提取网络得到训练图像特征之前,还包括:
对训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。
具体地,对于训练图像执行了基本的预计算,即对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。其中,图像尺寸归一化是将训练图像尺寸归一化至一致的512×512尺寸,以保留图像信息。
在本实施例中,对训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算,进一步增强了较高的准确性。
如图13所示,在其中一个实施例中,将训练图像特征和训练信息融合得到训练综合特征之前,还包括:
S802:图像特征提取网络的反池化层对训练图像特征进行解压得到解压图像。
具体地,医学图像信息计算装置的图像特征提取网络的反池化层对第一编码层编码、降维得到训练图像特征,进行解压得到解压图像。
S804:判断解压图像与训练图像一致则图像特征提取正确。
具体地,医学图像信息计算装置的图像特征提取网络将得到的解压图像,与训练图像进行比较,当得到的训练图像特征与训练图像一致,则说明训练图像特征提取正确。
在本实施例中,图像特征提取网络的反池化层对训练图像特征进行解压得到解压图像,将得到的解压图像与训练图像进行比较,判断解压图像与训练图像一致则图像特征提取正确。如此保证了训练图像特征提取准确率,进一步提高图像指标的准确性。
应该理解的是,虽然图2至图13的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图13的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供了一种医学图像信息计算装置,包括:获取模块、特征提取单元、融合单元以及计算单元,其中:
获取单元,用于获取待计算医学图像;以及用于获取与待计算医学图像对应的对象的目标信息;
特征提取单元,用于通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征;
融合单元,用于通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征;
计算单元,用于通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,图像指标用于指示下一计算流程。
在其中一个实施例中,获取与待计算医学图像对应的对象的目标信息,包括:
信息采集单元,用于输出目标信息采集界面;
获取单元,用于通过目标信息采集界面获取用户输入的目标信息。
在其中一个实施例中,通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征,包括:
第一编码层单元,用于通过预先训练的医学图像信息计算模型的第一编码层对待计算医学图像进行编码计算以得到初始特征;
池化层单元,用于通过预先训练的医学图像信息计算模型的池化层对初始特征进行计算以对初始特征进行降维得到图像特征。
在其中一个实施例中,通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征,包括:
输入单元,用于将图像特征和目标信息输入至预先训练的医学图像信息计算模型的第二编码层;
第二编码层单元,用于通过第二编码层对图像特征和目标信息进行编码计算以得到综合特征。
在其中一个实施例中,通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,包括:
输入单元,用于将综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层;
决策层单元,用于通过决策层对综合特征进行计算,决策层输出图像指标。
在其中一个实施例中,医学图像信息计算模型的训练方法,包括:
获取单元,用于获取训练数据,训练数据包括训练图像和训练信息;
图像特征提取单元,用于将训练图像输入至图像特征提取网络得到训练图像特征;
融合单元,用于将训练图像特征和训练信息融合得到训练综合特征;
模型计算单元,用于将训练综合特征输入至决策网络得到模型计算结果;
模型优化单元,用于根据模型计算结果和训练数据所对应的真实结果进行医学图像信息计算模型优化。
在其中一个实施例中,将训练图像输入至图像特征提取网络得到训练图像特征之前,还包括:
预计算单元,用于对训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。
在其中一个实施例中,将训练图像特征和训练信息融合得到训练综合特征之前,还包括:
解压单元,用于图像特征提取网络的反池化层对训练图像特征进行解压得到解压图像;
判断单元,用于判断解压图像与训练图像一致则图像特征提取正确。
关于医学图像信息计算装置的具体限定可以参见上文中对于医学图像信息计算方法的限定,在此不再赘述。上述医学图像信息计算装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于边缘计算设备中的计算器中,也可以以软件形式存储于边缘计算设备中的存储器中,以便于计算器调用执行以上各个模块对应的操作。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在其中一个实施例中,提供了一种边缘计算设备,该边缘计算设备可以是服务器,其内部结构图可以如图14所示。该边缘计算设备包括通过系统总线连接的计算器、存储器、网络接口和数据库。其中,该边缘计算设备的计算器用于提供计算和控制能力。该边缘计算设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该边缘计算设备的数据库用于存储周期任务分配数据,例如配置文件、理论运行参数和理论偏差值范围、任务属性信息等。该边缘计算设备的网络接口用于与外部的终端通过网络连接通信。该边缘计算程序被计算器执行时以实现一种医学图像信息计算方法。
领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的边缘计算设备的限定,具体的边缘计算设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种边缘计算设备,包括存储器和计算器,该存储器存储有边缘计算程序,该计算器执行计算机程序时实现以下步骤:
获取待计算医学图像;
获取与待计算医学图像对应的对象的目标信息;
通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征;
通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征;
通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,图像指标用于指示下一计算流程。
在一个实施例中,计算器执行计算机程序时实现获取与待计算医学图像对应的对象的目标信息,包括:
输出目标信息采集界面;
通过目标信息采集界面获取用户输入的目标信息。
在一个实施例中,计算器执行计算机程序时实现通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征,包括:
通过预先训练的医学图像信息计算模型的第一编码层对待计算医学图像进行编码计算以得到初始特征;
通过预先训练的医学图像信息计算模型的池化层对初始特征进行计算以对初始特征进行降维得到图像特征。
在一个实施例中,计算器执行计算机程序时实现通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征,包括:
将图像特征和目标信息输入至预先训练的医学图像信息计算模型的第二编码层;
通过第二编码层对图像特征和目标信息进行编码计算以得到综合特征。
在一个实施例中,计算器执行计算机程序时实现通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,包括:
将综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层;
通过决策层对综合特征进行计算,决策层输出图像指标。
在一个实施例中,计算器执行计算机程序时实现医学图像信息计算模型的训练方法,包括:
获取训练数据,训练数据包括训练图像和训练信息;
将训练图像输入至图像特征提取网络得到训练图像特征;
将训练图像特征和训练信息融合得到训练综合特征;
将训练综合特征输入至决策网络得到模型计算结果;
根据模型计算结果和训练数据所对应的真实结果进行医学图像信息计算模型优化。
在一个实施例中,计算器执行计算机程序时实现将训练图像输入至图像特征提取网络得到训练图像特征之前,还包括:
对训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。
在一个实施例中,计算器执行计算机程序时实现将训练图像特征和训练信息融合得到训练综合特征之前,还包括:
图像特征提取网络的反池化层对训练图像特征进行解压得到解压图像;
判断解压图像与训练图像一致则图像特征提取正确。
在一个实施例中,提供了一种边缘计算可读存储介质,其上存储有计算机程序,计算机程序被计算器执行时实现以下步骤:
获取待计算医学图像;
获取与待计算医学图像对应的对象的目标信息;
通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征;
通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征;
通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,图像指标用于指示下一计算流程。
在一个实施例中,计算机程序被计算器执行时实现获取与待计算医学图像对应的对象的目标信息,包括:
输出目标信息采集界面;
通过目标信息采集界面获取用户输入的目标信息。
在一个实施例中,计算机程序被计算器执行时实现通过预先训练的医学图像信息计算模型对待计算医学图像进行特征提取得到图像特征,包括:
通过预先训练的医学图像信息计算模型的第一编码层对待计算医学图像进行编码计算以得到初始特征;
通过预先训练的医学图像信息计算模型的池化层对初始特征进行计算以对初始特征进行降维得到图像特征。
在一个实施例中,计算机程序被计算器执行时实现通过预先训练的医学图像信息计算模型将所得到的图像特征和目标信息进行融合得到综合特征,包括:
将图像特征和目标信息输入至预先训练的医学图像信息计算模型的第二编码层;
通过第二编码层对图像特征和目标信息进行编码计算以得到综合特征。
在一个实施例中,计算机程序被计算器执行时实现通过预先训练的医学图像信息计算模型对综合特征进行计算,得到待计算医学图像对应的图像指标,包括:
将综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层;
通过决策层对综合特征进行计算,决策层输出图像指标。
在一个实施例中,计算机程序被计算器执行时实现医学图像信息计算模型的训练方法,包括:
获取训练数据,训练数据包括训练图像和训练信息;
将训练图像输入至图像特征提取网络得到训练图像特征;
将训练图像特征和训练信息融合得到训练综合特征;
将训练综合特征输入至决策网络得到模型计算结果;
根据模型计算结果和训练数据所对应的真实结果进行医学图像信息计算模型优化。
在一个实施例中,计算机程序被计算器执行时实现将训练图像输入至图像特征提取网络得到训练图像特征之前,还包括:
对训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。
在一个实施例中,计算机程序被计算器执行时实现将训练图像特征和训练信息融合得到训练综合特征之前,还包括:
图像特征提取网络的反池化层对训练图像特征进行解压得到解压图像;
判断解压图像与训练图像一致则图像特征提取正确。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性边缘计算设备可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的耦合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的耦合都进行描述,然而,只要这些技术特征的耦合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种医学图像信息计算方法,其特征在于,所述医学图像信息计算方法包括:
获取待计算医学图像;
获取与所述待计算医学图像对应的对象的目标信息;
通过预先训练的医学图像信息计算模型的第一编码层对所述待计算医学图像进行编码计算以得到初始特征;通过预先训练的医学图像信息计算模型的池化层对所述初始特征进行计算以对所述初始特征进行降维得到图像特征;
通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征;
通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,所述图像指标以量化的分数形式显示,所述图像指标用于指示下一计算流程;
所述通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征,包括:
将所述图像特征和所述目标信息输入至预先训练的医学图像信息计算模型的第二编码层;
通过所述第二编码层对所述图像特征和所述目标信息进行编码计算以得到综合特征。
2.根据权利要求1所述的医学图像信息计算方法,其特征在于,所述获取与所述待计算医学图像对应的对象的目标信息,包括:
输出目标信息采集界面;
通过所述目标信息采集界面获取用户输入的目标信息。
3.根据权利要求1所述的医学图像信息计算方法,其特征在于,所述第一编码层计算公式如下:
其中,xVAE是输入集,是网络的重构输出,M2是神经元数量,Wg和Wq表示可学习参数。
4.根据权利要求1所述的医学图像信息计算方法,其特征在于,所述通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,包括:
将所述综合特征输入至预先训练的医学图像信息计算模型的决策层的输入层;
通过所述决策层对所述综合特征进行计算,所述决策层输出图像指标。
5.根据权利要求4所述的医学图像信息计算方法,其特征在于,所述决策层计算公式如下:
其中,xMLP是输入集,M3是网络中神经元的数量,Wh表示医学图像信息计算模型参数,是图像指标。
6.根据权利要求1所述的医学图像信息计算方法,其特征在于,所述医学图像信息计算模型的训练方法,包括:
获取训练数据,所述训练数据包括训练图像和训练信息;
将所述训练图像输入至图像特征提取网络得到训练图像特征;
将所述训练图像特征和所述训练信息融合得到训练综合特征;
将所述训练综合特征输入至决策网络得到模型计算结果;
根据所述模型计算结果和训练数据所对应的真实结果进行医学图像信息计算模型优化。
7.根据权利要求6所述的医学图像信息计算方法,其特征在于,所述将所述训练图像输入至图像特征提取网络得到训练图像特征之前,还包括:
对所述训练图像进行对比度调整、亮度校正和图像尺寸归一化中的一项或多项计算。
8.根据权利要求6所述的医学图像信息计算方法,其特征在于,所述将所述训练图像特征和所述训练信息融合得到训练综合特征之前,还包括:
图像特征提取网络的反池化层对所述训练图像特征进行解压得到解压图像;
判断所述解压图像与所述训练图像一致则图像特征提取正确。
9.根据权利要求1至8任一项所述的医学图像信息计算方法,其特征在于,所述医学图像信息,包括:
钼靶X光照片或超声图像。
10.根据权利要求1至8任一项所述的医学图像信息计算方法,其特征在于,所述目标信息包括:临床数据信息和临床症状信息,
所述临床数据信息包括:年龄、种族、身高、体重、体重指数、乳腺癌的个人和家族史中的一项或多项;
所述临床症状信息包括:可触及的肿块、皮肤变化、乳头溢液、乳房密度、肿块的存在、钙化、结构变形以及不对称的密度和钙化中的一项或多项。
11.一种医学图像信息计算装置,其特征在于,所述医学图像信息计算装置包括:
获取单元,用于获取待计算医学图像;以及用于获取与所述待计算医学图像对应的对象的目标信息;
特征提取单元,用于通过预先训练的医学图像信息计算模型对所述待计算医学图像进行特征提取得到图像特征;
融合单元,用于通过预先训练的医学图像信息计算模型将所得到的图像特征和所述目标信息进行融合得到综合特征;
所述融合单元,包括:
输入单元,用于将所述图像特征和所述目标信息输入至预先训练的医学图像信息计算模型的第二编码层;
第二编码层单元,用于通过所述第二编码层对所述图像特征和所述目标信息进行编码计算以得到综合特征;
计算单元,用于通过预先训练的医学图像信息计算模型对所述综合特征进行计算,得到所述待计算医学图像对应的图像指标,所述图像指标以量化的分数形式显示,所述图像指标用于指示下一计算流程。
12.一种边缘计算设备,包括存储器和计算器,所述存储器存储有计算机程序,其特征在于,所述计算器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种边缘计算设备存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被计算器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110943471.6A CN113850753B (zh) | 2021-08-17 | 2021-08-17 | 医学图像信息计算方法、装置、边缘计算设备和存储介质 |
PCT/CN2022/111953 WO2023020366A1 (zh) | 2021-08-17 | 2022-08-12 | 一种医学图像信息计算方法、装置、边缘计算设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110943471.6A CN113850753B (zh) | 2021-08-17 | 2021-08-17 | 医学图像信息计算方法、装置、边缘计算设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113850753A CN113850753A (zh) | 2021-12-28 |
CN113850753B true CN113850753B (zh) | 2023-09-01 |
Family
ID=78975812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110943471.6A Active CN113850753B (zh) | 2021-08-17 | 2021-08-17 | 医学图像信息计算方法、装置、边缘计算设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113850753B (zh) |
WO (1) | WO2023020366A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113850753B (zh) * | 2021-08-17 | 2023-09-01 | 苏州鸿熙融合智能医疗科技有限公司 | 医学图像信息计算方法、装置、边缘计算设备和存储介质 |
CN113989284B (zh) * | 2021-12-29 | 2022-05-10 | 广州思德医疗科技有限公司 | 一种幽门螺杆菌辅助检测系统及检测装置 |
CN114723670A (zh) * | 2022-03-10 | 2022-07-08 | 苏州鸿熙融合智能医疗科技有限公司 | 乳腺癌病变图片智能处理方法 |
CN116132818B (zh) * | 2023-02-01 | 2024-05-24 | 辉羲智能科技(上海)有限公司 | 用于自动驾驶的图像处理方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110993106A (zh) * | 2019-12-11 | 2020-04-10 | 深圳市华嘉生物智能科技有限公司 | 一种结合病理图像和临床信息的肝癌术后复发风险预测方法 |
CN111008957A (zh) * | 2019-11-19 | 2020-04-14 | 北京推想科技有限公司 | 医疗信息处理方法和装置 |
CN112308853A (zh) * | 2020-10-20 | 2021-02-02 | 平安科技(深圳)有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
CN112992308A (zh) * | 2021-03-25 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210035381A (ko) * | 2019-09-23 | 2021-04-01 | 삼성에스디에스 주식회사 | 의료 진단 방법 및 장치 |
CN110796656A (zh) * | 2019-11-01 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
US11763932B2 (en) * | 2019-11-14 | 2023-09-19 | International Business Machines Corporation | Classifying images using deep neural network with integrated acquisition information |
CN112991295B (zh) * | 2021-03-12 | 2023-04-07 | 中国科学院自动化研究所 | 基于深度学习的淋巴结转移影像分析系统、方法及设备 |
CN113850753B (zh) * | 2021-08-17 | 2023-09-01 | 苏州鸿熙融合智能医疗科技有限公司 | 医学图像信息计算方法、装置、边缘计算设备和存储介质 |
-
2021
- 2021-08-17 CN CN202110943471.6A patent/CN113850753B/zh active Active
-
2022
- 2022-08-12 WO PCT/CN2022/111953 patent/WO2023020366A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111008957A (zh) * | 2019-11-19 | 2020-04-14 | 北京推想科技有限公司 | 医疗信息处理方法和装置 |
CN110993106A (zh) * | 2019-12-11 | 2020-04-10 | 深圳市华嘉生物智能科技有限公司 | 一种结合病理图像和临床信息的肝癌术后复发风险预测方法 |
CN112308853A (zh) * | 2020-10-20 | 2021-02-02 | 平安科技(深圳)有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
CN112992308A (zh) * | 2021-03-25 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 医学图像报告生成模型的训练方法及图像报告生成方法 |
Non-Patent Citations (1)
Title |
---|
《神经网络自编码器算法在癌症信息学研究中的应用》;李晓 等;《生物工程学报》;第2393-2404页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023020366A1 (zh) | 2023-02-23 |
CN113850753A (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113850753B (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
CN110321920A (zh) | 图像分类方法、装置、计算机可读存储介质和计算机设备 | |
WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
Marzola et al. | Deep learning segmentation of transverse musculoskeletal ultrasound images for neuromuscular disease assessment | |
CN109791804B (zh) | 对cad系统个性化以提供cad系统推荐的置信水平指示的方法和部件 | |
CN111127467A (zh) | 图像量化方法、计算机设备和存储介质 | |
Tursynova et al. | Brain Stroke Lesion Segmentation Using Computed Tomography Images based on Modified U-Net Model with ResNet Blocks. | |
CN114298234B (zh) | 脑部医学影像分类方法、装置、计算机设备和存储介质 | |
CN111210441A (zh) | 肿瘤预测方法、装置、云平台及计算机可读存储介质 | |
US20210020304A1 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
CN112633416A (zh) | 一种融合多尺度超像素的脑ct图像分类方法 | |
CN112884759A (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
CN117253045A (zh) | 医学图像的子宫肌瘤分割方法及装置、设备、存储介质 | |
CN115330748A (zh) | 脑图像处理方法、计算机设备和存储介质 | |
CN117095815A (zh) | 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统 | |
CN115249228A (zh) | 胸部x射线图像识别方法、装置、计算机设备和存储介质 | |
Zhuo et al. | Fine-needle aspiration biopsy evaluation-oriented thyroid carcinoma auxiliary diagnosis | |
CN116206756B (zh) | 肺腺癌数据处理方法、系统、设备及计算机可读存储介质 | |
Sha et al. | A robust segmentation method based on improved U-Net | |
Ruano et al. | A radial basis function classifier for the automatic diagnosis of cerebral vascular accidents | |
US20240312008A1 (en) | Automatic method for segmentation of a thrombus and a lesion in a three-dimensional brain image | |
CN110610527A (zh) | 计算suv的方法、装置、设备、系统及计算机存储介质 | |
Ibrahim et al. | Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models. | |
KR102464422B1 (ko) | 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체 | |
KR102258070B1 (ko) | 발의 유형 평가 방법 및 이를 이용한 발의 유형 평가용 디바이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |