CN109273084B - 基于多模态超声组学特征建模的方法及系统 - Google Patents
基于多模态超声组学特征建模的方法及系统 Download PDFInfo
- Publication number
- CN109273084B CN109273084B CN201811316368.3A CN201811316368A CN109273084B CN 109273084 B CN109273084 B CN 109273084B CN 201811316368 A CN201811316368 A CN 201811316368A CN 109273084 B CN109273084 B CN 109273084B
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- characteristic
- change rate
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 71
- 201000010099 disease Diseases 0.000 claims abstract description 25
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 25
- 230000003902 lesion Effects 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 17
- 230000000295 complement effect Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 14
- 210000001519 tissue Anatomy 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000000004 hemodynamic effect Effects 0.000 claims description 5
- 230000007310 pathophysiology Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 210000000481 breast Anatomy 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 4
- 210000003754 fetus Anatomy 0.000 claims description 4
- 230000002496 gastric effect Effects 0.000 claims description 4
- 210000004392 genitalia Anatomy 0.000 claims description 4
- 210000002216 heart Anatomy 0.000 claims description 4
- 210000003734 kidney Anatomy 0.000 claims description 4
- 210000004185 liver Anatomy 0.000 claims description 4
- 230000001575 pathological effect Effects 0.000 claims description 4
- 238000003908 quality control method Methods 0.000 claims description 4
- 210000000952 spleen Anatomy 0.000 claims description 4
- 210000001685 thyroid gland Anatomy 0.000 claims description 4
- 210000004291 uterus Anatomy 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001991 pathophysiological effect Effects 0.000 description 2
- 230000010412 perfusion Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多模态超声组学特征建模的方法及系统，包括：获取病变部位的若干超声数据，得到多模态超声组学数据(包含“时间”模态)；从多模态超声组学数据中筛选出多个特征数据；将多个特征数据通过特征工程网络进行二维卷积和三维卷积，并根据得到的立体卷积和多个特征数据的变化率差值，分析得到最佳特征组合；根据最佳特征组合，建立特征组合模型。相比于传统的特征建模方法，本发明通过特征工程网络对多模态超声数据的多个特征数据进行二维卷积和立体卷积，并分析多个特征数据的立体卷积和变化率差值后，得到空间和时间互补的若干特征数据作为最佳特征组合后进行建模，从而解决模型过拟合的问题，更真实地反映疾病的全貌。
Description
技术领域
本发明涉及超声医学技术领域，尤其涉及一种基于多模态超声组学特征建模的方法及系统。
背景技术
随着精准医疗及大数据的来临，通过建立超声数据的特征模型，从而对病变部位进行分析已成为临床医学的核心环节之一。现有技术中，通常采用提取病变部位的单模态超声数据，并通过深度学习训练单模态超声数据建立特征模型。但实际疾病转归受到不同病理生理、血流动力学、空间及时间状态的相互交互和影响，因此利用单模态建立的特征模型无法准确地用于疾病分析，且当当单模态的医学图像数量有限时，利用深度学习网络进行单模态超声数据的特征建模需要设置较多参数，这样会导致模型过拟合。
发明内容
本发明实施例所要解决的技术问题在于，解决模型过拟合的问题，真实反映疾病的全貌。
为解决上述问题，本发明实施例提供基于多模态超声组学特征建模的方法，适于在计算设备中执行，至少包括如下步骤：
获取病变部位的若干超声数据，组成多模态超声组学数据；
对所述多模态超声组学数据进行图像数据处理，筛选出所述多模态超声组学数据中的N个特征数据；其中，N≥1，且N为正整数；
将所述N个特征数据通过特征工程网络进行立体卷积后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个所述特征数据的变化率差值；
根据所述立体卷积后的空间信息和时序信息，基于所述变化率差值，将所述N个特征数据中空间和时间互补的M个特征数据作为最佳特征组合，并根据所述最佳特征组合，建立多模态超声组学的特征组合模型；其中，M≤N，且M为正整数。
进一步的，所述提取病变部位的若干超声数据，组成多模态超声组学数据，具体为：
根据病变部位的相应疾病模型，基于疾病的病理生理、血流动力学特性、时间特性以及空间特性，提取若干超声数据，组成多模态超声组学数据。
进一步的，所述对所述多模态超声组学数据进行图像数据处理，筛选出所述多模态超声组学数据中的N个特征数据，具体为：
基于所述病变部位的病理特征，对所述多模态超声组学进行图像区域识别后，通过图像质量筛选和造影视频质控，筛选出所述多模态超声组学数据中的N个特征数据。
进一步的，所述将所述N个特征数据通过特征工程网络进行立体卷积后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个所述特征数据的变化率差值，具体为：
将所述N个特征数据通过特征工程网络中一一对应的N个过滤器进行卷积，获取所述N个特征数据的二维特征图，并将所述N个特征数据的二维特征图通过组合后进行立体卷积，获取所述N个特征数据的三维特征图后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，获取每个所述特征数据在不同步长下变化率的变化趋势，从而得到每个所述特征数据的变化率差值。
进一步的，所述多模态超声组学数据的来源包括：肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫或胎儿。
进一步的，本发明的另一个实施例还提供了一种基于多模态超声组学特征建模的系统，包括：
数据提取模块，用于获取病变部位的若干超声数据，组成多模态超声组学数据；
数据筛选模块，用于对所述多模态超声组学数据进行图像数据处理，筛选出所述多模态超声组学数据中的N个特征数据；其中，N≥1，且N为正整数；
数据处理模块，用于将所述N个特征数据通过特征工程网络进行立体卷积后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个所述特征数据的变化率差值；
数据分析模块，用于根据所述立体卷积后的空间信息和时序信息，基于所述变化率差值，将所述N个特征数据中空间和时间互补的M个特征数据作为最佳特征组合，并根据所述最佳特征组合，建立多模态超声组学的特征组合模型；其中，M≤N，且M为正整数。
进一步的，所述数据处理模块具体用于：
将所述N个特征数据通过特征工程网络中一一对应的N个过滤器进行卷积，获取所述N个特征数据的二维特征图，并将所述N个特征数据的二维特征图通过组合后进行立体卷积，获取所述N个特征数据的三维特征图后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，获取每个所述特征数据在不同步长下变化率的变化趋势，从而得到每个所述特征数据的变化率差值。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种基于多模态超声组学特征建模的方法及系统，所述方法包括：获取病变部位的若干超声数据，得到多模态超声组学数据；从多模态超声组学数据中筛选出多个特征数据；将多个特征数据通过特征工程网络进行二维卷积和三维卷积，并根据得到的立体卷积和多个特征数据的变化率差值，分析得到最佳特征组合；根据最佳特征组合，建立特征组合模型。相比于传统利用单模态超声数据进行特征建模的方法，本发明通过特征工程网络对多模态超声数据的多个特征数据进行二维卷积和立体卷积，并分析多个特征数据的立体卷积和变化率差值后，得到空间和时间互补的若干特征数据作为最佳特征组合后进行建模，从而解决模型过拟合的问题，更真实地反映疾病的全貌。
附图说明
图1是本发明提供的基于多模态超声组学特征建模的方法的一种实施例的流程示意图；
图2是本发明提供的基于多模态超声组学特征建模的系统的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1。
参见图1，是本发明提供的基于多模态超声组学特征建模的方法的一种实施例的流程示意图，如图1所示，该分析方法包括步骤S11至步骤S14。各步骤具体如下：
步骤S11：获取病变部位的若干超声数据，组成多模态超声组学数据。
步骤S12：对多模态超声组学数据进行图像数据处理，筛选出多模态超声组学数据中的N个特征数据。
其中，N≥1，且N为正整数。
步骤S13：将N个特征数据通过特征工程网络进行立体卷积后，根据立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个特征数据的变化率差值。
步骤S14：根据立体卷积后的空间信息和时序信息，基于变化率差值，得到N个特征数据中空间和时间互补的M个特征数据作为最佳特征组合，并根据最佳特征组合，建立多模态超声组学的特征组合模型。
其中，M≤N，且M为正整数。
对于步骤S11，具体的，根据病变部位的相应疾病模型，基于疾病的病理生理、血流动力学特性、时间特性以及空间特性，提取若干超声数据，组成多模态超声组学数据。
在本实施例中，多模态超声组学数据包括时间模态的超声数据。
在本实施例中，基于病变部位的相应疾病模型，根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据，以及根据疾病所在器官空间特性获取相应立体维度超声数据，得到所述多模态超声组学数据。
在本实施例中，超声数据可以但不限于通过B型超声、M型超声、彩色多普勒和频谱超声、弹性超声或超声造影进行提取。超声数据的存储格式包括：超声仪器直接导出的射频信号或原始信号来源数据，医学数字成像和通信来源数据以及通过转化得到的静态图像和动态视频。超声数据的维度来源可以但不限于为通过二维超声、三维超声、二维及三维动态超声和四维超声获得的数据。
在本实施例中，多模态超声组学数据的来源可以但不限于从肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫或胎儿中获取。
在本实施例中，多模态超声组学数据为高维的多模态超声组学数据。
对于步骤S12，具体的，基于病变部位的病理特征，对多模态超声组学进行图像区域识别后，通过图像质量筛选和造影视频质控，筛选出多模态超声组学数据中的N个特征数据。
对于步骤S13，具体的，将所述N个特征数据通过特征工程网络中一一对应的N个过滤器进行卷积，获取所述N个特征数据的二维特征图，并将所述N个特征数据的二维特征图通过组合后进行立体卷积，获取所述N个特征数据的三维特征图后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，获取每个所述特征数据在不同步长下变化率的变化趋势，从而得到每个所述特征数据的变化率差值。
在本实施例中，每个特征数据均作为一个独立通道数据处理。通过N个3*3或5*5过滤器对N个特征数据进行卷积后，得到N个二维特征图后，将每个特征数据作为一个“层”，组合成三维特征图，并进行立体卷积。
对于步骤S14，在本实施例中，将每个特征数据的变化率差值，以及由每个特征数据组成的三维特征图进行立体卷积得到的立体卷积运算结果进行分析，达到时间和空间互补的特征数据分析目的。
在本实施例中，通过立体卷积组成一个立方体，根据特征数据在立方体中对应的特征图都会与上一次中多个邻近的连续帧相连的特性，从而捕捉该立方体的空间信息或时序信息。通过运用立体卷积核，判断立体卷积核像素值在不同步长下变化率的变化趋势来鉴别图像或者信号差异后，采用均值或差值等方法对疾病的结局指标进行细化，从而根据细化后的指标，将N个特征数据中时间和空间互补效果最优的M个特征数据作为最佳特征组合。
由上可见，本发明实施例提供的一种基于多模态超声组学特征建模的方法，包括：获取病变部位的若干超声数据，得到多模态超声组学数据；从多模态超声组学数据中筛选出多个特征数据；将多个特征数据通过特征工程网络进行二维卷积和三维卷积，并根据得到的立体卷积和多个特征数据的变化率差值，分析得到最佳特征组合；根据最佳特征组合，建立特征组合模型。相比于传统利用单模态超声数据进行特征建模的方法，本发明通过特征工程网络对多模态超声数据的多个特征数据进行二维卷积和立体卷积，并分析多个特征数据的立体卷积和变化率差值后，得到空间和时间互补的若干特征数据作为最佳特征组合后进行建模，从而解决模型过拟合的问题，更真实地反映疾病的全貌。
请参阅图2。
参见图2，是本发明提供的基于多模态超声组学特征建模的系统的一种实施例的结构示意图，如图2所示，该系统包括：
数据提取模块101，用于获取病变部位的若干超声数据，组成多模态超声组学数据。
在本实施例中，数据提取模块101具体用于，根据病变部位的相应疾病模型，基于疾病的病理生理、血流动力学特性、时间特性以及空间特性，提取若干超声数据，组成多模态超声组学数据。
在本实施例中，基于病变部位的相应疾病模型，根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据，以及根据疾病所在器官空间特性获取相应立体维度超声数据，得到所述多模态超声组学数据。
在本实施例中，超声数据可以但不限于通过B型超声、M型超声、彩色多普勒和频谱超声、弹性超声或超声造影进行提取。超声数据的存储格式包括：超声仪器直接导出的射频信号或原始信号来源数据，医学数字成像和通信来源数据以及通过转化得到的静态图像和动态视频。超声数据的维度来源可以但不限于为通过二维超声、三维超声、二维及三维动态超声和四维超声获得的数据。
在本实施例中，多模态超声组学数据的来源可以但不限于从肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫或胎儿中获取。
在本实施例中，多模态超声组学数据为高维的多模态超声组学数据。
数据筛选模块102，用于对多模态超声组学数据进行图像数据处理，筛选出多模态超声组学数据中的N个特征数据。
其中，N≥1，且N为正整数。
在本实施例中，数据筛选模块102具体用于，基于病变部位的病理特征，对多模态超声组学进行图像区域识别后，通过图像质量筛选和造影视频质控，筛选出多模态超声组学数据中的N个特征数据。
数据处理模块103，用于将N个特征数据通过特征工程网络进行立体卷积后，根据立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个特征数据的变化率差值。
在本实施例中，数据处理模块103具体用于，将所述N个特征数据通过特征工程网络中一一对应的N个过滤器进行卷积，获取所述N个特征数据的二维特征图，并将所述N个特征数据的二维特征图通过组合后进行立体卷积，获取所述N个特征数据的三维特征图后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，获取每个所述特征数据在不同步长下变化率的变化趋势，从而得到每个所述特征数据的变化率差值。
在本实施例中，每个特征数据均作为一个独立通道数据处理。通过N个3*3或5*5过滤器对N个特征数据进行卷积后，得到N个二维特征图后，将每个特征数据作为一个“层”，组合成三维特征图，并进行立体卷积。
数据分析模块104，用于根据立体卷积后的空间信息和时序信息，基于变化率差值，得到N个特征数据中空间和时间互补的M个特征数据作为最佳特征组合，并根据最佳特征组合，建立多模态超声组学的特征组合模型。
其中，M≤N，且M为正整数。
在本实施例中，将每个特征数据的变化率差值，以及由每个特征数据组成的三维特征图进行立体卷积得到的立体卷积运算结果进行分析，达到时间和空间互补的特征数据分析目的。
在本实施例中，通过立体卷积组成一个立方体，根据特征数据在立方体中对应的特征图都会与上一次中多个邻近的连续帧相连的特性，从而捕捉该立方体的空间信息或时序信息。通过运用立体卷积核，判断立体卷积核像素值在不同步长下变化率的变化趋势来鉴别N个特征数据的差异后，采用均值或差值等方法对疾病的结局指标进行细化，从而根据细化后的指标，将N个特征数据中时间和空间互补效果最优的M个特征数据作为最佳特征组合。
由上可见，本发明实施例提供的一种基于多模态超声组学特征建模的方法及系统，所述方法包括：获取病变部位的若干超声数据，得到多模态超声组学数据；从多模态超声组学数据中筛选出多个特征数据；将多个特征数据通过特征工程网络进行二维卷积和三维卷积，并根据得到的立体卷积和多个特征数据的变化率差值，分析得到最佳特征组合；根据最佳特征组合，建立特征组合模型。相比于传统利用单模态超声数据进行特征建模的方法，本发明通过特征工程网络对多模态超声数据的多个特征数据进行二维卷积和立体卷积，并分析多个特征数据的立体卷积和变化率差值后，得到空间和时间互补的若干特征数据作为最佳特征组合后进行建模，从而解决模型过拟合的问题，更真实地反映疾病的全貌。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.一种基于多模态超声组学特征建模的方法，适于在计算设备中执行，其特征在于，至少包括如下步骤：
获取病变部位的若干超声数据，组成多模态超声组学数据；
对所述多模态超声组学数据进行图像数据处理，筛选出所述多模态超声组学数据中的N个特征数据；其中，N≥1，且N为正整数；
将所述N个特征数据通过特征工程网络进行立体卷积后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个所述特征数据的变化率差值；
根据所述立体卷积后的空间信息和时序信息，基于所述变化率差值，将所述N个特征数据中空间和时间互补的M个特征数据作为最佳特征组合，并根据所述最佳特征组合，建立多模态超声组学的特征组合模型；其中，M≤N，且M为正整数。
2.根据权利要求1所述的基于多模态超声组学特征建模的方法，其特征在于，所述提取病变部位的若干超声数据，组成多模态超声组学数据，具体为：
根据病变部位的相应疾病模型，基于疾病的病理生理、血流动力学特性、时间特性以及空间特性，提取若干超声数据，组成多模态超声组学数据。
3.根据权利要求1所述的基于多模态超声组学特征建模的方法，其特征在于，所述对所述多模态超声组学数据进行图像数据处理，筛选出所述多模态超声组学数据中的N个特征数据，具体为：
基于所述病变部位的病理特征，对所述多模态超声组学进行图像区域识别后，通过图像质量筛选和造影视频质控，筛选出所述多模态超声组学数据中的N个特征数据。
4.根据权利要求1所述的基于多模态超声组学特征建模的方法，其特征在于，所述将所述N个特征数据通过特征工程网络进行立体卷积后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个所述特征数据的变化率差值，具体为：
将所述N个特征数据通过特征工程网络中一一对应的N个过滤器进行卷积，获取所述N个特征数据的二维特征图，并将所述N个特征数据的二维特征图通过组合后进行立体卷积，获取所述N个特征数据的三维特征图后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，获取每个所述特征数据在不同步长下变化率的变化趋势，从而得到每个所述特征数据的变化率差值。
5.根据权利要求1所述的基于多模态超声组学特征建模的方法，其特征在于，所述多模态超声组学数据的来源包括：肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫或胎儿。
6.一种基于多模态超声组学特征建模的系统，其特征在于，包括：
数据提取模块，用于获取病变部位的若干超声数据，组成多模态超声组学数据；
数据筛选模块，用于对所述多模态超声组学数据进行图像数据处理，筛选出所述多模态超声组学数据中的N个特征数据；其中，N≥1，且N为正整数；
数据处理模块，用于将所述N个特征数据通过特征工程网络进行立体卷积后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，得到每个所述特征数据的变化率差值；
数据分析模块，用于根据所述立体卷积后的空间信息和时序信息，基于所述变化率差值，将所述N个特征数据中空间和时间互补的M个特征数据作为最佳特征组合，并根据所述最佳特征组合，建立多模态超声组学的特征组合模型；其中，M≤N，且M为正整数。
7.根据权利要求6所述的基于多模态超声组学特征建模的系统，其特征在于，所述数据处理模块具体用于：
将所述N个特征数据通过特征工程网络中一一对应的N个过滤器进行卷积，获取所述N个特征数据的二维特征图，并将所述N个特征数据的二维特征图通过组合后进行立体卷积，获取所述N个特征数据的三维特征图后，根据所述立体卷积的立体卷积核像素值在不同步长下变化率的变化趋势，获取每个所述特征数据在不同步长下变化率的变化趋势，从而得到每个所述特征数据的变化率差值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811316368.3A CN109273084B (zh) | 2018-11-06 | 2018-11-06 | 基于多模态超声组学特征建模的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811316368.3A CN109273084B (zh) | 2018-11-06 | 2018-11-06 | 基于多模态超声组学特征建模的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109273084A CN109273084A (zh) | 2019-01-25 |
| CN109273084B true CN109273084B (zh) | 2021-06-22 |
Family
ID=65191549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811316368.3A Active CN109273084B (zh) | 2018-11-06 | 2018-11-06 | 基于多模态超声组学特征建模的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109273084B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020215484A1 (zh) * | 2019-04-20 | 2020-10-29 | 无锡祥生医疗科技股份有限公司 | 胎儿颈部透明层厚度测量方法、设备及存储介质 |
| CN110400292B (zh) * | 2019-07-04 | 2021-08-13 | 上海联影智能医疗科技有限公司 | 转移结果评估方法、计算机设备和存储介质 |
| CN111354470A (zh) * | 2020-02-11 | 2020-06-30 | 中国医学科学院肿瘤医院 | 一种基于淋巴结多期相的数据分析方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105246415A (zh) * | 2013-12-05 | 2016-01-13 | 奥林巴斯株式会社 | 超声波观测装置、超声波观测装置的动作方法以及超声波观测装置的动作程序 |
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策系统 |
| CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN108182441A (zh) * | 2017-12-29 | 2018-06-19 | 华中科技大学 | 平行多通道卷积神经网络、构建方法及图像特征提取方法 |
| CN108229066A (zh) * | 2018-02-07 | 2018-06-29 | 北京航空航天大学 | 一种基于多模态超连接脑网络建模的帕金森自动识别方法 |
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN108670297A (zh) * | 2018-04-19 | 2018-10-19 | 上海大学 | 基于多模态经颅超声的帕金森病辅助诊断系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120220875A1 (en) * | 2010-04-20 | 2012-08-30 | Suri Jasjit S | Mobile Architecture Using Cloud for Hashimoto's Thyroiditis Disease Classification |
| US9760690B1 (en) * | 2016-03-10 | 2017-09-12 | Siemens Healthcare Gmbh | Content-based medical image rendering based on machine learning |
-
2018
- 2018-11-06 CN CN201811316368.3A patent/CN109273084B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105246415A (zh) * | 2013-12-05 | 2016-01-13 | 奥林巴斯株式会社 | 超声波观测装置、超声波观测装置的动作方法以及超声波观测装置的动作程序 |
| CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN107582097A (zh) * | 2017-07-18 | 2018-01-16 | 中山大学附属第医院 | 一种基于多模态超声组学的智能辅助决策系统 |
| CN108182441A (zh) * | 2017-12-29 | 2018-06-19 | 华中科技大学 | 平行多通道卷积神经网络、构建方法及图像特征提取方法 |
| CN108229066A (zh) * | 2018-02-07 | 2018-06-29 | 北京航空航天大学 | 一种基于多模态超连接脑网络建模的帕金森自动识别方法 |
| CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
| CN108670297A (zh) * | 2018-04-19 | 2018-10-19 | 上海大学 | 基于多模态经颅超声的帕金森病辅助诊断系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于深度学习的肺结节的检测和诊断";赵雷;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20180815;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109273084A (zh) | 2019-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109273084B (zh) | 基于多模态超声组学特征建模的方法及系统 | |
| CN105957063B (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
| CN108615236A (zh) | 一种图像处理方法及电子设备 | |
| CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN110175998A (zh) | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 | |
| AU2019430369B2 (en) | VRDS 4D medical image-based vein Ai endoscopic analysis method and product | |
| CN110648309B (zh) | 基于条件生成对抗网络合成红细胞图像的方法及相关设备 | |
| CN114298971A (zh) | 一种冠状动脉分割方法、系统、终端以及存储介质 | |
| CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| Jian et al. | Dual-branch-UNnet: A dual-branch convolutional neural network for medical image segmentation | |
| CN110827963A (zh) | 针对病理图像的语义分割方法和电子设备 | |
| CN117876690A (zh) | 一种基于异构UNet的超声影像多组织分割方法和系统 | |
| CN111862259A (zh) | 医学灌注图像处理方法和医学成像设备 | |
| CN109034256B (zh) | 一种ltp与hog特征融合的乳腺肿瘤检测系统与方法 | |
| CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
| Samanta et al. | Context aggregation network for semantic labeling in histopathology images | |
| AU2019430258B2 (en) | VRDS 4D medical image-based tumor and blood vessel ai processing method and product | |
| Mani | Deep learning models for semantic multi-modal medical image segmentation | |
| EP3928706A1 (en) | Ai identification method of embolism based on vrds 4d medical image, and product | |
| EP3929935A1 (en) | Vrds 4d medical image-based ai processing method and product for tumors | |
| CN116485638A (zh) | 基于深度卷积网络的图像风格迁移方法、装置及设备 | |
| Wu et al. | Retinal vascular segmentation network with connectivity guidance | |
| AU2019430854B2 (en) | VRDS 4D medical image-based artery and vein Ai processing method and product | |
| RU184014U1 (ru) | Вычислительное устройство для формирования трехмерной модели внутренних органов по данным магнитно-резонансного и компьютерного томографа | |
| WO2021081772A1 (zh) | 基于vrds ai脑部影像的分析方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |