CN111178369B - 一种医学影像的识别方法及系统、电子设备、存储介质 - Google Patents
一种医学影像的识别方法及系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN111178369B CN111178369B CN201911268426.4A CN201911268426A CN111178369B CN 111178369 B CN111178369 B CN 111178369B CN 201911268426 A CN201911268426 A CN 201911268426A CN 111178369 B CN111178369 B CN 111178369B
- Authority
- CN
- China
- Prior art keywords
- feature
- medical image
- feature set
- identified
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003860 storage Methods 0.000 title claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 230000004044 response Effects 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 18
- 238000001514 detection method Methods 0.000 description 9
- 238000002604 ultrasonography Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 4
- 150000002632 lipids Chemical class 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000003445 biliary tract Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003928 nasal cavity Anatomy 0.000 description 2
- 210000004083 nasolacrimal duct Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001991 pathophysiological effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000003708 urethra Anatomy 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 206010046996 Varicose vein Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种医学影像的识别方法，该方法包括如下步骤：获取数据、特征提取、形成识别特征集以及分类回归。本发明还涉及一种医学影像的识别系统、电子设备以及存储介质。该方法通过两次特征提取，计算两次特征提取的结果的特征响应，并从其中抽取出识别特征集，最后利用分类回归的方法，生成待识别医学影像的识别结果。两个特征提取分别是利用尺度空间结合卷积神经网络获取第一特征集，以及采用空间转换即将RGB空间转换成HSV空间并进行卷积运算获得第二特征集；其中，尺度空间算子对图像的分析不受图像的灰度水平和对比度变化影响，能很好地克服医学影像可能出现的灰度不均等情况。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种医学影像的识别方法。
背景技术
人体管腔结构包括食道、胆道、尿道、肠道、血管、气管、鼻腔、鼻泪管、骨髓腔等人体组织器官。针对人体管腔病变进行的特异性筛查可分为体外检测与体内检测两种，其中体外检测仅需将探测仪器及装置部署于体表外以获取感兴趣区域的病理生理信息；体内检测如胃镜、血管内超声等技术将检测装置送入人体内部管腔结构中，以获取管腔结构的形态学及功能学信息，并进一步地评估管腔周围组织器官特性。由于管腔具有狭长的结构特性，检测装置的运动轨迹通常遵循管腔轴向中心线，以捕捉径向截面上的空间信息。该类影像中通常包含了管腔径向结构与外周组织信息，为了更好地获取感兴趣区域的病理生理信息，需要对影像进行识别处理，区分管腔结构与外周组织，去除背景信息，提取病灶特征信息。
随着人工智能的发展，人工智能中的深度学习在医疗领域上的应用也越来越广泛，但是在医学影像处理的应用过程中其准确性还有待提高。
发明内容
为了克服现有技术的不足，本发明提供一种医学影像的识别方法。
本发明通过对待识别医学影像的多次特征提取，对多次特征提取的结果进行计算，抽取出识别特征集，提高医学影像的准确性。
本发明提供一种医学影像的识别方法，包括如下步骤：
获取数据，获取待识别医学影像，所述医学影像包括人体管腔图像或视频；
特征提取，分别对所述待识别医学影像进行多次特征提取；
形成识别特征集，将每次所述特征提取的结果放入特征集，得多若干所述特征集；计算若干所述特征集之间的特征响应，将响应强度在设定阈值范围内的特征从所述特征集中抽取出来并形成识别特征集；
分类回归，将所述识别特征集进行分类回归处理，生成所述待识别医学影像的识别结果。
优选地，在步骤特征提取中，所述多次特征提取包括第一次特征提取与第二次特征提取，所述第一次特征提取与第二次特征提取的结果分别放入第一特征集与第二特征集，计算所述第一特征集与第二特征集之间的特征响应，从所述第一特征集与第二特征集中抽取所述识别特征集。
优选地，在步骤特征提取还包括：
数据标准化，将所述待识别医学影像按设定尺寸裁切，当所述待识别医学影像的尺寸小于所述设定尺寸，则对所述待识别医学影像的外围进行补0；当所述待识别医学影像的尺寸大于所述设定尺寸，则对所述待识别医学影像进行降采样的处理方法，以使得所述待识别医学影像的尺寸保持一致。
优选地，所述第一次特征提取还包括：
对经过所述数据标准化的待识别医学影像采用不同尺度因子的二维高斯卷积核进行卷积运算，得到多尺度图像序列；
利用训练后的卷积神经网络对所述多尺度图像序列进行识别，得到所述第一特征集。
优选地，利用训练后的卷积神经网络对所述多尺度图像序列进行识别之前，还包括：
样本制作，对采集的医学影像进行标注，得到医学影像样本；
神经网络训练，利用卷积神经网络对所述医学影像样本进行训练，并通过梯度下降法更新卷积神经网络的权重，得到所述训练后的卷积神经网络。
优选地，所述第二次特征提取还包括：
空间转换，将经过所述数据标准化的待识别医学影像从RGB空间转换成HSV空间，得到HSV医学影像；
第一次卷积运算，将所述HSV医学影像与方向偏导数进行第一次卷积运算；
第二次卷积运算，将所述第一次卷积运算的结果与二维伽马函数进行第二次卷积运算；
获得第二特征集，采用支持向量机对所述第二次卷积运算的结果进行合并，得到所述第二特征集。
一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行一种医学影像的识别方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行一种医学影像的识别方法。
一种医学影像的识别系统，包括获取数据模块、特征提取模块、形成识别特征集模块以及分类回归模块；其中，
所述获取数据模块用于获取待识别医学影像；
所述特征提取模块用于分别对所述待识别医学影像进行多次特征提取；
所述形成识别特征集模块用于将每次所述特征提取的结果放入特征集，得多若干所述特征集；计算若干所述特征集之间的特征响应，将响应强度在设定阈值范围内的特征从所述特征集中抽取出来并形成识别特征集；
所述分类回归模块用于将所述识别特征集进行分类回归处理，生成所述待识别医学影像的识别结果。
优选地，所述特征提取模块还包括数据标准化单元，
所述数据标准化单元用于将所述待识别医学影像按设定尺寸裁切，当所述待识别医学影像的尺寸小于所述设定尺寸，则对所述待识别医学影像的外围进行补0；当所述待识别医学影像的尺寸大于所述设定尺寸，则对所述待识别医学影像进行降采样的处理方法，以使得所述待识别医学影像的尺寸保持一致。
相比现有技术，本发明的有益效果在于：
本发明公开了一种医学影像的识别方法，该方法通过两次特征提取，计算两次特征提取的结果的特征响应，并从其中抽取出识别特征集，最后利用分类回归的方法，生成待识别医学影像的识别结果。两个特征提取分别是利用尺度空间结合卷积神经网络获取第一特征集，以及采用空间转换即将RGB空间转换成HSV空间并进行卷积运算获得第二特征集；其中，尺度空间算子对图像的分析不受图像的灰度水平和对比度变化影响，能很好地克服医学影像可能出现的灰度不均等情况；另外，尺度空间算子与图像的位置、大小、角度等无关，满足平移不变性和欧几里得不变性。
在HSV空间下，将方向导数与卷积核函数相结合，能更好的通过算法处理图像中明暗不均导致的边界模糊问题。
该方法全自动识别，无需人为介入，降低操作难度，适用于辅助诊断及自主筛查。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的一种医学影像的识别方法的整体流程图；
图2为本发明的一种医学影像的识别方法的逻辑示意图；
图3为本发明的一种医学影像的识别方法中获取第一特征集中应用的卷积神经网络结构图；
图4为本发明的一种医学影像的识别方法中训练卷积神经网络结构图；
图5为本发明的一种医学影像的识别方法中的三维重建后的示意图；
图6为本发明的一种医学影像的识别系统的模块图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
医学影像是指为了医疗或医学研究，通过医疗设备对生命体或生命体某部分的内部组织进行影像采集，所得到的影像。比如人体的大脑、心脏、脾、肾等内部组织，生命体即指有生命的个体，比如狗、猫等。在下面的实施例中主要以超声管腔影像为对象进行解释说明，由于超声具有即时性强、成本低、无放射性损害优点，超声扫查被广泛应用于血管检测中，当然还可以运用于食道、胆道、尿道、肠道、血管、气管、鼻腔、鼻泪管、骨髓腔等人体管腔结构。
另外，本发明采用了深度学习方法作为算法组成之一，深度学习是机器学习领域中的一个新的研究方向，是通过学习样本数据的内在规律和表现层次来建立一套基于统计学的信息处理体系，从而按照训练得到的处理规则对输入的数据进行分析判断。
卷积神经网络(CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习领域的代表方向之一。卷积神经网络凭借隐含层内的卷积核参数一致原则与层间神经元连接的稀疏性极大地减小了计算量，从而实现图片或视频的实时语义分割。
本发明提供一种医学影像的识别方法，如图1、2所示，包括如下步骤：
S1、获取数据，获取待识别医学影像，所述医学影像包括人体管腔图像或视频。在一个实施例中，待识别医学影像为人体管腔超声图像及视频，包括B模式图像与介入式管腔内超声图像。B模式图像是指用亮度调制方式来显示回波强弱的方式，也成为“断层图像”，即二维灰阶图像。超声图像为与管腔走向中心线垂直的径向截面的影像；若待识别医学影像为视频，则按照视频的帧率提取出每一帧影像依次作为输入。对待识别医学影像的超声图像的大小以及视频的帧率没有限制。
一般地，根据超声信号下血管斑块的形态和回声特点，超声可将血管斑块分为：低回声的脂质性斑块；中等回声的纤维斑块；强回声伴声影的钙化性硬斑以及回声强弱不均的溃疡性混合型斑块。
S2、特征提取，分别对所述待识别医学影像进行多次特征提取。在一个实施例中，对同一份待识别医学影像进行多次特征提取，将每一次特征提取的结果分别放入各自的特征集，然后计算获得的若干特征集的特征响应。
在进行特征提取之前需要对待识别医学影像进行数据标准化，将所述待识别医学影像按设定尺寸裁切，当所述待识别医学影像的尺寸小于所述设定尺寸，则对所述待识别医学影像的外围进行补0；当所述待识别医学影像的尺寸大于所述设定尺寸，则对所述待识别医学影像进行降采样的处理方法，以使得所述待识别医学影像中的影像的尺寸保持一致。
具体地，所述多次特征提取包括第一次特征提取与第二次特征提取，所述第一次特征提取与第二次特征提取的结果分别放入第一特征集与第二特征集，计算所述第一特征集与第二特征集之间的特征响应，从所述第一特征集与第二特征集中抽取所述识别特征集。
对于第一特征集的获取包括如下步骤:
获得多尺度图像序列，对经过所述数据标准化的待识别医学影像采用不同尺度因子的二维高斯卷积核进行卷积运算，得到多尺度图像序列。尺度空间的基本思想是：在处理图像的时候加入一个新的参数即尺度，通过连续变化的尺度参数获得不同尺度下的视觉处理信息，然后综合不同尺度下的信息挖掘图像的本质特征。尺度空间是模拟多观察尺度下图像不同特征的过程，是一个用来控制观察尺度或表征图像多尺度下本质特征的框架。在尺度空间下，对图像进行尺度变换，通过连续调整尺度参数，来得到图像在不同尺度下的序列。不同尺度下的图像将强调不同的特征信息，从而在尺度空间内完成边缘、角点检测和不同分辨率上的特征提取等。
与单纯地减小图像尺寸的降采样等多分辨率处理方式相比，尺度变换采用高斯卷积和进行平滑处理，这使得多尺度上都保持了不变的空间取样，保留了原始的特征信息。但对同一特征而言，它在粗糙尺度上将对应更多的像素点，使得该特征在某一尺度下将被放大，更易提取。在本专利中，原始图像将进行尺度空间变换，从而在不同尺度下更精准有效地提取血管壁轮廓、斑块轮廓等不同特征。
此外，尺度空间算子对图像的分析不受图像的灰度水平和对比度变化影响，能很好地克服超声灰度图像可能出现的灰度不均等情况；另一方面，尺度空间算子与图像的位置、大小、角度等无关，满足平移不变性和欧几里得不变性。
在尺度空间中，通过不同尺度观测图像的过程可类比为相机由远及近变焦的过程，尺度的选择等同于焦距，尺度的不同决定了观测到的信息的不同。比如用一个固定尺度的滤波器检测斑点，只有滤波器尺度与图中斑点结构尺度相近时才会有明显的响应。相比之下，忽略了尺度空间的固定尺度滤波具有较大局限性，即仅提取该尺度的信息，而遗漏其他尺度的特征信息。本专利采用二维高斯核函数进行多尺度空间平滑滤波，公式如下：
尺度参数σ决定了图像的平滑化程度。通过建立不同尺度参数的差分高斯函数，可以获得不同尺度空间的局部极值。
使用二维高斯卷积核对图像进行卷积处理，通过改变尺度因子σ的取值，按顺序生成金字塔状的尺度空间图像序列。序列中的每一个尺度因子对应其中一张图像，且不同差分图像所凸显的特征信息不同。比如血管轮廓、血管斑块轮廓等特征相对于噪声而言更为稳定，此类特征信息在不同尺度下均存在，因此尺度变换可以抑制干扰，放大有效信息。同时，不同生理病理组织所呈现的超声性质也存在差异，比如：钙化斑块、脂质斑块等，从而将不同特征信息分离以送入卷积神经网络训练。
获得第一特征集，利用训练后的卷积神经网络对所述多尺度图像序列进行识别，得到所述第一特征集。将步骤S211中获得的多尺度图像序列逐张送入训练后的卷积神经网络进行识别，得到第一特征集，如图3所示。
需要说明的是，在步骤S212中所涉及的卷积神经网络只包含卷积层、激活层、池化层在内的特征提取部分；对于不同尺度的图像，在网络中应配以不同数量的卷积层与激活层；尺度因子越大则匹配的卷积层与激活层越多，反之越少。
利用训练后的卷积神经网络对所述多尺度图像序列进行识别之前，还包括神经网络训练，包括如下步骤：
样本制作，对采集的医学影像进行标注，得到医学影像样本；对步骤S1中获取的数据的部分进行标注，一般通过人工进行标注，所标注的信息与最终想要获得的识别影像相对应，标注的内容包括但不限于：管腔内壁、管腔内异常病灶区域(如：血管粥样硬化斑块、静脉曲张等)、病灶性质(如：斑块脂质、钙化、纤维化定性等)、管腔外壁等相关参数。
根据超声图像的特点对标注好的超声影像进行数据增强，从而提高神经网络的鲁棒性。数据增强操作包括但不限于：添加噪声、剪裁、翻转、灰度变换等，得到医学影像样本。
神经网络训练，如图4所示，利用卷积神经网络对所述医学影像样本进行训练，并通过梯度下降法更新卷积神经网络的权重，得到所述训练后的卷积神经网络。将标注好并通过数据增强后的医学影像作为医学影像样本送入卷积神经网络进行训练。首选需要对神经网络进行预训练，预训练的方式采用自上而下的监督学习，将原始数据进行标注，标注后的结果相当于神经网络理想化的输出结果，该方式下的初值更接近全局最优解，能大幅简化训练过程，得到更好的效果。
在训练过程中，通过梯度下降法不断更新卷积神经网络中各个神经元的权重。本实施例中的卷积神经网络包括数个卷积层，数个激活层以及对应的数个池化层与全连接层。根据输入数据的不同，神经网络的层数、匹配相应调整，但都应该满足以下过程即数据输入、送入卷积层进行卷积运算、激活层激活、池化层提取关键特征并缩减数据量、提取出的特征送入区域映射层来找到特征在原始图像中对应的空间坐标、分类回归、最终得到识别结果。
对于第二特征集的获取包括如下步骤:
空间转换，将经过所述数据标准化的待识别医学影像从RGB空间转换成HSV空间，得到HSV医学影像；正常的图像有三个颜色通道即R(红色)、G(绿色)、B(蓝色)组成，在RGB颜色空间中，以红绿蓝三种基本色为基础，组合成各种颜色。而在HSV空间中，H代表色调，S代表饱和度，V代表明度。一张图像可以在RGB空间与HSV空间来回转换。由于超声管腔影像质量会受到超声设备、检查人的操作、被试者的身体状况等各种客观因素的影响，可能会出现伪影、对比度不均等情况。在HSV空间下，能更好的通过算法处理图像中明暗不均导致的边界模糊问题。
第一次卷积运算，将所述HSV医学影像与方向偏导数进行第一次卷积运算。将步骤S231中HSV空间下的医学影像与方向偏导数进行卷积运算。具体地，对单帧图像而言，在每个像素处，存在x，y方向的方向导数，对应的二阶偏导有：
那么将二阶偏微分与高斯函数相结合，即可得到平滑后的图像在x，y两个方向上的特性矩阵：
其中，
其中g(x，y)为二维输入图像，m与n代表卷积邻域的窗口大小。此处T为实正定矩阵，我们求得T的两个特征值如下：
这两个特征值表现了图像在两个特征向量所指方向上变化的各向异性。不同的β取值将强化不同的特征，如钙化斑块、血管内膜轮廓，同时由于高斯函数的存在，可以抑制无规则噪声，减小干扰。
第二次卷积运算，将所述第一次卷积运算的结果与二维伽马函数进行第二次卷积运算。将步骤S232中卷积的结果与二维伽马函数进行第二次卷积运算。
上述公式为二维伽马函数，其中F(x，y)是输入的原图像，p为HSV空间中V通道内的均值。二维伽马函数的目的是抑制伪影噪声，进一步凸显病灶轮廓边缘等有效特征。
获得第二特征集，采用支持向量机对所述第二次卷积运算的结果进行合并，得到所述第二特征集。将步骤S233中的卷积结果送入一个支持向量机(SVM)，分割成许多子区域并计算相邻子区域的相似度，子区域与其相邻子区域相似度最高的进行合并形成新区域，将新区域与其相邻的子区域相似度最高的进行合并形成一个更大的新区域，重复上述操作指导满足收敛条件；其中相似度包括影像的颜色、纹理、尺寸等；最终获得第二特征集。
S3、形成识别特征集，将每次所述特征提取的结果放入特征集，得多若干所述特征集；计算若干所述特征集之间的特征响应，将响应强度在设定阈值范围内的特征从所述特征集中抽取出来并形成识别特征集。在一个实施例中，将步骤S234中获得的第二特征集作为特征响应参考指标，与步骤S212中获得的第一特征集进行比较匹配。例如：首先找到第一特征集与第二特征集输出间相同的特征集合，比如第一特征集中共有a组特征信息被识别为钙化斑块，第二特征集中共有b组特征信息被识别为钙化斑块，进而计算第一特征集与第二特征集中两组间的特征响应，满足相似度匹配阈值且响应最强的特征对被抽取出来。遍历完第一特征集与第二特征集中，得到识别特征集。
S4、分类回归，将所述识别特征集进行分类回归处理，生成所述待识别医学影像的识别结果。在一个实施例中，首先，将步骤S3中得到的识别特征集映射到待识别医学影像中，从而得到待识别医学影像内该特征的实际位置。分类回归层包含全连接网络，对得到的识别特征集进行分类标记，并且在得到待识别医学影像内该特征的实际位置的基础上再一次回归优化。本步骤得到标记有管腔内壁、管腔外壁、是否存在异常病灶、病灶数量、病灶性质等信息。
最后，如图5所示，将获取到的管腔及相关信息进行三维重建，在有病灶的位置标注病灶直径、性质等病理信息。将带有病理信息的三维模型返回分析算法，并录入数据库进行统计，与该被检查者的过往检查结果进行比对，来判断患者病情的发展情况。
本发明还提供了一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行一种医学影像的识别方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行一种医学影像的识别方法。
本发明还提供一种医学影像的识别系统，如图6所示，包括获取数据模块、特征提取模块、形成识别特征集模块以及分类回归模块；其中，
所述获取数据模块用于获取待识别医学影像；
所述特征提取模块用于分别对所述待识别医学影像进行多次特征提取；
所述形成识别特征集模块用于将每次所述特征提取的结果放入特征集，得多若干所述特征集；计算若干所述特征集之间的特征响应，将响应强度在设定阈值范围内的特征从所述特征集中抽取出来并形成识别特征集；
所述分类回归模块用于将所述识别特征集进行分类回归处理，生成所述待识别医学影像的识别结果。
优选地，所述特征提取模块还包括数据标准化单元，
所述数据标准化单元用于将所述待识别医学影像按设定尺寸裁切，当所述待识别医学影像的尺寸小于所述设定尺寸，则对所述待识别医学影像的外围进行补0；当所述待识别医学影像的尺寸大于所述设定尺寸，则对所述待识别医学影像进行降采样的处理方法，以使得所述待识别医学影像的尺寸保持一致。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
Claims (7)
1.一种医学影像的识别方法，其特征在于，包括如下步骤：
获取数据，获取待识别医学影像，所述医学影像包括人体管腔图像或视频；
特征提取，分别对所述待识别医学影像进行多次特征提取；
形成识别特征集，将每次所述特征提取的结果放入特征集，得到若干所述特征集；计算若干所述特征集之间的特征响应，将响应强度在设定阈值范围内的特征从所述特征集中抽取出来并形成识别特征集；其中，所述多次特征提取包括第一次特征提取与第二次特征提取，所述第一次特征提取与第二次特征提取的结果分别放入第一特征集与第二特征集，计算所述第一特征集与第二特征集之间的特征响应，从所述第一特征集与第二特征集中抽取所述识别特征集，具体包括：
从第一特征集中提取出第一子集，第二特征集中提取出第二子集，其中第一子集和第二子集为输出结果相同的特征集合；
计算第一子集和第二子集间每一特征对的特征相似度，将满足相似度匹配阈值的特征对抽取出来；
遍历完第一特征集与第二特征集，形成识别特征集；
所述第一次特征提取还包括：
获得多尺度图像序列，对经过数据标准化的待识别医学影像采用不同尺度因子的二维高斯卷积核进行卷积运算，得到多尺度图像序列；
获得第一特征集，利用训练后的卷积神经网络对所述多尺度图像序列进行识别，得到所述第一特征集；
所述第二次特征提取还包括：
空间转换，将经过所述数据标准化的待识别医学影像从RGB空间转换成HSV空间，得到HSV医学影像；
第一次卷积运算，将所述HSV医学影像与方向偏导数进行第一次卷积运算；
第二次卷积运算，将所述第一次卷积运算的结果与二维伽马函数进行第二次卷积运算；
获得第二特征集，采用支持向量机对所述第二次卷积运算的结果进行合并，得到所述第二特征集；
分类回归，将所述识别特征集进行分类回归处理，生成所述待识别医学影像的识别结果。
2.如权利要求1所述的一种医学影像的识别方法，其特征在于，在步骤特征提取还包括：
数据标准化，将所述待识别医学影像按设定尺寸裁切，当所述待识别医学影像的尺寸小于所述设定尺寸，则对所述待识别医学影像的外围进行补0；当所述待识别医学影像的尺寸大于所述设定尺寸，则对所述待识别医学影像进行降采样的处理方法，以使得所述待识别医学影像中的影像尺寸保持一致。
3.如权利要求1所述的一种医学影像的识别方法，其特征在于，利用训练后的卷积神经网络对所述多尺度图像序列进行识别之前，还包括：
样本制作，对采集的医学影像进行标注，得到医学影像样本；
神经网络训练，利用卷积神经网络对所述医学影像样本进行训练，并通过梯度下降法更新卷积神经网络的权重，得到所述训练后的卷积神经网络。
4.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储一个或多个程序；当所述一个或多个程序被所述处理器执行时，实现如权利要求1-3中任一项所述的方法。
5.一种计算机可读存储介质，其特征在于：其上存储有程序指令，所述程序指令被执行时实现权利要求1-3中任一项所述的方法。
6.一种医学影像的识别系统，其特征在于，包括获取数据模块、特征提取模块、形成识别特征集模块以及分类回归模块；其中，
所述获取数据模块用于获取待识别医学影像；
所述特征提取模块用于分别对所述待识别医学影像进行多次特征提取；
所述形成识别特征集模块用于将每次所述特征提取的结果放入特征集，得到若干所述特征集；计算若干所述特征集之间的特征响应，将响应强度在设定阈值范围内的特征从所述特征集中抽取出来并形成识别特征集；其中，所述多次特征提取包括第一次特征提取与第二次特征提取，所述第一次特征提取与第二次特征提取的结果分别放入第一特征集与第二特征集，计算所述第一特征集与第二特征集之间的特征响应，从所述第一特征集与第二特征集中抽取所述识别特征集，具体包括：
从第一特征集中提取出第一子集，第二特征集中提取出第二子集，其中第一子集和第二子集为输出结果相同的特征集合；
计算第一子集和第二子集间每一特征对的特征相似度，将满足相似度匹配阈值的特征对抽取出来；
遍历完第一特征集与第二特征集，形成识别特征集；
所述第一次特征提取还包括：
获得多尺度图像序列，对经过数据标准化的待识别医学影像采用不同尺度因子的二维高斯卷积核进行卷积运算，得到多尺度图像序列；
获得第一特征集，利用训练后的卷积神经网络对所述多尺度图像序列进行识别，得到所述第一特征集；
所述第二次特征提取还包括：
空间转换，将经过所述数据标准化的待识别医学影像从RGB空间转换成HSV空间，得到HSV医学影像；
第一次卷积运算，将所述HSV医学影像与方向偏导数进行第一次卷积运算；
第二次卷积运算，将所述第一次卷积运算的结果与二维伽马函数进行第二次卷积运算；
获得第二特征集，采用支持向量机对所述第二次卷积运算的结果进行合并，得到所述第二特征集；
所述分类回归模块用于将所述识别特征集进行分类回归处理，生成所述待识别医学影像的识别结果。
7.如权利要求6所述的一种医学影像的识别系统，其特征在于，所述特征提取模块还包括数据标准化单元，
所述数据标准化单元用于将所述待识别医学影像按设定尺寸裁切，当所述待识别医学影像的尺寸小于所述设定尺寸，则对所述待识别医学影像的外围进行补0；当所述待识别医学影像的尺寸大于所述设定尺寸，则对所述待识别医学影像进行降采样的处理方法，以使得所述待识别医学影像的尺寸保持一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911268426.4A CN111178369B (zh) | 2019-12-11 | 2019-12-11 | 一种医学影像的识别方法及系统、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911268426.4A CN111178369B (zh) | 2019-12-11 | 2019-12-11 | 一种医学影像的识别方法及系统、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111178369A CN111178369A (zh) | 2020-05-19 |
| CN111178369B true CN111178369B (zh) | 2023-12-19 |
Family
ID=70653848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911268426.4A Active CN111178369B (zh) | 2019-12-11 | 2019-12-11 | 一种医学影像的识别方法及系统、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178369B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036382A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于地形点分类的指静脉特征提取及识别方法和装置 |
| CN112700535B (zh) * | 2020-12-30 | 2022-08-26 | 华东师范大学 | 一种面向智能医疗辅助诊断的超声影像三维重建方法 |
| CN112862781A (zh) * | 2021-02-05 | 2021-05-28 | 上海市第六人民医院 | 一种cta斑块成分自动分析方法 |
| CN113160199B (zh) * | 2021-04-29 | 2022-06-17 | 武汉联影医疗科技有限公司 | 影像识别方法、装置、计算机设备和存储介质 |
| CN113303827A (zh) * | 2021-06-07 | 2021-08-27 | 昆明同心医联科技有限公司 | 基于深度学习的颈动脉狭窄检测方法、装置及存储介质 |
| WO2023225808A1 (en) * | 2022-05-23 | 2023-11-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Learned image compress ion and decompression using long and short attention module |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017157138A (ja) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
| CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN108364006A (zh) * | 2018-01-17 | 2018-08-03 | 超凡影像科技股份有限公司 | 基于多模式深度学习的医学图像分类装置及其构建方法 |
| CN108629233A (zh) * | 2017-03-20 | 2018-10-09 | 华为技术有限公司 | 一种行人检索方法及装置 |
| WO2019024568A1 (zh) * | 2017-08-02 | 2019-02-07 | 上海市第六人民医院 | 眼底图像处理方法、装置、计算机设备和存储介质 |
| CN109584209A (zh) * | 2018-10-29 | 2019-04-05 | 深圳先进技术研究院 | 血管壁斑块识别设备、系统、方法及存储介质 |
| CN110543831A (zh) * | 2019-08-13 | 2019-12-06 | 同济大学 | 一种基于卷积神经网络的脑纹识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8543519B2 (en) * | 2000-08-07 | 2013-09-24 | Health Discovery Corporation | System and method for remote melanoma screening |
| US9430829B2 (en) * | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
| US9972158B2 (en) * | 2016-10-01 | 2018-05-15 | Cantaloupe Systems, Inc. | Method and device of automatically determining a planogram in vending |
-
2019
- 2019-12-11 CN CN201911268426.4A patent/CN111178369B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017157138A (ja) * | 2016-03-04 | 2017-09-07 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
| CN108629233A (zh) * | 2017-03-20 | 2018-10-09 | 华为技术有限公司 | 一种行人检索方法及装置 |
| WO2019024568A1 (zh) * | 2017-08-02 | 2019-02-07 | 上海市第六人民医院 | 眼底图像处理方法、装置、计算机设备和存储介质 |
| CN107680088A (zh) * | 2017-09-30 | 2018-02-09 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| CN108364006A (zh) * | 2018-01-17 | 2018-08-03 | 超凡影像科技股份有限公司 | 基于多模式深度学习的医学图像分类装置及其构建方法 |
| CN109584209A (zh) * | 2018-10-29 | 2019-04-05 | 深圳先进技术研究院 | 血管壁斑块识别设备、系统、方法及存储介质 |
| CN110543831A (zh) * | 2019-08-13 | 2019-12-06 | 同济大学 | 一种基于卷积神经网络的脑纹识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| Ting Yang 等.Combining Multiple Feature for texture image classification.IEEE.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111178369A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178369B (zh) | 一种医学影像的识别方法及系统、电子设备、存储介质 | |
| US11633169B2 (en) | Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same | |
| EP3046478B1 (en) | Image analysis techniques for diagnosing diseases | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
| CN113826143A (zh) | 特征点检测 | |
| CN111667447A (zh) | 血管内图像融合方法、系统及图像采集装置 | |
| CN108765427A (zh) | 一种前列腺图像分割方法 | |
| CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| CN115393239A (zh) | 一种多模态眼底图像配准和融合方法及系统 | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| Hao et al. | Magnetic resonance image segmentation based on multi-scale convolutional neural network | |
| CN111986216B (zh) | 一种基于神经网络改进的rsg肝脏ct图像交互式分割算法 | |
| US20230180999A1 (en) | Learning apparatus, learning method, program, trained model, and endoscope system | |
| CN116777962A (zh) | 基于人工智能的二维医学图像配准方法及系统 | |
| Morano et al. | Deep multimodal fusion of data with heterogeneous dimensionality via projective networks | |
| Jimenez-Martin et al. | Specular reflections removal in colposcopic images based on neural networks: Supervised training with no ground truth previous knowledge | |
| Hatture et al. | Clinical diagnostic systems based on machine learning and deep learning | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 | |
| CN114757894A (zh) | 一种骨肿瘤病灶分析系统 | |
| Salehi et al. | Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab | |
| Shaziya et al. | Comprehensive review of automatic lung segmentation techniques on pulmonary CT images | |
| Nunes et al. | Adaptive level set with region analysis via mask R-CNN: A comparison against classical methods | |
| US12124960B2 (en) | Learning apparatus and learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |