CN111178449B - 结合计算机视觉特征和影像组学特征的肝癌图像分类方法 - Google Patents

结合计算机视觉特征和影像组学特征的肝癌图像分类方法 Download PDF

Info

Publication number
CN111178449B
CN111178449B CN201911423879.XA CN201911423879A CN111178449B CN 111178449 B CN111178449 B CN 111178449B CN 201911423879 A CN201911423879 A CN 201911423879A CN 111178449 B CN111178449 B CN 111178449B
Authority
CN
China
Prior art keywords
image
features
feature
liver cancer
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911423879.XA
Other languages
English (en)
Other versions
CN111178449A (zh
Inventor
丁勇
阮世健
邵嘉源
戴悦
阮翊婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911423879.XA priority Critical patent/CN111178449B/zh
Publication of CN111178449A publication Critical patent/CN111178449A/zh
Priority to US17/139,910 priority patent/US11721016B2/en
Application granted granted Critical
Publication of CN111178449B publication Critical patent/CN111178449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法和装置。包括如下步骤：1)采集符合标准的病人临床图像，并对收集的图像进行预处理；2)在分割出的肝脏肿瘤区域影像进行计算机视觉特征的提取；3)在分割出的肝脏肿瘤区域影像进行影像组学手工特征的提取；4)结合计算机视觉特征和影像组学特征,先经单变量过滤式筛选，再由LASSO回归筛选；5)利用筛选出的特征与临床特征一起由多元逻辑回归模型建模，利用赤池信息准则向后搜索选择适应最佳模型的临床特征，实现肝癌病理分级的预测。本发明考虑了更多维度和水平的图像信息，同时保持了影像组学非侵入、安全稳定的优点，有望成为有效的临床肝癌术前评估工具。

Description

结合计算机视觉特征和影像组学特征的肝癌图像分类方法
技术领域
本发明属于医学图像处理技术领域，尤其涉及一种结合了计算机视觉特征和影像组学特征的非侵入式术前肝癌病理分级方法。
背景技术
肝癌是世界上肿瘤发病和死亡的重要原因之一，中国更是占了世界新发肝癌病例的50％，危害人类生命健康的同时给家庭和社会造成沉重的经济负担。在对肝癌的治疗中，其分化程度是影响患者的手术预后和肝移植策略选择的重要因素。而病理分级则是一种表述肝癌分化程度的手段。传统上，肝癌的病理学分级可以通过组织活检获得，然而活检获得肿瘤标本进行肿瘤分级的准确性存在争议，并有肿瘤种植转移等风险。亟需一种非侵入式的虚拟的数字活检方法，影像组学有望成为解决手术前评价肝癌分化这一临床难题的有效工具。
影像组学(Radiomics)就是将包含有大量的肿瘤病理生理改变信息的数字化的医学图像被转换成可供开发的高维度数据，通过定量的方法对这些信息数据进行分析，实现对肿瘤诊断、疗效和预后等因素的评估，以提高临床的决策能力。已有相关研究显示，通过提取影像组学特征有助于实现肝癌的病理分级。然而影像组学特征多为手工特征，这些特征由浅层的数学公式计算，容易受到噪声和低阶图像特征的影响。为了克服这些限制并进一步解释肿瘤的内在异质性，本发明提出了一种利用计算机视觉特征的新策略。包括局部和全局特征在内的计算机视觉特征已在传统图像处理中得到了广泛应用。与手工特征相比，计算机视觉特征具有旋转不变性、对噪声不敏感等优点，有望更好地帮助临床实现肝癌病理分级。
发明内容
本发明提出了一种将计算机视觉特征和影像组学特征结合的术前肝癌病理分级方法。其目的是利用传统图像中的计算机视觉特征，结合影像组学中的手工特征，按照影像组学研究流程完成肝癌病理分级模型的设计，构建全新的预测模型，为肝癌的分化程度提供实用的评价方法，帮助推动肝癌患者的精准治疗。
本发明的具体实施步骤是：
步骤(1).获取已确诊肝癌病人的肝癌图像并对影像进行预处理；所述的预处理步骤为：对肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，并将灰度等级归一化，标注对应的病理分级结果作为标签；
步骤(2).对步骤(1)中分割出来的肝脏肿瘤区域影像进行计算机视觉特征的提取，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；
步骤(3).对步骤(1)中分割出来的肝脏肿瘤区域影像进行影像组学特征的提取，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；
步骤(4).将步骤(2)中提取的计算机视觉特征和步骤(3)中提取的影像组学特征拼接，对拼接后得到的融合特征集合X＝{X1,X2,…,Xi,…,Xn′}中的特征进行筛选，其中 n′表示集合中特征向量的数量，Xi表示融合特征集合中的第i个特征向量， Xi＝{xi1,xi2,…,xim′}，xim′表示Xi中的第m′个元素，m′表示Xi中的元素数量；所述筛选包括以下步骤：
步骤(4.1).首先通过过滤法排除只有单一值的特征、方差小于预设阈值的特征、与病理分级无关的特征、以及冗余特征；
特征与病理分级的关系强度通过互信息计算来衡量，将互信息值低于预设阈值的特征称为与病理分级无关的特征，所述互信息的计算公式为：
Figure GDA0003182654710000021
其中，Xi表示融合特征集合中的第i个特征向量，Y表示标签，p(x,y)是X和Y的联合概率密度函数，p(x)和p(y)分别是X和Y的边缘概率密度函数；
所述的冗余特征为相关系数大于0.9的特征，相关系数的计算公式为：
Figure GDA0003182654710000022
其中，ρ为相关系数的计算结果，xik表示融合特征集合中的第i个特征向量中的第k个元素，xjk表示融合特征集合中的第j个特征向量中的第k个元素，
Figure GDA0003182654710000023
和
Figure GDA0003182654710000024
分别表示融合特征集合中的第i和第j个特征向量中的所有元素的均值；
步骤(4.2).采用Lasso回归模型中的特征降维，将作用不大的特征参数训练为0，从而获得稀疏解；所述的Lasso回归的代价函数为：
Figure GDA0003182654710000031
其中，m为样本数，n为筛选后剩余的特征数，x(i)表示第i个样本的所有特征值，y(i)表示第i个样本的标签值，w是长度为n的参数向量，||w1||表示参数向量w的L1范数，b表示常系数，λ为用于控制回归复杂性的参数，以二项式偏差作为选择λ最佳值的准则，通过10折交叉验证方法进行迭代，将二项式偏差最小的λ值用于Lasso 回归模型；通过将LASSO选择的特征与它们各自的系数相乘后相加，得到预测分数；
步骤(5).获取肝脏肿瘤区域影像的临床特征，将全部临床特征逐一删除后与经过步骤(4)筛选得到的全部特征矩阵进行组合，采用多元logistic回归得到不同组合的肝癌病理学分级分类器；使用赤池信息准则AIC作为判断标准向后搜索最佳的组合方式，综合考虑二项式偏差的影响和选择过程中变量的数量，选择具有最低AIC评分的模型作为最终的肝癌病理学分级分类器，其输入的组合特征矩阵为最佳组合特征矩阵；所述AIC定义为：
AIC＝-2ln(L)+2K
其中L是在该模型下的最大似然，K是模型的变量个数；
步骤(6).获取待进行肝癌病理分级的肝癌图像并按照步骤(1)进行预处理，分割出肝脏肿瘤区域影像，从肝脏肿瘤区域影像中提取与步骤(5)所述最佳组合特征矩阵中特征类别相同的特征作为待分级特征矩阵，将待分级特征矩阵输入步骤(5)得到的肝癌病理学分级分类器中，输出肝癌病理分级结果。
进一步的，步骤(2)所述的计算机视觉特征包括：
A.LoG特征：将高斯拉普拉斯滤波器应用于输入图像，并为指定的每个sigma 值生成导出图像。高斯图像的拉普拉斯变换是通过将图像与高斯核的二阶导数(拉普拉斯算子)卷积而获得的。高斯核可用于平滑图像，定义为：
Figure GDA0003182654710000032
高斯核由拉普拉斯核
Figure GDA0003182654710000033
卷积得到，拉普拉斯核对强度快速变化的区域敏感，实现了边缘增强。高斯核中滤波器的带宽由σ决定，可用于强调更精细(低σ值) 或粗糙(高σ值)的纹理。对LoG滤波后的图像进行多精细度的强度及纹理特征提取得到LoG滤波特征。
B.LBP特征：原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于等于中心像素值，则该像素点的位置被标记为1，否则为0。这样3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。具体LBP的表达式如下：
Figure GDA0003182654710000041
其中，gc是图像的中心像素点的灰度值，gc是图像的相邻像素点的灰度值。sgn(x)是阶跃函数，当x≥0时，sgn(x)＝1；当x<0时，sgn(x)＝0。对得到的LBP图进行强度及纹理特征的提取得到LBP特征。
C.HOG特征：HOG是一种主要用于图像处理中目标识别的特征描述符算法，通过计算和统计图像局部区域的梯度方向直方图来合成特征。在执行HOG算法之前，图像被分割成较小的子区域(称为单元)，并且基于单元的像素计算梯度方向直方图。所有单元的直方图然后被组合以形成图像特征。计算HOG的主要步骤如下:
a.梯度的计算。使用一个一维的离散微分模板同时在水平和垂直两个方向上对图像进行处理。梯度值可以通过以下公式计算:
Figure GDA0003182654710000042
Figure GDA0003182654710000043
其中Ix和Iy是水平和垂直方向上的梯度值。
b.方向分级。此步骤是创建单元直方图。HOG单元可以是圆形的也可以是矩形的，直方图的通道同时具有符号(0-360度)和无符号(0-180度)两种。
c.块的构造和标准化。把各个单元组合成大的、空间上连通的区间。这样，HOG 描述符就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。生成的区间块有两种几何图形，即环形HOG和矩形HOG。对于块的标准化，应用L2范数并定义如下:
Figure GDA0003182654710000044
其中v是矢量，e是常数。
D.类haar特征
将原始图像转换成积分图像后，利用积分图像在不同尺度上快速计算感兴趣区域，在每个像素处定义矩形区域，计算不同类型的haar特征，每个类haar特征描述符包含两个相连的矩形：黑色块和白色块，类haar特征通过以下公式计算：
Figure GDA0003182654710000051
其中，B代表黑色矩形，黑色矩形像素值为B_P；W代表白色矩形，白色矩形像素值为W_P。
进一步的，步骤(3)所述的影像组学特征包括：
A.形态学特征，代表肿瘤形状的相关特征，各个形态特征的计算公式为：
网格表面：
Figure GDA0003182654710000052
其中Oiai和Oibi是网格中第i个三角形的边，由顶点ai、bi和原点O构成。
像素表面：
Figure GDA0003182654710000053
通过将感兴趣区域中的像素数乘以单个像素Ak的表面积来近似感兴趣区域Apixel的表面积。
周长：
Figure GDA0003182654710000054
其中ai和bi是外围网格中第i条线的顶点。首先计算网格圆周中每条线的周长Pi。然后通过取所有计算出的子区域的总和来获得总周长P。
周长与表面积之比：
Figure GDA0003182654710000055
圆球度：
Figure GDA0003182654710000056
球形不规则度：
Figure GDA0003182654710000057
主轴长度：
Figure GDA0003182654710000058
λmajor表示对感兴趣区域像素中心的物理坐标执行主成分分析后的最大主成分值；主轴长度特征产生包围感兴趣区域的椭球的最大轴长，并且使用最大主成分λmajor来计算；
短轴长度：
Figure GDA0003182654710000061
λminor表示对感兴趣区域像素中心的物理坐标执行主成分分析后的最二大主成分值；短轴长度特征产生包围感兴趣区域的椭球的第二大轴长度，并且使用最二大主成分λminor来计算；
延伸率：
Figure GDA0003182654710000062
延伸率显示了感兴趣区域形状中两个最大主成分之间的关系。
B.一阶特征(灰度统计特征)：灰度统计特征是基于强度直方图得到的特征，描述了肿瘤区内的像素强度的分布。用下式表示强度直方图的定义：
Figure GDA0003182654710000063
其中，i表示离散强度级别，Np表示肝脏肿瘤区域影像中总的像素数，Ng表示离散强度级别的种类数，ni表示肝脏肿瘤区域影像中具有离散强度级别i的像素个数， H(i)表示肝脏肿瘤区域影像中具有离散强度级别i的像素出现的频率；此外，令M 表示肝癌肿瘤区域所有像素的像素值集合，M(i)表示第i个像素的像素值；
所述的灰度统计特征包括：
能量：
Figure GDA0003182654710000064
其中c是可选的用于表示移动的像素强度，防止在M中出现负值；
总能量：
Figure GDA0003182654710000065
熵：
Figure GDA0003182654710000066
其中其中ε表示是一个任意小的正数；
四分位间距：Interquartile range＝n75-n25，其中n25和n75分别表示离散强度级别在第25和第75百分位的像素个数；
平均绝对偏差：
Figure GDA0003182654710000067
其中
Figure GDA0003182654710000068
表示像素值的均值；
稳健的平均绝对偏差：
Figure GDA0003182654710000069
其中M10-90(i)表示离散强度级别在第10和第90百分位之间第i个像素的像素值，
Figure GDA0003182654710000071
表示平均值， N10-90表示离散强度级别在第10和第90百分位之间的级别种类数；
稳健平均绝对偏差是在灰度级介于或等于第10和第90百分位的像素矩阵子集上计算的所有强度值与平均值的平均距离；
偏度：
Figure GDA0003182654710000072
峰度：
Figure GDA0003182654710000073
一致性：
Figure GDA0003182654710000074
此外还有常用的一阶统计特征包括最大值、最小值、均值、方差、标准差，这里均不再赘述。
C.二阶特征(纹理特征)：纹理特征分析由图像的灰度共生矩阵(GLCM)、灰度游程矩阵(GLRLM)、灰度区域大小矩阵(GLSZM)、局部灰度差分矩阵(NGTDM) 提取用于描述肿瘤内纹理分布的特征。
GLCM：计算在肿瘤区中相邻体素之间的灰度关系来表征图像的纹理。大小为 Ng×Ng的GLCM描述了受掩模约束的图像区域的二阶联合概率函数，定义为 P(i,j|δ,θ)。该矩阵的第(i,j)个元素表示图像中像素i级和j级沿角度θ相距δ像素的组合出现次数。中心像素的δ被定义为具有无穷范数的距离。
GLRLM：分析相同强度的像素在空间中的关系来表述图像的条状纹理。灰度级游程被定义为连续具有相同灰度级值的像素数量长度。在灰度级游程长度矩阵 P(i,j|θ)中，第(i,j)个元素描述了灰度级i和长度j沿角度θ出现在图像(ROI)中的游程数量。
GLSZM：灰度级大小区域量化图像中的灰度级区域。灰度区域被定义为共享相同灰度强度的连接像素的数量。根据无穷范数，如果距离为1(2D中的8连通区域，3D中的26连通区域)，则像素被认为是连通的。在灰度级区域矩阵P(i,j)中，第(i,j) 个元素等于图像中出现的具有灰度级i和尺寸j的区域的数量。与灰度共生矩阵和 GLRLM矩阵相反，是独立于旋转的，在感兴趣区域的所有方向上只计算一个矩阵。
NGTDM：描述基于某个体素及其邻域的纹理视觉特性。相邻灰度差异矩阵量化距离δ内相邻灰度值和平均灰度值之间的差异。灰度级i的绝对差值之和存储在矩阵中。让Xgl是一组分割的体素，xgl(jx,jy,jz)∈Xgl是一个体素在位置(jx,jy,jz)的灰度级，那么邻域的平均灰度级是:
Figure GDA0003182654710000081
其中(jx,jy,jz)≠(0,0,0)并且xgl(jx+kx,jy+ky,jz+kz)∈Xgl。W是领域的像素个数。
D.小波特征：采用非抽样二维(2D)小波变换对原始二维图像进行滤波。将二维图像看成一系列行向量构成，经过小波滤波以后原信号被分为高频信号和低频信号两部分，对这两部分信号进行下采样，保留行向量的小标为偶数的元素，这样高频部分得到相应的高频矩阵，低频信号获得新的低频矩阵。再分别针对新生成的矩阵的列向量进行小波滤波以及下采样，由此获得三个高频信号和一个低频信号。再对低频信号进行上述处理，反复Jdec次后最终获得Jdec×3个高频信号以及一个低频近似图像。使用的Daubechies小波的模平方表达式为：
|m0(ω)|2＝[cos2(ω/2)]NP[sin2(ω/2)]
其中小波的离散形式为
Figure GDA0003182654710000082
ω为角向量，hk为参数。对小波分解后的图像进行多尺度的强度及纹理特征提取得到小波特征。
本发明的另一目的在于提供一种结合计算机视觉特征和影像组学特征的肝癌图像分类装置，包括：
采样模块，用于将肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，将灰度等级归一化，并进行标注，将带有标注结果的肝脏肿瘤区域影像作为训练集合；
特征提取模块，用于对采样模块得到的肝脏肿瘤区域进行计算机视觉特征、影像组学特征和临床指标特征的提取；将计算机视觉特征集合、影像组学特征集合进行拼接，最终得到计算机视觉特征集合、影像组学特征集合拼接后的融合特征集合和临床指标特征集合；
特征筛选模块：用于将拼接后的融合特征集合进行筛选，并将筛选后的特征集合与临床指标特征集合进行组合和筛选，获得最终的特征组合；
分类模块，用于根据最终的特征组合进行分类。
作为本发明的优选，所述采样模块包括：
分割子模块：用于将肝癌图像中的肝脏肿瘤区域进行分割；
预处理子模块：将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，将灰度等级归一化，并进行标注。
作为本发明的优选，所述特征提取模块包括：
计算机视觉特征提取子模块：用于提取计算机视觉特征，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；
影像组学特征提取子模块：用于提取影像组学特征，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；
临床指标特征提取子模块：用于提取临床指标特征。
特征拼接子模块：用于将计算机视觉特征集合、影像组学特征集合进行拼接，形成融合特征集合。
作为本发明的优选，所述特征筛选模块包括：
第一级特征筛选子模块：用于排除融合特征集合中的只有单一值的特征、方差小于预设阈值的特征、互信息值低于预设阈值的特征、以及相关系数大于0.9的特征；
第二级特征降维子模块：用于采用Lasso回归模型中的特征降维，将作用不大的特征参数训练为0，从而获得稀疏解，得到筛选后的融合特征集合。
本发明的另一目的在于提供一种结合计算机视觉特征和影像组学特征的肝癌图像分类装置，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现前述任一方案所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法。
本发明的另一目的在于提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现前述任一方案所述的一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法。
本发明的有益效果：
本发明提出了一套完整的结合了计算机视觉特征和影像组学特征的用于肝癌病理分级方法，包括数据获取及其预处理、计算机视觉特征提取、影像组学特征提取、特征筛选、模型构建。最终获得一种适应不同种特征和临床特征的肝癌病理分级模型。与其它在医学诊断上尝试过的分类模型相比较，本发明在算法和运用上都有自己的独创性和独特性，而且对区别微妙差异的性能更加优越，实验结果表明，该模型可以有效预测术前肝癌的病理分级，可方便地用作术前评估工具，帮助外科医生在未来定制个体化术前治疗方案和预后评估。
附图说明
图1为结合计算机视觉特征和影像组学特征的肝癌图像分类方法的流程图；
图2为哈尔特征提取示意图；
图3为本发明实施例的性能测试曲线。
具体实施方式
下面结合附图对本发明方法作进一步说明。
步骤(1).病人肝癌图像数据的获取以及图像的预处理。
数据的纳入标准：病理学明确诊断为肝细胞肝癌，且已明确病理分级；手术切除肿块之前1月内行肝脏CT平扫加增强检查；增强检查均为3期，包括动脉期、门脉期和延迟期；临床及影像资料齐全，可供再次评价。
数据的排除标准：组织病理学检查结果为胆管癌或混合细胞癌；影像检查前行肝癌介入治疗或化疗等治疗；影像学资料或临床资料缺失；肿瘤在影像图像显示不清，无法进行病灶勾画。
图像预处理：由经验丰富的放射科医生实现对肝脏肿瘤区域的分割，并由另外一位经验丰富的放射科医生检查；提取特征前将所有的CT图像的体素重采样到固定空间大小；并将灰度等级归一化，标注对应的病理分级结果作为标签。
步骤(2).对步骤(1)中分割出来的病灶区域进行计算机视觉特征的提取，提取的特征主要包括以下的几种类别：
LoG滤波特征：将高斯拉普拉斯滤波器应用于输入图像，并为指定的每个σ值生成导出图像。高斯图像的拉普拉斯变换是通过将图像与高斯核的二阶导数(拉普拉斯算子)卷积而获得的。高斯核可用于平滑图像，定义为：
Figure GDA0003182654710000101
高斯核由拉普拉斯核
Figure GDA0003182654710000111
卷积得到。高斯核中滤波器的带宽由σ决定，本发明的σ值设置为1mm、2mm、3mm、4mm、5mm得到不同粗糙度的图像。对LoG 滤波后的图像进行多精细度的强度及纹理特征提取得到LoG滤波特征。
LBP特征：原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于等于中心像素值，则该像素点的位置被标记为1，否则为0。这样3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。具体LBP的表达式如下：
Figure GDA0003182654710000112
其中，gc是图像的中心像素点的灰度值，gc是图像的相邻像素点的灰度值。sgn(x)是阶跃函数，当x≥0时，sgn(x)＝1；当x<0时，sgn(x)＝0。对得到的LBP图进行强度及纹理特征的提取得到LBP特征。
HOG特征：计算和统计图像局部区域的梯度方向直方图来合成特征。在执行 HOG算法之前，图像被分割成较小的子区域(称为单元)，并且基于单元的像素计算梯度方向直方图，所有单元的直方图然后被组合以形成图像特征。计算HOG的主要步骤如下:
a.梯度的计算。使用一个一维的离散微分模板同时在水平和垂直两个方向上对图像进行处理。梯度值可以通过以下公式计算:
Figure GDA0003182654710000113
Figure GDA0003182654710000114
其中Ix和Iy是水平和垂直方向上的梯度值。
b.方向分组。此步骤是创建单元直方图。HOG单元采用圆形，直方图的通道同时具有符号(0-360度)和无符号(0-180度)两种。在本发明中，采用9组无符号直方图通道(方向：0、20、40、60、80、100、120、140、160)。
c.块的构造和标准化。把各个单元组合成大的、空间上连通的区间。这样，HOG 描述符就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。生成的区间块有两种几何图形，即环形HOG和矩形HOG。对于块的标准化，应用L2范数并定义如下:
Figure GDA0003182654710000121
其中v是矢量，e是常数。
D.类haar特征
类haar特征将原始图像转换成积分图像，利用积分图像在不同尺度上快速计算感兴趣区域。类haar特征是矩形特征，在每个像素处定义矩形区域，可以计算不同类型的哈尔特征，如图2所示:
每个类haar特征描述符包含两个相连的矩形:黑色和白色块。类haar特征可以通过以下公式计算:
Figure GDA0003182654710000122
其中，B代表黑色矩形，黑色矩形像素值为B_P；W代表白色矩形，白色矩形像素值为W_P。
步骤(3).对步骤(1)中分割出来的病灶区域进行影像组学中常用手工特征的提取，提取的特征主要包括以下的几种类别：
A.形态学特征。各个形态特征的计算公式为：
网格表面积A：
Figure GDA0003182654710000123
其中Oiai和Oibi是网格中第i个三角形的边，由顶点ai、bi和原点O构成，Nf表示网格中三角形的个数。
像素表面积Apixel：
Figure GDA0003182654710000124
其中Ak表示单个像素Ak的表面积，Nv表示像素数；
周长P：
Figure GDA0003182654710000125
其中ai和bi是外围网格中第i条线的顶点。首先计算网格圆周中每条线的周长Pi。然后通过取所有计算出的子区域的总和来获得总周长P，Nw表示总线数。
周长与表面积之比：
Figure GDA0003182654710000126
圆球度：
Figure GDA0003182654710000131
球形不规则度：
Figure GDA0003182654710000132
主轴长度：
Figure GDA0003182654710000133
主轴长度使用最大主成分λmajor来计算。使用定义感兴趣区域的像素中心的物理坐标来执行主成分分析。短轴长度同理。
短轴长度：
Figure GDA0003182654710000134
短轴长度特征产生包围感兴趣区域的椭球的第二大轴长度，并且使用最二大主成分λminor来计算。
延伸率：
Figure GDA0003182654710000135
B.一阶特征(灰度统计特征)：令M表示肝脏肿瘤区域所有像素的集合，M(i) 表示第i像素的像素值，并用下式表示强度直方图的定义：
Figure GDA0003182654710000136
其中，i表示离散强度级别，Np表示肝脏肿瘤区域影像中总的像素数，Ng表示离散强度级别的种类数，ni表示肝脏肿瘤区域影像中具有离散强度级别i的像素个数，H(i)表示肝脏肿瘤区域影像中具有离散强度级别i的像素出现的频率。
包含的特征计算公式如下：
能量：
Figure GDA0003182654710000137
这里c是可选值，表示移动的像素强度以防止在M中出现负值。
总能量：
Figure GDA0003182654710000138
熵：
Figure GDA0003182654710000139
其中ε表示是一个任意小的正数。
四分位间距：Interquartile range＝n75-n25 (3-14)
稳健平均绝对偏差是在灰度级介于或等于第10和第90百分位的原像素矩阵子集上计算的所有强度值与平均值的平均距离。
平均绝对偏差：
Figure GDA0003182654710000141
稳健的平均绝对偏差：
Figure GDA0003182654710000142
稳健平均绝对偏差是在灰度级介于或等于第10和第90百分位的原像素矩阵子集上计算的所有强度值与平均值的平均距离。
偏度：
Figure GDA0003182654710000143
峰度：
Figure GDA0003182654710000144
一致性：
Figure GDA0003182654710000145
此外还有常用的一阶统计特征包括最大值、最小值、均值、方差、标准差。
C.二阶特征(纹理特征)：通过图像的灰度共生矩阵(GLCM)、灰度游程矩阵(GLRLM)、灰度区域大小矩阵(GLSZM)、局部灰度差分矩阵(NGTDM)提取用于描述肿瘤内纹理分布的特征。
GLCM：大小为Ng×Ng的GLCM描述为受掩模约束的图像区域的二阶联合概率函数，定义为P(i,j|δ,θ)。该矩阵的第(i,j)个元素表示图像中像素i级和j级沿角度θ相距δ像素的组合出现次数。中心像素的δ被定义为具有无穷范数的距离。
GLRLM：在灰度级游程长度矩阵P(i,j|θ)中，第(i,j)个元素描述了灰度级i和长度j沿角度θ出现在图像(ROI)中的游程数量。
GLSZM：在灰度区域矩阵P(i,j)中，第(i,j)个元素等于图像中出现的具有灰度级i和尺寸j的区域的数量。在感兴趣区域的所有方向上只计算一个矩阵。
NGTDM：相邻灰度差异矩阵量化距离δ内相邻灰度值和平均灰度值之间的差异。灰度级i的绝对差值之和存储在矩阵中。让Xgl是一组分割的体素，是xgl(jx，jy，jz)∈Xgl一个体素在位置(jx，jy，jz)的灰度级，那么邻域的平均灰度级是：
Figure GDA0003182654710000151
其中(jx，jy，jz)≠(0，0，0)并且xgl(jx+kx，jy+ky，jz+kz)∈Xgl。W是领域的像素个数。
D小波特征：采用非抽样二维(2D)小波变换对原始二维图像进行滤波。将二维图像看成一系列行向量构成，经过小波滤波以后原信号被分为高频信号和低频信号两部分，对这两部分信号进行下采样，保留行向量的小标为偶数的元素，这样高频部分得到相应的高频矩阵，低频信号获得新的低频矩阵。再分别针对新生成的矩阵的列向量进行小波滤波以及下采样，由此获得三个高频信号和一个低频信号。再对低频信号进行上述处理，反复Jdec次后最终获得Jdec×3个高频信号以及一个低频近似图像。本发明设置尺度为Jdec＝1的分解，共获得四种组合的小波变换的图像，即 XLYL，XLYH，XHYL，XHYH，其中XLYL表示在X方向上取低频段，在Y方向上取低频段的图像。使用的Daubechies小波的模平方表达式为：
|m0(ω)|2＝[cos2(ω/2)]NP[sin2(ω/2)] (3-21)
其中小波的离散形式为
Figure GDA0003182654710000152
ω为角向量，hk为参数，N表示小波的阶数。针对小波分解后得到的4个小波分量，分别计算灰度统计特征及纹理特征，得到小波特征。
步骤(4).对步骤(3)中提取的特征进行特征筛选。特征筛选主要从过滤法和包裹法两方面入手：
i.排除了只有单一值的特征。同样，方差太小的特征也被过滤掉。
ii.基于互信息过滤与病理分级明显无关的特征。互信息计算公式为：
Figure GDA0003182654710000153
其中，Xi表示融合特征集合中的第i个特征向量，Y表示标签，p(x，y)是X和Y的联合概率密度函数，p(x)和p(y)分别是X和Y的边缘概率密度函数；
iii.使用相关分析去除相关系数大于0.9的冗余特征。相关系数的计算公式为：
Figure GDA0003182654710000161
其中，ρ为相关系数的计算结果，xik表示融合特征集合中的第i个特征向量中的第k个元素，xjk表示融合特征集合中的第j个特征向量中的第k个元素，
Figure GDA0003182654710000163
和
Figure GDA0003182654710000164
分别表示融合特征集合中的第i和第j个特征向量中的所有元素的均值；
继续采用Lasso回归实现模型中的特征降维，将一些作用不大的特征的参数训练为0，从而获得稀疏解。Lasso回归的代价函数为：
Figure GDA0003182654710000162
上式中的w是长度为n的向量，不包括截距项的系数θ0,θ是长度为n+1的向量，包括截距项的系数θ0，m为样本数，n为特征数，x(i)表示第i个样本的所有特征值， y(i)表示第i个样本的标签值。||w1||表示参数w的L1范数，b表示常数项，。LASSO 回归的复杂性由参数λ控制。二项式偏差作为选择λ最佳值的准则，通过10折交叉验证方法选择二项式偏差最小的λ值用于LASSO回归模型。将LASSO选择的特征与它们各自的系数相乘后相加，创建一个新组装的预测标志物。
步骤(5).整合步骤(4)中保留的无冗余并与分类目标强相关的特征。考虑临床特征的潜在影响，应用多元logistic回归分析来测试具有不同临床特征与已开发的预测标志物的组合，使用赤池信息准则(AIC)作为判断标准向后搜索最佳的组合方式，综合考虑二项式偏差的影响和选择过程中变量的数量，选择具有最低AIC评分的模型作为最终的肝癌病理学分级分类器。AIC定义为：
AIC＝-2ln(L)+2K (5-1)
其中L是在该模型下的最大似然，K是模型的变量个数。
本发明采用多中心的方法进行训练、测试和验证模型。具体方案如下：
步骤(5.1).将来自一家机构的数据样本随机按照7：3的比例分为训练集和内部测试集，同时保证每一级病理的样本比例相等。在训练集进行模型训练并在内部测试集上测试以获得最佳模型。
步骤(5.2).将来自另外一家机构的数据样本作为外部独立验证集来验证模型的泛化能力。模型的性能由接收机工作特性曲线(ROC)和曲线下的面积(AUC)来衡量。
模型可表达如下：
Grade＝model(Index1,Index2,…,Indexn) (5-2)
其中，Grade为肝癌病理分级的预测结果。
本发明的另一目的在于提供一种结合计算机视觉特征和影像组学特征的肝癌图像分类装置，包括：
采样模块，用于将肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，将灰度等级归一化，并进行标注，将带有标注结果的肝脏肿瘤区域影像作为训练集合；
特征提取模块，用于对采样模块得到的肝脏肿瘤区域进行计算机视觉特征、影像组学特征和临床指标特征的提取；将计算机视觉特征集合、影像组学特征集合进行拼接，最终得到计算机视觉特征集合、影像组学特征集合拼接后的融合特征集合和临床指标特征集合；
特征筛选模块：用于将拼接后的融合特征集合进行筛选，并将筛选后的特征集合与临床指标特征集合进行组合和筛选，获得最终的特征组合；
分类模块，用于根据最终的特征组合进行分类。
作为本发明的优选，所述采样模块包括：
分割子模块：用于将肝癌图像中的肝脏肿瘤区域进行分割；
预处理子模块：将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，将灰度等级归一化，并进行标注。
作为本发明的优选，所述特征提取模块包括：
计算机视觉特征提取子模块：用于提取计算机视觉特征，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；
影像组学特征提取子模块：用于提取影像组学特征，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；
临床指标特征提取子模块：用于提取临床指标特征。
特征拼接子模块：用于将计算机视觉特征集合、影像组学特征集合进行拼接，形成融合特征集合。
作为本发明的优选，所述特征筛选模块包括：
第一级特征筛选子模块：用于排除融合特征集合中的只有单一值的特征、方差小于预设阈值的特征、互信息值低于预设阈值的特征、以及相关系数大于0.9的特征；
第二级特征降维子模块：用于采用Lasso回归模型中的特征降维，将作用不大的特征参数训练为0，从而获得稀疏解，得到筛选后的融合特征集合。
本发明的另一目的在于提供一种结合计算机视觉特征和影像组学特征的肝癌图像分类装置，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现前述任一方案所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法。
本发明的另一目的在于提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现前述任一方案所述的一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法。
下面利用前述实施例中的一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法，通过一个具体实施例来展现本发明分类方法的具体效果，具体步骤如上述，此处不再赘述。本发明在训练集实现模型的训练并在内部测试集上实现参数的调优后，最终在独立验证集上进行了性能的测试，得到图3的ROC曲线，0.86的平均AUC值表明了借助本发明的模型在肝癌病理分级问题上的有效性。

Claims (5)

1.一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，包括以下步骤：
步骤(1).获取肝癌图像并进行预处理；所述的预处理步骤为：对肝癌图像中的肝脏肿瘤区域进行分割，将分割出来的肝脏肿瘤区域影像的体素重采样到固定空间大小，并将灰度等级归一化，标注对应的病理分级结果作为标签；
步骤(2).对步骤(1)中分割出来的肝脏肿瘤区域影像进行计算机视觉特征的提取，所述的计算机视觉特征包括LoG滤波特征、LBP特征、HOG特征和类haar特征；
步骤(3).对步骤(1)中分割出来的肝脏肿瘤区域影像进行影像组学特征的提取，所述的影像组学特征包括形态学特征、灰度特征、纹理特征和小波特征；
步骤(4).将步骤(2)中提取的计算机视觉特征和步骤(3)中提取的影像组学特征拼接，对拼接后得到的融合特征集合X＝{X1,X2,...,Xi,...,Xn′}中的特征进行筛选，其中n′表示集合中特征向量的数量，Xi表示融合特征集合中的第i个特征向量，Xi＝{xi1,xi2,...,xim′}，xim′表示Xi中的第m′个元素，m′表示Xi中的元素数量；所述筛选包括以下步骤：
步骤(4.1).首先通过过滤法排除只有单一值的特征、方差小于预设阈值的特征、与病理分级无关的特征、以及冗余特征；
特征与病理分级的关系强度通过互信息计算来衡量，将互信息值低于预设阈值的特征称为与病理分级无关的特征，所述互信息的计算公式为：
Figure FDA0003182654700000011
其中，Xi表示融合特征集合中的第i个特征向量，Y表示标签，p(x,y)是X和Y的联合概率密度函数，p(x)和p(y)分别是X和Y的边缘概率密度函数；
所述的冗余特征为相关系数大于0.9的特征，相关系数的计算公式为：
Figure FDA0003182654700000012
其中，ρ为相关系数的计算结果，xik表示融合特征集合中的第i个特征向量中的第k个元素，xjk表示融合特征集合中的第j个特征向量中的第k个元素，
Figure FDA0003182654700000013
和
Figure FDA0003182654700000014
分别表示融合特征集合中的第i和第j个特征向量中的所有元素的均值；
步骤(4.2).采用Lasso回归模型中的特征降维，将作用不大的特征参数训练为0，从而获得稀疏解；所述的Lasso回归的代价函数为：
Figure FDA0003182654700000021
其中，m为样本数，n为筛选后剩余的特征数，x(i)表示第i个样本的所有特征值，y(i)表示第i个样本的标签值，w是长度为n的参数向量，||w1||表示参数向量w的L1范数，b表示常系数，λ为用于控制回归复杂性的参数，以二项式偏差作为选择λ最佳值的准则，通过10折交叉验证方法进行迭代，将二项式偏差最小的λ值用于Lasso回归模型；通过将LASSO选择的特征与它们各自的系数相乘后相加，得到预测分数；
步骤(5).获取肝脏肿瘤区域影像的临床特征，将全部临床特征逐一删除后与经过步骤(4)筛选得到的全部特征矩阵进行组合，采用多元logistic回归得到不同组合的肝癌病理学分级分类器；使用赤池信息准则AIC作为判断标准向后搜索最佳的组合方式，综合考虑二项式偏差的影响和选择过程中变量的数量，选择具有最低AIC评分的模型作为最终的肝癌病理学分级分类器，其输入的组合特征矩阵为最佳组合特征矩阵；所述AIC定义为：
AIC＝-2ln(L)+2K
其中L是在该模型下的最大似然，K是模型的变量个数；
步骤(6).获取待进行肝癌病理分级的肝癌图像并按照步骤(1)进行预处理，分割出肝脏肿瘤区域影像，从肝脏肿瘤区域影像中提取与步骤(5)所述最佳组合特征矩阵中特征类别相同的特征作为待分级特征矩阵，将待分级特征矩阵输入步骤(5)得到的肝癌病理学分级分类器中，输出肝癌病理分级结果。
2.如权利要求1所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，步骤(2)所述的计算机视觉特征包括：
a.LoG滤波特征：将高斯拉普拉斯滤波器应用于输入图像，并为指定的每个sigma值生成导出图像，对LoG滤波后的图像进行多精细度的强度及纹理特征提取得到LoG滤波特征；
b.LBP特征：将LBP算子对应用于肝脏肿瘤区域影像得到的LBP图，对其进行强度及纹理特征的提取得到LBP特征；
c.HOG特征：执行HOG算法之前，图像被分割成较小的子区域，并且基于单元的像素计算梯度方向直方图，所有单元的直方图被组合后形成特征；
d.类haar特征：将原始图像转换成积分图像后，利用积分图像在不同尺度上快速计算感兴趣区域，在每个像素处定义矩形区域，计算不同类型的haar特征，每个类haar特征描述符包含两个相连的矩形：黑色块和白色块，类haar特征通过以下公式计算：
Figure FDA0003182654700000031
其中，B代表黑色矩形，黑色矩形像素值为B_P；W代表白色矩形，白色矩形像素值为W_P。
3.如权利要求1所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法，其特征在于，步骤(3)所述的形态学特征包括：
网格表面积A：
Figure FDA0003182654700000032
其中Oiai和Oibi是网格中第i个三角形的边，由顶点ai、bi和原点O构成，Nf表示网格中三角形的个数；
像素表面积Apixel：
Figure FDA0003182654700000033
其中Ak表示单个像素Ak的表面积，Nv表示像素个数；
周长P：
Figure FDA0003182654700000034
其中ai和bi是外围网格中第i条线的顶点，Pi表示网格圆周中每条线的周长，Nw表示总线数；
周长与表面积之比
Figure FDA0003182654700000035
圆球度
Figure FDA0003182654700000036
球形不规则度
Figure FDA0003182654700000037
主轴长度
Figure FDA0003182654700000038
λmajor表示像素中心的物理坐标执行主成分分析后的最大主成分值；主轴长度特征产生包围感兴趣区域的椭球的最大轴长，并且使用最大主成分λmajor来计算；
短轴长度
Figure FDA0003182654700000039
λminor表示像素中心的物理坐标执行主成分分析后的最二大主成分值；短轴长度特征产生包围感兴趣区域的椭球的第二大轴长度，并且使用最二大主成分λminor来计算；
延伸率：
Figure FDA0003182654700000041
步骤(3)所述的灰度统计特征是基于强度直方图得到的特征，表示肝脏肿瘤区域内的像素强度的分布，用下式表示强度直方图的定义：
Figure FDA0003182654700000042
其中，i表示离散强度级别，Np表示肝脏肿瘤区域影像中总的像素数，Ng表示离散强度级别的种类数，ni表示肝脏肿瘤区域影像中具有离散强度级别i的像素个数，H(i)表示肝脏肿瘤区域影像中具有离散强度级别i的像素出现的频率；令M表示肝脏肿瘤区域所有像素的集合，M(i)表示第i像素的像素值；
所述的灰度统计特征包括：
能量：
Figure FDA0003182654700000043
其中c是可选的用于表示移动的像素强度，防止在M中出现负值；
总能量：
Figure FDA0003182654700000044
熵：
Figure FDA0003182654700000045
其中ε表示是一个任意小的正数；
四分位间距：Interquartile range＝n75-n25，其中n25和n75分别表示离散强度级别在第25和第75百分位的像素个数；
平均绝对偏差：
Figure FDA0003182654700000046
其中
Figure FDA0003182654700000047
表示频率的均值；
稳健的平均绝对偏差：
Figure FDA0003182654700000048
其中M10-90(i)表示离散强度级别在第10和第90百分位之间第i个像素的像素值，
Figure FDA0003182654700000049
表示平均值，N10-90表示离散强度级别在第10和第90百分位之间的级别种类数；
稳健平均绝对偏差是在灰度级介于或等于第10和第90百分位的像素矩阵子集上计算的所有强度值与平均值的平均距离；
偏度：
Figure FDA0003182654700000051
峰度：
Figure FDA0003182654700000052
一致性：
Figure FDA0003182654700000053
此外还包括最大值、最小值、均值、方差、标准差；
步骤(3)所述的纹理特征为所述纹理特征为基于灰度共生矩阵GLCM、灰度游程矩阵GLRLM、灰度区域大小矩阵GLSZM和基于局部灰度差分矩阵NGTDM衍生出的特征；
步骤(3)所述的小波特征采用非抽样二维小波变换对原始二维图像进行滤波，将二维图像看成一系列行向量构成，经过小波滤波以后原信号被分为高频信号和低频信号两部分，对这两部分信号进行下采样，保留行向量的小标为偶数的元素，生成高频矩阵和低频矩阵；
分别针对新生成的矩阵的列向量进行小波滤波以及下采样，由此获得三个高频信号和一个低频信号；对低频信号进行上述处理，反复Jdec次后最终获得Jdec×3个高频信号以及一个低频近似图像；使用的Daubechies小波的模平方表达式为：
|m0(ω)|2＝[cos2(ω/2)]NP[sin2(ω/2)]
其中，小波的离散形式为
Figure FDA0003182654700000054
ω为角向量，hk为参数，N表示小波的阶数；针对小波分解后得到的4个小波分量，分别计算灰度统计特征及纹理特征，得到小波特征。
4.一种结合计算机视觉特征和影像组学特征的肝癌图像分类装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～3任一项所述的结合计算机视觉特征和影像组学特征的肝癌图像分类方法。
5.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1～3任一项所述的一种结合计算机视觉特征和影像组学特征的肝癌图像分类方法。
CN201911423879.XA 2019-12-31 2019-12-31 结合计算机视觉特征和影像组学特征的肝癌图像分类方法 Active CN111178449B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911423879.XA CN111178449B (zh) 2019-12-31 2019-12-31 结合计算机视觉特征和影像组学特征的肝癌图像分类方法
US17/139,910 US11721016B2 (en) 2019-12-31 2020-12-31 Method and equipment for classifying hepatocellular carcinoma images by combining computer vision features and radiomics features

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911423879.XA CN111178449B (zh) 2019-12-31 2019-12-31 结合计算机视觉特征和影像组学特征的肝癌图像分类方法

Publications (2)

Publication Number Publication Date
CN111178449A CN111178449A (zh) 2020-05-19
CN111178449B true CN111178449B (zh) 2021-11-05

Family

ID=70652350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911423879.XA Active CN111178449B (zh) 2019-12-31 2019-12-31 结合计算机视觉特征和影像组学特征的肝癌图像分类方法

Country Status (2)

Country Link
US (1) US11721016B2 (zh)
CN (1) CN111178449B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183572A (zh) * 2020-08-12 2021-01-05 上海依智医疗技术有限公司 一种生成预测肺炎严重程度的预测模型的方法及装置
CN111951252B (zh) * 2020-08-17 2024-01-23 中国科学院苏州生物医学工程技术研究所 多时序图像处理方法、电子设备及存储介质
CN112200763A (zh) * 2020-08-24 2021-01-08 江苏科技大学 一种基于肝脏ct影像的肝功能分级方法
CN112331348B (zh) * 2020-10-21 2021-06-25 北京医准智能科技有限公司 集标注、数据、项目管理和无编程化建模的分析方法和系统
CN112017785B (zh) * 2020-11-02 2021-02-05 平安科技（深圳）有限公司 一种疾病风险预测系统、方法、装置、设备及介质
CN112488992B (zh) * 2020-11-13 2024-04-02 上海健康医学院 表皮生长因子受体突变状态判断方法、介质及电子设备
CN112419290A (zh) * 2020-11-30 2021-02-26 青岛大学附属医院 一种基于ct图像影像组学特征的进展期胃癌边缘状态识别系统
CN112784710B (zh) * 2021-01-07 2024-01-19 上海海事大学 胸腔积液性质分析决策函数的构造方法及基于其的分析方法
CN113269225A (zh) * 2021-04-08 2021-08-17 浙江大学 基于影像组学的非侵入式肝脏上皮样血管平滑肌脂肪瘤图像分类装置
CN113538369B (zh) * 2021-07-14 2024-02-09 安徽炬视科技有限公司 一种基于椭圆度量学习的压板状态检测算法
CN113674219A (zh) * 2021-07-28 2021-11-19 云南大益微生物技术有限公司 一种基于双重逻辑回归的茶叶杂质识别方法
CN113850788A (zh) * 2021-09-28 2021-12-28 中国医学科学院北京协和医院 一种判断膀胱癌肌层浸润状态的系统及其应用
CN114121291A (zh) * 2021-10-26 2022-03-01 泰康保险集团股份有限公司 疾病分级预测方法、装置、电子设备及存储介质
TWI792751B (zh) * 2021-12-08 2023-02-11 國立成功大學 醫學影像專案管理平台
CN114596958B (zh) * 2022-03-15 2024-03-19 平安科技（深圳）有限公司 基于级联分类的病理数据分类方法、装置、设备及介质
CN115019082B (zh) * 2022-04-06 2024-05-07 江苏科技大学 一种非侵入性的肝功能分级系统
CN114897796B (zh) * 2022-04-22 2023-06-30 深圳市铱硙医疗科技有限公司 动脉粥样硬化斑块的稳定性判别方法、装置、设备及介质
CN114677378B (zh) * 2022-05-31 2022-09-02 四川省医学科学院·四川省人民医院 基于卵巢肿瘤良恶性预测模型的计算机辅助诊疗系统
CN114926465B (zh) * 2022-07-20 2022-09-30 南方医科大学南方医院 一种存储介质和结直肠癌淋巴结转移预测模型构建系统
CN115019159B (zh) * 2022-08-09 2022-10-25 济宁安泰矿山设备制造有限公司 一种泵轴承故障快速识别方法
CN115641955B (zh) * 2022-10-19 2023-06-20 哈尔滨工业大学 基于深度学习的胃癌分期判别系统及存储介质
CN115691748B (zh) * 2022-11-29 2023-09-15 天津市鹰泰利安康医疗科技有限责任公司 一种高频双极性肿瘤治疗系统
WO2024137382A1 (en) * 2022-12-21 2024-06-27 Nanostring Technologies, Inc. Systems and methods utilizing improved definition of cell boundaries in biological images
CN115713694B (zh) * 2023-01-06 2023-05-12 东营国图信息科技有限公司 一种土地测绘信息管理方法
CN116050673B (zh) * 2023-03-31 2023-08-01 深圳市城市交通规划设计研究中心股份有限公司 基于CNN-BiLSTM的城市公交客流短时预测方法
CN116452559B (zh) * 2023-04-19 2024-02-20 深圳市睿法生物科技有限公司 基于ctDNA片段化模式的肿瘤病灶的定位方法及装置
CN116189179B (zh) * 2023-04-28 2023-08-15 北京航空航天大学杭州创新研究院 循环肿瘤细胞扫描分析设备
CN116230215B (zh) * 2023-05-08 2023-08-18 中国医学科学院北京协和医院 一种卵巢透明细胞癌预测的设备、系统及可存储介质
CN116740386A (zh) * 2023-05-17 2023-09-12 首都医科大学宣武医院 图像处理方法、装置、设备和计算机可读存储介质
CN116681892B (zh) * 2023-06-02 2024-01-26 山东省人工智能研究院 基于多中心PolarMask模型改进的图像精准分割方法
CN116503672B (zh) * 2023-06-26 2023-08-25 首都医科大学附属北京佑安医院 一种肝脏肿瘤分类方法、系统及存储介质
CN116862861B (zh) * 2023-07-04 2024-06-21 浙江大学 一种基于多组学的胃癌治疗疗效的预测模型训练、预测方法及系统
CN117011242B (zh) * 2023-07-10 2024-05-14 珠海市人民医院 经颈静脉肝内门体分流术后肝性脑病预测方法和系统
CN116665017A (zh) * 2023-07-28 2023-08-29 神州医疗科技股份有限公司 一种基于影像组学的前列腺癌预测系统及构建方法
CN116681707B (zh) * 2023-08-04 2023-10-20 北京同仁医学科技有限责任公司 一种角膜荧光素染色图像识别分级方法
CN117152106B (zh) * 2023-09-13 2024-07-09 厦门良医真选健康科技有限公司 基于深度学习的生物活性检测方法及装置
CN117297554B (zh) * 2023-11-16 2024-07-12 哈尔滨海鸿基业科技发展有限公司 一种淋巴成像装置控制系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断
CN107169284A (zh) * 2017-05-12 2017-09-15 北京理工大学 一种生物医学关键属性选择方法
CN109009110A (zh) * 2018-06-26 2018-12-18 东北大学 基于mri影像的腋窝淋巴结转移预测系统
CN110175978A (zh) * 2019-04-02 2019-08-27 南方医科大学南方医院 一种肝癌影像组学数据处理方法、系统、装置和存储介质
CN110197236A (zh) * 2018-10-17 2019-09-03 中山大学附属第三医院 一种基于影像组学对糖皮质激素疗效的预测和验证方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121243B2 (en) * 2006-09-22 2018-11-06 Koninklijke Philips N.V. Advanced computer-aided diagnosis of lung nodules
US11087459B2 (en) * 2015-08-14 2021-08-10 Elucid Bioimaging Inc. Quantitative imaging for fractional flow reserve (FFR)
US10692607B2 (en) * 2015-08-18 2020-06-23 Case Western Reserve University Treatment planning and evaluation for rectal cancer via image analytics
US10078895B2 (en) * 2015-12-30 2018-09-18 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer with tumor infiltrating lymphocyte (TIL) graphs
US10127660B2 (en) * 2015-12-30 2018-11-13 Case Western Reserve University Radiomic features on diagnostic magnetic resonance enterography
US10282588B2 (en) * 2016-06-09 2019-05-07 Siemens Healthcare Gmbh Image-based tumor phenotyping with machine learning from synthetic data
US10140707B2 (en) * 2016-12-14 2018-11-27 Siemens Healthcare Gmbh System to detect features using multiple reconstructions
US11350901B2 (en) * 2017-11-27 2022-06-07 Case Western Reserve University Recurrence prognosis and prediction of added benefit of adjuvant chemotherapy in early stage non-small cell lung cancer with radiomic features on baseline computed tomography

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101517614A (zh) * 2006-09-22 2009-08-26 皇家飞利浦电子股份有限公司 肺结节的高级计算机辅助诊断
CN107169284A (zh) * 2017-05-12 2017-09-15 北京理工大学 一种生物医学关键属性选择方法
CN109009110A (zh) * 2018-06-26 2018-12-18 东北大学 基于mri影像的腋窝淋巴结转移预测系统
CN110197236A (zh) * 2018-10-17 2019-09-03 中山大学附属第三医院 一种基于影像组学对糖皮质激素疗效的预测和验证方法
CN110175978A (zh) * 2019-04-02 2019-08-27 南方医科大学南方医院 一种肝癌影像组学数据处理方法、系统、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于定量影像组学的乳腺肿瘤良恶性诊断;赵爽 等;《中国生物医学工程学报》;20191031;第38卷(第5期);第550-552页第1.1-1.3节 *

Also Published As

Publication number Publication date
US11721016B2 (en) 2023-08-08
US20210200988A1 (en) 2021-07-01
CN111178449A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178449B (zh) 结合计算机视觉特征和影像组学特征的肝癌图像分类方法
CN111242174B (zh) 一种基于影像组学的肝癌图像特征提取与病理分类方法
US20160253466A1 (en) Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
Ali et al. Early breast cancer detection using mammogram images: a review of image processing techniques
CN113269225A (zh) 基于影像组学的非侵入式肝脏上皮样血管平滑肌脂肪瘤图像分类装置
EP4118617A1 (en) Automated detection of tumors based on image processing
Rahmawaty et al. Classification of breast ultrasound images based on texture analysis
CN112651955A (zh) 一种肠道图像的识别方法及终端设备
Swaraja et al. Segmentation and detection of brain tumor through optimal selection of integrated features using transfer learning
Sharma et al. A comparative study of cell nuclei attributed relational graphs for knowledge description and categorization in histopathological gastric cancer whole slide images
Taifi et al. Mammogram classification using nonsubsampled contourlet transform and gray-level co-occurrence matrix
Fooladi et al. Segmenting the lesion area of brain tumor using convolutional neural networks and fuzzy k-means clustering
Pezeshki et al. Mass classification of mammograms using fractal dimensions and statistical features
Roopa Detection of tumors from MRI brain images using CNN with extensive augmentation
Midya et al. Edge weighted local texture features for the categorization of mammographic masses
Kim et al. Detection and weak segmentation of masses in gray-scale breast mammogram images using deep learning
Manju et al. Early diagnosis of lung tumors for extending patients’ life using deep neural networks
Mahmoud et al. Novel feature extraction methodology based on histopathalogical images and subsequent classification by Support Vector Machine
Radhika et al. Skin Melanoma Classification from Dermoscopy Images using ANU-Net Technique
Rahim et al. 3D texture features mining for MRI brain tumor identification
CN112733769B (zh) 基于多波段熵率超像素分割的高光谱图像分类方法
Salmeri et al. Assisted breast cancer diagnosis environment: A tool for dicom mammographic images analysis
Yadav et al. Texture Segmentation and Features of Medical Images
Dixit et al. Proposing a Framework to Analyze Breast Cancer in Mammogram Images Using Global Thresholding, Gray Level Co‐Occurrence Matrix, and Convolutional Neural Network (CNN)
Mohammed et al. Breast Cancer Detection Using Deep Learning Technique Based On Ultrasound Image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant