CN108038513A - 一种肝脏超声图像的特征分类方法 - Google Patents
一种肝脏超声图像的特征分类方法 Download PDFInfo
- Publication number
- CN108038513A CN108038513A CN201711433174.7A CN201711433174A CN108038513A CN 108038513 A CN108038513 A CN 108038513A CN 201711433174 A CN201711433174 A CN 201711433174A CN 108038513 A CN108038513 A CN 108038513A
- Authority
- CN
- China
- Prior art keywords
- image
- liver
- extracting
- features
- envelope line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 110
- 230000004044 response Effects 0.000 claims description 97
- 238000001514 detection method Methods 0.000 claims description 81
- 238000012706 support-vector machine Methods 0.000 claims description 63
- 238000005070 sampling Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 22
- 230000003902 lesion Effects 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 239000003054 catalyst Substances 0.000 claims 4
- 239000011541 reaction mixture Substances 0.000 claims 4
- 239000002775 capsule Substances 0.000 abstract description 4
- 239000000523 sample Substances 0.000 description 67
- 238000002604 ultrasonography Methods 0.000 description 31
- 208000019425 cirrhosis of liver Diseases 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 206010016654 Fibrosis Diseases 0.000 description 10
- 230000007882 cirrhosis Effects 0.000 description 10
- 238000003066 decision tree Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 208000019423 liver disease Diseases 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 239000007888 film coating Substances 0.000 description 3
- 238000009501 film coating Methods 0.000 description 3
- 230000002440 hepatic effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 208000007848 Alcoholism Diseases 0.000 description 1
- 206010003445 Ascites Diseases 0.000 description 1
- 206010010075 Coma hepatic Diseases 0.000 description 1
- 208000000624 Esophageal and Gastric Varices Diseases 0.000 description 1
- 229920002527 Glycogen Polymers 0.000 description 1
- 206010019799 Hepatitis viral Diseases 0.000 description 1
- 206010022678 Intestinal infections Diseases 0.000 description 1
- 206010023126 Jaundice Diseases 0.000 description 1
- 206010067125 Liver injury Diseases 0.000 description 1
- 208000002720 Malnutrition Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010030172 Oesophageal haemorrhage Diseases 0.000 description 1
- 102000040739 Secretory proteins Human genes 0.000 description 1
- 108091058545 Secretory proteins Proteins 0.000 description 1
- 206010041660 Splenomegaly Diseases 0.000 description 1
- 206010056091 Varices oesophageal Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000024170 esophageal varices Diseases 0.000 description 1
- 201000010120 esophageal varix Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229940096919 glycogen Drugs 0.000 description 1
- 201000001059 hepatic coma Diseases 0.000 description 1
- 208000007386 hepatic encephalopathy Diseases 0.000 description 1
- 231100000753 hepatic injury Toxicity 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 230000001071 malnutrition Effects 0.000 description 1
- 235000000824 malnutrition Nutrition 0.000 description 1
- 230000007102 metabolic function Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000015380 nutritional deficiency disease Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 201000001862 viral hepatitis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种肝脏超声图像的特征分类方法，包括：S1、针对待处理的包括有肝脏切面/部位的超声图像，从该超声图像中自动提取肝包膜线；S2、基于提取的肝包膜线，选择多个采样点，并生成每一采样点的三元组特征；S3、对每一个所述三元组特征进行提取，以及对提取的每一个三元组特征进行分类；S4、根据提取的所有三元组特征的分类结果，确定超声图像所属的类别。上述方法将所有图像块的分类结果综合起来，能够得到准确的分类结果，同时降低了噪声的干扰，且实现了自动识别分类，降低了人工成本。
Description
技术领域
本发明涉及图像影像分析技术，具体涉及一种肝脏超声图像的特征分类方法。
背景技术
肝脏是身体内以代谢功能为主的一个器官，并在身体里面起着去氧化、储存肝糖、分泌性蛋白质的合成等作用。
肝硬化，是一种临床常见的慢性进行性肝病，由病毒性肝炎、慢性酒精中毒、营养不良、肠道感染等一种或多种致病因素长期或反复作用下，形成的弥漫性肝损害，可并发脾肿大、腹水、浮肿、黄疸、食道静脉曲张、出血、肝性昏迷，可发展为肝癌，具有较高的死亡率。
及时发现并使用药物进行治疗，可延缓肝硬化进程，降低肝癌发病率，提高长期存活率，以及患者的生活质量。
然而在肝硬化初期，患者自身没有明显不适感，同时很多地区医疗资源或是医疗水平有限，导致该疾病很难被及时诊断，许多人直到中晚期才被诊断出来。
目前，医学影像检查，可较全面地观察肝脏器官，分析与评估此类浅表器官组织病变。近年来，很多学者与医生利用X射线、CT、MR、超声等医学影像技术开展肝硬化检查与诊断的研究。
例如，业内人士提出了一种全自动的超声方法来提取肝脏，其中用一个统计模型方法从其他腹部器官中区分肝脏组织，然后用活动轮廓优化，获得更加平滑、精细的肝脏轮廓，得到精确度比较高的肝脏分割结果。
超声检查的优势在于无创、无痛、无电离辐射影响，一般无需使用对比剂便可获得人体各部位软组织器官和病灶，以及管腔结构的高清晰度断层图像。
与超声检查相比，其他影像学检查手段都或多或少都存在一些缺点：传统的X线成像对于评价肝硬化缺乏足够的对比分辨率，价值有限；CT技术的空间分辨率不足，不能很好地分辨肝实质结缔组织，且有放射性损害；MRI具有多平面成像能力和更高的软组织分辨率，适用于评价浅表器官组织病变，但无法进行实时动态检查，操作不便且成本较高。
随着超声仪器分辨率的不断提高及超声探头频率的不断改进，超声图像在像肝硬化此类的浅表器官组织病损的诊疗及随访中显示出了明显的优势。
基于超声影像，临床医生主要是依据肝包膜线和肝实质的视觉特征，对肝硬化及肝硬化病症阶段给出一个定性诊断，而且这还极大地依赖于临床医生本身的临床经验。诊断中主观因素容易造成误诊，或者错失治疗的最佳时机，严重的可能影响病人的病情与生命安全。
目前，基于超声图像的肝硬化程度分类的研究，主要面向二分类，即判断是否患病。然而针对超声图像提取的纹理特征与临床诊断不对应，分类正确率不能保证，为此，如何较好的提取超声图像的纹理特征，提高分类准确率成为当前需要解决的问题。
发明内容
为解决现有技术中的问题，本发明提供一种肝脏超声图像的特征分类方法，该方法可以提取包膜线的多个特征并对特征的分类结果进行综合，能够得到超声图像准确的分类结果。
第一方面，本发明提供一种肝脏超声图像的特征分类方法，包括：
S1、针对待处理的包括有肝脏切面/部位的超声图像，从该超声图像中自动提取肝包膜线；
S2、基于提取的肝包膜线，选择多个采样点，并生成每一采样点的三元组特征；
S3、对每一个所述三元组特征进行提取，以及对提取的每一个三元组特征进行分类；
S4、根据提取的所有三元组特征的分类结果，确定超声图像所属的类别。
可选地，所述步骤S3包括：
采用训练的CNN模型对所述三元组特征进行提取；以及
采用训练的向量机SVM对提取的每一个三元组特征进行分类。
可选地，所述训练的CNN模型为基于手写数字数据库的数据进行训练，获得的训练后的CNN模型。
可选地，所述SVM的训练包括：
采用训练的CNN模型处理每一个具有分类结果的训练样本对应的三元组特征；
采用SVM对提取的每一个训练样本的所有三元组特征进行分类；
获得每一个训练样本的类别，并采用获取的每一个训练样本的类别与预先确定的类别进行比较，并修正所述SVM，重复多次，得到训练的SVM；
所述训练样本包括病变的标注肝脏包膜线的样本，正常的标注肝脏包膜线的样本。
可选地，所述步骤S2包括：
在所述肝包膜线上均匀选取多个采样点，对每一个采样点分别选择上中下三个图像块，将选择的三个图像块作为该采样点的三元组特征。
可选地，所述步骤S4包括：
采用公式一确定超声图像所属的类别F(I)＝∑i＝1f(ti)；
F(I)＝∑i＝1f(ti) 公式一；
其中f(ti)是训练的SVM对提取的每一个三元组特征进行分类的分类结果。
可选地，所述步骤S1包括：
S11、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过训练样本确定的；
S12、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
可选地，子步骤S11包括：
S111、获取作为训练样本的超声图像，标注得到每一个样本中超声图像中包含的肝包膜线；
S112、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本；
S113、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取N维随机矩形特征；
S114、采用Adaboost从所述N维随机矩形特征中选取N1维具有肝包膜线鉴别能力的特征子集，其中N1小于N的自然数；
S115、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块；
S116、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取N1维经选择得到的特征，计算检测响应；
S117、当滑动窗口处理完所有像素位置后，得到一张与待处理的超声图像同样大小的检测响应图。
可选地，子步骤S113以及子步骤S116中建立的多个通道均包括：
超声图像对应的一通道；
超声图像转换为梯度大小对应的一个通道；
超声图像转换为梯度直方图对应的六个通道；
超声图像转换为高斯差分DOG对应的两个通道。
可选地，所述步骤S12包括：
从检测响应图的左侧边缘到检测响应图上的一点(x,y)的检测响应和通过下述的递归公式来计算：
递归公式：S(x，y)＝max(S(x-1，y-1)，S(x-1，y)，S(x-1，y+1))+R(x，y)；
从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；
将找到的连续曲线作为部分或全部的肝包膜线。
第二方面，本发明实施例还提供一种肝脏超声图像的特征分类方法，包括：
步骤A1、获取标注为病变和正常训练样本肝脏超声图像中的肝脏包膜线；
步骤A2、在步骤A1中每一肝脏包膜线上选取一定数量的采样点，三个相邻采样点为一组，截取图像块，提取特征，并训练支持向量机SVM分类器；
步骤A3、在步骤A1的训练样本中每一肝脏包膜线上方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练所述SVM分类器；
步骤A4、在步骤A1的训练样本中每一肝脏包膜线下方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练SVM分类器；
步骤A5、对于待处理的未标注的肝脏超声图像，提取肝脏包膜线，按照上述三种方式选取图像块，提取特征，并利用训练好的SVM分类器分类；
步骤A6、将三种方式的分类结果综合，得到所述未标注肝脏超声图像的分类结果。
可选地，步骤A2包括：
子步骤A21、在肝脏包膜线上选取一定数量的采样点，三个相邻的采样点为一组；
子步骤A22、每组中以三个采样点为中心截取三个固定大小的图像块；
子步骤A23、三个图像块分别利用预先训练好的卷积神经网络CNN提取特征，得到三个特征向量f1，f2，f3；
子步骤A24、将三个特征向量f1，f2，f3以及f1－f2的差，f3－f2的差组合成一个特征向量；
子步骤A25、基于所述特征向量训练支持向量机SVM分类器。
可选地，所述步骤A5中提取肝脏包膜线，包括：
步骤A51、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对该待处理的超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过病变和正常训练样本肝脏超声图像确定的；
步骤A52、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线；
可选地，所述步骤A5中提取肝脏包膜线，包括：
步骤A051、针对所有的训练样本肝脏超声图像，每一训练样本中均具有预先通过手动标记的包膜线，在每一训练样本的包膜线上均匀采样提取图像块作为正样本，在每一训练样本的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机SVM，获得训练后的支持向量机；
步骤A052、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对所述待处理的超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；
步骤A053、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
可选地，所述步骤A051包括：
子步骤A0511、获取作为训练样本的训练超声图像；
子步骤A0512、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；
子步骤A0513、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图HOG，局部二值模式LBP以及深度卷积神经网络CNN特征，将每一图像块的三种特征组合成一个N维特征向量；
子步骤A0514、对所有训练样本所有N维特征向量进行主成分分析PCA，并在主成分分析之后，选取N1个PCA基用作特征降维，降维后特征维数为N1维；
其中，N、N1均为大于3的自然数；
及/或，所述步骤A052包括：
子步骤A0521、对于待处理的超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；
子步骤A0522、对于所述滑动窗口图像块，提取HOG、LBP、CNN的三种特征，将提取的三种特征组合以后利用所述N1个PCA基进行降维，再经过训练好的SVM计算分类响应值；
子步骤A0523、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图；
可选地，上述步骤中提取的CNN特征属于卷积神经网络的中间结果，
所述卷积神经网络为预先通过手写字体识别库MNIST进行训练得到的网络。
本发明具有的有益效果如下：
本发明提出一种肝脏超声图像的特征分类方法，通过自动提取超声图像的肝包膜线，并获取肝包膜线的三元组特征，进而对每一个三元组特征进行分类，以及将所有三元组特征的分类结果综合起来，能够得到准确的分类结果，同时降低了噪声的干扰，且实现了自动识别分类，降低了人工成本。
另外，本实施例在特征分类之前，可预先进行肝包膜线的自动提取，例如，可通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征子集，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本
附图说明
图1为本发明实施例一提供的肝脏超声图像的特征分类方法的流程示意图；
图2为本发明另一实施例提供的特征分类方法的分类流程示意图；
图3为本发明中使用的CNN模型的训练过程示意图；
图4为利用积分图计算矩形特征的示意图；
图5为本发明实施例中包膜线生成方法的示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
肝包膜线之所以能够引导图像分类，是因为随着肝硬化的发展，肝脏包膜线周围的组织会发生变化，此时，肝脏包膜线也会变粗和模糊。基于这些，本发明实施例中提供一种包膜线引导下的图像特征提取和分类框架。在对肝脏超声图像分析并得到肝脏包膜线后，在包膜线上均匀选取采样点。对于每个采样点分别选取上中下三个图像块，本文称之为块三元组。通过对这些图像块进行特征提取，不仅能够刻画包膜线的结构特性，而且能够刻画包膜线两边组织的结构特性。尽管由于噪声的存在，对于单个图像块的分类可能会不准确，但是将所有图像块的分类结果综合起来后，能够得到准确的分类结果。
需要说明的是，以下实施例的超声图像可为预先获取的测试超声图像/测试图像，或者是其他方式获取的灰度图像。
本实施例中的超声图像主要是针对肝脏不同部位的超声图像，例如超声图像是不同部位的左叶肝包膜二维声像图、或者超声图像是不同部位的右叶肝包膜二维声像图等，本实施例不对超声图像进行限定，属于检测肝脏部分的超声图像均可使用。
实施例一
如图1所示，图1示出了一实施例提供的肝脏超声图像的特征分类方法的流程示意图，本实施例的方法包括下述步骤：
101、针对待处理的包括有肝脏切面/部位的超声图像，从该超声图像中自动提取肝包膜线。
例如，步骤101可包括：
第一步、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；所述随机矩形特征为预先通过训练样本确定的；
第二步、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
102、基于提取的肝包膜线，选择多个采样点，并生成每一采样点的三元组特征。
举例来说，可在肝包膜线上均匀选取多个采样点，对每一个采样点分别选择上中下三个图像块，将选择的三个图像块作为该采样点的三元组特征。
可理解的是，本实施例中的上中下可以是以包膜线为中，上下各取的图像块。在另一可实现方式中，上中下还可以是包膜线从左到有的上中下。
103、对每一个所述三元组特征进行提取，以及对提取的每一个三元组特征进行分类。
本实施例中，可采用训练的CNN模型对所述三元组特征进行提取；以及采用训练的向量机SVM对提取的每一个三元组特征进行分类。
104、根据提取的所有三元组特征的分类结果，确定超声图像所属的类别。
例如，采用公式一确定超声图像所属的类别F(I)＝∑i＝1f(ti)；
F(I)＝∑i＝1f(ti) 公式一；
其中f(ti)是训练的SVM对提取的每一个三元组特征进行分类的分类结果。
本实施例中的类别可包括正常或病变。
本实施例的方法，通过自动提取超声图像的肝包膜线，并获取肝包膜线的三元组特征，进而对每一个三元组特征进行分类，以及将所有三元组特征的分类结果综合起来，能够得到准确的分类结果，同时降低了噪声的干扰，且实现了自动识别分类，降低了人工成本。
针对上述的步骤103中的CNN模型和SVM说明如下。
本实施例中训练的CNN模型可为基于手写数字数据库的数据进行训练，获得的训练后的CNN模型。
目前，深度学习特别是卷积神经网络(CNN)采用了局部连接和权值共享机制，这使得它和以往的神经网络相比具有更好的泛化能力。但是，CNN模型的训练仍然需要大量训练样本来保证模型不会产生过拟合。而在本发明实施例的实现过程中，大量的具有分类结果的训练样本是很难得到的，因此，采用端到端的方式为该问题训练CNN较为困难。
本实施例中考虑将在其他图像分类问题中训练好的模型“迁移”到本发明中：
例如，在手写数字数据库MNIST训练一个8层的CNN模型。MNIST数据库包含60000个训练样本和10000个测试样本。网络的结构如图3所示：图像经过两个卷积－最大池化组合后，经过两个全连接层，最后经过softmaxloss层得到分类置信度。
应理解的是，由于超声图像的肝包膜线也是有多条不规则的线段组成，手写数字数据库也是有线段组成，为此，采用手写数字数据库训练的CNN模型可应用在肝包膜线的处理上具有了特别的处理效果，使得分类结果的准确率提高很多。
如图3所示，将第二个全连接层得到的结果取出作为分类特征。每个采样点提取上、中、下三个40＊40图像块，分别做特征提取后将得到的特征组合成一个特征向量：t＝(p1，p2，p3)向量作为SVM的输入。
本实施例中SVM的训练可包括：
采用训练的CNN模型处理每一个具有分类结果的训练样本对应的三元组特征；
采用SVM对提取的每一个训练样本的所有三元组特征进行分类；
获得每一个训练样本的类别，并采用获取的每一个训练样本的类别与预先确定的类别进行比较，并修正所述SVM，重复多次，得到训练的SVM。
可理解的是，在具有分类结果的训练样本数量较少的问题中，支持向量机(SVM)具有较好的泛化能力。因此，本实施例考虑将深度学习与SVM结合起来。如图2所示，在肝包膜线上提取图像块经过训练好的CNN模型得到特征，再通过SVM分类得到分类结果，最终将所有采样点上的分类结果通过投票的方式综合起来得到当前图像的分类结果(正常或是病变)。
另外，本发明对上述步骤101中自动提取肝包膜线进行详细说明。
S11、获取作为训练样本的超声图像，标注得到图像中包含的肝脏包膜线/肝包膜线。
本实施例中，训练样本集合可为：(f1，c1)，(f2，c2)，...，(fm，cm)，其中，m为训练样本的个数，fi是一个Nf维的特征向量，ci是对应的用于标记是否为肝包膜线上的点的类标号。
在一中可选的实现方式中，训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个P0*Q0(如40*40)的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，P0、Q0分别为自然数。
S12、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本。
S13、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取N维随机矩形特征。
在本实施例中，可建立十个通道，例如，超声图像对应的一通道；超声图像转换为梯度大小对应的一个通道；超声图像转换为梯度直方图对应的六个通道；超声图像转换为高斯差分DOG对应的两个通道。
举例来说，根据公式(1)计算所述超声图像的梯度大小；
另外，获取6个通道的梯度直方图的过程如下：
第一、利用Sobel算子得到超声图像在x、y方向的梯度；
第二、根据公式(2)计算所述超声图像的梯度方向；
第三、针对每一张超声图像中的每一个像素，统计6*6邻域内梯度方向的直方图，将0～2π范围划分成6等分，每一个像素得到6维直方图，将直方图的每一维作为一个通道，得到6个梯度直方图。
进一步地，获取高斯差的通道的过程如下：
基于公式(3)，选择两个不同方差的高斯核g(σ1)、Γ(x，y)＝I*g(σ1)-I*g(σ2)对超声图像I做卷积，计算卷积后的差值，得到高斯差；
Γ(x，y)＝I*g(σ1)-I*g(σ2) (3)
g(σ1)为预设有两个不同方差(业内公知)的高斯核、Γ(x，y)＝＝I*g(σ1)-I*g(σ2)预设有两个不同方差且不同于g(σ1)的高斯核。
上述公式中I为超声图像，(x，y)为超声图像中像素的坐标。
可理解的是，步骤S13中还可以为：滑动窗口检测器随机选取1个通道，处理过程中可选择位置、大小随机的矩形区域，计算该区域中所有像素的和作为选取得到一维特征。
本实施例中可有十个通道，且下述需要获取大约5000维特征，故按照随机选取概率，可将每一个通道遍历，且每个通道的矩形区域数量是基本相同的。
举例来说，该步骤S13中的矩形特征可采用一个五元组(nch，x1，y1，x2，y2)表示；将所述矩形区域中所有像素的和作为该矩形区域的一维特征。
其中，nch是通道编号，(x1，y1，x2，y2)，(x1，y1，x2，y2)分别是矩形区域的左上角和右下角坐标。
本实施例中，为了更方便的计算矩形区域的像素和，可先计算每个通道图像的积分图。
举例来说，对于一幅灰度的图像，积分图像中的任意一点(x，y)的值是指从积分图像的左上角到这个点的所构成的矩形区域内所有点的灰度值之和：A(x，y)＝∑0＜i＜x，0＜j＜yI(i，j) (4)
本实施例中利用积分图的优势在于能够很方便的计算一个矩形区域内的像素和。
如图4所示，采用上述公式(4)计算灰色的矩形区域的像素和可为式(5)。
S＝A(x2，y2)+A(x2，y1)-A(x1，y2)+A(x1，y1) (5)
S14、采用Adaboost从所述N维随机矩形特征中选取N1维具有肝包膜线鉴别能力的特征子集。
S15、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块。
本实施例中的N可取5000，在其他实施例中，N换可为大于1000以上数值即可，本实施例的N可根据实际需要选择。
需要说明的是，在实际应用中，N个一维特征组成N维特征向量，本实施例为更清楚的说明，将所有的N维特征向量采用N维特征描述，以下的N维特征均指代的是N维特征向量。
本实施例的Adaboost对应的决策树包含Z个节点，即可理解从N维特征中选择Z个具有肝包膜线鉴别能力的特征。
S16、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取N1维经选择得到的特征，计算检测响应。
进一步地，上述步骤S13和步骤S16中的通道可理解为图像，在业内处理过程中均使用通道，本发明实施例也使用通道进行描述，该通道为业内技术人员所理解的通道。
检测响应图中每一个位置的值表示该位置属于肝包膜线的概率值。且检测响应图的大小和待处理的超声图像的大小是相同的，这里的大小指的是像素尺寸。
S17、当滑动窗口处理完所有像素位置后，得到一张与所述测试图像同样大小的检测响应图。
针对步骤S17：第一、从检测响应图的左侧边缘到检测响应图上的一点(x，y)的检测响应和通过下述的递归公式(6)来计算：
S(x，y)＝max(S(x-1，y-1)，S(x-1，y)，S(x-1，y+1))+R(x，y) (6)
第二、从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；
第三、将找到的连续曲线作为部分或全部的肝包膜线。
如图5所示，图5(b)为原始超声图像，图5(c)为检测响应图，图5(d)为包膜线提取的结果示意图。
另外，如图5(a)所示，(x，y)处的检测响应和等于左侧最大值与R(x，y)之和。在递归计算过程中，每个像素都保留左侧最大值所在像素位置，因此在右侧边界上找到最大值点后通过回溯可以确定一条完整的曲线。对于检测响应图最左侧一列像素位置，S(x，y)＝R(x，y)，递归算法执行到这些位置时将终结。
具体的递归步骤如下：
对于检测响应图像右侧边界上的每个位置，利用上面递归公式(6)计算S(x，y)，并记录下左侧最大响应和位置，即上、中、下三维位置的响应和S(x-1，y-1)，S(x-1，y)，S(x-1，y+1)哪个一最大。而这三个位置相应和又需要分别计算它们左侧三个位置响应和最大值，如此递归进行。每次计算完S(x，y)，用另外一张标记图L记录下(x，y)左侧响应和最大的位置，L(x，y)等于0，1，2分别表示上中下三个位置。
当图象右侧边界上每个位置的响应和计算完成后，选出其中最大值所在的位置，接下来通过查找标记图L找到左侧最大响应和位置，以此类推，直到到达左侧边界。
本实施例的方法通过建立超声图像的多个通道，进而采用训练的Adaboost提取到超声图像的具有鉴别能力的特征，以生成检测响应图，再进一步采用递归公式从检测响应图中选择检测响应和最大的连续曲线作为肝包膜线。
进一步地，针对上述的步骤S11，可通过下述方法进行训练：
以下使用的训练样本集合为：(f1，c1)，(f2，c2)，...，(fm，cm)，其中，m为训练样本的个数，fi是一个Nf维的特征向量，ci是对应的用于标记是否为肝包膜线上的点的类标号；
所述训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个P0*Q0(如40*40)的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，P0、Q0分别为自然数。
Adaboost为每个训练样本分配一个权重wi，所有样本的权重的初始值都设置为
第一步、根据训练样本和训练样本的权重，训练一个深度为2的决策树h(fi)，它最小化下列的加权训练误差：
其中t是当前的迭代次数；
每个决策树h(fi)包含Z(如3个)个节点，分别对应Z(如3个)个不同的特征。
举例来说，每个决策树可包含3个节点，分别对应3个不同的特征(对应上述通道的一维特征)。因此，决策树的训练过程相当于从5000维特征中选择3维最具鉴别能力的特征，使得上述训练误差最小。
第二步、更新训练样本的权重：其中当fi被正确分类时，ei等于1，否则ei等于0；
在训练过程中，Adaboost为每个训练样本分配一个权重wi，重复上述第一步和第二步T次，直至训练样本遍历完成。
具体地，决策树h(fi)的训练过程包括：
深度为2的决策树h(fi)包含一个根节点和两个叶子节点，每一个节点用特征的一维来决策，每个节点由下列三项组成：
特征标号j用来表示该节点用到哪一维特征，
一个阈值θ和一个方向指示变量p；当pfi(j)＞pθ时，fi进入左边分支，否则进入右边分支；
决策树的采用贪心策略来训练，首先找到使εt最小的根节点，根节点可以将训练数据分为两部分，再对两部分数据分别训练使εt最小的左右叶子节点。
结合上述200至步骤206的步骤：将训练样本集合中Nf设置为5000，表示待选择的特征维数为5000，经过特征选择，构造100个决策树，用到了其中300维特征。最终构造的强分类器为这些决策树的加权和：
该强分类器用于判断在当前位置选取的40*40图像块是否是正样本，即当前位置是否在包膜线上。
上述方法通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征子集，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本。
实施例二
本实施例的方法包括下述图中未示出的步骤：
步骤601、获取标注为病变和正常训练样本肝脏超声图像中的肝脏包膜线；
步骤602、在步骤601中每一肝脏包膜线上选取一定数量的采样点，三个相邻采样点为一组，截取图像块，提取特征，并训练支持向量机SVM分类器；
步骤603、在步骤601的训练样本中每一肝脏包膜线上方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练所述SVM分类器；
步骤604、在步骤601的训练样本中每一肝脏包膜线下方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练SVM分类器；
步骤605、对于待处理的未标注的肝脏超声图像，提取肝脏包膜线，按照上述三种方式选取图像块，提取特征，并利用训练好的SVM分类器分类；
步骤606、将三种方式的分类结果综合，得到所述未标注肝脏超声图像的分类结果。
在一种具体的实现方式中，上述602包括：
6021、在肝脏包膜线上选取一定数量的采样点，三个相邻的采样点为一组；
6022、每组中以三个采样点为中心截取固定大小的图像块；
6023、三个图像块分别利用预先训练好的卷积神经网络CNN提取特征，得到三个特征向量f1，f2，f3；
6024、将三个特征向量f1，f2，f3以及f1－f2的差，f3－f2的差组合成一个特征向量；
6025、基于所述特征向量训练支持向量机SVM分类器。
进一步地，上述605中提取肝脏包膜线，包括：
步骤6051、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对该待处理的超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过病变和正常训练样本肝脏超声图像确定的；
步骤6052、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线；
或者，
所述步骤605中提取肝脏包膜线，包括：
步骤A6051、针对所有的训练样本肝脏超声图像，每一训练样本中均具有预先通过手动标记的包膜线，在每一训练样本的包膜线上均匀采样提取图像块作为正样本，在每一训练样本的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机SVM，获得训练后的支持向量机；
步骤A6052、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对所述待处理的超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；
步骤A6053、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
可理解的是，上述步骤A6051包括：
子步骤A60511、获取作为训练样本的训练超声图像；
子步骤A60512、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；
子步骤A60513、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图HOG，局部二值模式LBP以及深度卷积神经网络CNN特征，将每一图像块的三种特征组合成一个N维特征向量；
子步骤A60514、对所有训练样本所有N维特征向量进行主成分分析PCA，并在主成分分析之后，选取N1个PCA基用作特征降维，降维后特征维数为N1维；
其中，N、N1均为大于3的自然数；
及/或，所述步骤A6052包括：
子步骤A60521、对于待处理的超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；
子步骤A60522、对于所述滑动窗口图像块，提取HOG、LBP、CNN的三种特征，将提取的三种特征组合以后利用所述N1个PCA基进行降维，再经过训练好的SVM计算分类响应值；
子步骤A60523、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图；
本实施例中提取的CNN特征属于卷积神经网络的中间结果，如图3所示的卷积神经网络。
图3所示的卷积神经网络为预先通过手写字体识别库MNIST进行训练得到的网络。
另外，如图5(a)所示，(x，y)处的检测响应和等于左侧最大值与R(x，y)之和。在递归计算过程中，每个像素都保留左侧最大值所在像素位置，因此在右侧边界上找到最大值点后通过回溯可以确定一条完整的曲线。对于检测响应图最左侧一列像素位置，S(x，y)＝R(x，y)，递归算法执行到这些位置时将终结。
具体的递归步骤如下：
对于检测响应图像右侧边界上的每个位置，利用上面递归公式(6)计算s(x，y)，并记录下左侧最大响应和位置，即上、中、下三维位置的响应和s(x-1，y-1)，S(x-1，y)，S(x-1，y+1)哪个一最大。而这三个位置相应和又需要分别计算它们左侧三个位置响应和最大值，如此递归进行。每次计算完S(x，y)，用另外一张标记图L记录下(x，y)左侧响应和最大的位置，L(x，y)等于0，1，2分别表示上中下三个位置。
当图象右侧边界上每个位置的响应和计算完成后，选出其中最大值所在的位置，接下来通过查找标记图L找到左侧最大响应和位置，以此类推，直到到达左侧边界。
本实施例的方法能够实现自动提取肝脏包膜线，同时提高肝脏包膜线的准确率，实用性强，可推广使用。
实验结果
如下表1的对比实验结果：
表1实验结果对照表。
表1中第一种业内传统方法：将M-Band小波变换和Gabor小波提取的纹理特征进行联合，获得肝实质的纹理特征，运用集成分类器将图像样本实现肝脏疾病的分类。
表1中第二种业内传统：运用多分辨率小波提取肝实质纹理特征，基于SVM对肝脏疾病分类。
表1中第三种业内传统方法：联合分形维度和M-Band小波变换构筑肝实质的纹理特征，通过后向传递(BP)神经网络实现肝脏疾病的分类；
本发明的方法：通过SW-DP得到连续的肝包膜轮廓即肝包膜线，运用深度迁移模型、SVM和投票机制，实现分类；
结果分析：
(1)肝硬化的二分类——区分正常与患病，本发明的方法的三种方法正确类、标准差均优于其他方法。这对开展大规模的肝硬化筛查，提高早期发现率，有着积极意义。
(2)综合肝包膜几何特征与肝实质纹理特征的SVM分类，在对肝硬化不同病程的分类中，表现超过其他的方法。特别是在对轻度肝硬化的分类性能上有所提升，而轻度肝硬化若及时发现，由于其预后较好，甚至可逆，这对患者有着十分重要意义。
(3)本发明的方法作为一种自动的检测与分类方法，在二分类的性能上基本接近有人工监督的方法。本发明的方法中使用的是SW-DP的包膜线自动检测结果，其正确率是92.6％，其中是存在检测误差，甚至是错误。从二分类结果来看，通过深度学习机制，识别分类系统有一定的容错性。考虑到早期肝硬化筛查的工作量非常大，自动检测与分类方法是有着积极的支撑作用的。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种肝脏超声图像的特征分类方法，其特征在于，包括：
S1、针对待处理的包括有肝脏切面/部位的超声图像，从该超声图像中自动提取肝包膜线；
S2、基于提取的肝包膜线，选择多个采样点，并生成每一采样点的三元组特征；
S3、对每一个所述三元组特征进行提取，以及对提取的每一个三元组特征进行分类；
S4、根据提取的所有三元组特征的分类结果，确定超声图像所属的类别。
2.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：
采用训练的CNN模型对所述三元组特征进行提取；以及
采用训练的向量机SVM对提取的每一个三元组特征进行分类；
及/或，
所述训练的CNN模型为基于手写数字数据库的数据进行训练，获得的训练后的CNN模型；
及/或，
所述SVM的训练包括：
采用训练的CNN模型处理每一个具有分类结果的训练样本对应的三元组特征；
采用SVM对提取的每一个训练样本的所有三元组特征进行分类；
获得每一个训练样本的类别，并采用获取的每一个训练样本的类别与预先确定的类别进行比较，并修正所述SVM，重复多次，得到训练的SVM；
所述训练样本包括病变的标注肝脏包膜线的样本，正常的标注肝脏包膜线的样本。
3.根据权利要求2所述的方法，其特征在于，所述步骤S2包括：
在所述肝包膜线上均匀选取多个采样点，对每一个采样点分别选择上中下三个图像块，将选择的三个图像块作为该采样点的三元组特征；
及/或，
所述步骤S4包括：
采用公式一确定超声图像所属的类别F(I)＝∑i＝1f(ti)；
F(I)＝∑i＝1f(ti) 公式一；
其中f(ti)是训练的SVM对提取的每一个三元组特征进行分类的分类结果。
4.根据权利要求1至3任一所述的方法，其特征在于，所述步骤S1包括：
S11、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过训练样本确定的；
S12、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线；
及/或，
子步骤S11包括：
S111、获取作为训练样本的超声图像，标注得到每一个样本中超声图像中包含的肝包膜线；
S112、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本；
S113、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取N维随机矩形特征；
S114、采用Adaboost从所述N维随机矩形特征中选取N1维具有肝包膜线鉴别能力的特征子集，其中N1小于N的自然数；
S115、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块；
S116、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取N1维经选择得到的特征，计算检测响应；
S117、当滑动窗口处理完所有像素位置后，得到一张与待处理的超声图像同样大小的检测响应图。
5.根据权利要求4所述的方法，其特征在于，子步骤S113以及子步骤S116中建立的多个通道均包括：
超声图像对应的一通道；
超声图像转换为梯度大小对应的一个通道；
超声图像转换为梯度直方图对应的六个通道；
超声图像转换为高斯差分DOG对应的两个通道。
6.根据权利要求5所述的方法，其特征在于，所述步骤S12包括：
从检测响应图的左侧边缘到检测响应图上的一点(x,y)的检测响应和通过下述的递归公式来计算：
递归公式：S(x,y)＝max(S(x-1,y-1),S(x-1,y),S(x-1,y+1))+R(x,y)；
从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；
将找到的连续曲线作为部分或全部的肝包膜线。
7.一种肝脏超声图像的特征分类方法，其特征在于，包括：
步骤A1、获取标注为病变和正常训练样本肝脏超声图像中的肝脏包膜线；
步骤A2、在步骤A1中每一肝脏包膜线上选取一定数量的采样点，三个相邻采样点为一组，截取图像块，提取特征，并训练支持向量机SVM分类器；
步骤A3、在步骤A1的训练样本中每一肝脏包膜线上方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练所述SVM分类器；
步骤A4、在步骤A1的训练样本中每一肝脏包膜线下方区域随机选取一定数量的采样点，在每个采样点上选取三个不同大小的图像块，提取特征，并训练SVM分类器；
步骤A5、对于待处理的未标注的肝脏超声图像，提取肝脏包膜线，按照上述三种方式选取图像块，提取特征，并利用训练好的SVM分类器分类；
步骤A6、将三种方式的分类结果综合，得到所述未标注肝脏超声图像的分类结果。
8.根据权利要求7所述的方法，其特征在于，步骤A2包括：
子步骤A21、在肝脏包膜线上选取一定数量的采样点，三个相邻的采样点为一组；
子步骤A22、每组中以三个采样点为中心截取三个固定大小的图像块；
子步骤A23、三个图像块分别利用预先训练好的卷积神经网络CNN提取特征，得到三个特征向量f1，f2，f3；
子步骤A24、将三个特征向量f1，f2，f3以及f1－f2的差，f3－f2的差组合成一个特征向量；
子步骤A25、基于所述特征向量训练支持向量机SVM分类器。
9.根据权利要求7所述的方法，其特征在于，所述步骤A5中提取肝脏包膜线，包括：
步骤A51、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对该待处理的超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；
所述随机矩形特征为预先通过病变和正常训练样本肝脏超声图像确定的；
步骤A52、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线；
或者，
所述步骤A5中提取肝脏包膜线，包括：
步骤A051、针对所有的训练样本肝脏超声图像，每一训练样本中均具有预先标记的包膜线，在每一训练样本的包膜线上均匀采样提取图像块作为正样本，在每一训练样本的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机SVM，获得训练后的支持向量机；
步骤A052、针对待处理的未标注的肝脏超声图像，采用滑动窗口检测器对所述待处理的超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；
步骤A053、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。
10.根据权利要求9所述的方法，其特征在于，所述步骤A051包括：
子步骤A0511、获取作为训练样本的训练超声图像；
子步骤A0512、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；
子步骤A0513、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图HOG，局部二值模式LBP以及深度卷积神经网络CNN特征，将每一图像块的三种特征组合成一个N维特征向量；
子步骤A0514、对所有训练样本所有N维特征向量进行主成分分析PCA，并在主成分分析之后，选取N1个PCA基用作特征降维，降维后特征维数为N1维；
其中，N、N1均为大于3的自然数；
及/或，所述步骤A052包括：
子步骤A0521、对于待处理的超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；
子步骤A0522、对于所述滑动窗口图像块，提取HOG、LBP、CNN的三种特征，将提取的三种特征组合以后利用所述N1个PCA基进行降维，再经过训练好的SVM计算分类响应值；
子步骤A0523、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711433174.7A CN108038513A (zh) | 2017-12-26 | 2017-12-26 | 一种肝脏超声图像的特征分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711433174.7A CN108038513A (zh) | 2017-12-26 | 2017-12-26 | 一种肝脏超声图像的特征分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108038513A true CN108038513A (zh) | 2018-05-15 |
Family
ID=62101184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711433174.7A Pending CN108038513A (zh) | 2017-12-26 | 2017-12-26 | 一种肝脏超声图像的特征分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108038513A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063712A (zh) * | 2018-06-22 | 2018-12-21 | 哈尔滨工业大学 | 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法及系统 |
| CN109685038A (zh) * | 2019-01-09 | 2019-04-26 | 西安交通大学 | 一种物品干净程度监测方法及其装置 |
| CN109800820A (zh) * | 2019-01-30 | 2019-05-24 | 四川大学华西医院 | 一种基于超声造影图像均匀程度的分类方法 |
| CN109840564A (zh) * | 2019-01-30 | 2019-06-04 | 成都思多科医疗科技有限公司 | 一种基于超声造影图像均匀程度的分类系统 |
| CN110070125A (zh) * | 2019-04-19 | 2019-07-30 | 四川大学华西医院 | 一种基于大数据分析的肝胆外科治疗方案筛选方法及系统 |
| CN110163870A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于深度学习的腹部体影像肝脏分割方法及装置 |
| CN110288573A (zh) * | 2019-06-13 | 2019-09-27 | 天津大学 | 一种哺乳类家畜患病自动检测方法 |
| CN110490210A (zh) * | 2019-08-23 | 2019-11-22 | 河南科技大学 | 一种基于紧致通道间t采样差分的彩色纹理分类方法 |
| CN110555827A (zh) * | 2019-08-06 | 2019-12-10 | 上海工程技术大学 | 基于深度学习驱动的超声成像信息计算机处理系统 |
| CN111310851A (zh) * | 2020-03-03 | 2020-06-19 | 四川大学华西第二医院 | 一种人工智能超声辅助系统及其应用 |
| CN111428713A (zh) * | 2020-03-20 | 2020-07-17 | 华侨大学 | 一种基于特征融合的超声图像自动分类法 |
| CN111476230A (zh) * | 2020-03-05 | 2020-07-31 | 重庆邮电大学 | 一种改进mser与多特征支持向量机相结合的车牌定位方法 |
| CN111815613A (zh) * | 2020-07-17 | 2020-10-23 | 上海工程技术大学 | 一种基于包膜线形态特征分析的肝硬化疾病分期识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631885A (zh) * | 2016-01-06 | 2016-06-01 | 复旦大学 | 一种基于浅表切面超声图像的肝包膜线提取与特征描述的方法 |
| WO2016191567A1 (en) * | 2015-05-26 | 2016-12-01 | Memorial Sloan-Kettering Cancer Center | System, method and computer-accessible medium for texture analysis of hepatopancreatobiliary diseases |
-
2017
- 2017-12-26 CN CN201711433174.7A patent/CN108038513A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016191567A1 (en) * | 2015-05-26 | 2016-12-01 | Memorial Sloan-Kettering Cancer Center | System, method and computer-accessible medium for texture analysis of hepatopancreatobiliary diseases |
| CN105631885A (zh) * | 2016-01-06 | 2016-06-01 | 复旦大学 | 一种基于浅表切面超声图像的肝包膜线提取与特征描述的方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHUOHONG WANG ET AL.: "Learning to Diagnose Cirrhosis via Combined Liver Capsule and Parenchyma Ultrasound Image Features", 《2016 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE》 * |
| XIANG LIU ET AL.: "Learning to Diagnose Cirrhosis with Liver Capsule Guided Ultrasound Image Classification", 《SENSORS》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063712A (zh) * | 2018-06-22 | 2018-12-21 | 哈尔滨工业大学 | 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法及系统 |
| CN109063712B (zh) * | 2018-06-22 | 2021-10-15 | 哈尔滨工业大学 | 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法 |
| CN109685038A (zh) * | 2019-01-09 | 2019-04-26 | 西安交通大学 | 一种物品干净程度监测方法及其装置 |
| CN109800820A (zh) * | 2019-01-30 | 2019-05-24 | 四川大学华西医院 | 一种基于超声造影图像均匀程度的分类方法 |
| CN109840564A (zh) * | 2019-01-30 | 2019-06-04 | 成都思多科医疗科技有限公司 | 一种基于超声造影图像均匀程度的分类系统 |
| CN110070125A (zh) * | 2019-04-19 | 2019-07-30 | 四川大学华西医院 | 一种基于大数据分析的肝胆外科治疗方案筛选方法及系统 |
| CN110163870A (zh) * | 2019-04-24 | 2019-08-23 | 艾瑞迈迪科技石家庄有限公司 | 一种基于深度学习的腹部体影像肝脏分割方法及装置 |
| CN110288573A (zh) * | 2019-06-13 | 2019-09-27 | 天津大学 | 一种哺乳类家畜患病自动检测方法 |
| CN110555827A (zh) * | 2019-08-06 | 2019-12-10 | 上海工程技术大学 | 基于深度学习驱动的超声成像信息计算机处理系统 |
| CN110555827B (zh) * | 2019-08-06 | 2022-03-29 | 上海工程技术大学 | 基于深度学习驱动的超声成像信息计算机处理系统 |
| CN110490210A (zh) * | 2019-08-23 | 2019-11-22 | 河南科技大学 | 一种基于紧致通道间t采样差分的彩色纹理分类方法 |
| CN110490210B (zh) * | 2019-08-23 | 2022-09-30 | 河南科技大学 | 一种基于紧致通道间t采样差分的彩色纹理分类方法 |
| CN111310851A (zh) * | 2020-03-03 | 2020-06-19 | 四川大学华西第二医院 | 一种人工智能超声辅助系统及其应用 |
| CN111476230A (zh) * | 2020-03-05 | 2020-07-31 | 重庆邮电大学 | 一种改进mser与多特征支持向量机相结合的车牌定位方法 |
| CN111476230B (zh) * | 2020-03-05 | 2023-04-18 | 重庆邮电大学 | 一种改进mser与多特征支持向量机相结合的车牌定位方法 |
| CN111428713A (zh) * | 2020-03-20 | 2020-07-17 | 华侨大学 | 一种基于特征融合的超声图像自动分类法 |
| CN111428713B (zh) * | 2020-03-20 | 2023-04-07 | 华侨大学 | 一种基于特征融合的超声图像自动分类法 |
| CN111815613A (zh) * | 2020-07-17 | 2020-10-23 | 上海工程技术大学 | 一种基于包膜线形态特征分析的肝硬化疾病分期识别方法 |
| CN111815613B (zh) * | 2020-07-17 | 2023-06-27 | 上海工程技术大学 | 一种基于包膜线形态特征分析的肝硬化疾病分期识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038513A (zh) | 一种肝脏超声图像的特征分类方法 | |
| Sevastopolsky | Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network | |
| CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
| US11151721B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| Dharmawan et al. | A new hybrid algorithm for retinal vessels segmentation on fundus images | |
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| WO2019200753A1 (zh) | 病变监测方法、装置、计算机设备和存储介质 | |
| Mitra et al. | The region of interest localization for glaucoma analysis from retinal fundus image using deep learning | |
| US11222425B2 (en) | Organs at risk auto-contouring system and methods | |
| CN108765427A (zh) | 一种前列腺图像分割方法 | |
| CN113706486B (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN109949288A (zh) | 肿瘤类型确定系统、方法及存储介质 | |
| Archa et al. | Segmentation of brain tumor in MRI images using CNN with edge detection | |
| CN114092450A (zh) | 一种基于胃镜检查视频的实时图像分割方法、系统、装置 | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| Milletari et al. | Robust segmentation of various anatomies in 3d ultrasound using hough forests and learned data representations | |
| Carmo et al. | Extended 2D consensus hippocampus segmentation | |
| CN112990367A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
| Kama et al. | Segmentation of soft tissues and tumors from biomedical images using optimized k-means clustering via level set formulation | |
| WO2020140380A1 (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
| CN114862799B (zh) | 一种用于flair-mri序列的全自动脑体积分割方法 | |
| KR20240115234A (ko) | 의료 영상 내 생물학적 객체의 머신 러닝 기반 세그먼트화 | |
| CN112766333B (zh) | 医学影像处理模型训练方法、医学影像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180515 |