CN111743574A - 乳腺癌超声影像高置信实体关系的知识图谱构建方法 - Google Patents

乳腺癌超声影像高置信实体关系的知识图谱构建方法 Download PDF

Info

Publication number
CN111743574A
CN111743574A CN202010665947.XA CN202010665947A CN111743574A CN 111743574 A CN111743574 A CN 111743574A CN 202010665947 A CN202010665947 A CN 202010665947A CN 111743574 A CN111743574 A CN 111743574A
Authority
CN
China
Prior art keywords
entity
matrix
confidence
image
ultrasonic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010665947.XA
Other languages
English (en)
Other versions
CN111743574B (zh
Inventor
习佳宁
黄庆华
李学龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010665947.XA priority Critical patent/CN111743574B/zh
Publication of CN111743574A publication Critical patent/CN111743574A/zh
Application granted granted Critical
Publication of CN111743574B publication Critical patent/CN111743574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种乳腺癌超声影像高置信实体关系的知识图谱构建方法。首先，利用深度残差网络提取乳腺癌超声影像的实体；然后，利用双聚类算法对样本‑实体矩阵进行挖掘，得到高度关联的若干子矩阵；接着，通过构建并求解包含混淆因子干扰因变量关系的优化函数，得到各实体间的高置信关系集合；最后，以实体为节点、以实体间的高置信关系为邻边，构建得到乳腺癌超声影像的知识图谱。本发明通过从乳腺癌超声影像中挖掘出高置信实体并构建为知识图谱，能够为可解释诊断推理提供基础，可以较好地解决医学数据样例较少而造成预测结果置信度不高的问题，更加适用于医学超声数据的小样本高置信实体关系的挖掘。

Description

乳腺癌超声影像高置信实体关系的知识图谱构建方法
技术领域
本发明属乳腺癌超声影像分析领域，具体涉及一种乳腺癌超声影像高置信实体关系的知识图谱构建方法。
背景技术
医学超声是临床中最常用的影像检查方法，在应对庞大规模的乳腺筛查时，经验丰富的超声医生的人数明显不足。为降低大规模筛查对大量医生人手的依赖，目前主要对医学超声引入计算机辅助诊断，而从超声图像中挖掘相关知识是实现计算机辅助诊断的重要前提。
在现有的乳腺超声知识挖掘相关研究中，主要集中于分割出超声图像中的组织结构区域。其中，Xian等人在文献"Xian M,Zhang Y T,Cheng H D.Fully automaticsegmentation of breast ultrasound images based on breast characteristics inspace and frequency domains[J].Pattern Recognition,2015,48(2):485-497"中通过分析乳腺超声图像的时-频域特征，全自动分割出乳腺超声图像的病灶区域。Li等人在文献"Li X L,Yang C L,Wu S C,et al.Automatic Segmentation Algorithm of BreastUltrasound Image Based on Improved Level Set Algorithm[M].2016:319-322"中通过改进水平集方法实现乳腺超声的全自动分割。鉴于近年来深度学习在图像分析领域取得的突破，Lei等人在文献"Lei B Y,Huang S,Li R,et al.Segmentation of breast anatomyfor automated whole breast ultrasound images with boundary regularizedconvolutional encoder-decoder network[J].Neurocomputing,2018,321:178-186"中采用了卷积自动编码机深度学习方法，精确划分出乳腺超声图像的解剖结构区域。Hu等人则在文献"Hu Y Z,Guo Y,Wang Y Y,et al.Automatic tumor segmentation in breastultrasound images using a dilated fully convolutional network combined withan active contour model[J].Medical Physics,2019,46(1):215-228"中通过空洞卷积神经网络的深度学习方法，实现超声图像的乳腺肿瘤病灶精确分割。Huang等人在文献"Huang Q H,Yang F B,Liu L Z,et al.Automatic segmentation of breast lesions forinteraction in ultrasonic computer-aided diagnosis[J].Information Sciences,2015,314:293-310"中设计了一种基于图像各区域相互关联关系的乳腺病灶区域自动分割方法，还在文献"Huang Q,Huang Y,Luo Y,et al.Segmentation of breast ultrasoundimage with semantic classification of superpixels[J].Medical image analysis,2020,61:101657"中提出了基于超像素的乳腺病灶语义分割算法，可有效分割出高噪声超声图像的病灶区域。
总的来说，已有研究主要围绕着乳腺超声影像数据本身，通过数据驱动的方式开展医学超声诊断相关的知识挖掘，但对从超声图像中识别出相关组织及其状态等方面的知识的关联理解不足，且医学超声影像不仅数据维度很高，在数据量方面也远少于自然图像的体量，导致现有数据驱动方法存在极高的过合风险，在很大程度上限制了所挖掘知识对诊断参考的可信度。随着近年来医生和患者对医学辅助诊断的可解释性要求与日俱增，将所挖掘知识构建为知识图谱是满足计算机推理过程可解释性的有效方式，但还未见相关研究，即缺少对于小样本高维数据的高置信知识挖掘方法及知识图谱构建的研究。
发明内容
为了克服现有技术的不足，本发明提供一种乳腺癌超声影像高置信实体关系的知识图谱构建方法。首先，利用深度残差网络提取乳腺癌超声影像的实体；然后，利用双聚类算法对样本-实体矩阵进行挖掘，得到高度关联的若干子矩阵；接着，通过构建并求解包含混淆因子干扰因变量关系的优化函数，得到各实体间的高置信关系集合；最后，以实体为节点、以实体间的高置信关系为邻边，构建得到乳腺癌超声影像的知识图谱。本发明通过从乳腺癌超声影像中挖掘出高置信实体并构建为知识图谱，能够为可解释诊断推理提供基础，可以较好地解决医学数据样例较少而造成预测结果置信度不高的问题，更加适用于医学超声数据的小样本高置信实体关系的挖掘。
一种乳腺癌超声影像高置信实体关系的知识图谱构建方法，其特征在于步骤如下：
步骤1：采集得到包含乳腺癌病灶的超声图像集，对其中的每一幅超声图像进行区域分割，然后，对分割得到的病灶区域进行BI-RADS分级，得到BI-RADS影像特征量表评分；将超声图像病灶区域切割为若干图像块作为训练数据，并以BI-RADS量表评分作为超声图像病灶区域的标注信息，输入到预训练的深度残差网络进行再训练，得到训练好的深度残差网络，其中，网络的倒数第一层的输出即为超声图像的BI-RADS影像特征，设共有P1个；倒数第二层的全连接层所提取的特征为含有超声图像信息的潜在特征，设共有P2个；BI-RADS影像特征和潜在特征共同构成超声图像的实体，且每个特征对于输入图像均具有相应的得分，代表相应实体在图像中所含的程度；所述的预训练的深度残差网络是指以ImageNet数据库的自然图像数据为训练数据集对深度残差网络进行训练得到的网络；
步骤2：构建超声数据的样本-实体矩阵，其中，矩阵的第i行第j列元素为第i幅超声图像经深度残差网络处理后中第j个实体所对应的输出得分，i＝1,2,…,N，N为超声图像的数量，j＝1,2,…,p，p为总实体数且p＝P1+P2；然后，采用双相演化计算的双聚类算法对样本-实体矩阵进行识别处理，得到具有局部一致性的若干子矩阵；
步骤3：设jy表示当前作为因变量的实体所对应的序号，jx表示当前作为自变量的实体所对应的序号，jx＝1,…,p且jx≠jy，对于步骤2得到的每一个子矩阵，采用交替方向乘子法求解以下优化函数，得到第jy个实体的因变量关系向量
Figure BDA0002580451890000031
和样本权重向量w：
Figure BDA0002580451890000032
其中，Z表示当前处理的子矩阵，设矩阵Z共有n行、p列，wk为向量w中的第k个元素，λ为预先自定的调谐参数，λ∈(0,+∞)；
Figure BDA0002580451890000033
为预测损失函数，RConf(w；Z；T；C；jy)为正则化项，具体计算公式如下：
Figure BDA0002580451890000034
Figure BDA0002580451890000035
其中，wi为向量w中的第i个元素，zi为子矩阵Z的第i行向量，
Figure BDA0002580451890000036
表示仅在矩阵对角线第jy行jy列的对角元为1而其余元素均为0的p×p矩阵，
Figure BDA0002580451890000037
表示将p×p单位矩阵的矩阵对角线第jy行jy列的对角元替换为0后的矩阵，
Figure BDA0002580451890000038
表示将p×p单位矩阵的矩阵对角线第jx行jx列与第jy行jy列的对角元替换为0的矩阵；T(jx)表示序号为jx的实体所对应的输出得分高于0.5的超声图像所构成的集合，C(jx)表示序号为jx的实体所对应的输出得分低于或等于0.5的超声图像所构成的集合，两个集合满足T(jx)∪C(jx)＝{1,2,...,n}和T(jx)∩C(jx)＝φ；
令jy的取值从1取至p，分别按上述过程进行计算，得到所有p个实体的因变量关系向量，以每个实体的因变量关系向量为一列，得到关系矩阵B，记录关系矩阵B中所有绝对值大于置信度阈值θ的元素的位置，得到矩阵Z的高置信关系集合SP＝{(i1,j1),(i2,j2),...,(iK,jK)}，其中，im表示所记录的第m个元素所在的行号，jm表示所记录的第m个元素所在的列号，m＝1,2,…,K，K为所记录的满足条件的元素总数；其中，所述的置信度阈值θ∈(0,+∞)；
对所有子矩阵均按以上过程进行计算，得到每一个子矩阵的高置信关系集合；
步骤4：以步骤2得到的子矩阵中的每个实体作为一个节点，并对节点进行编号；以步骤3得到的子矩阵的高置信关系集合中记录的实体间高置信关系构建节点之间的邻边，最终得到乳腺超声知识图谱。
本发明的有益效果是：由于采用了自然图像预训练和医学超声图像精调的策略，使得实体提取过程的医学超声数据量需求极大程度降低，进而可减少临床应用时的数据采集成本；由于采用高维小样本双聚类与稳定学习关系筛选方法实现特征实体关系的高置信知识挖掘，能够有效降低数据量需求并提升关联可信度；将从乳腺超声图像所挖掘的知识根据其间关联，构建为知识图谱形式，以适应计算机推理过程可解释性要求，能够满足医生和患者对医学辅助诊断的可解释需求。
附图说明
图1是本发明的乳腺癌超声影像高置信实体关系的知识图谱构建方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明提供了一种乳腺癌超声影像高置信实体关系的知识图谱构建方法。其基本实现过程如下：
1、乳腺超声BI-RADS分级与影像特征实体抽取。
采集乳腺癌超声诊查的超声图像数据，获得乳腺癌诊查过程各步骤的超声图像数据。通过将医生挑选出其中包含乳腺癌肿瘤病灶的超声图像，对相应超声影像的乳腺癌病灶区域进行分割，并对病灶进行BI-RADS分级。将其中与影像有关的BI-RADS影像特征作为后续超声数据挖掘的标注。采用深度残差网络框架识别超声图像中的BI-RADS影像特征，选取经过ImageNet大型自然图像数据库预训练的深度残差网络模型，将所收集的超声图像病灶区域对网络模型微调训练。对于每张超声图像，该图像在深度残差网络中所激活的特征为其含有的实体。因此，对于已完成精调训练的深度残差网络，将网络倒数第一层输出的BI-RADS影像特征，与网络倒数第二层全连接层所提取的特征，共同作为超声数据源中所抽取的实体。
2、高维小样本超声影像实体局部关联双聚类挖掘。
将每个超声图像作为样本，根据各样本对特征的激活函数值，将这些图像的激活特征(即输出得分高于0.5的特征)作为实体，构建超声数据的样本-实体矩阵。由于医学超声图像相比于自然图像的样本量较少，且特征实体数目相对较多，采用更加适用于高维小样本的双聚类算法，从而在小样本超声特征数据中挖掘仅发生于局部样本的相关关系。采用双相演化计算的双聚类算法对特征实体间的关联关系进行挖掘，从而幅降低双聚类组合优化的时间成本。针对超声数据的样本-实体矩阵，挖掘其中行和列的元素均高度相关的子矩阵。在每个子矩阵中，相应的列代表仅在部分样本存在相关关系的关联特征实体；相应的行则指示出这些高度相关特征实体所对应的样本。所有结果中的子矩阵可有效给出多个实体之间的相互关联关系。
3、基于稳定学习的影像实体之间高置信关系筛选。
鉴于上述双聚类所找到子矩阵的实体间关系两两关联中包含了大量冗余关联，对此采用稳定学习对特征实体之间的两两关系进行筛选。其中，为消除特征实体间“多对一”关系造成的混淆因子干扰因素，通过改变样本权重，促使各混淆因子的样本期望近似相等，从而在样本权重层面实现混淆因子的干扰屏蔽。对混淆因子干扰屏蔽后的因变量关系构建优化函数，通过交替方向乘子法进行求解。对所有双聚类子矩阵分别进行该操作，筛选各实体间的高置信关系。具体为：
设当前考察的双聚类子矩阵Z中存在n个样本，每个样本均含有p个特征实体，
Figure BDA0002580451890000051
其中，zi为第i个样本中特征实体激活状态的向量(i∈{1,2,...,n})。通过将第jy个特征实体当作因变量，在其余实体中选择第jx个实体特征作为自变量，将其余p-2个特征实体作为混淆因子。对于自变量第jx个特征实体，记集合T(jx)包含了第jx个特征处于激活(所对应的输出得分高于0.5)的样本(实验组，Treatment)，集合C(jx)包含了第jx个特征未激活(所对应的输出得分低于或等于0.5)的样本(对照组，Control)，且这两个集合满足条件T(jx)∪C(jx)＝{1,2,...,n}及T(jx)∩C(jx)＝φ。记
Figure BDA0002580451890000052
矩阵为将p×p单位阵对角线的第jx与jy对角元素均替换为0的矩阵，通过
Figure BDA0002580451890000053
可得到第i个样本对应的仅含混肴因子的向量。因此，通过引入样本权重向量w＝[w1,w2,...,wn]T，则可以通过改变样本权重，促使各混淆因子的样本期望近似相等，从而在样本权重层面实现混淆因子的干扰屏蔽。将自变量jx分别作为除jy以外的所有特征实体，可得到对应的正则化项为：
Figure BDA0002580451890000061
为考察第jy个特征实体与其他特征实体的关系，引入关系向量β∈Rn×1(其第jy个系数设为0)对jy特征实体与其余p-1个实体的关系进行评估。记
Figure BDA0002580451890000062
矩阵为仅对角线上第jy个元素为1而其余元素均为0的p×p矩阵，
Figure BDA0002580451890000063
矩阵为将p×p单位阵的对角线第jy个元素替换为0的矩阵，则
Figure BDA0002580451890000064
和
Figure BDA0002580451890000065
分别为第i个样本对应的仅含因变量和含其他所有自变量的向量。因此，对于样本权重向量w，引入因变量关系向量β与含其他所有自变量的向量
Figure BDA0002580451890000066
对仅含因变量特征实体激活状态的向量
Figure BDA0002580451890000067
的预测损失函数为：
Figure BDA0002580451890000068
为实现第jy个特征实体与其他实体间关系的高置信筛选，将式(4)和式(5)共同进行整合得到混淆因子干扰屏蔽的因变量关系估计，即对于样本权重向量w和因变量关系向量β的联合优化函数为：
Figure BDA0002580451890000069
Figure BDA00025804518900000610
对上述优化函数进行交替方向乘子法进行求解，可获得最终的样本权重向量w和因变量关系向量β。
令jy的取值从1取至p，分别按上述过程进行计算，得到所有p个实体的因变量关系向量，以每个实体的因变量关系向量为一列，得到关系矩阵B，记录关系矩阵B中所有绝对值大于置信度阈值θ的元素的位置，得到矩阵Z的高置信关系集合SP＝{(i1,j1),(i2,j2),...,(iK,jK)}，其中，im表示所记录的第m个元素所在的行号，jm表示所记录的第m个元素所在的列号，m＝1,2,…,K，K为所记录的满足条件的元素总数；其中，所述的置信度阈值θ的取值范围为(0,+∞)。经过如此，即完成当前双聚类子矩阵的实体间关系筛选。
对所有双聚类子矩阵分别进行上述操作，得到每一个子矩阵的高置信关系集合，实现所有实体间的高置信关系筛选。
4、实体与关系的三元组表示与超声知识图谱构建。
将实体间关系所包含的两个实体
Figure BDA0002580451890000071
与高置信关系rk，组成特征实体与高置信关系的三元组
Figure BDA0002580451890000072
将上述所筛选的多个实体间高置信关系，分别作为不同的三元组记录。由于筛选中jx与jy分别被作为因变量，因此所筛选高置信关系并非对称。将特征实体作为节点并赋予对应编号，将实体间高置信关系作为邻边，上述编号可作为有向图的非对称稀疏的邻近矩阵表示。三元组稀疏邻近矩阵所对应的图中，每个节点代表超声图像所提取特征和BI-RADS影像特征，每个邻边代表两实体之间的高置信关联关系，共同构成乳腺超声知识图谱。

Claims (1)

1.一种乳腺癌超声影像高置信实体关系的知识图谱构建方法，其特征在于步骤如下：
步骤1：采集得到包含乳腺癌病灶的超声图像集，对其中的每一幅超声图像进行区域分割，然后，对分割得到的病灶区域进行BI-RADS分级，得到BI-RADS影像特征量表评分；将超声图像病灶区域切割为若干图像块作为训练数据，并以BI-RADS量表评分作为超声图像病灶区域的标注信息，输入到预训练的深度残差网络进行再训练，得到训练好的深度残差网络，其中，网络的倒数第一层的输出即为超声图像的BI-RADS影像特征，设共有P1个；倒数第二层的全连接层所提取的特征为含有超声图像信息的潜在特征，设共有P2个；BI-RADS影像特征和潜在特征共同构成超声图像的实体，且每个特征对于输入图像均具有相应的得分，代表相应实体在图像中所含的程度；所述的预训练的深度残差网络是指以ImageNet数据库的自然图像数据为训练数据集对深度残差网络进行训练得到的网络；
步骤2：构建超声数据的样本-实体矩阵，其中，矩阵的第i行第j列元素为第i幅超声图像经深度残差网络处理后中第j个实体所对应的输出得分，i＝1,2,…,N，N为超声图像的数量，j＝1,2,…,p，p为总实体数且p＝P1+P2；然后，采用双相演化计算的双聚类算法对样本-实体矩阵进行识别处理，得到具有局部一致性的若干子矩阵；
步骤3：设jy表示当前作为因变量的实体所对应的序号，jx表示当前作为自变量的实体所对应的序号，jx＝1,…,p且jx≠jy，对于步骤2得到的每一个子矩阵，采用交替方向乘子法求解以下优化函数，得到第jy个实体的因变量关系向量
Figure FDA0002580451880000011
和样本权重向量w：
Figure FDA0002580451880000012
其中，Z表示当前处理的子矩阵，设矩阵Z共有n行、p列，wk为向量w中的第k个元素，λ为预先自定的调谐参数，λ∈(0,+∞)；
Figure FDA0002580451880000013
为预测损失函数，RConf(w；Z；T；C；jy)为正则化项，具体计算公式如下：
Figure FDA0002580451880000014
Figure FDA0002580451880000015
其中，wi为向量w中的第i个元素，zi为子矩阵Z的第i行向量，
Figure FDA0002580451880000021
表示仅在矩阵对角线第jy行jy列的对角元为1而其余元素均为0的p×p矩阵，
Figure FDA0002580451880000022
表示将p×p单位矩阵的矩阵对角线第jy行jy列的对角元替换为0后的矩阵，
Figure FDA0002580451880000023
表示将p×p单位矩阵的矩阵对角线第jx行jx列与第jy行jy列的对角元替换为0的矩阵；T(jx)表示序号为jx的实体所对应的输出得分高于0.5的超声图像所构成的集合，C(jx)表示序号为jx的实体所对应的输出得分低于或等于0.5的超声图像所构成的集合，两个集合满足T(jx)∪C(jx)＝{1,2,...,n}和T(jx)∩C(jx)＝φ；
令jy的取值从1取至p，分别按上述过程进行计算，得到所有p个实体的因变量关系向量，以每个实体的因变量关系向量为一列，得到关系矩阵B，记录关系矩阵B中所有绝对值大于置信度阈值θ的元素的位置，得到矩阵Z的高置信关系集合SP＝{(i1,j1),(i2,j2),...,(iK,jK)}，其中，im表示所记录的第m个元素所在的行号，jm表示所记录的第m个元素所在的列号，m＝1,2,…,K，K为所记录的满足条件的元素总数；其中，所述的置信度阈值θ∈(0,+∞)；
对所有子矩阵均按以上过程进行计算，得到每一个子矩阵的高置信关系集合；
步骤4：以步骤2得到的子矩阵中的每个实体作为一个节点，并对节点进行编号；以步骤3得到的子矩阵的高置信关系集合中记录的实体间高置信关系构建节点之间的邻边，最终得到乳腺超声知识图谱。
CN202010665947.XA 2020-07-12 2020-07-12 乳腺癌超声影像高置信实体关系的知识图谱构建方法 Active CN111743574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010665947.XA CN111743574B (zh) 2020-07-12 2020-07-12 乳腺癌超声影像高置信实体关系的知识图谱构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010665947.XA CN111743574B (zh) 2020-07-12 2020-07-12 乳腺癌超声影像高置信实体关系的知识图谱构建方法

Publications (2)

Publication Number Publication Date
CN111743574A true CN111743574A (zh) 2020-10-09
CN111743574B CN111743574B (zh) 2023-04-07

Family

ID=72711268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010665947.XA Active CN111743574B (zh) 2020-07-12 2020-07-12 乳腺癌超声影像高置信实体关系的知识图谱构建方法

Country Status (1)

Country Link
CN (1) CN111743574B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348106A (zh) * 2020-11-18 2021-02-09 电子科技大学 一种基于关键点学习的乳腺超声影像分类方法
WO2023098091A1 (zh) * 2021-12-02 2023-06-08 浙江宇视科技有限公司 实体图像的聚类处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663221A (zh) * 2014-08-19 2017-05-10 高通股份有限公司 由知识图谱偏置的数据分类
CN108389614A (zh) * 2018-03-02 2018-08-10 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
US20180341863A1 (en) * 2017-05-27 2018-11-29 Ricoh Company, Ltd. Knowledge graph processing method and device
CN109815299A (zh) * 2019-01-29 2019-05-28 北京百度网讯科技有限公司 提供对象集的视觉表示的方法、装置、设备和存储介质
CN111046526A (zh) * 2019-11-13 2020-04-21 成都理工大学 基于统计学习的压缩采样传感矩阵扰动优化模型构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663221A (zh) * 2014-08-19 2017-05-10 高通股份有限公司 由知识图谱偏置的数据分类
US20180341863A1 (en) * 2017-05-27 2018-11-29 Ricoh Company, Ltd. Knowledge graph processing method and device
CN108389614A (zh) * 2018-03-02 2018-08-10 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
CN109815299A (zh) * 2019-01-29 2019-05-28 北京百度网讯科技有限公司 提供对象集的视觉表示的方法、装置、设备和存储介质
CN111046526A (zh) * 2019-11-13 2020-04-21 成都理工大学 基于统计学习的压缩采样传感矩阵扰动优化模型构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHEYAN SHEN ET AL: "Causally Regularized Learning with Agnostic Data Selection Bias", 《MM \"18: PROCEEDINGS OF THE 26TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
张垒超: "超声乳腺癌图像BI-RADS分类研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348106A (zh) * 2020-11-18 2021-02-09 电子科技大学 一种基于关键点学习的乳腺超声影像分类方法
CN112348106B (zh) * 2020-11-18 2022-06-28 电子科技大学 一种基于关键点学习的乳腺超声影像分类方法
WO2023098091A1 (zh) * 2021-12-02 2023-06-08 浙江宇视科技有限公司 实体图像的聚类处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111743574B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Siddiqui et al. IoMT cloud-based intelligent prediction of breast cancer stages empowered with deep learning
Li et al. Multi-view mammographic density classification by dilated and attention-guided residual learning
Zemouri et al. Breast cancer diagnosis based on joint variable selection and constructive deep neural network
Chattopadhyay et al. MTRRE-Net: A deep learning model for detection of breast cancer from histopathological images
Sahran et al. Machine learning methods for breast cancer diagnostic
CN111743574B (zh) 乳腺癌超声影像高置信实体关系的知识图谱构建方法
CN116740435A (zh) 基于多模态深度学习影像组学的乳腺癌超声图像分类方法
NL2029876A (en) Deep residual network-based classification system for thyroid cancer computed tomography (ct) images
Boadh et al. Study of fuzzy expert system for the diagnosis of various types of cancer
Singh et al. Deep attention network for pneumonia detection using chest X-ray images
Sundarasekar et al. Automatic brain tumor detection and classification based on IoT and machine learning techniques
Abdulaal et al. A self-learning deep neural network for classification of breast histopathological images
CN117994587A (zh) 一种基于深度学习两阶段推理网络的病理图像分类方法
Zerouaoui et al. A new approach for histological classification of breast cancer using deep hybrid heterogenous ensemble
Mir et al. Artificial intelligence-based techniques for analysis of body cavity fluids: a review
Quintanilla-Domínguez et al. Automatic detection of microcalcifications in roi images based on pfcm and ann
Verma et al. Classifying breast density in mammographic images using wavelet-based and fine-tuned sensory neural networks
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN112086174B (zh) 一种三维知识诊断模型构建方法和系统
CN114170415A (zh) 基于组织病理图像深度域适应的tmb分类方法及系统
Sakthivel et al. A Wrapper based feature extraction framework based on AlexNet deep convolutional neural network parameters optimized using gradient‐based optimizer for mammogram images
Chen et al. SFE-Net: Spatial-Frequency Enhancement Network for robust nuclei segmentation in histopathology images
Jadhav et al. Comparative Study of breast cancer detection methods
Kumar et al. Innovative Breast Cancer Detection Through Mammogram Analysis
Mushtaq et al. Artificial intelligence for computer aided detection of pneumoconiosis: A succinct review since 1974

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Huang Qinghua

Inventor after: Xi Jianing

Inventor after: Li Xuelong

Inventor before: Xi Jianing

Inventor before: Huang Qinghua

Inventor before: Li Xuelong

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant