CN116958072A - 基于abvs的乳腺癌her2基因突变预测方法及设备 - Google Patents

基于abvs的乳腺癌her2基因突变预测方法及设备 Download PDF

Info

Publication number
CN116958072A
CN116958072A CN202310830591.4A CN202310830591A CN116958072A CN 116958072 A CN116958072 A CN 116958072A CN 202310830591 A CN202310830591 A CN 202310830591A CN 116958072 A CN116958072 A CN 116958072A
Authority
CN
China
Prior art keywords
segmentation
image
abvs
breast cancer
her2 gene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310830591.4A
Other languages
English (en)
Inventor
张家乐
姚毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Linatech Medical Science And Technology
Original Assignee
Suzhou Linatech Medical Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Linatech Medical Science And Technology filed Critical Suzhou Linatech Medical Science And Technology
Priority to CN202310830591.4A priority Critical patent/CN116958072A/zh
Publication of CN116958072A publication Critical patent/CN116958072A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于ABVS的乳腺癌HER2基因突变预测方法及设备，包括：步骤S1：获取ABVS图像；步骤S2：对ABVS图像进行初步分割，获得乳腺组织部分；步骤S3：在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；步骤S4：根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；步骤S5：将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。本发明利用非侵入性方法预测乳腺癌中HER2突变状态，预测精准，为乳腺癌临床治疗提供帮助。

Description

基于ABVS的乳腺癌HER2基因突变预测方法及设备
技术领域
本发明属于医疗图像处理技术领域，具体涉及一种基于ABVS的乳腺癌HER2基因突变预测方法及设备。
背景技术
一种受体型的酪氨酸激酶-人类表皮生长因子受体2(HER2)在20％～30％的原发性乳腺润性导管痘中有基因的扩增和蛋白的过度表达。HER2阳性的乳腺瘤浸润性强，无病生存期短，预后差。
在乳腺癌风险级别评估因子当中，虽然淋巴结状态仍然是最重要的因素，但HER2状态直接影响风险的级别。当淋巴结阴性或只有1～3个淋巴结有转移时，如HER2过表达或基因扩增则风险级别分别由低上升为中，中上升为高。已有发明表明，肿瘤的分子生物学行为决定病灶的病理形态特征，这就使探讨分子生物学与影像学相关性成为可能。
目前只能在HER2阳性突变后检出，且一般在患者出现HER2阳性后采用免疫组织化学(IHC)检测HER2受体蛋白过度表达，应用荧光原位杂交(fluorescence insituhybridization，FISH)和显色原位杂交(chromogenic in situhybridization，CISH)法检测HER2基因扩增的水平。
而标本的固定及保存抗体、探针的选择结果的判读、操作者的经验等多种因素均可导致检测结果的偏差。
现有的基于CT图像虽能对HER2阳性突变进行预测，但是其分辨率低，容易造成预判。
发明内容
为了解决上述技术问题，本发明提出了一种基于ABVS的乳腺癌HER2基因突变预测方法及设备。
为了达到上述目的，本发明的技术方案如下：
一方面，本发明公开了一种基于ABVS的乳腺癌HER2基因突变预测方法，包括：
步骤S1：获取ABVS图像；
步骤S2：对ABVS图像进行初步分割，获得乳腺组织部分；
步骤S3：在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；
步骤S4：根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；
步骤S5：将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。
在上述技术方案的基础上，还可做如下改进：
作为优选的方案，步骤S1还包括：对获取的ABVS图像预处理，预处理包括以下一种或多种操作：对ABVS各层各向同性插值、调整图像增益、归一化处理。
作为优选的方案，步骤S2具体包括：
步骤S2.1：利用第一分割模型对ABVS图像进行初步分割，获得初步的分割区域；
步骤S2.2：对初步的分割区域进行形态学闭运算，获得乳腺组织部分。
作为优选的方案，步骤S3具体包括：
步骤S3.1：根据乳腺组织部分生成特征图；
步骤S3.2：根据特征图提取通道注意力，并根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，使用可学习参数来赋予对应权重，再提取其空间注意力；
步骤S3.4：按权重系数将通道注意力、空间注意力与特征图进行融合；
步骤S3.5：在融合后的特征图的基础上，利用第二分割模型进行二次分割，获得病变ROI区域。
作为优选的方案，步骤S5具体包括：
步骤S5.1：将分割过程产生的分割特征和影像组学特征进行联合，形成联合特征；
步骤S5.2：利用降维算法对联合特征进行降维处理；
步骤S5.3：使用深层特征分类器对HER2基因突变状态进行预测。
另一方面，本发明还公开一种基于ABVS的乳腺癌HER2基因突变预测设备，包括：
获取模块，用于获取ABVS图像；
初步分割模块，用于对ABVS图像进行初步分割，获得乳腺组织部分；
二次分割模块，用于在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；
影像组学特征获得模块，用于根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；
预测模块，用于将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。
作为优选的方案，获取模块包括：
获取单元，用于获取ABVS图像；
预处理单元，用于对获取的ABVS图像预处理，预处理包括：对ABVS各层各向同性插值、调整图像增益、归一化处理。
作为优选的方案，初步分割模块具体包括：
初步分割单元，用于利用第一分割模型对ABVS图像进行初步分割，获得初步的分割区域；
形态学闭运算单元，用于对初步的分割区域进行形态学闭运算，获得乳腺组织部分。
作为优选的方案，二次分割模块具体包括：
特征图生成单元，用于根据乳腺组织部分生成特征图；
多注意力提取单元，用于根据特征图提取通道注意力，并根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，使用可学习参数来赋予对应权重，再提取其空间注意力；
融合单元，用于按权重系数将通道注意力、空间注意力与特征图进行融合；
二次分割单元，用于在融合后的特征图的基础上，利用第二分割模型进行二次分割，获得病变ROI区域。
作为优选的方案，预测模块具体包括：
联合特征形成单元，用于将分割过程产生的分割特征和影像组学特征进行联合，形成联合特征；
降维单元，用于利用降维算法对联合特征进行降维处理；
预测单元，用于使用深层特征分类器对HER2基因突变状态进行预测。
本发明公开一种基于ABVS的乳腺癌HER2基因突变预测方法及设备，在ABVS图像的基础上，进行二次分割，第一次分割乳腺组织部分，第二次分割病变ROI区域。且第二次分割，根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，并联合多头注意力机制分割NCSCLC病灶。
本发明利用非侵入性方法预测乳腺癌中HER2突变状态，预测精准，为乳腺癌临床治疗提供帮助。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的乳腺癌HER2基因突变预测方法的流程图。
图2为本发明实施例提供的乳腺癌HER2基因突变预测方法的步骤框图。
图3为本发明实施例提供的预处理及乳腺组织部分分割图。
图4为本发明实施例提供的融合注意力框图。
图5为本发明实施例提供的影像组学特征组的组成图。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
另外，“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件，不应当解释为排除附加的部件。
为了达到本发明的目的，一种基于ABVS的乳腺癌HER2基因突变预测方法及设备的其中一些实施例中，利用ABVS图像进行预测，ABVS图像对软组织的分辨力高于CT图像对软组织的分辨率，且ABVS可获得乳腺组织结构信息范围远远大于CT获取到的组织结构信息，ABVS能够采集实时肿瘤血流信号及血管频谱等图像信息。
在实施例中，如图1-2所示，基于ABVS的乳腺癌HER2基因突变预测方法包括：
步骤S1：获取ABVS图像；
步骤S2：对ABVS图像进行初步分割，获得乳腺组织部分；
步骤S3：在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；
步骤S4：根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；
步骤S5：将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。
下面对每个步骤进行详细的阐述。
步骤S1还包括：对获取的ABVS图像预处理，预处理包括：对ABVS各层各向同性插值、调整图像增益、归一化处理。
步骤S2具体包括：
步骤S2.1：利用第一分割模型对ABVS图像进行初步分割，获得初步的分割区域；
步骤S2.2：对初步的分割区域进行形态学闭运算，获得乳腺组织部分。
具体地，在步骤S2中，针对乳腺癌灶分割，先分割乳腺组织部分，再在乳腺组织部分的基础上分割病变ROI(Region OfInterest)区域。
在本实施例中，可以利用第一分割模型(如：传统U-Net模型)分割乳腺组织部分。受周围腺体组织影像影响，分割的乳腺组织部分存在部分缺失，故进一步对分割区域进行形态学闭运算，由此能够获得完整的乳腺组织区域，为后续乳腺部病变组织分割提供更精确的搜索空间。
在步骤S2中，使用的第一分割模型经过在公共数据集上的训练和评估，该数据集包含422名患者的可用ABVS图像和分割结果。同时，数据集被用作上述分割任务的测试集并用于下游分类任务，它包括211可用ABVS图像。
在这两个数据集中，经过相同的预处理后，体素强度被裁剪到范围[-1200,300]，重采样到1,1,1.5mm3的各向异性分辨率，使用U-Net(R231)预训练权重对乳腺进行剪切。
由于周围组织因素，导致分割结果会存在细小缺口，针对该问题，采用形态学闭运算来获得完整的公共，并将乳腺图像调整大小为256×256×256。采用图像的b样条和最近的插值对图像进行肿瘤分割，其中肿瘤分割可用于144名患者，其中117名患者已知HER2突变状态。这些数据集的使用为实验提供了稳定的基础，保证了实验的可靠性和有效性。
ABVS预处理和乳腺组织分割的结果如图3所示。该图展示了周围组织因素影响的情况，以及乳腺组织分割缺失的问题以及通过形态学闭操作进行修正的过程。
如图4所示，步骤S3具体包括：
步骤S3.1：根据乳腺组织部分生成特征图；
步骤S3.2：根据特征图提取通道注意力，并根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，使用可学习参数来赋予对应权重，再提取其空间注意力；
步骤S3.4：按权重系数将通道注意力、空间注意力与特征图进行融合；
步骤S3.5：在融合后的特征图的基础上，利用第二分割模型进行二次分割，获得病变ROI区域。
由于乳腺部病变ROI区域体积较小，特征可用性有限，样本分布不平衡等因素，因此具有挑战性。作为医学图像分割的标准模型，CNN已经得到了广泛地发明，尤其是U-Net网络。该网络由具有跳接的对称编码器和解码器网络组成，已经成为医学图像分析领域中的常见选择。此外，还出现了一些基于U-Net网络的改进版本，如Res-UNet和HDenseUNet。另外，一些发明使用AutoML搜索UNet架构或2D和3D特征的集合，如C2FNAS使用两阶段NAS搜索3D架构，使用元学习器学习2D和3D特征的集合。
虽然这些架构在各种二维和三维医学图像分割任务中取得了显著的进展，但它们缺乏学习全局上下文和长期空间依赖关系的能力，在具有挑战性的小病变分割任务上性能下降。
故在本发明的步骤S3中，针对乳腺部病变ROI区域分割部分，提出了一种创新的三维架构VA_UNet(Variational Attention Unet)。首先抽取出医学影像的三维注意力，并且投影至二维切面上，与特征图进行融合，将2D和3D注意力映射融合在编码器和解码器块中，以获得更好的上下文表示。通过这种方式联合上下文信息，能够有效地学习全局上下文和长期空间依赖关系，提高小病变分割任务的性能，更好地获取病变ROI区域。
表1展示了原发性乳腺浸润性导管癌病灶分割结果，可以看出引入注意力机制后，病灶分割结果优于NNUNet。
表1 VA_UNet模型和NNUNet模型结果比较
Network MSD RECALL RRECION
nnUNet 2D full 58.71.％ 69.57％ 62.22％
nnUNet 3D full 60.71％ 67.76％ 58.09％
VA_UNet 65.02％ 77.76％ 67.76％
本发明所提模型优于NNUnet，在该模型基础上，通过对比发现，分割乳腺组织确实能够有效降低病灶搜索空间，更加精确地分割乳腺病变区域。消融实验结果如表2所示。
表2分割乳腺组织步骤消融实验
Network MSD RECALL RRECION
TTTNet(no lung seg) 60.02％ 77.76％ 67.76％
TTTNet(lung seg) 65.02％ 77.76％ 67.76％
近年来，越来越多的发明表明基于影像学征象预测乳腺癌基因突变状态的可行性，并发明肿瘤表现形态与基因突变之间的关联。通过将基因发明与医学影像学的相互结合，可以将乳腺癌影像学发明范围拓展到分子领域，观察乳腺癌的生物学特性，为临床指导肿瘤病理分类、治疗及疗效监测提供帮助。
而目前HER2基因突变状态的检测主要是通过手术或穿刺等方法获取组织标本，价格昂贵且步骤复杂。如果能通过ABVS征象来判断基因突变状态，不仅可以减少患者的负担，还会为乳腺癌的诊断、治疗和预后提供更加精准的指导。
步骤S4和步骤S5公开一种新型的乳腺癌患者基因突变状态评估方法，该方法利用乳腺癌患者的ABVS影像学表现，通过影像识别技术和图像特征分析算法提取HER2基因突变相关的特征，如纹理、形态、强度等。该方法无需获取乳腺癌组织标本，操作便捷、非侵入性强，可以更全面、准确地评价乳腺癌患者的基因突变状态。
该方法的核心步骤包括：收集大量已知HER2基因突变状态的乳腺癌患者的ABVS影像，建立预测模型并运用机器学习或深度学习算法进行预测。该方法具有广泛的应用前景，为乳腺癌的治疗及疗效监测提供了重要的支持，具有以下优点：1)便捷性、高效性和准确性高，在乳腺癌临床治疗中起到重要作用；2)无需获取乳腺癌组织标本，操作便捷、非侵入性强，可以更全面、准确地评价乳腺癌患者的基因突变状态，为乳腺癌的治疗及疗效监测提供有力的支持。
具体地，在步骤S4中，根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征。
步骤S4利用影像组学特征来分析肿瘤图像，影像组学特征包括四个部分，如图5所示。影像组学特征在本实施例中为手工特征，但不仅限于手工特征。
第一部分是一阶统计特征，共包含18个特征。
第二部分是基于三维重建的形状特征，共14个特征。
第三部分是基于统计的纹理特征，包括灰度共生矩阵(GLCM)计算的22个特征、灰度大小区域矩阵(GLSZM)特征计算的16个特征、灰度游程长度矩阵(GLRLM)特征计算的16个特征、相邻的灰度色调差异矩阵(NGTDM)特征计算的5个特征以及灰度依赖矩阵(GLDM)特征计算的14个特征。
第四部分为基于LoG和小波变换的特征数据，包括5个不同参数(θ＝1,2,3,4,5)的高斯滤波图像以及8个不同方向的小波滤波图像组成。
步骤S5具体包括：
步骤S5.1：将分割过程产生的分割特征和影像组学特征进行联合，形成联合特征；
步骤S5.2：利用降维算法对联合特征进行降维处理；
步骤S5.3：使用深层特征分类器对HER2基因突变状态进行预测。
分割特征的产生是基于前一步骤病变ROI区域分割模型的中间输出，该模型通过引入注意力机制，使得网络更加关注病变区域的特征信息，这些特征信息与HER2基因突变状态相关的影像信息可以更为准确地被发掘，相较于手工提取特征更具有潜在的应用前景。
具体地，在步骤S5中，由此提取分割过程中的深层分割特征再联合病变ROI区域的影像组学特征进行降维处理，并传递到深层特征分类器中以预测表皮生长因子受体(HER2)突变状态。最终，提供关键的视觉线索和分割测量，并预测基因组信息，以帮助临床医生进行可靠和非侵入性评估，减少活检操作的风险。
降维算法可以采用PCA、LDA等。深层特征分类器可以采用随机森林(RF)、支持向量机分类(RFC)等。
PCA(Principal Component Analysis)和LDA(Linear Discriminant Analysis)都是经典的降维技术，可以用于高维数据的特征提取和数据可视化。
PCA的主要目的是将原始数据从高维空间映射到低维空间中，同时保留尽可能多的原始数据信息。相比之下，LDA旨在通过线性变换来提取与类别信息相关的特征，以实现更好的分类效果。LDA能够挖掘原始数据空间中不同类别之间的差异，在此基础上构建一个新的低维度特征向量，将数据在此空间中进行分类。LDA保留了数据点间的差异性，同时去除了类内差异性，从而更能反映出数据的本质特征，也更利于后续的分类或其他任务。
综上，PCA和LDA虽然都是降维技术，但其应用场景略有不同：PCA适用于尽可能保存数据集的主要特征分量、提高数据可视化效果等场景，而LDA则更适用于需从数据集中挖掘出与分类相关的信息的场景。
随机树森林是一种集成学习方法，通过构建多棵决策树进行分类或回归。在构建每棵树时，随机树森林会从训练集中随机选择一部分数据样本和若干个特征用于构建树，采用基尼指数或熵等指标选择最佳的划分特征。最终的预测结果是所有决策树的预测结果的投票平均值。
随机树森林模型可以表示为：
其中，T表示决策树的个数，fi(x)表示第j棵决策树，x表示输入的特征向量。
基于CART算法(分类与回归树)构建的随机森林中，每一棵树被定义为：
其中：表示第j棵决策树的划分规则，Rjm表示由第m个节点对数据空间XX进行的划分，I表示指示函数，x∈Rjm表示输入样本x在第j棵树中的位置。
在实验中，发现LDA降维效果优于PCA降维，并且RF分类器的分类结果要优于SVM结果。对比结果如下表所示，采用了常用的二分类指标F1＝2*Precision*Recall/(Precision+Recall)，尽可能的提高精度和召回率的同时，也希望两者之间的差异尽可能小。实验结果如表3所示：
表3对HER2突变类型预测F1指标
分类器 降维 PCA LDA
RF 52.62％ 62.68％ 72.76％
SVM 47.02％ 56.76％ 77.76％
此外，本发明实施例还公开一种基于ABVS的乳腺癌HER2基因突变预测设备，包括：
获取模块，用于获取ABVS图像；
初步分割模块，用于对ABVS图像进行初步分割，获得乳腺组织部分；
二次分割模块，用于在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；
影像组学特征获得模块，用于根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；
预测模块，用于将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。
进一步，获取模块包括：
获取单元，用于获取ABVS图像；
预处理单元，用于对获取的ABVS图像预处理，预处理包括：对ABVS各层各向同性插值、调整图像增益、归一化处理。
进一步，初步分割模块具体包括：
初步分割单元，用于利用第一分割模型对ABVS图像进行初步分割，获得初步的分割区域；
形态学闭运算单元，用于对初步的分割区域进行形态学闭运算，获得乳腺组织部分。
进一步，二次分割模块具体包括：
特征图生成单元，用于根据乳腺组织部分生成特征图；
多注意力提取单元，用于根据特征图提取通道注意力，并根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，使用可学习参数来赋予对应权重，再提取其空间注意力；
融合单元，用于按权重系数将通道注意力、空间注意力与特征图进行融合；
二次分割单元，用于在融合后的特征图的基础上，利用第二分割模型进行二次分割，获得病变ROI区域。
进一步，预测模块具体包括：
联合特征形成单元，用于将分割过程产生的分割特征和影像组学特征进行联合，形成联合特征；
降维单元，用于利用降维算法对联合特征进行降维处理；
预测单元，用于使用深层特征分类器对HER2基因突变状态进行预测。
本发明公开的乳腺癌HER2基因突变预测设备与乳腺癌HER2基因突变预测方法相似，在此不再赘述。
本发明公开一种基于ABVS的乳腺癌HER2基因突变预测方法及设备，在ABVS图像的基础上，进行二次分割，第一次分割乳腺组织部分，第二次分割病变ROI区域。且第二次分割，根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，并联合多头注意力机制分割NCSCLC病灶。
本发明利用非侵入性方法预测乳腺癌中HER2突变状态，预测精准，为乳腺癌临床治疗提供帮助。
上述实施例只为说明本发明的技术构思及特点，其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (10)

1.基于ABVS的乳腺癌HER2基因突变预测方法，其特征在于，包括：
步骤S1：获取ABVS图像；
步骤S2：对ABVS图像进行初步分割，获得乳腺组织部分；
步骤S3：在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；
步骤S4：根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；
步骤S5：将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。
2.根据权利要求1所述的乳腺癌HER2基因突变预测方法，其特征在于，所述步骤S1还包括：对获取的ABVS图像预处理，预处理包括以下一种或多种操作：对ABVS各层各向同性插值、调整图像增益、归一化处理。
3.根据权利要求1所述的乳腺癌HER2基因突变预测方法，其特征在于，所述步骤S2具体包括：
步骤S2.1：利用第一分割模型对ABVS图像进行初步分割，获得初步的分割区域；
步骤S2.2：对初步的分割区域进行形态学闭运算，获得乳腺组织部分。
4.根据权利要求1所述的乳腺癌HER2基因突变预测方法，其特征在于，所述步骤S3具体包括：
步骤S3.1：根据乳腺组织部分生成特征图；
步骤S3.2：根据特征图提取通道注意力，并根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，使用可学习参数来赋予对应权重，再提取其空间注意力；
步骤S3.4：按权重系数将通道注意力、空间注意力与特征图进行融合；
步骤S3.5：在融合后的特征图的基础上，利用第二分割模型进行二次分割，获得病变ROI区域。
5.根据权利要求1所述的乳腺癌HER2基因突变预测方法，其特征在于，所述步骤S5具体包括：
步骤S5.1：将分割过程产生的分割特征和影像组学特征进行联合，形成联合特征；
步骤S5.2：利用降维算法对联合特征进行降维处理；
步骤S5.3：使用深层特征分类器对HER2基因突变状态进行预测。
6.基于ABVS的乳腺癌HER2基因突变预测设备，其特征在于，包括：
获取模块，用于获取ABVS图像；
初步分割模块，用于对ABVS图像进行初步分割，获得乳腺组织部分；
二次分割模块，用于在分割出乳腺组织部分的基础上进行二次分割，获得病变ROI区域；
影像组学特征获得模块，用于根据病变ROI区域，获得影像组学特征，其中影像组学特征包括：一阶灰度统计特征、形状特征、纹理特征以及基于变换的特征；
预测模块，用于将分割过程产生的分割特征和影像组学特征进行联合，使用深层特征分类器对HER2基因突变状态进行预测。
7.根据权利要求6所述的乳腺癌HER2基因突变预测设备，其特征在于，所述获取模块包括：
获取单元，用于获取ABVS图像；
预处理单元，用于对获取的ABVS图像预处理，预处理包括：对ABVS各层各向同性插值、调整图像增益、归一化处理。
8.根据权利要求6所述的乳腺癌HER2基因突变预测设备，其特征在于，所述初步分割模块具体包括：
初步分割单元，用于利用第一分割模型对ABVS图像进行初步分割，获得初步的分割区域；
形态学闭运算单元，用于对初步的分割区域进行形态学闭运算，获得乳腺组织部分。
9.根据权利要求6所述的乳腺癌HER2基因突变预测设备，其特征在于，所述二次分割模块具体包括：
特征图生成单元，用于根据乳腺组织部分生成特征图；
多注意力提取单元，用于根据特征图提取通道注意力，并根据ABVS图像的多视角将特征图分为轴位面、冠状面和矢状面三部分，使用可学习参数来赋予对应权重，再提取其空间注意力；
融合单元，用于按权重系数将通道注意力、空间注意力与特征图进行融合；
二次分割单元，用于在融合后的特征图的基础上，利用第二分割模型进行二次分割，获得病变ROI区域。
10.根据权利要求6所述的乳腺癌HER2基因突变预测设备，其特征在于，所述预测模块具体包括：
联合特征形成单元，用于将分割过程产生的分割特征和影像组学特征进行联合，形成联合特征；
降维单元，用于利用降维算法对联合特征进行降维处理；
预测单元，用于使用深层特征分类器对HER2基因突变状态进行预测。
CN202310830591.4A 2023-07-07 2023-07-07 基于abvs的乳腺癌her2基因突变预测方法及设备 Pending CN116958072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310830591.4A CN116958072A (zh) 2023-07-07 2023-07-07 基于abvs的乳腺癌her2基因突变预测方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310830591.4A CN116958072A (zh) 2023-07-07 2023-07-07 基于abvs的乳腺癌her2基因突变预测方法及设备

Publications (1)

Publication Number Publication Date
CN116958072A true CN116958072A (zh) 2023-10-27

Family

ID=88461288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310830591.4A Pending CN116958072A (zh) 2023-07-07 2023-07-07 基于abvs的乳腺癌her2基因突变预测方法及设备

Country Status (1)

Country Link
CN (1) CN116958072A (zh)

Similar Documents

Publication Publication Date Title
Kumar et al. Automated and real-time segmentation of suspicious breast masses using convolutional neural network
WO2021132633A1 (ja) Ａｉを用いた病理診断支援方法、及び支援装置
CN110264461B (zh) 基于超声乳腺肿瘤图像的微小钙化点自动检测方法
CN116188423B (zh) 基于病理切片高光谱图像的超像素稀疏解混检测方法
JP2010119850A (ja) 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ
JP2018527896A (ja) 細胞学的解析システムにおいて細胞適正を判定するためのシステム及び方法
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
US20150065868A1 (en) System, method, and computer accessible medium for volumetric texture analysis for computer aided detection and diagnosis of polyps
CN117036343B (zh) 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置
Taleghamar et al. Characterizing intra-tumor regions on quantitative ultrasound parametric images to predict breast cancer response to chemotherapy at pre-treatment
CN113299372B (zh) 一种光声病理影像的处理方法、存储介质及终端设备
Atiyah et al. Brain MRI Images Segmentation Based on U-Net Architecture
CN114360718A (zh) 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法
CN113223716A (zh) 一种甲状腺微小癌消融术前颈部淋巴结良恶性预测方法
Ou et al. Sampling the spatial patterns of cancer: Optimized biopsy procedures for estimating prostate cancer volume and Gleason Score
CN113171074A (zh) 一种宫颈麟癌影像组学分析方法及预测模型的构建
CN115631387B (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置
CN116740386A (zh) 图像处理方法、装置、设备和计算机可读存储介质
CN111528918A (zh) 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质
CN118435235A (zh) 用于对病变进行分类的系统和方法
CN116958072A (zh) 基于abvs的乳腺癌her2基因突变预测方法及设备
CN115132275A (zh) 基于端到端三维卷积神经网络预测egfr基因突变状态方法
CN113935990A (zh) 一种基于人工智能的胰腺占位eus-fna现场快速细胞病理学评估系统
Cendre et al. Two schemes for automated diagnosis of lentigo on confocal microscopy images
CN111079863A (zh) 利用能谱曲线统计指纹识别病灶组织的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination