CN116309551B - 确定病灶取样区的方法、装置、电子设备及可读介质 - Google Patents
确定病灶取样区的方法、装置、电子设备及可读介质 Download PDFInfo
- Publication number
- CN116309551B CN116309551B CN202310528136.9A CN202310528136A CN116309551B CN 116309551 B CN116309551 B CN 116309551B CN 202310528136 A CN202310528136 A CN 202310528136A CN 116309551 B CN116309551 B CN 116309551B
- Authority
- CN
- China
- Prior art keywords
- focus
- image
- determining
- pixel point
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种确定病灶取样区的方法、装置、电子设备及可读介质,该确定病灶取样区的方法包括:获取包含病灶的医学图像,对所述医学图像进行分割以得到病灶区域;计算所述病灶区域中各像素点的多重分形维数;基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区。本发明提供的确定病灶取样区的方法,通过对医学图像进行分割以得到病灶区域,计算病灶区域中各像素点的多重分形维数,并基于病灶区域中各像素点的多重分形维数确定病灶的取样区;以多重分形维数表征病灶的异质性参数,可为病灶内部结构差异的评估提供参考,从而可指导活检取样区的精准定位,以提高后续病理分型、分子分型的检测准确性。
Description
技术领域
本发明是关于医学图像处理技术领域,特别是关于一种确定病灶取样区的方法、装置、电子设备及可读介质。
背景技术
组织活检是通过手术或穿刺获取肿瘤等病灶组织作为检测样本,帮助病理定性、肿瘤组织学亚型分类、分子病理检测。常规解剖影像学引导下的活检取样,从形态结构上常难以区分实体瘤坏死区域与肿瘤活性部分,且部分肿瘤在病变早期可能未显示出形态结构异常。现有的影像观察方式下,无法准确地区分哪些病变区域或哪个病灶区域最适合取样检测,无法准确确定取样区,容易造成无效活检。
因此,针对上述技术问题,有必要提供一种新的确定病灶取样区的方法、装置、电子设备及可读介质。
发明内容
本发明的目的在于提供一种确定病灶取样区的方法、装置、电子设备及可读介质,其准确的确定适于取样的病灶取样区,提高活检的有效性。
为实现上述目的,本发明提供的技术方案如下:
第一方面,本发明提供了一种确定病灶取样区的方法,其包括:
获取包含病灶的医学图像,对所述医学图像进行分割以得到病灶区域;计算所述病灶区域中各像素点的多重分形维数;基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区。
在一个或多个实施方式中,对所述医学图像进行分割以得到病灶区域,包括:
对所述医学图像进行归一化处理;将所述归一化处理后的医学图像分割成多个大小相同的图像块;将所述图像块输入预先训练好的图像分割模型,以分割得到病灶区域。
在一个或多个实施方式中,所述图像分割模型的训练过程包括:
构建卷积神经网络模型,并设置所述卷积神经网络模型的初始参数;获取训练样本集,所述训练样本集包括输入图像和标签图像,所述输入图像为包含所述病灶的医学图像,所述标签图像为与所述输入图像对应的已完成分割的图像;基于所述训练样本集对所述卷积神经网络模型进行训练,并修正所述卷积神经网络模型的参数,以得到图像分割模型。
在一个或多个实施方式中,计算所述病灶区域中各像素点的多重分形维数,包括:
计算所述病灶区域中各像素点的瑞丽熵;基于所述瑞丽熵计算所述病灶区域中各像素点的多重分形维数。
在一个或多个实施方式中,计算所述病灶区域中各像素点的瑞丽熵,包括:
计算所述病灶区域中各像素点的三阶瑞丽熵,所述三阶瑞丽熵的计算公式为:
其中,Pi为图像中灰度i出现的概率,n(t) 为将图像按t精度分割后得到的网格的个数。
在一个或多个实施方式中,基于所述瑞丽熵计算所述病灶区域中各像素点的多重分形维数,包括:
基于所述三阶瑞丽熵的计算公式,计算所述病灶区域中各像素点的R(0)、R(1)和R(2);分别将所述病灶区域中各像素点的R(0)、R(1)和R(2)求和,计算得到所述病灶区域中各像素点的多重分形维数。
在一个或多个实施方式中,基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区,包括:
基于所述病灶区域中各像素点的多重分形维数,确定所述多重分形维数的取值范围;将所述取值范围均匀地划分为多个区间,为各个所述区间映射不同的RGB色度;基于所述病灶区域中各像素点的多重分形维数所对应的RGB色度,确定所述病灶区域中各像素点的颜色,以得到所述病灶区域的彩图;基于所述病灶区域的彩图,确定所述病灶的取样区。
第二方面,本发明提供了一种确定病灶取样区的装置,其包括:
分割模块,用于获取包含病灶的医学图像,并对所述医学图像进行分割以得到病灶区域;计算模块,用于计算所述病灶区域中各像素点的多重分形维数;确定模块,用于基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区。
第三方面,本发明提供了一种电子设备,包括存储器、处理器、以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如前所述的确定病灶取样区的方法。
第四方面,本发明提供了一种计算机可读介质,所述计算机可读介质中承载有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如前所述的确定病灶取样区的方法。
与现有技术相比,本发明提供的确定病灶取样区的方法,通过对医学图像进行分割以得到病灶区域,计算病灶区域中各像素点的多重分形维数,并基于病灶区域中各像素点的多重分形维数确定病灶的取样区;以多重分形维数表征病灶的异质性参数,可为病灶内部结构差异的评估提供参考,从而可指导活检取样区的精准定位,以提高后续病理分型、分子分型的检测准确性。
附图说明
图1是本发明一实施方式中实施确定病灶取样区的方法的场景示意图;
图2是本发明一实施方式中确定病灶取样区的方法的流程图;
图3是本发明一实施方式中确定病灶取样区的装置的结构框图;
图4是本发明一实施方式中电子设备的结构框图。
具体实施方式
下面结合附图,对本发明的具体实施方式进行详细描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其他明确表示,否则在整个说明书和权利要求书中,术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分,而并未排除其他元件或其他组成部分。
为了方便理解本申请的技术方案,下面首先对本发明中可能出现的技术术语进行详细解释。
医学图像:是指通过医学成像技术获得的人体内部结构、组织、器官等的影像数据。医学图像包括了多种成像技术,如X光放射成像、磁共振成像(MRI)、计算机断层成像(CT)、超声成像、正电子发射断层成像(PET)等。这些图像对医学诊断和治疗过程中的医生和研究人员非常有用,可以提供关于人体内部结构和组织的详细信息。医学图像通常是二维或三维的。二维图像可以提供特定平面上的结构和组织的信息,例如X光图像,而三维图像则可以提供更全面的结构和组织的信息,例如CT和MRI图像。
医学图像分割:是一种通过计算机算法自动或半自动地将医学图像中的区域或结构分离出来的技术。这种技术在医学影像分析和诊断中非常有用,可以帮助医生和研究人员更准确地定位和分析图像中的结构和病变。例如,在肿瘤治疗中,医生可以使用图像分割技术来精确定位和量化肿瘤的大小和位置。
多重分形维数:是一种用于描述物体或图像复杂性的数学概念。它可以被用于分析具有自相似性和分形结构的物体或图像,并量化其复杂性。在数学上,多重分形维数是通过对分形结构进行多次缩放来定义的。对于一个具有分形结构的物体或图像,它可以在不同的尺度下被表示为由许多小的子部分组成的结构。这些子部分也可能包含更小的子部分,这就是自相似性。多重分形维数可以通过计算在不同尺度下覆盖物体或图像的最小盒子数来定义。通常,这个过程被称为盒计数法。通过对每个尺度下的最小盒子数取对数并绘制曲线,可以计算出多个分形维数。多重分形维数的应用非常广泛,包括在图像处理、信号处理、生物学、天文学和金融等领域。它可以用于描述和分类复杂的图像和信号,并提供有关它们的统计特性和结构信息。例如,在医学图像分析中,多重分形维数可以用于描述不同类型的肿瘤和其他病变的复杂性和分形结构。
瑞丽熵(Rényi entropy):是由匈牙利数学家A. Rényi在1960年提出的,是信息熵的一种扩展形式,常用于描述信息论、统计学和物理学等领域中的复杂系统。瑞丽熵是一个用来衡量信息的不确定性和分布的指标,用数学方法对一个系统的多个特征进行分析,以确定系统的复杂程度和不确定性。与传统的信息熵不同,瑞丽熵可以通过调整瑞丽熵的阶数来描述系统的不同特征,因此具有更高的灵活性和适应性。瑞丽熵可以用来表征多个领域的复杂系统,如肿瘤组织、图像、信号等。在肿瘤组织分析中,瑞丽熵可以用来评估肿瘤内部的异质性程度。
卷积神经网络(Convolutional Neural Network,CNN):是一种前馈神经网络,主要用于图像识别、语音识别、自然语言处理等领域。与传统的神经网络不同,CNN 主要针对二维图像进行处理,具有平移不变性、参数共享等特点。CNN 主要由卷积层、池化层、激活函数层、全连接层等模块组成。卷积层是 CNN 的核心模块,通过卷积核对输入图像进行特征提取,得到一系列特征图。池化层用于降采样,减少特征图的维度,从而降低计算量。激活函数层通常采用 ReLU 等激活函数,增加 CNN 的非线性能力。全连接层是传统神经网络的基本组成部分,用于将前面各层的特征组合起来,输出最终的分类结果。CNN 的训练过程一般采用反向传播算法,通过优化损失函数,调整各层的权重参数,提高分类性能。
请参照图1所示,为本发明一实施方式中提供的确定病灶取样区的方法的示例性实施场景示意图。在图1所示的实施场景下,包括通过网络通信连接的医学成像设备101、服务器102和客户端103。其中,网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等,且该网络可以是局域网、城域网以及广域网中的至少一种。
医学成像设备101对目标对象的身体部位进行检查并成像,以获取包含病灶的医学图像。服务器可接收医学成像设备101所获取的医学图像,并调用内部的图像分割算法,多医学图像进行分割以识别病灶区域。服务器102还可对分割出来的病灶区域计算各像素点的多重分形维数,以评估病灶的异质性和病灶的取样区。客户端103可接收分割结果和取样区评估结果,将它们可视化在用户界面上供取样人员查看。
图像获取设备101可以是电子计算机断层扫描(Computed Tomography,CT)设备、超声波医学设备、磁共振成像(Magnetic Resonance Imaging,MRI)设备、正电子发射型计算机断层显像(Positron Emission Computed Tomography,PET)设备等可以获取身体内部的医学图像的医疗设备,前述医学图像可以包括CT图像、X光图像、核磁共振图像等,在此不做具体限定。
服务器102是指可用于运行任一图像分割程序,并提供相应多重分形维数计算和基于多重分形维数确定病灶的取样区域的服务的服务器。服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
客户端103可以是可用于显示医学图像的分割结果和取样区评估结果的电子设备。例如,该电子设备可以是智能手机、平板电脑、膝上便携式笔记本电脑等移动终端,也可以是台式电脑、投影式电脑等终端,本发明实施例对此不做限定。图1中,以客户端103为医护人员使用的计算机为例进行说明,医护人员可通过客户端103实现医学图像的阅读(阅片)。
活检取样装置一般包含影像定位装置和活检取样装置,影像定位装置显示目标区域内部情况和周围组织结构的空间关系,辅助完成穿刺点定位。活检取样装置即穿刺针或自动活检枪等,在穿刺点取出病灶组织,目前临床上最常用的是自动活检枪。影像定位装置通常以CT、MR和超声等为主,也称图像引导下的活检取样。
恶性实体瘤组织包括肿瘤细胞,以及与肿瘤相关的正常细胞,免疫细胞和血管细胞,在上述传统影像观察下,无法准确地区分哪些病变区域或哪个病灶最适合取检,这可能导致获得无活性的肿瘤组织或未找到最佳靶病灶,活检无效。无独有偶,当该病灶有分子分型等更精准检测的需要时,若取出的组织样本中肿瘤细胞含量不充足时,则无法施行DNA测序得到分子病理信息。
因此,对于单灶肿瘤,如果在活检定位时准确定位病灶取样靶点,使得在该取样靶点,穿刺装置可以尽可能捕捉到更多的、有活性的肿瘤细胞,有助于更精确的病理诊断和提升DNA测序的成功率。同样的,对于多灶肿瘤,找到适合取样的靶病灶和靶病灶区域,有利于获取丰富的病理和分子信息,对于提高诊断准确性和确定治疗方案有重要意义。
肿瘤异质性是指肿瘤在生长过程中,经过多次分裂增殖其子细胞呈现出分子生物学或基因方面的改变,从而使肿瘤的生长速度、侵袭能力、对药物的敏感性、预后等各方面产生差异。肿瘤异质性和细胞堆积密度有关,比如,高级别胶质瘤比低级别胶质瘤具有更高的瘤内异质性,因为高级别胶质瘤的肿瘤坏死区存活细胞密度低,而强化区因为存在很多新生血管,细胞堆积密度高,两者在影像学上可以鉴别出来。除此之外,瘤内高异质性也会影响甲基化检测水平,同时,肿瘤内异质性还会影响患者的治疗反应和耐药性,即恶性肿瘤内高度异质性将极大影响肿瘤诊治和预后。
因此,识别具有高异质性的肿瘤(对于多灶来说)或肿瘤区域(对于单灶来说),定量化和可视化瘤内异质性程度,提示临床对多个具有高异质性的病灶区域进行活检取样(瘤内异质性可能导致低估单个肿瘤活检样本可以检测到的肿瘤基因组学情况),将帮助获取足够数量和质量的病灶组织,一定程度缓解传统影像引导下的盲法操作引起的不准确性和取样失败,从而更好地提高后续定性诊断、肿瘤组织学亚型分类及相关分子病理检测的准确性。
请参照图2所示,为本发明一实施方式中确定病灶取样区的方法的流程图。该确定病灶取样区的方法,具体包括以下步骤:
S201:获取包含病灶的医学图像,对所述医学图像进行分割以得到病灶区域。
需要说明的是,医学图像分割主要分为两种类型:基于区域的分割和基于边界的分割。基于区域的分割是指将医学图像中的像素根据其像素值、纹理、形状等特征分成不同的区域,每个区域代表一种组织结构或器官。基于边界的分割是指将医学图像中的结构或区域根据其边界和形状分离出来,通常是通过检测结构或区域与背景之间的边缘来完成。
医学图像分割可以使用多种技术实现,如阈值分割、区域生长、边缘检测、模板匹配、图像形态学等。此外,深度学习技术也可用于医学图像分割,如基于卷积神经网络(CNN)的分割技术,它能够学习医学图像的特征,自动提取医学图像中的结构和区域,具有很高的准确性和鲁棒性。
一示例性的实施例中,对所述医学图像进行分割以得到病灶区域,具体包括:对所述医学图像进行归一化处理;将所述归一化处理后的医学图像分割成多个大小相同的图像块;将所述图像块输入预先训练好的图像分割模型,以分割得到病灶区域。
可以理解的是,在医学图像处理中,通常需要对图像进行归一化处理以使其适合用于深度学习算法的训练。归一化处理通常包括以下步骤:确定像素值范围:对于CT图像,像素值通常在-1024到+1024之间;对于MR图像,像素值通常在0到255之间。对图像进行线性变换:根据像素值的范围,将像素值进行线性变换,将其缩放到0到1之间。标准化处理:将像素值的平均值设为0,标准差设为1,使得所有像素值都在相同的尺度上。
在医学图像分割中,通常需要将整个图像分割成多个大小相同的图像块,以便输入到深度学习模型中进行训练或预测。分割成图像块的步骤通常包括以下几个步骤:
①确定图像块的大小和重叠区域大小:一般来说,图像块的大小越小,可以得到更精细的分割结果,但是处理的时间和计算量也会相应增加;重叠区域可以保证分割结果的连续性。
②从原始图像中提取图像块:对于每一个图像块,可以通过定义一个滑动窗口,从原始图像中提取出对应大小的图像块,并将其保存为一个独立的图像文件。
③对图像块进行预处理:与归一化处理类似,可以对每个图像块进行预处理,使其适合用于深度学习算法的训练。例如,可以对图像块进行归一化处理、标准化处理、去噪处理等。
通过对分割成的图像块输入预先训练好的图像分割模型,可以得到病灶区域。具体包括:基于深度学习的图像分割方法通常使用卷积神经网络(CNN)。训练CNN模型需要具有标签的数据集,其中每个图像都与其所属的类别(即病灶或非病灶)相对应。这些标签通常由专业人员手动标注。在训练完成后,可以将分割成的图像块输入到CNN模型中进行分割。分割后的病灶区域可以通过将相邻像素点进行连接而获得。
以对肝癌患者进行肝癌活检取样为例,通过医学成像设备可以进行CT或MR增强扫描,得到患者的肝脏图像。这些图像将被传输到服务器,该服务器上还运行有一个预先训练好的深度学习模型,可对肝脏图像进行归一化处理,如图像平滑、去除伪影、降噪等操作。并将归一化处理后的医学图像分割成多个大小相同的图像块,并可基于前述图像块自动检测和分割出肝脏图像中的肿瘤区域。
具体地,所述图像分割模型的训练过程包括:构建卷积神经网络模型,并设置所述卷积神经网络模型的初始参数;获取训练样本集,所述训练样本集包括输入图像和标签图像,所述输入图像为包含所述病灶的医学图像,所述标签图像为与所述输入图像对应的已完成分割的图像;基于所述训练样本集对所述卷积神经网络模型进行训练,并修正所述卷积神经网络模型的参数,以得到所述图像分割模型。
需要说明的是,卷积神经网络是一种深度学习模型,最初被设计用于图像识别和分类任务。它由多个卷积层、池化层和全连接层组成,可以有效地捕捉和提取图像中的特征。卷积神经网络中的卷积层通常包括多个卷积核,每个卷积核都是一个小的矩阵,用于对输入图像进行卷积操作,从而提取不同的特征。这些特征包括边缘、纹理和形状等。池化层通常紧随卷积层之后,可以将特征图的尺寸缩小,减少计算量,同时也可以保留最显著的特征信息。卷积神经网络中的全连接层可以将特征图转换成具有类别概率分布的输出,从而实现图像的分类和识别任务。卷积神经网络可以使用反向传播算法进行训练,从而学习识别图像中的特定特征,并对其进行分类和识别。
下面提供一个训练基于深度学习的图像分割模型的示例性实例方案:
准备数据集:从医学图像数据集中选择合适的图像作为训练数据,同时需要准备对应的分割标签图像。可以使用开源数据集,如MICCAI2015肝脏分割挑战赛提供的LiverTumor Segmentation数据集。
数据预处理:将图像进行预处理,如裁剪、归一化等处理方式,使其能够被模型输入并且方便训练。同时,将标签图像进行二值化处理,将其转化为只包含0和1的二值图像。
划分数据集:将数据集分为训练集、验证集和测试集。可以使用8:1:1的比例划分。
构建Unet模型:使用Keras或PyTorch等框架,根据Unet网络结构构建模型。Unet模型包含Encoder部分和Decoder部分,Encoder部分用于提取特征,Decoder部分用于将特征图上采样并合并得到分割结果。
设置损失函数和优化器:由于图像分割是一个像素级别的任务,常用的损失函数是交叉熵损失函数。常用的优化器包括Adam、SGD等。
训练模型:使用训练数据集对模型进行训练,并在验证集上进行验证。在训练过程中,可以采用数据增强技术,如随机旋转、缩放等方式来增加数据量,防止模型过拟合。同时,使用Early Stopping技术可以在验证集上的性能不再提升时自动停止训练。
模型评估和测试:使用测试集对模型进行测试,计算模型的精确度、召回率、F1分数等指标,评估模型的性能。
模型应用:将训练好的模型应用于新的医学图像分割任务中,实现自动分割病灶区域的功能。
在其他实施例中,也可采用其他训练方式和模型训练得到图像分割模型,本发明对此不作特别的限定。
S202:计算所述病灶区域中各像素点的多重分形维数。
需要说明的是, 多重分形维数(multifractal dimension)可以用来表征肿瘤内部的异质性。在肿瘤组织中,异质性是指肿瘤内部不同区域的形态、结构和组织特征的差异性。多重分形维数可以测量肿瘤内部的形态和结构特征的多样性和复杂性,因此能够反映肿瘤内部异质性的程度。
具体来说,多重分形维数通过计算图像中每个像素点的瑞丽熵来量化图像的分形特性,然后根据这些瑞丽熵值计算出多重分形维数。在肿瘤组织中,不同的细胞类型和分子组成会导致组织内部出现不同的分形维数。例如,肿瘤组织中间的坏死区域可能会表现出较低的分形维数,而周围的增生区域则会表现出较高的分形维数。通过测量肿瘤内不同区域的多重分形维数,可以评估肿瘤内部异质性的程度,为确定肿瘤的取样区提供依据。
一示例性的实施例中,计算所述病灶区域中各像素点的多重分形维数,具体包括:计算所述病灶区域中各像素点的瑞丽熵;基于所述瑞丽熵计算所述病灶区域中各像素点的多重分形维数。
具体地,计算所述病灶区域中各像素点的瑞丽熵,具体包括:计算所述病灶区域中各像素点的三阶瑞丽熵,所述三阶瑞丽熵的计算公式为:
其中,Pi表示在一幅图像中灰度i出现的概率,n(t)是将图像按t精度分割后得到的网格的个数。
进一步地,基于所述瑞丽熵计算所述病灶区域中各像素点的多重分形维数,具体包括:基于所述三阶瑞丽熵的计算公式,计算所述病灶区域中各像素点的R(0)、R(1)和R(2);分别将所述病灶区域中各像素点的R(0)、R(1)和R(2)求和,计算得到所述病灶区域中各像素点的多重分形维数。
需要说明的是,当q取0时,R(0)被称为盒子维(box dimension),R(0)结果就等于n(t)。当q为1时的极限就是Shannon信息熵,也被称为信息维(information dimension)。当q=2时,/>也被称为关系维(correlationdimension)。通过为待计算的R(q)集合划分不同精度的盒子,即不同的t值,可以计算出R(q)随log(1/t)的变化曲线,用最小二乘法进行拟合得到的直线斜率即是维数,以图像R(0)+R(1)+R(2)熵的求和作为多重分形维数,以表征肿瘤病灶的异质性。
S203:基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区。
可以理解的是,多重分形维数可以用来表征肿瘤内部的异质性,因此计算得到病灶区域中各像素点的多重分形维数后,可基于病灶区域中各像素点的多重分形维数来确定所述病灶的取样区。
一示例性的实施例中,基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区,具体包括:基于所述病灶区域中各像素点的多重分形维数,确定所述多重分形维数的取值范围;将所述取值范围均匀地划分为多个区间,为各个所述区间映射不同的RGB色度;基于所述病灶区域中各像素点的多重分形维数所对应的RGB色度,确定所述病灶区域中各像素点的颜色,以得到所述病灶区域的彩图;基于所述病灶区域的彩图,确定所述病灶的取样区。
在一个具体的实施例中,利用前述方式计算得到的各像素点的多重分形维数取值范围,例如0.1~10,将其均匀地映射到范围为(0~255)的RGB的色度条上,构建colorbar(颜色栏)。colorbar可在可视化模块上以一个垂直颜色栏的形式进行显示,颜色栏显示当前颜色图并指示多重分形维数值(异质性参数)到颜色图的映射。该映射使得每个像素点的多重分形维数都有一个对应的色彩来表示,由此可得到整个病灶区域的彩图(colormap)。用户可通过手动调节colorbar的范围控制病灶上的色彩显示,使得高异质性区域和低异质性区域从人眼视觉上即可辨别,从而基于可视化模块可直接指导用户精准定位病灶靶点取样区。
当然,在其他实施例中,也可基于多重分形维数的取值范围,将所述取值范围均匀地划分为多个区间,并为各个所述区间映射不同的填充图案,基于所述病灶区域中各像素点的多重分形维数所对应的图案,得到所述病灶区域的填充图,基于该填充图可确定所述病灶的取样区。
综上所述,本发明提供的确定病灶取样区的方法,通过对医学图像进行分割以得到病灶区域,计算病灶区域中各像素点的多重分形维数,并基于病灶区域中各像素点的多重分形维数确定病灶的取样区;以多重分形维数表征病灶的异质性参数,可为病灶内部结构差异的评估提供参考,从而可指导活检取样区的精准定位,以提高后续病理分型、分子分型的检测准确性。
请参照图3所示,基于与前述确定病灶取样区的方法相同的发明构思,本发明一实施方式中提供了一种确定病灶取样区的装置300,其包括:分割模块301、计算模块302和确定模块303。
分割模块301用于获取包含病灶的医学图像,并对所述医学图像进行分割以得到病灶区域。计算模块302用于计算所述病灶区域中各像素点的多重分形维数。确定模块303用于基于所述病灶区域中各像素点的多重分形维数确定所述病灶的取样区。
具体地,分割模块301可用于对所述医学图像进行归一化处理,并将所述归一化处理后的医学图像分割成多个大小相同的图像块,并将所述图像块输入预先训练好的图像分割模型,以分割得到病灶区域。
计算模块302可用于计算所述病灶区域中各像素点的瑞丽熵,并基于所述瑞丽熵计算所述病灶区域中各像素点的多重分形维数。计算所述病灶区域中各像素点的瑞丽熵的方式具体包括:计算所述病灶区域中各像素点的三阶瑞丽熵,所述三阶瑞丽熵的计算公式为:
其中,Pi表示在一幅图像中灰度i出现的概率,n(t)是将图像按t精度分割后得到的网格的个数。
确定模块303可用于基于所述病灶区域中各像素点的多重分形维数,确定所述多重分形维数的取值范围,将所述取值范围均匀地划分为多个区间,为各个所述区间映射不同的RGB色度,基于所述病灶区域中各像素点的多重分形维数所对应的RGB色度,确定所述病灶区域中各像素点的颜色,以得到所述病灶区域的彩图,并基于所述病灶区域的彩图,确定所述病灶的取样区。
下面结合具体的取样场景,对本发明提供的确定病灶取样区的方法作进一步说明。
取样前根据基线CT片选择适合患者的体位,患者卧后,用金属在对应于病变区的体表穿刺点区放置定位器后,进行CT增强扫描。根据增强CT图像确定穿刺点和进针方向以及角度,并将CT图像实时输入前述确定病灶取样区的装置中,得到病灶异质性的彩图。根据病灶异质性彩图确定进针深度和取材长度,并随时根据CT扫描以及确定病灶取样区的装置的结果进行校正。
根据设定的穿刺计划(测量好的角度和深度)进针至病灶后,再次对病灶进行扫描并重建彩图,以确定针尖在病灶内的位置;当从CT扫描影像上观察到穿刺针到达抵达病灶取样区取样靶点后,即可进行取样。
请参照图4所示,本发明实施例还提供了一种电子设备400,该电子设备400包括至少一个处理器401、存储器402(例如非易失性存储器)、内存403和通信接口404,并且至少一个处理器401、存储器402、内存403和通信接口404经由总线405连接在一起。至少一个处理器401用于调用在存储器402中存储或编码的至少一个程序指令,以使得至少一个处理器401执行本说明书的各个实施方式中所描述的确定病灶取样区的方法的各种操作和功能。
在本说明书的实施例中,电子设备400可以包括但不限于:个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动电子设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴电子设备、消费电子设备等等。
本发明实施例还提供了一种计算机可读介质,该计算机可读介质上承载有计算机执行指令,所述计算机执行指令被处理器执行时,可用于实现本说明书的各个实施例中描述的确定病灶取样区的方法的各种操作和功能。
本发明中的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、系统、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式,并且很显然,根据上述教导,可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (6)
1.一种确定病灶取样区的方法,其特征在于,包括:
获取包含病灶的医学图像,对所述医学图像进行分割以得到病灶区域;
计算所述病灶区域中各像素点的三阶瑞丽熵,所述三阶瑞丽熵的计算公式为:
;
其中,Pi为图像中灰度i出现的概率,n(t)为将图像按t精度分割后得到的网格的个数;
基于所述三阶瑞丽熵的计算公式,计算所述病灶区域中各像素点的R(0)、R(1)和R(2),分别将所述病灶区域中各像素点的R(0)、R(1)和R(2)求和,计算得到所述病灶区域中各像素点的多重分形维数;
基于所述病灶区域中各像素点的多重分形维数,确定所述多重分形维数的取值范围;
将所述取值范围均匀地划分为多个区间,为各个所述区间映射不同的RGB色度或图案;
基于所述病灶区域中各像素点的多重分形维数所对应的RGB色度或图案,确定所述病灶区域中各像素点的颜色或图案,以得到所述病灶区域的填充图;
基于所述病灶区域的填充图,确定所述病灶的取样区。
2.如权利要求1所述的确定病灶取样区的方法,其特征在于,对所述医学图像进行分割以得到病灶区域,包括:
对所述医学图像进行归一化处理;
将所述归一化处理后的医学图像分割成多个大小相同的图像块;
将所述图像块输入预先训练好的图像分割模型,以分割得到病灶区域。
3.如权利要求2所述的确定病灶取样区的方法,其特征在于,所述图像分割模型的训练过程包括:
构建卷积神经网络模型,并设置所述卷积神经网络模型的初始参数;
获取训练样本集,所述训练样本集包括输入图像和标签图像,所述输入图像为包含所述病灶的医学图像,所述标签图像为与所述输入图像对应的已完成分割的图像;
基于所述训练样本集对所述卷积神经网络模型进行训练,并修正所述卷积神经网络模型的参数,以得到图像分割模型。
4.一种确定病灶取样区的装置,其特征在于,包括:
分割模块,用于获取包含病灶的医学图像,并对所述医学图像进行分割以得到病灶区域;
计算模块,用于计算所述病灶区域中各像素点的三阶瑞丽熵,所述三阶瑞丽熵的计算公式为:
;
其中,Pi为图像中灰度i出现的概率,n(t)为将图像按t精度分割后得到的网格的个数;并用于基于所述三阶瑞丽熵的计算公式,计算所述病灶区域中各像素点的R(0)、R(1)和R(2),分别将所述病灶区域中各像素点的R(0)、R(1)和R(2)求和,计算得到所述病灶区域中各像素点的多重分形维数;
确定模块,用于基于所述病灶区域中各像素点的多重分形维数,确定所述多重分形维数的取值范围;并将所述取值范围均匀地划分为多个区间,为各个所述区间映射不同的RGB色度或图案;并基于所述病灶区域中各像素点的多重分形维数所对应的RGB色度或图案,确定所述病灶区域中各像素点的颜色或图案,以得到所述病灶区域的填充图;并基于所述病灶区域的填充图,确定所述病灶的取样区。
5.一种电子设备,包括存储器、处理器、以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~3中任一项所述的确定病灶取样区的方法。
6.一种计算机可读介质,其特征在于,所述计算机可读介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1~3中任一项所述的确定病灶取样区的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310528136.9A CN116309551B (zh) | 2023-05-11 | 2023-05-11 | 确定病灶取样区的方法、装置、电子设备及可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310528136.9A CN116309551B (zh) | 2023-05-11 | 2023-05-11 | 确定病灶取样区的方法、装置、电子设备及可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116309551A CN116309551A (zh) | 2023-06-23 |
CN116309551B true CN116309551B (zh) | 2023-08-15 |
Family
ID=86781786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310528136.9A Active CN116309551B (zh) | 2023-05-11 | 2023-05-11 | 确定病灶取样区的方法、装置、电子设备及可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116309551B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117392114B (zh) * | 2023-11-27 | 2024-03-08 | 湖南新域节能科技有限公司 | 一种基于图像处理的槟榔等级检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706843A (zh) * | 2009-11-16 | 2010-05-12 | 杭州电子科技大学 | 一种乳腺cr图像交互式读片方法 |
CN104657598A (zh) * | 2015-01-29 | 2015-05-27 | 中国人民解放军第三军医大学第一附属医院 | 一种组织微血管分形维数的计算方法 |
CN108154512A (zh) * | 2017-11-08 | 2018-06-12 | 东北大学 | 一种基于多重去趋势分析的视网膜图像血管分割系统 |
CN110070522A (zh) * | 2019-03-22 | 2019-07-30 | 合刃科技(深圳)有限公司 | 多维影像信息检测方法及装置 |
CN112690813A (zh) * | 2021-01-12 | 2021-04-23 | 范宁 | 基于分形理论的肿瘤异质性分析方法、系统、终端及介质 |
CN113034426A (zh) * | 2019-12-25 | 2021-06-25 | 飞依诺科技(苏州)有限公司 | 超声图像病灶描述方法、装置、计算机设备和存储介质 |
CN114140378A (zh) * | 2021-09-26 | 2022-03-04 | 上海联影智能医疗科技有限公司 | 扫描图像处理方法、电子设备和可读介质 |
CN115272196A (zh) * | 2022-07-11 | 2022-11-01 | 东北林业大学 | 组织病理图像中病灶区域预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7848558B2 (en) * | 2003-02-14 | 2010-12-07 | The University Of Chicago | Method and system for fractal-based analysis of medical image texture |
-
2023
- 2023-05-11 CN CN202310528136.9A patent/CN116309551B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101706843A (zh) * | 2009-11-16 | 2010-05-12 | 杭州电子科技大学 | 一种乳腺cr图像交互式读片方法 |
CN104657598A (zh) * | 2015-01-29 | 2015-05-27 | 中国人民解放军第三军医大学第一附属医院 | 一种组织微血管分形维数的计算方法 |
CN108154512A (zh) * | 2017-11-08 | 2018-06-12 | 东北大学 | 一种基于多重去趋势分析的视网膜图像血管分割系统 |
CN110070522A (zh) * | 2019-03-22 | 2019-07-30 | 合刃科技(深圳)有限公司 | 多维影像信息检测方法及装置 |
CN113034426A (zh) * | 2019-12-25 | 2021-06-25 | 飞依诺科技(苏州)有限公司 | 超声图像病灶描述方法、装置、计算机设备和存储介质 |
CN112690813A (zh) * | 2021-01-12 | 2021-04-23 | 范宁 | 基于分形理论的肿瘤异质性分析方法、系统、终端及介质 |
CN114140378A (zh) * | 2021-09-26 | 2022-03-04 | 上海联影智能医疗科技有限公司 | 扫描图像处理方法、电子设备和可读介质 |
CN115272196A (zh) * | 2022-07-11 | 2022-11-01 | 东北林业大学 | 组织病理图像中病灶区域预测方法 |
Non-Patent Citations (1)
Title |
---|
罗晓华等.多重分形及其良恶性肺结节的识别.东莞理工学院学报.2006,第第13卷卷(第第1期期),第3节. * |
Also Published As
Publication number | Publication date |
---|---|
CN116309551A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11562491B2 (en) | Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
US9218661B2 (en) | Image analysis for specific objects | |
Banerjee et al. | Single seed delineation of brain tumor using multi-thresholding | |
CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
KR102320431B1 (ko) | 의료 영상 기반 종양 검출 및 진단 장치 | |
US11684333B2 (en) | Medical image analyzing system and method thereof | |
CN113706486B (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
CN109919254B (zh) | 乳腺密度分类方法、系统、可读存储介质和计算机设备 | |
CN116309551B (zh) | 确定病灶取样区的方法、装置、电子设备及可读介质 | |
CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
CN114693671A (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
CN117427286B (zh) | 一种基于能谱ct的肿瘤放疗靶区识别方法、系统及设备 | |
Gu et al. | Cross-modality image translation: CT image synthesis of MR brain images using multi generative network with perceptual supervision | |
CN113706541B (zh) | 一种图像处理方法及装置 | |
CN110533667B (zh) | 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法 | |
EP4167184A1 (en) | Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection | |
CN116310367A (zh) | 基于Gabor乳腺影像组学特征提取及筛选系统和方法 | |
CN115375787A (zh) | 伪影校正方法、计算机设备及可读存储介质 | |
CN115439439A (zh) | Mri图像的可疑区域分割方法、设备及计算机可读存储介质 | |
Johora et al. | Lung cancer detection using marker controlled watershed with svm | |
CN114708283A (zh) | 图像目标的分割方法、装置、电子设备及存储介质 | |
Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
CN115147378B (zh) | 一种ct图像分析提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |