CN114581411A - 一种卷积核生成方法和装置、电子设备 - Google Patents
一种卷积核生成方法和装置、电子设备 Download PDFInfo
- Publication number
- CN114581411A CN114581411A CN202210214564.XA CN202210214564A CN114581411A CN 114581411 A CN114581411 A CN 114581411A CN 202210214564 A CN202210214564 A CN 202210214564A CN 114581411 A CN114581411 A CN 114581411A
- Authority
- CN
- China
- Prior art keywords
- convolution kernel
- gabor
- feature
- channel
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种卷积核生成方法和装置、电子设备,属于医学图像处理技术领域,本发明所生成的卷积核应用于管状结构分割系统,其中,卷积核生成方法包括:根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重;基于所述Gabor卷积核的CNN模型结构,组合所述Gabor卷积核构建的目标模型,其中,所述目标模型包括:特征映射、特征提取和特征融合三部分。通过本发明实施例构建的用于管状结构分割的权重可学习Gabor卷积核,可以直接从尺度和方向上增强管状结构的特征,减少CNN的冗余参数,并提取更准确的管状组织。
Description
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种卷积核生成方法和装置、电子设备。
背景技术
管状结构在人体结构中无处不在,是维持人类生命体征的重要组织之一。近年来,心脑血管及气管等疾病已经成为全球的主要健康威胁之一。因此,人体管状结构的三维重建对于各类疾病的表征具有重要意义。
当前使用的卷积神经网络(Convolutional Neural Network,CNN)在特征学习上具有强大性能,但其无法预测CNN的特征学习方式。除此之外,常见的CNN需要生成大量的通道数或要求具有足够的深度来得到足够的特征,使得网络训练过程中会耗费大量的时间获取冗余参数。复杂的网络结构会造成存储和计算资源压力。
目前为解决上述问题,主要采用的方式为:应对管状结构的分割提出轻量化网络模型,但这可能损伤网络的特征提取能力。大量公开研究已经证明了Gabor滤波器在管状结构特征提取上的优势,但受限于参数调节的繁琐性。尽管已经有些研究实施了卷积核对于Gabor滤波器的调制,但尚没有实现Gabor滤波器的学习性。
发明内容
本发明实施例的目的是提供一种卷积核生成方法和装置、电子设备,所生成的卷积核可应用于管状结构分割系统,主要解决常规卷积内核对于特征提取的不确定性问题,本发明实施例所生成的卷积核,能够更有目的性和针对性的实现管状结构的特征提取,所提取的特征更加可靠。
为解决上述技术问题,本发明提供如下技术方案:
一种卷积核生成方法,生成的所述卷积核应用于管状结构分割系统,其中,所述方法包括:
根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;其中,所述Gabor卷积核中下一层特征图的单通道结果,基于上一层卷积核的采样值生成;
基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重;
基于所述Gabor卷积核的CNN模型结构,组合所述Gabor卷积核构建的目标模型,其中,所述目标模型包括:特征映射、特征提取和特征融合三部分。
其中,根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核的步骤,包括:
其中,基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重的步骤,包括:
其中,所述目标模型的特征映射部分由卷积层M1组成,所述卷积层M1由M0完成一次N通道的卷积并进行3D批规范化和ReLU激活处理后生成,其中M0为一次训练所选取的样本数建立的单通道特征图;
所述特征融合部分引入了一次卷积实现特征降维以及通道数的合并,使得特征图ML从特征空间转移到标记空间中。
一种卷积核生成装置,生成的所述卷积核应用于管状结构分割系统,其中,所述装置包括:
构建模块,用于根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;其中,所述Gabor卷积核中下一层特征图的单通道结果,基于上一层卷积核的采样值生成;
更新模块,用于基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重;
组合模块,用于基于所述Gabor卷积核的CNN模型结构,组合所述Gabor卷积核构建的目标模型,其中,所述目标模型包括:特征映射、特征提取和特征融合三部分。
其中,所述构建模块包括:
第二子模块,用于在第L层结构中,建立Cout组Gabor卷积核其中,每组Gabor卷积核包含Cin个Gabor卷积核其中,Cout为下一层特征图ML+1的通道数,生成包含Cout通道数的下一层特征图ML+1。
其中,所述更新模块具体用于:
其中,所述目标模型的特征映射部分由卷积层M1组成,所述卷积层M1由M0完成一次N通道的卷积并进行3D批规范化和ReLU激活处理后生成,其中M0为一次训练所选取的样本数建立的单通道特征图;所述特征提取部分引入了Gabor卷积核在引入时对M1中的每一通道实施尺度和方向上的特征捕捉,并在通道数合并时将N组特征合并到M2的任一通道中;所述特征融合部分引入了一次卷积实现特征降维以及通道数的合并,使得特征图ML从特征空间转移到标记空间中。
本发明实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现上述任意一种卷积核生成方法的步骤。
本发明实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现上述任意一种卷积核生成方法的步骤。
本发明实施例提供的卷积核生成方法,根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新Gabor卷积核的权重;基于Gabor卷积核的CNN模型结构,组合Gabor卷积核构建的目标模型,本发明实施例构建的用于管状结构分割的权重可学习Gabor卷积核,可以直接从尺度和方向上增强管状结构的特征,减少CNN的冗余参数,并提取更准确的管状组织。
附图说明
图1是表示本申请实施例的一种卷积核生成方法的步骤流程图;
图2是表示本申请实施例的一种卷积核生成装置的结构框图;
图3是表示本申请实施例的一种电子设备的结构框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的卷积核生成方案进行详细地说明。
本申请实施例生成的卷积核应用于管状结构分割系统,本申请实施例的卷积核生成方法包括以下步骤:
步骤101:根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核。
其中,Gabor卷积核中下一层特征图的单通道结果,基于上一层卷积核的采样值生成。
Fourier变换是一种信号处理的有力工具,可以将图像从空域转换到频域,并提取到空域上不易提取到的特征。但是Fourier变换缺乏时间和位置的局部信息。
Gabor变换是一种短时加窗Fourier变换(简单理解起来就是在特定时间窗内做Fourier变换),是短时傅里叶变换中窗函数取为高斯函数时的一种特殊情况。因此,Gabor滤波器可以在频域上不同尺度、不同方向上提取相关的特征。另外,Gabor函数与人眼的作用相仿,所以经常用作纹理识别上,并取得了较好的效果。
一种可选地构建Gabor卷积核的方式可以包括如下流程:
首先,建立Cin个Gabor卷积核对上层进行采样,并将每一个Cin中得到的采样值求和,生成下一层特征图ML+1的单通道结果,其中,Cin为上层特征图ML的通道数。表示第L层第n个特征图,ijk表示中心点的位置。L为层数。
步骤102:基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新Gabor卷积核的权重。
更新Gabor卷积核的权重时,可通过如下方式实现:
其中GL(ω,ψ,σ,θi)为Gabor滤波器函数,ω为正弦波角频,ψ为正弦波的相位偏移,它们确定了三维Gabor滤波器中心频率的方向。σ是高斯函数的标准差,为高斯包络在空间信息中的宽度。θi表示角频ω的方向。
步骤103:基于Gabor卷积核的CNN模型结构,组合Gabor卷积核构建的目标模型。
其中,目标模型包括:特征映射、特征提取和特征融合三部分。
目标模型的特征映射部分由卷积层M1组成,所述卷积层M1由M0完成一次N通道的卷积并进行3D批规范化和ReLU激活处理后生成,其中M0为一次训练所选取的样本数建立的单通道特征图。
特征融合部分引入了一次卷积实现特征降维以及通道数的合并,使得特征图ML从特征空间转移到标记空间中。
本申请实施例提供的卷积核生成方法,第一方面,所创建的Gabor卷积核不同于一般的调制方法,Gabor卷积核的参数可以在网络反向传播中自动学习;第二方面,Gabor卷积核的结构与常规卷积核完全一致,可以添加到任意CNN的卷积核中;第三方面,针对Gabor卷积核的特点,改进了一种基于Gabor卷积核的CNN运用到管状结构分割,这种设计理念可以运用到目前任何以CNN为基础的网络结构中;第四方面,在网络的卷积过程中,由于Gabor卷积核对于管状结构特征提取具有可控性,无需多余的通道数制造冗余的参数。因此,基于Gabor卷积核的CNN的参数能大幅度减少,实现轻量级网络。
图2为实现本申请实施例的一种卷积核生成装置的结构框图。
本申请实施例的卷积核生成装置生成的所述卷积核应用于管状结构分割系统,本申请实施例的卷积核生成装置包括如下功能模块:
构建模块201,用于根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;其中,所述Gabor卷积核中下一层特征图的单通道结果,基于上一层卷积核的采样值生成;
更新模块202,用于基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重;
组合模块203,用于基于所述Gabor卷积核的CNN模型结构,组合所述Gabor卷积核构建的目标模型,其中,所述目标模型包括:特征映射、特征提取和特征融合三部分。
可选地,所述构建模块包括:
第二子模块,用于在第L层结构中,建立Cout组Gabor卷积核其中,每组Gabor卷积核包含Cin个Gabor卷积核其中,Cout为下一层特征图ML+1的通道数,生成包含Cout通道数的下一层特征图ML+1。
可选地,所述更新模块具体用于:
可选地,所述目标模型的特征映射部分由卷积层M1组成,所述卷积层M1由M0完成一次N通道的卷积并进行3D批规范化和ReLU激活处理后生成,其中M0为一次训练所选取的样本数建立的单通道特征图;
所述特征融合部分引入了一次卷积实现特征降维以及通道数的合并,使得特征图ML从特征空间转移到标记空间中。
本申请实施例提供的卷积核生成装置,根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新Gabor卷积核的权重;基于Gabor卷积核的CNN模型结构,组合Gabor卷积核构建的目标模型,本发明实施例构建的用于管状结构分割的权重可学习Gabor卷积核,可以直接从尺度和方向上增强管状结构的特征,减少CNN的冗余参数,并提取更准确的管状组织。
本申请实施例中图2所示的卷积核生成装置可以是装置,也可以是服务器中的部件、集成电路、或芯片。本申请实施例中的图2所示的卷积核生成装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图2所示的卷积核生成装置能够实现图1的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图3所示,本申请实施例还提供一种电子设备400,包括处理器401,存储器402,存储在存储器402上并可在所述处理器401上运行的程序或指令,该程序或指令被处理器401执行时实现上述卷积核生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的服务器。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述卷积核生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述卷积核生成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种卷积核生成方法,生成的所述卷积核应用于管状结构分割系统,其特征在于,所述方法包括:
根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;其中,所述Gabor卷积核中下一层特征图的单通道结果,基于上一层卷积核的采样值生成;
基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重;
基于所述Gabor卷积核的CNN模型结构,组合所述Gabor卷积核构建的目标模型,其中,所述目标模型包括:特征映射、特征提取和特征融合三部分。
5.一种卷积核生成装置,生成的所述卷积核应用于管状结构分割系统,其特征在于,所述装置包括:
构建模块,用于根据Gabor滤波器原理实施三维Gabor滤波器,并构建Gabor卷积核;其中,所述Gabor卷积核中下一层特征图的单通道结果,基于上一层卷积核的采样值生成;
更新模块,用于基于反向传播原理,根据每一次迭代得到的损失值传递梯度,更新所述Gabor卷积核的权重;
组合模块,用于基于所述Gabor卷积核的CNN模型结构,组合所述Gabor卷积核构建的目标模型,其中,所述目标模型包括:特征映射、特征提取和特征融合三部分。
9.一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的卷积核生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210214564.XA CN114581411A (zh) | 2022-02-28 | 2022-02-28 | 一种卷积核生成方法和装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210214564.XA CN114581411A (zh) | 2022-02-28 | 2022-02-28 | 一种卷积核生成方法和装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114581411A true CN114581411A (zh) | 2022-06-03 |
Family
ID=81772516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210214564.XA Pending CN114581411A (zh) | 2022-02-28 | 2022-02-28 | 一种卷积核生成方法和装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114581411A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116468892A (zh) * | 2023-04-24 | 2023-07-21 | 北京中科睿途科技有限公司 | 三维点云的语义分割方法、装置、电子设备和存储介质 |
CN117409030A (zh) * | 2023-12-14 | 2024-01-16 | 齐鲁工业大学(山东省科学院) | 基于动态管状卷积的octa图像血管分割方法及其系统 |
-
2022
- 2022-02-28 CN CN202210214564.XA patent/CN114581411A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116468892A (zh) * | 2023-04-24 | 2023-07-21 | 北京中科睿途科技有限公司 | 三维点云的语义分割方法、装置、电子设备和存储介质 |
CN117409030A (zh) * | 2023-12-14 | 2024-01-16 | 齐鲁工业大学(山东省科学院) | 基于动态管状卷积的octa图像血管分割方法及其系统 |
CN117409030B (zh) * | 2023-12-14 | 2024-03-22 | 齐鲁工业大学(山东省科学院) | 基于动态管状卷积的octa图像血管分割方法及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553480B (zh) | 图像数据处理方法、装置、计算机可读介质及电子设备 | |
CN109242844B (zh) | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 | |
CN111401516B (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
CN114581411A (zh) | 一种卷积核生成方法和装置、电子设备 | |
WO2021238333A1 (zh) | 一种文本处理网络、神经网络训练的方法以及相关设备 | |
CN112163601B (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
CN111414953B (zh) | 点云分类方法和装置 | |
CN110969105B (zh) | 一种人体姿态估计方法 | |
CN112508120B (zh) | 学生模型训练方法、装置、设备、介质和程序产品 | |
CN110147163B (zh) | 面向移动设备的多模型融合驱动的眼动跟踪方法和系统 | |
CN113538224B (zh) | 基于生成对抗网络的图像风格迁移方法、装置及相关设备 | |
CN112580720A (zh) | 一种模型训练方法及装置 | |
CN113065997B (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
US20170212980A1 (en) | Construction method for heuristic metabolic co-expression network and the system thereof | |
Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
CN105849804A (zh) | 过滤噪声的计算高效方法 | |
Uzhinskiy et al. | Multifunctional platform and mobile application for plant disease detection | |
CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
WO2023072175A1 (zh) | 点云数据的处理方法、神经网络的训练方法以及相关设备 | |
CN114067389A (zh) | 一种面部表情的分类方法和电子设备 | |
CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 | |
CN116778061B (zh) | 一种基于非真实感图片的三维物体生成方法 | |
CN111986242B (zh) | 脑组织分区的确定方法、装置、存储介质及电子设备 | |
CN115565034A (zh) | 基于双流增强网络的红外小目标检测方法 | |
CN114580510A (zh) | 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |