CN112288620B - 一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质 - Google Patents

一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN112288620B
CN112288620B CN202011216204.0A CN202011216204A CN112288620B CN 112288620 B CN112288620 B CN 112288620B CN 202011216204 A CN202011216204 A CN 202011216204A CN 112288620 B CN112288620 B CN 112288620B
Authority
CN
China
Prior art keywords
dimensional image
line integral
convolution
convolution kernel
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011216204.0A
Other languages
English (en)
Other versions
CN112288620A (zh
Inventor
周辰
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202011216204.0A priority Critical patent/CN112288620B/zh
Publication of CN112288620A publication Critical patent/CN112288620A/zh
Application granted granted Critical
Publication of CN112288620B publication Critical patent/CN112288620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于GPU的二维图像线积分计算方法、系统、电子设备及计算机存储介质，所述方法包括：将二维图像进行预处理；依据角度将二维图像的线积分分为水平方向组以及竖直方向组；构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系；通过所述卷积核对所述二维图像进行特征提取得到三维特征图即水平方向组的线积分；将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分；本申请相比现有的Brandt&Dym算法，计算速度显著提升十倍以上，且支持利用数据驱动方式进行具有任务针对性的线积分特征学习。

Description

一种基于GPU的二维图像线积分计算方法、系统、电子设备及 计算机存储介质
技术领域
本发明涉及图像处理技术领域，具体的，涉及一种基于GPU的二维图像线积分计算方法。
背景技术
给定一组二维数据g(x，y)，其线积分为在此数据上，沿着具有给定的位置、长度、方向的线段所进行的一维积分，在一定的离散误差范围内，计算二维图像上多个位置、长度、方向的线积分结果，具有重要的实践意义。例如，通过计算相邻位置线积分的差值，能够融合增强低对比度区域的图像边缘信息，进而实现在低信噪比图像上的直线或者线段的检测；又如，此过程可用于计算Radon变换，其在计算机断层成像(Computed Tomography，CT)，条形码扫描等场景中具有重要应用。
现有的Brandt&Dym算法计算线积分的方式：由于图像数据总是离散的，积分线与格点线相交的数据值，用两边最近的个点数据插值得到，随后线积分由梯形法近似得到。例如在图2中，红色线段的归一化积分值为中间三个内点的和加上两个端点平均值再除以4。图3展示了初始线积分设定，其中初始线积分长度为2(以L-∞范数/曼哈顿距离计算)，对于每个起始点，计算8个角度的线积分，通过前述离散插值法，可得到初始线积分数值。考虑到对称性，这些线积分覆盖了当前角度采样率之下的所有角度。在获得初始线积分数值后进行递归计算，后续线积分遵从长度加倍、角度采样率加倍、水平/竖直方向采样率减半的准则进行计算。其中，对于已有采样角度，直接将相同方向对应起点的线积分相加平均即可得到长度加倍后的线积分值(图4左)；对于新的采样角度，可以通过相邻方向的线积分平均得到(图4右)。通过长度为2的线积分(实线)计算长度为4的线积分(虚线)，图4左图中计算的线积分的方向存在于长度为2的线积分中，只需通过两个相邻该方向的长度为2的线积分平均得到，图4右图用四个长度为2的线积分的均值，可得到新的方向上长度为4的线积分。
该方案能够通过递归方式，快速计算一定量化误差范围内，所有方向，所有长度，所有中心点位置的线积分。在最初层次，通过图像数据计算得到一组极短长度(长度为2或4)的离散的积分值；在后续的递归阶段，利用底层计算的线积分的值计算二倍长度的新的一组积分值。每次递归，积分长度倍增，角度采样率倍增，水平或者垂直方向采样率减半；对于积分值引入的误差，小于计算机图像数据的离散误差。但是Brandt&Dym算法采用递归方式计算图像线积分，其实现基于CPU且运行缓慢，且不能支持数据驱动的学习。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种基于GPU的二维图像线积分计算方法，它提出了基于GPU及现有开源神经网络框架及空洞卷积实现的快速算法，与Brandt&Dym算法相比，其运行速度可提升十倍以上，大幅简化编程实现难度，同时可进一步支持利用数据驱动方式，进行具有任务针对性的线积分特征学习。
为解决上述问题，第一方面，本申请提供一种基于GPU的二维图像线积分计算方法，包括：
将二维图像进行预处理；
依据角度将二维图像的线积分分为水平方向组(|θ|≤π/4)以及竖直方向组(|θ|≥π/4)；
构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系；
通过所述卷积核对所述二维图像进行特征提取得到三维特征图即水平方向组的线积分；
将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；
将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分。
可选的，所述将二维图像进行预处理，包括：
将二维图像转化为灰度图像；
将所述灰度图像进行等比放缩，使其长边长度变为原长度的2的幂次方；
采用反射方式对所述灰度图像短边进行填充，使其短边长度扩充至所述灰度图像长边的长度。
可选的，所述构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系，包括：
将非零部分非对称的稀疏卷积核拆解为两个空洞卷积核，将两个空洞卷积核分别对输入数据进行卷积之后求和得到为原卷积核的输出结果。
可选的，所述构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系，还包括：
在卷积核每一层加入非线性激活函数，得到一个基于学习的线性特征检测网络架构，通过将Ground Truth量化到各层特征图对应的线性积分值作为监督信号，然后通过数据驱动方式学习线性特征提取。
可选的，所述对水平和竖直方向组的重合部分进行处理融合得到二维图像线积分，包括：
将各卷积层对应位置水平和竖直方向组的重合部分求平均，获得θ＝π/4的线积分值。
第二方面，本申请还提供一种基于GPU的二维图像线积分计算系统，包括：
预处理单元，配置用于将二维图像进行预处理；
图像划分单元，配置用于依据角度将二维图像的线积分分为水平方向组(|θ|≤π/4)以及竖直方向组(|θ|≥π/4)；
卷积构造单元，配置用于构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系；
水平线积分计算单元，配置用于通过所述卷积核对所述二维图像进行特征提取得到三维特征图即水平方向组的线积分；
竖直线积分计算单元，配置用于将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；
融合处理单元，配置用于将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分。
可选的，所述预处理单元具体用于：
将二维图像转化为灰度图像；
将所述灰度图像进行等比放缩，使其长边长度变为原长度的2的幂次方；
采用反射方式对所述灰度图像短边进行填充，使其短边长度扩充至所述灰度图像长边的长度。
可选的，所述卷积构造单元具体用于：
将非零部分非对称的稀疏卷积核拆解为两个空洞卷积核，将两个空洞卷积核分别对输入数据进行卷积之后求和得到为原卷积核的输出结果。
可选的，所述卷积构造单元还具体用于：
在卷积核每一层加入非线性激活函数，得到一个基于学习的线性特征检测网络架构，通过将Ground Truth量化到各层特征图对应的线性积分值作为监督信号，然后通过数据驱动方式学习线性特征提取。
可选的，所述融合处理单元具体用于：
将各卷积层对应位置水平和竖直方向组的重合部分求平均，获得θ＝π/4的线积分值。
第三方面，本申请提供一种终端，包括：
处理器、存储器，其中，
该存储器用于存储计算机程序，
该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。
第四方面，本申请提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
与现有技术相比，本申请具有如下有益效果：
(1)本发明相比于现有的Brandt&Dym算法，计算速度显著提升十倍以上。
(2)本发明可基于Pytorch，Tensorflow等现有神经网络编程框架，编程实现大幅简化。
(3)本发明可进一步支持利用数据驱动方式，进行具有任务针对性的线积分特征学习如依据任务不同，通过学习方式，重点输出图像某些区域或者具有某些上下文的线性特征，同时抑制其余的线性特征的输出，Brandt&Dym算法不能支持。
附图说明
图1为本申请实施例所提供的一种基于GPU的二维图像线积分计算方法的流程图；
图2为本申请背景技术所提供的线积分离散近似图；
图3为本申请背景技术所提供的线积分计算方法中初始层线积分计算示意图；
图4为本申请背景技术所提供的通过长度为2的线积分以及计算长度为4的线积分图；
图5为本申请实施例所提供的二维图像线积分计算方法中水平方向组线积分图；
图6为本申请实施例所提供的二维图像线积分计算方法中竖直方向组线积分图；
图7为本申请实施例所提供的二维图像线积分计算方法中初始线积分采样角度及其编号方式图；
图8为本申请实施例所提供的二维图像线积分计算方法中五条水平方向对应的线积分结果；
图9为本申请实施例所提供的二维图像线积分计算方法中θ∈{π/4，arctan(3/4),arctan(1/2),arctan(1/4),0}的线积分的卷积核示意图；
图10为本申请实施例所提供的二维图像线积分计算方法中θ＝arctan(7/8)的线积分的卷积核示意图；
图11为本申请实施例所提供的二维图像线积分计算方法中θ＝arctan(5/8)的线积分的卷积核示意图；
图12为本申请实施例所提供的二维图像线积分计算方法中θ＝arctan(3/8)的线积分的卷积核示意图；
图13为本申请实施例所提供的二维图像线积分计算方法中卷积核构造代码示例图；
图14为本申请实施例所提供的二维图像线积分计算方法中拆解前卷积核示意图；
图15为本申请实施例所提供的二维图像线积分计算方法中拆解后一卷积核示意图；
图16为本申请实施例所提供的二维图像线积分计算方法中拆解后另一卷积核示意图；
图17为本申请另一实施例所提供的一种基于GPU的二维图像线积分计算系统的结构示意图；
图18为本申请实施例所提供的一种终端系统的结构示意图。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
请参考图1，图1为本申请实施例所提供的一种基于GPU的二维图像线积分计算方法的流程图，该方法100包括：
S101：将二维图像进行预处理；
S102：依据角度将二维图像的线积分分为水平方向组(|θ|≤π/4)以及竖直方向组(|θ|≥π/4)；
S103：构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系；
S104：通过所述卷积核对所述二维图像进行特征提取得到三维特征图即水平方向组的线积分；
S105：将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；
S106：将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分。
具体的，包括如下步骤：
1、定义二维数据：将二维数据定义为g(x，y)，将二维数据的长度L定义为将二维数据的中心点定义为/>将二维数据的方向定义为θ，用/>定义长度为L、中心点为/>方向为θ的归一化线积分，其中，θ表示中心点为圆心与水平方向的夹角。其/>的公式如下：
2、依据角度将线积分分为两组：
将二维图像的线积分划分为图5所示的水平方向组(|θ|≤π/4)以及图6所示的竖直方向组(|θ|≥π/4)，由于对称性，对于水平方向组所实现的算法可以直接应用于竖直方向组，仅需转置输入重叠部或转置卷积核，并对于两个方向组重叠部(|θ|＝π/4)进行处理融合即可得到二维图像的线积分。
3、构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系：
4、通过卷积核计算水平方向组的线积分：
对初始大小为1×h×w的图像，通过以下5个卷积核(在pytorch，tensorflow，caffe等神经网络框架中，实现为1×5×3×3的张量)，可输出大小为5×h×w的特征图，图7中5条水平方向组长度为2的线积分结果如图8所示，其中特征图的第i通道为上述第i卷积核结果，特征图[i，j，k]像素的意义为：水平方向组第i个采样角度，在原图上以[j+0.5mod(i，2)，k]为中心，长度为2的线积分值。
需要说明的是，本层线积分结果由上层线积分结果进行线性组合得到，线性组合可以分为两类：一类对于已有角度，线积分长度加倍，此结果由上层对应角度的两个线积分值平均可得；一类对于新的方向，由两个上层相邻线积分角度的共四个线积分值平均得到。
具体的，假设上层线积分采样角度数为n0，线积分长度为L＝2S(2的s次方)，本层水平方向组，线积分的卷积核大小为[n0，2n0-1，2S+1，3]，此卷积核是稀疏的，每个通道至多只有四个非零元素，为进一步说明卷积核设计，这里以上层为n0＝9个角度，线积分长度为4＝22为例进行阐述，此时本层水平方向组，线积分卷积核大小为[9,17,5,3]。
下面列举了一些此情况下，部分通道卷积核的实例。
在θ由π/4到0(θ∈{π/4，arctan(3/4),arctan(1/2),arctan(1/4),0})范围内，进行“已有角度长度加倍”计算的线积分卷积核如图9所示(以下称第一类卷积核)，图10为“新角度计算”θ＝arctan(7/8)的线积分的卷积核，两个卷积核分别对上一层θ＝arctan(1)(即π/4)以及θ＝arctan(3/4)通道进行卷积并加和；图11为“新角度计算”θ＝arctan(5/8)的线积分的卷积核，两个卷积核分别对θ＝arctan(3/4)以及θ＝arctan(1/2)通道进行卷积并加和；图12为“新角度计算”θ＝arctan(3/8)的线积分的卷积核，两个卷积核分别对θ＝arctan(1/2)以及θ＝arctan(1/4)通道进行卷积并加和；上述三组卷积核中，每组第一个卷积核称为“第二类卷积核”，每组第二个卷积核称为“第三类卷积核”。在每一类卷积核中，随输出线积分角度递减，其左、右两列的非零元素，逐次向中间行靠拢。利用此规律，可逐次构造各个角度下第一、二、三类卷积核。卷积核构造代码示例如图13所示。
5、通过卷积核计算竖直方向组的线积分：
针对步骤4的水平方向组线积分算法，仅需对输入数据进行转置，或对卷积进行转置，即可应用于竖直方向组。具体的，给定上一层特征图(即线积分结果)，假设其各维度大小为n0×h0×w0，其特征图像素为长度为L，角度采样数n0的线积分结果，则在本层通过水平方向步长为2，竖直方向步长为1的卷积后，输出大小为(2n0-1)×h0或者2×w0的特征图，特征图的每个像素为长度2L，角度采样数为(2n0-1)的线积分结果。
6、将水平和竖直方向组的重合部分进行处理融合：
分别进行水平方向组的线积分与竖直方向组的线积分计算后，对其中θ＝π/4的重合部分，将各层对应位置水平方向响应于竖直方向响应求平均，获得θ＝π/4的线积分值。
基于上述实施例，作为可选的实施例，所述S101将二维图像进行预处理，包括：
将二维图像转化为灰度图像；
将所述灰度图像进行等比放缩，使其长边长度变为原长度的2的幂次方；
采用反射方式对所述灰度图像短边进行填充，使其短边长度扩充至所述灰度图像长边的长度。
具体的，二维图像进行预处理有2个关键步骤：一是将灰度图像等比放缩，使其长边为2的幂次方，由于线积分算法计算的是所有长度为2的幂次方的线积分，这样放缩保证了在离散误差范围内，线积分计算能够覆盖图像所有长度、方向和位置，同时2的幂次方边长保证了在卷积下采样过程中，特征图边长始终为整数并具有物理意义，采用等比放缩是为了避免在线积分计算的角度、长度中引入误差；二是采用反射(reflect)方式将短边填充至长边的长度，此填充方式将边缘像素的镜像作为填充内容，能够避免采用零填充或者常数填充方式时，在图像原边界引入伪线积分信号，也能够较好地避免采用“复制”填充方式时，因填充的内容与图像原内容共线性，而错误地加强图像边界区域的线积分信号。
基于上述实施例，作为可选的实施例，所述S102构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系，包括：
将非零部分非对称的稀疏卷积核拆解为两个空洞卷积核，将两个空洞卷积核分别对输入数据进行卷积之后求和得到为原卷积核的输出结果。
具体的，所求线积分长度为2S+1时，卷积核单通道大小为[2S+1，3]。当S较大时，采用简单稠密表示，将导致较大的GPU存储和计算负担。因此应考虑采用稀疏表示进行卷积。但目前常见的卷积神经网络框架(pytorch，tensorflow，caffe)等，尽管支持空洞卷积等稀疏形式，但要求空洞部分上下(或左右)对称。因此，上述卷积核并不能直接用空洞卷积表达。为解决此问题，在此采用两个空洞卷积之和来取得上述卷积核的效果。即利用卷积算子分配律：
I*kernel＝I*(kernel_1+kernel_2)＝I*kernel_1+I*kernel_2(公式2)，
其中*为卷积符号。将非对称的，难以在现有框架中以稀疏方式表达的卷积核，拆解为两个可在现有框架中表达的两个稀疏卷积核。两个卷积核分别对输入进行卷积之后的和，即为原卷积核的输出结果。例如，图14可拆解为图15与图16的卷积表达。其中，图15可用竖直方向空洞为1的3×3的空洞卷积表达；图16可用竖直方向空洞为0的3×3的空洞卷积表达。采用此表达方式，可极大节省存储空间及运算量。
基于上述实施例，作为可选的实施例，所述S102构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系，还包括：
在卷积核每一层加入非线性激活函数，得到一个基于学习的线性特征检测网络架构，通过将Ground Truth量化到各层特征图对应的线性积分值作为监督信号，然后通过数据驱动方式学习线性特征提取。
基于上述实施例，作为可选的实施例，所述S106对水平和竖直方向组的重合部分进行处理融合得到二维图像线积分，包括：
将各卷积层对应位置水平和竖直方向组的重合部分求平均，获得θ＝π/4的线积分值。
需要说明的是，在进行水平方向组的线积分与竖直方向组的线积分计算后，对其中θ＝π/4的重叠部，将各层对应位置水平方向响应于竖直方向响应求平均，获得θ＝π/4的线积分值。
请参考图17，图17为本申请实施例所提供的一种基于GPU的二维图像线积分计算系统的结构示意图，该系统1700，包括：
预处理单元1701，配置用于将二维图像进行预处理；
图像划分单元1702，配置用于依据角度将二维图像的线积分分为水平方向组(|θ|≤π/4)以及竖直方向组(|θ|≥π/4)；
卷积构造单元1703，配置用于构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系；
水平线积分计算单元1704，配置用于通过所述卷积核对所述二维图像进行特征提取得到三维特征图即水平方向组的线积分；
竖直线积分计算单元1705，配置用于将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；
融合处理单元1706，配置用于将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分。
基于上述实施例，作为可选的实施例，所述预处理单元1701具体用于：
将二维图像转化为灰度图像；
将所述灰度图像进行等比放缩，使其长边长度变为原长度的2的幂次方；
采用反射方式对所述灰度图像短边进行填充，使其短边长度扩充至所述灰度图像长边的长度。
基于上述实施例，作为可选的实施例，所述卷积构造单元1703具体用于：
将非零部分非对称的稀疏卷积核拆解为两个空洞卷积核，将两个空洞卷积核分别对输入数据进行卷积之后求和得到为原卷积核的输出结果。
基于上述实施例，作为可选的实施例，所述卷积构造单元1703还具体用于：
在卷积核每一层加入非线性激活函数，得到一个基于学习的线性特征检测网络架构，通过将Ground Truth量化到各层特征图对应的线性积分值作为监督信号，然后通过数据驱动方式学习线性特征提取。
基于上述实施例，作为可选的实施例，所述融合处理单元1706具体用于：
将各卷积层对应位置水平和竖直方向组的重合部分求平均，获得θ＝π/4的线积分值。
请参考图18，图18为本申请实施例所提供的一种终端系统1800的结构示意图，该终端系统1800可以用于执行本发明实施例提供的软件多语言显示及输入同步切换方法。
其中，该终端系统1800可以包括：处理器1801、存储器1802及通信单元1803。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，该存储器1802可以用于存储处理器1801的执行指令，存储器1802可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器1802中的执行指令由处理器1801执行时，使得终端系统1800能够执行以下上述方法实施例中的部分或全部步骤。
处理器1801为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器1802内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器1801可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。
通信单元1803，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
本申请还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于GPU的二维图像线积分计算方法，其特征在于，包括如下步骤：
将二维图像进行预处理；
依据角度将二维图像的线积分分为水平方向组以及竖直方向组；
构造神经网络框架的卷积核，卷积三维特征图与线积分结果之间的对应关系；
通过所述卷积核对所述二维图像进行特征提取得到水平方向组的线积分；
将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；
将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分；
其中：
所述构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系，包括：
将非零部分非对称的稀疏卷积核拆解为两个空洞卷积核，将两个空洞卷积核分别对输入数据进行卷积之后求和得到为原卷积核的输出结果。
2.根据权利要求1所述的一种基于GPU的二维图像线积分计算方法，其特征在于，所述将二维图像进行预处理，包括：
将二维图像转化为灰度图像；
将所述灰度图像进行等比放缩，使其长边长度变为原长度的2的幂次方倍数；
采用反射方式对所述灰度图像短边进行填充，使其短边长度扩充至所述灰度图像长边的长度。
3.根据权利要求1所述的一种基于GPU的二维图像线积分计算方法，其特征在于，所述构造神经网络框架的卷积核，卷积所述三维特征图与线积分结果之间的对应关系，还包括：
在卷积核每一层加入非线性激活函数，得到一个基于学习的线性特征检测网络架构，通过将Ground Truth量化到各层特征图对应的线性积分值作为监督信号，然后通过数据驱动方式学习线性特征提取。
4.根据权利要求1所述的一种基于GPU的二维图像线积分计算方法，其特征在于，所述将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分，包括：
将各卷积层对应位置水平和竖直方向组的重合部分求平均，获得θ=π/4的线积分值。
5.一种基于GPU的二维图像线积分计算系统，其特征在于，包括：
预处理单元，配置用于将二维图像进行预处理；
图像划分单元，配置用于依据角度将二维图像的线积分分为水平方向组|θ|≤π/4以及竖直方向组|θ|≥π/4；
卷积构造单元，配置用于构造神经网络框架的卷积核，卷积三维特征图与线积分结果之间的对应关系；
水平线积分计算单元，配置用于通过所述卷积核对所述二维图像进行特征提取得到水平方向组的线积分；
竖直线积分计算单元，配置用于将所述二维图像进行转置后输入所述卷积核或将所述二维图像输入转置的卷积核，得到竖直方向组的线积分；
融合处理单元，配置用于将水平和竖直方向组的重合部分进行处理融合得到二维图像线积分；
其中：
所述卷积构造单元具体用于：
将非零部分非对称的稀疏卷积核拆解为两个空洞卷积核，将两个空洞卷积核分别对输入数据进行卷积之后求和得到为原卷积核的输出结果。
6.根据权利要求5所述的基于GPU的二维图像线积分计算系统，其特征在于，所述预处理单元具体用于：
将二维图像转化为灰度图像；
将所述灰度图像进行等比放缩，使其长边长度变为原长度的2的幂次方倍数；
采用反射方式对所述灰度图像短边进行填充，使其短边长度扩充至所述灰度图像长边的长度。
7.根据权利要求5所述的基于GPU的二维图像线积分计算系统，其特征在于，所述卷积构造单元还具体用于：
在卷积核每一层加入非线性激活函数，得到一个基于学习的线性特征检测网络架构，通过将Ground Truth量化到各层特征图对应的线性积分值作为监督信号，然后通过数据驱动方式学习线性特征提取。
8.根据权利要求5所述的基于GPU的二维图像线积分计算系统，其特征在于，所述融合处理单元具体用于：
将各卷积层对应位置水平和竖直方向组的重合部分求平均，获得θ=π/4的线积分值。
9.一种终端，其特征在于，包括：
处理器；
用于存储处理器的执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN202011216204.0A 2020-11-04 2020-11-04 一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质 Active CN112288620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011216204.0A CN112288620B (zh) 2020-11-04 2020-11-04 一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011216204.0A CN112288620B (zh) 2020-11-04 2020-11-04 一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112288620A CN112288620A (zh) 2021-01-29
CN112288620B true CN112288620B (zh) 2024-04-09

Family

ID=74350901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011216204.0A Active CN112288620B (zh) 2020-11-04 2020-11-04 一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112288620B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873640A (zh) * 2006-06-30 2006-12-06 北京航空航天大学 扩展的矢量场线卷积积分方法
CN101718719A (zh) * 2009-12-01 2010-06-02 北京航空航天大学 一种连续扫描三维锥束工业ct角度增量确定方法
DE102013213010B3 (de) * 2013-07-03 2014-10-16 Fachhochschule Stralsund Bildgebungsverfahren für kernspintomographische Diffusionsdaten, Computerprogrammprodukt und Bildgebungsvorrichtung
CN104541499A (zh) * 2013-06-14 2015-04-22 松下电器（美国）知识产权公司 摄像装置、集成电路以及闪烁减少方法
CN105678823A (zh) * 2016-02-02 2016-06-15 北京航空航天大学 一种多联装二维扇束计算机层析成像方法
WO2020026739A1 (ja) * 2018-08-01 2020-02-06 株式会社日立製作所 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769217B2 (en) * 2006-03-06 2010-08-03 Siemens Medical Solutions Usa, Inc. Fast iterative 3D PET image reconstruction using a set of 2D linogram transformations
US8103122B2 (en) * 2007-04-13 2012-01-24 Institut Pasteur Feature adapted beamlet transform apparatus and associated methodology of detecting curvilinear objects of an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873640A (zh) * 2006-06-30 2006-12-06 北京航空航天大学 扩展的矢量场线卷积积分方法
CN101718719A (zh) * 2009-12-01 2010-06-02 北京航空航天大学 一种连续扫描三维锥束工业ct角度增量确定方法
CN104541499A (zh) * 2013-06-14 2015-04-22 松下电器（美国）知识产权公司 摄像装置、集成电路以及闪烁减少方法
DE102013213010B3 (de) * 2013-07-03 2014-10-16 Fachhochschule Stralsund Bildgebungsverfahren für kernspintomographische Diffusionsdaten, Computerprogrammprodukt und Bildgebungsvorrichtung
CN105678823A (zh) * 2016-02-02 2016-06-15 北京航空航天大学 一种多联装二维扇束计算机层析成像方法
WO2020026739A1 (ja) * 2018-08-01 2020-02-06 株式会社日立製作所 画像処理装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GPU-Based Parallelization Algorithm for 2D Line Integral Convolution;Bo Qin et al.;ICSI 2010: Advances in Swarm Intelligence;397-404 *
基于Fast-LIC的矢量场可视化方法研究;刘天佳;中国优秀硕士学位论文全文数据库 信息科技辑(第6期);I138-1819 *
基于小波和Beamlet变换的图像线特征提取;杨玲香;姚斌;赵新俊;;石河子大学学报(自然科学版)(05);654-656 *
旋转局部梯度模式特征及其在模糊图像识别中的应用;钟国韵;常艳荣;汪宇玲;杨德明;;计算机应用与软件(10);186-193+261 *
空间第二类曲线积分计算方法;董红昌;;课程教育研究(37);157-158 *

Also Published As

Publication number Publication date
CN112288620A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN114549731B (zh) 视角图像的生成方法、装置、电子设备及存储介质
CN108876792B (zh) 语义分割方法、装置和系统及存储介质
CN113159143B (zh) 基于跳跃连接卷积层的红外与可见光图像融合方法和装置
CN111260586B (zh) 扭曲文档图像的矫正方法和装置
CN111598087B (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN108320322B (zh) 动画数据处理方法、装置、计算机设备和存储介质
CN114417064A (zh) 数据处理方法、装置、计算机设备、存储介质
CN115661635A (zh) 基于Transformer融合卷积神经网络的高光谱图像重建方法
CN112288620B (zh) 一种基于gpu的二维图像线积分计算方法、系统、电子设备及计算机存储介质
CN111353002A (zh) 网络表示学习模型的训练方法、装置、电子设备及介质
CN111476718A (zh) 一种图像放大方法、装置、存储介质及终端设备
Fu et al. Image super-resolution reconstruction based on instance spatial feature modulation and feedback mechanism
EP4071619A1 (en) Address generation method, related device and storage medium
Tuzikov et al. Computation of volume and surface body moments
CN109800286B (zh) 对话生成方法和装置
Chen et al. Document image super‐resolution using structural similarity and Markov random field
CN113283241B (zh) 文本识别方法、装置、电子设备及计算机可读存储介质
CN115272716A (zh) 一种提取整合图像内部与图像之间特征关系的方法和装置
CN110689513B (zh) 彩色图像融合方法、装置和终端设备
CN109583512B (zh) 图像处理方法、装置及系统
Li et al. Efficient computation of the likelihood expansions for diffusion models
CN110633595A (zh) 一种利用双线性插值的目标检测方法和装置
CN110990776A (zh) 编码分布式计算方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant