CN111951269B - 图像处理方法及相关设备 - Google Patents
图像处理方法及相关设备 Download PDFInfo
- Publication number
- CN111951269B CN111951269B CN202011106093.8A CN202011106093A CN111951269B CN 111951269 B CN111951269 B CN 111951269B CN 202011106093 A CN202011106093 A CN 202011106093A CN 111951269 B CN111951269 B CN 111951269B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image data
- expansion
- convolution operation
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 32
- 230000010339 dilation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 28
- 230000001133 acceleration Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006798 recombination Effects 0.000 description 4
- 238000005215 recombination Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Character Input (AREA)
Abstract
本申请实施例提供一种图像处理方法及相关设备，其中，所述方法包括：对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。采用本申请实施例，有利于降低扩张卷积的运算功耗，提高扩张卷积的运算效率。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像处理方法及相关设备。
背景技术
在图像处理中，通常采用扩张（dilated）卷积（又叫做空洞卷积）进行图像切割。扩张卷积与普通的卷积相比，除了卷积核参数以外，还引入一个扩张率(dilation rate)参数，主要用来表示扩张大小，用于增大感受野，让每个卷积输出都包含较大范围的信息。扩张卷积对卷积核的元素之间插入0处理，再采用处理后的卷积核对输入图像数据（featuremap）进行卷积运算。由于卷积核引入0值空洞，这样会带来许多无效的运算，从而导致图像扩张卷积运算的功耗高且效率低。
发明内容
本申请实施例公开了一种图像处理方法及相关设备，有利于降低图像扩张卷积运算的功耗，提高图像扩张卷积运算的效率。
本申请实施例第一方面公开了一种图像处理方法，应用于计算机装置，用于对图像进行扩张卷积运算，所述方法包括：对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
本申请实施例第二方面公开了一种图像处理装置，应用于计算机装置，用于对图像进行扩张卷积运算，所述图像处理装置包括：分组单元，用于对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；运算单元，用于采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；所述运算单元，还用于根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
本申请实施例第三方面公开了一种计算机装置，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一项所述的方法中的步骤的指令。
本申请实施例第四方面公开了一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如本申请实施例第一方面中任一项所述的方法。
本申请实施例第五方面公开了一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中任一项所述的方法。
本申请实施例第六方面公开了一种计算机程序产品，所述计算机程序产品使得计算机执行如本申请实施例第一方面中任一项所述的方法。
可以看出，在本申请实施例中，先对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，Dh为扩张卷积对应的卷积核在高度维度上的扩张率，Dw为扩张卷积对应的卷积核在宽度维度上的扩张率，Dh和Dw为正整数；然后采用扩张卷积扩张前的卷积核对Dh×Dw个分组图像数据分别进行普通卷积运算，得到Dh×Dw个分组卷积运算结果；再根据Dh×Dw个分组卷积运算结果按照分组处理的逆过程进行重组，得到输入图像数据的扩张卷积运算结果。由于对输入图像数据分组后，采用扩张前的卷积核（也即没有在卷积核的元素之间插入0处理的原始卷积核）对分组图像数据进行普通卷积运算，去除了因卷积核引入0值空洞而带来的无效运算，减少了运算量，从而可以降低图像扩张卷积运算的功耗；同时，各分组图像数据进行普通卷积运算时，可以并行进行，有利于运算加速，从而提高图像扩张卷积运算的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种卷积核的扩张过程示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的一种扩展卷积运算的示意图；
图4是本申请实施例提供的一种分组卷积运算的示意图；
图5是本申请实施例提供的一种输入图像数据的示意图；
图6是本申请实施例提供的一种填充处理后的图像数据的示意图；
图7是本申请实施例提供的一种扩充处理后的图像数据的示意图；
图8是本申请实施例提供的一种分组处理前的图像数据的示意图；
图9是本申请实施例提供的一种分组处理后的分组图像数据的示意图；
图10是本申请实施例提供的第(1)个分组图像数据的卷积的示意图；
图11是本申请实施例提供的第(2)个分组图像数据的卷积的示意图；
图12是本申请实施例提供的第(3)个分组图像数据的卷积的示意图；
图13是本申请实施例提供的第(4)个分组图像数据的卷积的示意图；
图14是本申请实施例提供的第(5)个分组图像数据的卷积的示意图；
图15是本申请实施例提供的第(6)个分组图像数据的卷积的示意图；
图16是本申请实施例提供的第(7)个分组图像数据的卷积的示意图；
图17是本申请实施例提供的第(8)个分组图像数据的卷积的示意图；
图18是本申请实施例提供的第(9)个分组图像数据的卷积的示意图；
图19是本申请实施例提供的一种分组卷积运算结果的示意图；
图20是本申请实施例提供的一种输出图像数据的示意图；
图21是本申请实施例提供的一种逆重组图像数据的示意图；
图22是本申请实施例提供的一种图像数据抽取重组的示意图；
图23是本申请实施例提供的一种图像处理装置的结构示意图；
图24是本申请实施例提供的一种计算机装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
在图像扩张卷积运算中，采用Kh和Kw分别表示扩张之前卷积核的高和宽，采用Dh和Dw分别表示卷积核在高（h）和宽（w）维度上的扩张率，其中，Dh≥1，Dw≥1；采用Kd,h和Kd,w表示扩张之后卷积核的高和宽，其中，Kd,h和Kd,w的计算公式分别如公式（1）和公式（2）所示：
Kd,h=Dh(Kh-1)+1 （1）
Kd,w=Dw(Kw-1)+1 （2）
若Dh=1且Dw=1，则为普通卷积。
请参阅图1，图1是本申请实施例提供的一种卷积核的扩张过程示意图。如图1所示，在扩张之前的卷积核的尺寸为3×3，也即Kh=3，Kw=3；在卷积核的行和列（即高和宽）方向上，各元素之间插入2个0，从而得到扩张后的卷积核，也即Dh=2，Dw=2；从而扩张后的卷积核的尺寸为7×7，也即Kd,h=7，Kd,w=7。
请参阅图2，图2是本申请实施例提供的一种图像处理方法的流程示意图，所述图像处理方法应用于计算机装置，用于对图像进行扩张卷积运算，所述图像处理方法包括但不限于以下步骤。
步骤201、对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数。
在一种示例性的实施方式中，所述对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，包括：根据所述扩张卷积的配置参数对所述输入图像数据进行填充处理，得到第一图像数据；根据所述第一图像数据的尺寸确定每个所述分组图像数据的尺寸；根据所述Dh、所述Dw和所述每个分组图像数据的尺寸对所述第一图像数据进行扩充处理，得到第二图像数据；对所述第二图像数据进行分组处理，得到所述Dh×Dw个分组图像数据。
应理解，对扩张卷积的输入图像数据进行填充处理时，是否需要进行填充处理以及具体如何填充处理，由扩张卷积的配置参数决定，本申请对此不作具体限定。
在一种示例性的实施方式中，所述根据所述扩张卷积的配置参数对所述输入图像数据进行填充处理，得到第一图像数据，包括：若所述扩张卷积的配置参数指示不需要填充处理，则所述第一图像数据为所述输入图像数据；若所述扩张卷积的配置参数指示需要填充处理，则根据所述扩张卷积的配置参数对所述输入图像数据进行填充处理，得到所述第一图像数据。
也即，当所述扩张卷积的配置参数决定不需要填充处理时，所述第一图像数据为所述输入图像数据；当所述扩张卷积的配置参数决定需要填充处理时，根据所述扩张卷积的配置参数对所述输入图像数据进行填充处理，得到所述第一图像数据。
在一种示例性的实施方式中，所述根据所述Dh、所述Dw和所述每个分组图像数据的尺寸对所述第一图像数据进行扩充处理，得到第二图像数据，包括：根据所述Dh、所述Dw和所述每个分组图像数据的尺寸确定所述第二图像数据的尺寸；在所述第一图像数据的第H'-1行后扩充Ph行零，以及在所述第一图像数据的第W'-1列后扩充Pw列零，得到所述第二图像数据，其中，所述第一图像数据的尺寸为H'×W'，所述第二图像数据的尺寸为H"×W"，Ph=H"-H'，Pw=W"-W'。
具体地，第一图像数据一共有H'行，分别为第0行、第1行、第2行、......、第H'-2行、第H'-1行；第一图像数据一共有W'列，分别为第0列、第1列、第2列、......、第W'-2列、第W'-1列；则在第一图像数据的第H'-1行后扩充Ph行零，以及在第一图像数据的第W'-1列后扩充Pw列零，得到第二图像数据。
下面对本申请提供的分组处理过程进行详细的描述。
假设扩张卷积的输入图像数据的尺寸为（N,C,H,W），其中，N表示样本（batch）数目，C表示卷积的输入通道数目，H表示输入图像数据的高，W表示输入图像数据的宽；需要说明的是，对于其他图像数据排列方式，后文处理类同。
首先，对输入图像数据进行填充（pad）处理，将输入图像数据的尺寸转变成（N,C,H',W'），得到第一图像数据，其中，H'表示填充处理后得到的第一图像数据的高，W'表示填充处理后得到的第一图像数据的宽。
其次，分组处理为将填充处理后得到的第一图像数据拆分成Dh×Dw组，通常为保持分组处理后的每个分组图像数据的尺寸相同，需要对填充处理后得到的第一图像数据分别在高（h）和宽（w）维度的下面和右边上进行扩展处理，也即在第一图像数据的第H'-1行后扩充填充零，以及在第一图像数据的第W'-1列后扩充填充零，得到第二图像数据，若第二图像数据的高和宽分别用的H"和W"表示，每个分组图像数据的输入通道、高和宽分别为Cg、Hg和Wg，则有：
Hg=⌈H'/Dh⌉（3）
Wg=⌈W'/Dw⌉（4）
Cg=C （5）
H"=DhHg（6）
W"=DwWg（7）
其中，⌈⌉表示向上取整操作。若在第一图像数据的第H'-1行后扩充填充零以及在第一图像数据的第W'-1列后扩充填充零的大小分别为Ph和Pw，则有：
Ph=H"-H'（8）
Pw=W"-W'（9）
若扩充填充处理后得到的第二图像数据的像素位置用f(n,c,h,w)表示，其中，0≤n＜N，0≤c＜C，0≤h＜H"，0≤w＜W"，第(i,j)组的图像数据的像素位置用gi,j(n,cg,hg,wg)表示，则有：
c=cg（10）
h=Dhhg+i，0≤hg＜Hg，0≤i＜Dh（11）
w=Dwwg+j，0≤wg＜Wg，0≤j＜Dw（12）
应理解，若每个分组图像数据的尺寸为（N,Cg,Hg,Wg），则可以在分组处理的过程中，同时记录每个分组图像数据在hg和wg维度平面上的下面和右边扩充使能情况，也即记录每个分组图像数据在hg和wg维度平面上的行和列方向是否扩充填充零。
步骤202、采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核。
在一种示例性的实施方式中，采用所述第一卷积核对所述分组图像数据进行卷积运算时，所述第一卷积核移动的步长为1。
具体地，在对分组图像数据进行卷积运算时，每个分组图像数据进行的卷积为普通卷积，其卷积的卷积核为扩张前的卷积核，且各分组图像数据无填充操作，直接进行卷积，卷积核移动的步长（stride）固定取1。也即不管扩展卷积神经网络的扩展后的卷积核移动的步长是否为1，在采用扩展卷积神经网络的扩展前的卷积核进行分组图像数据的卷积运算时，卷积核移动的步长固定为1。
请一并参阅图3，图3是本申请实施例提供的一种扩展卷积运算的示意图。如图3所示，常用的扩张卷积运算，将权重参数进行扩张处理后，再转成普通卷积，这样卷积过程中将产生较多的无效权重0值与原始输入图像数据中像素值做乘法，因此计算效率不高。
请一并参阅图4，图4是本申请实施例提供的一种分组卷积运算的示意图。如图4所示，本申请提供的分组卷积的方案，将扩展卷积神经网络的输入图像数据进行分组处理，得到G个分组图像数据，其中分组处理过程如前描述，G=Dh×Dw；然后采用同一个权重参数对这G个分组图像数据分别进行卷积运算，也即采用同一个卷积核（扩张卷积扩张前的卷积核）分别进行卷积1、卷积2、......、卷积G，得到G个分组卷积运算结果；再对这G个分组卷积运算结果进行逆重组，得到该输入图像数据的通过该扩展卷积神经网络计算得到的扩张卷积运算结果。而这里的分组卷积方法，则去掉了扩展卷积带来的无效乘法，由于将一个输入图像数据的卷积操作转变了多个分组图像数据的卷积操作，组与组之间的卷积可以并行化操作，也便于运算加速。
步骤203、根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
在一种示例性的实施方式中，所述根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果，包括：根据所述Dh×Dw个分组卷积运算结果按照所述分组处理的逆过程进行重组处理，得到目标卷积运算结果；若第二卷积核移动的步长为1，则所述目标卷积运算结果为所述输入图像数据的扩张卷积运算结果；若所述第二卷积核移动的步长不为1，则根据所述第二卷积核移动的步长对所述目标卷积运算结果进行抽取，得到所述输入图像数据的扩张卷积运算结果；其中，所述第二卷积核为所述扩张卷积扩张后的卷积核。
具体地，根据Dh×Dw个分组卷积运算结果按照步骤201中对输入图像数据分组处理的逆过程，恢复最终结果。由于在分组过程中进行了扩充处理，这里需要利用记录的每个分组图像数据在hg和wg维度平面上的下面和右边扩充使能情况，也即记录的每个分组图像数据在hg和wg维度平面上的行和列方向是否扩充填充零，在Dh×Dw个分组卷积运算结果之间聚合过程中去除产生的多余卷积运算结果的数据。
应理解，当扩张卷积扩张后的卷积核的移动步长为1时，按照步骤201中对输入图像数据分组处理的逆过程，恢复出的最终结果，就是该输入图像数据的扩张卷积运算结果。当扩张卷积扩张后的卷积核的移动步长不为1时，逆重组完得到一个完整的输出图像数据后，按照扩张卷积扩张后的卷积核的移动步长对该完整的输出图像数据进行抽取，则得到该输入图像数据的扩张卷积运算结果。
在一种示例性的实施方式中，所述根据所述第二卷积核移动的步长对所述目标卷积运算结果进行抽取，得到所述输入图像数据的扩张卷积运算结果，包括：抽取所述目标卷积运算结果中的第n×k行数据和第n×k列数据，其中，所述n为所述第二卷积核移动的步长，所述n为大于或等于2的整数，所述k为大于或等于0的整数；根据所述第n×k行数据和所述第n×k列数据中重合的数据，组成所述输入图像数据的扩张卷积运算结果，其中，若所述目标卷积运算结果的尺寸为H1×W1，则所述n×k小于或等于所述H1，所述n×k小于或等于所述W1。
具体地，当扩张卷积扩张后的卷积核的移动步长n时，进行抽取时，抽取第n×k行和抽取第n×k列的数据，根据上述取抽取得到的数据中重合的数据，组成该输入图像数据的扩张卷积运算结果，其中，n大于或等于2，k为大于或等于0的整数。
可见，本示例中，对于卷积核移动的步长不为1的情况下，统一按照卷积核移动的步长为1进行分组卷积运算，然后对分组卷积运算的结果按照不为1的移动的步长进行抽取，从而得到卷积核移动的步长不为1的情况下的扩张卷积运算结果，故本方案具有应用广泛的优点，可以应用于任何移动步长的扩张卷积运算。
作为可能的实现方式，由于常规的扩展卷积运算和本申请提供的分组卷积运算的高效性均受到扩展卷积神经网络中的配置参数的影响，可依据实际情况进行选优处理。具体地，根据收集到的扩展卷积神经网络中的配置参数对两种运算的代价进行评估；根据评估结果，选择最优的方式进行扩展卷积运算；其中，配置参数通常包括卷积核大小、扩展率、扩展后的卷积核移动步长和输入图像数据的尺寸大小等，代价可以是运算时间或者运算次数或者两种综合考虑。
在图2所描述的图像处理方法中，先对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，Dh为扩张卷积对应的卷积核在高度维度上的扩张率，Dw为扩张卷积对应的卷积核在宽度维度上的扩张率，Dh和Dw为正整数；然后采用扩张卷积扩张前的卷积核对Dh×Dw个分组图像数据分别进行普通卷积运算，得到Dh×Dw个分组卷积运算结果；再根据Dh×Dw个分组卷积运算结果按照分组处理的逆过程进行重组，得到输入图像数据的扩张卷积运算结果。由于对输入图像数据分组后，采用扩张前的卷积核（也即没有在卷积核的元素之间插入0处理的原始卷积核）对分组图像数据进行普通卷积运算，去除了因卷积核引入0值空洞而带来的无效运算，减少了运算量，从而可以降低运算功耗；同时，各分组图像数据可以普通卷积运算时，可以并行进行，有利于运算加速，提高运算效率。
下面结合具体示例对本申请提供的技术方案进行详细的介绍。
在本示例中，扩展前的卷积核和扩展后的卷积核如图1所示，扩展前的卷积核尺寸为3×3，扩展后的卷积核尺寸为7×7；也即有Kh=3，Kw=3，Dh=3，Dw=3，Kd,h=3×(3-1)+1=7，Kd,w=3×(3-1)+1=7；从而在对输入图像数据进行分组处理时，需要将输入图像数据拆分成Dh×Dw=3×3=9组。
一、如图5所示，扩展卷积神经网络的输入图像数据的尺寸为7×7，也即有H=7，W=7。
二、对输入图像数据进行填充处理；具体地，在输入图像数据的外围填充3圈零，得到第一图像数据；如图6所示，第一图像数据的尺寸为13×13，也即有H'=13，W'=13。
三、根据以下计算，得到Ph=2，Pw=2；在第一图像数据的第13行后扩充填充两行零，在第一图像数据的第13列后扩充填充两列零，得到第二图像数据；如图7或图8所示，第二图像数据的尺寸为15×15，则有：
Hg=⌈13/3⌉=5，Wg=⌈13/3⌉=5，
H"=3×5=15，W"=3×5=15，
Ph=15-13=2，Pw=15-13=2。
四、对第二图像数据进行分组处理，得到9个分组图像数据，并记录每个分组图像数据的扩充使能情况；如图9所示，每个分组图像数据的尺寸为5×5，第(1)个分组图像数据无扩充填充的零，第(2)个分组图像数据的第5列为扩充填充的零，第(3)个分组图像数据的第5列为扩充填充的零，第(4)个分组图像数据的第5行为扩充填充的零，第(5)个分组图像数据的第5行和第5列为扩充填充的零，第(6)个分组图像数据的第5行和第5列为扩充填充的零，第(7)个分组图像数据的第5行为扩充填充的零，第(8)个分组图像数据的第5行和第5列为扩充填充的零，第(9)个分组图像数据的第5行和第5列为扩充填充的零。
五、采用扩展前的3×3的卷积核，按照移动步长为1，分别对9个分组图像数据进行滑窗，计算得到9个分组卷积运算结果；如图10-图18所示，每个分组卷积运算结果的尺寸为3×3，其中，图10-图18所示的滑窗过程可以并行执行。
六、利用记录的每个分组图像数据在hg和wg维度平面上的下面和右边扩充使能情况，对9个分组卷积运算结果进行分组处理的逆向重组，得到该输入图像数据的扩展卷积运算结果；如图19所示，在逆向重组时，第(1)个分组卷积运算结果无需要去掉的数据，第(2)个分组卷积运算结果的第3列为需要去掉的数据，第(3)个分组卷积运算结果的第3列为需要去掉的数据，第(4)个分组卷积运算结果的第3行为需要去掉的数据，第(5)个分组卷积运算结果的第3行和第3列为需要去掉的数据，第(6)个分组卷积运算结果的第3行和第3列为需要去掉的数据，第(7)个分组卷积运算结果的第3行为需要去掉的数据，第(8)个分组卷积运算结果的第3行和第3列为需要去掉的数据，第(9)个分组卷积运算结果的第3行和第3列为需要去掉的数据；在去掉多余的数据之后，按照分组处理的逆向过程重组得到输出图像数据，如图20所示，输出图像数据的尺寸为H2×W2=7×7。
作为一种可能的实现方式，在计算得到9个分组卷积运算结果后，可以先进行分组处理的逆向重组，得到完整的图像数据；如图21所示，该完整的图像数据的尺寸为H3×W3=9×9，其中的第8行、第9行、第8列和第9列为需要去掉的数据，将其去掉即可得到图20所示的输出图像数据。
其中，当扩张卷积扩张后的卷积核的移动步长不为1时，则需要对得到的数据进行抽取。假定扩张卷积扩张后的卷积核在高和宽方向上移动步长都为2，抽取的过程如图22所示，在行方向上抽取第0行、第2行、第4行、第6行的数据，在列方向上抽取第0列、第2列、第4列、第6列的数据；根据抽取到的数据中的重合的数据，组成该输入图像数据的扩展卷积运算结果；也即根据第0行第0列、第0行第2列、第0行第4列、第0行第6列，第2行第0列、第2行第2列、第2行第4列、第2行第6列，第4行第0列、第4行第2列、第4行第4列、第4行第6列，第6行第0列、第6行第2列、第6行第4列、第6行第6列，组成该输入图像数据的扩展卷积运算结果，其尺寸为H4×W4=4×4。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参见图23，图23是本申请实施例提供的一种图像处理装置2300的结构示意图，该图像处理装置应用于计算机装置，用于对图像进行扩张卷积运算，该图像处理装置2300可以包括分组单元2301和运算单元2302，其中，各个单元的详细描述如下：
分组单元2301，用于对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；
运算单元2302，用于采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；
所述运算单元2302，还用于根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
在一种示例性的实施方式中，所述分组单元2301，具体用于：根据所述扩张卷积的配置参数对所述输入图像数据进行填充处理，得到第一图像数据；根据所述第一图像数据的尺寸确定每个所述分组图像数据的尺寸；根据所述Dh、所述Dw和所述每个分组图像数据的尺寸对所述第一图像数据进行扩充处理，得到第二图像数据；对所述第二图像数据进行分组处理，得到所述Dh×Dw个分组图像数据。
在一种示例性的实施方式中，所述分组单元2301，具体用于：根据所述Dh、所述Dw和所述每个分组图像数据的尺寸确定所述第二图像数据的尺寸；在所述第一图像数据的第H'-1行后扩充Ph行零，以及在所述第一图像数据的第W'-1列后扩充Pw列零，得到所述第二图像数据，其中，所述第一图像数据的尺寸为H'×W'，所述第二图像数据的尺寸为H"×W"，Ph=H"-H'，Pw=W"-W'。
在一种示例性的实施方式中，采用所述第一卷积核对所述分组图像数据进行卷积运算时，所述第一卷积核移动的步长为1。
在一种示例性的实施方式中，所述运算单元2302，具体用于：根据所述Dh×Dw个分组卷积运算结果按照所述分组处理的逆过程进行重组处理，得到目标卷积运算结果；若第二卷积核移动的步长为1，则所述目标卷积运算结果为所述输入图像数据的扩张卷积运算结果；若所述第二卷积核移动的步长不为1，则根据所述第二卷积核移动的步长对所述目标卷积运算结果进行抽取，得到所述输入图像数据的扩张卷积运算结果；其中，所述第二卷积核为所述扩张卷积扩张后的卷积核。
需要说明的是，各个单元的实现还可以对应参照图2所示的方法实施例的相应描述。当然，本申请实施例提供的图像处理装置2300包括但不限于上述单元模块，例如：该图像处理装置2300还可以包括存储单元2303，存储单元2303可以用于存储该图像处理装置2300的程序代码和数据。
在图23所描述的图像处理装置2300中，先对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，Dh为扩张卷积对应的卷积核在高度维度上的扩张率，Dw为扩张卷积对应的卷积核在宽度维度上的扩张率，Dh和Dw为正整数；然后采用扩张卷积扩张前的卷积核对Dh×Dw个分组图像数据分别进行普通卷积运算，得到Dh×Dw个分组卷积运算结果；再根据Dh×Dw个分组卷积运算结果按照分组处理的逆过程进行重组，得到输入图像数据的扩张卷积运算结果。由于对输入图像数据分组后，采用扩张前的卷积核（也即没有在卷积核的元素之间插入0处理的原始卷积核）对分组图像数据进行普通卷积运算，去除了因卷积核引入0值空洞而带来的无效运算，减少了运算量，从而可以降低运算功耗；同时，各分组图像数据可以普通卷积运算时，可以并行进行，有利于运算加速，提高运算效率。
请参见图24，图24是本申请实施例提供的一种计算机装置2410的结构示意图，该计算机装置2410包括处理器2411、存储器2412和通信接口2413，上述处理器2411、存储器2412和通信接口2413通过总线2414相互连接。
存储器2412包括但不限于是随机存储记忆体（random access memory，RAM）、只读存储器（read-only memory，ROM）、可擦除可编程只读存储器（erasable programmableread only memory，EPROM）、或便携式只读存储器（compact disc read-only memory，CD-ROM），该存储器2412用于相关计算机程序及数据。通信接口2413用于接收和发送数据。
处理器2411可以是一个或多个中央处理器（central processing unit，CPU），在处理器2411是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
该计算机装置2410中的处理器2411用于读取上述存储器2412中存储的计算机程序代码，执行以下操作：对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
需要说明的是，各个操作的实现还可以对应参照图2所示的方法实施例的相应描述。
在图24所描述的计算机装置2410中，先对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，Dh为扩张卷积对应的卷积核在高度维度上的扩张率，Dw为扩张卷积对应的卷积核在宽度维度上的扩张率，Dh和Dw为正整数；然后采用扩张卷积扩张前的卷积核对Dh×Dw个分组图像数据分别进行普通卷积运算，得到Dh×Dw个分组卷积运算结果；再根据Dh×Dw个分组卷积运算结果按照分组处理的逆过程进行重组，得到输入图像数据的扩张卷积运算结果。由于对输入图像数据分组后，采用扩张前的卷积核（也即没有在卷积核的元素之间插入0处理的原始卷积核）对分组图像数据进行普通卷积运算，去除了因卷积核引入0值空洞而带来的无效运算，减少了运算量，从而可以降低运算功耗；同时，各分组图像数据可以普通卷积运算时，可以并行进行，有利于运算加速，提高运算效率。
本申请实施例还提供一种芯片，上述芯片包括至少一个处理器，存储器和接口电路，上述存储器、上述收发器和上述至少一个处理器通过线路互联，上述至少一个存储器中存储有计算机程序；上述计算机程序被上述处理器执行时，图2所示的方法流程得以实现。
本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，图2所示的方法流程得以实现。
本申请实施例还提供一种计算机程序产品，当上述计算机程序产品在计算机上运行时，图2所示的方法流程得以实现。
应理解，本申请实施例中提及的处理器可以是中央处理单元（CentralProcessing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable ROM，PROM）、可擦除可编程只读存储器（Erasable PROM，EPROM）、电可擦除可编程只读存储器（Electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（Random Access Memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，SRAM）、动态随机存取存储器（Dynamic RAM，DRAM）、同步动态随机存取存储器（Synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（Double DataRate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（Enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（Direct Rambus RAM，DR RAM）。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器（存储模块）集成在处理器中。
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请的范围。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所示方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法，应用于计算机装置，用于对图像进行扩张卷积运算，其特征在于，所述方法包括：
对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；
采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；
根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
2.根据权利要求1所述的方法，其特征在于，所述对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，包括：
根据所述扩张卷积的配置参数对所述输入图像数据进行填充处理，得到第一图像数据；
根据所述第一图像数据的尺寸确定每个所述分组图像数据的尺寸；
根据所述Dh、所述Dw和所述每个分组图像数据的尺寸对所述第一图像数据进行扩充处理，得到第二图像数据；
对所述第二图像数据进行分组处理，得到所述Dh×Dw个分组图像数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述Dh、所述Dw和所述每个分组图像数据的尺寸对所述第一图像数据进行扩充处理，得到第二图像数据，包括：
根据所述Dh、所述Dw和所述每个分组图像数据的尺寸确定所述第二图像数据的尺寸；
在所述第一图像数据的第H'-1行后扩充Ph行零，以及在所述第一图像数据的第W'-1列后扩充Pw列零，得到所述第二图像数据，其中，所述第一图像数据的尺寸为H'×W'，所述第二图像数据的尺寸为H"×W"，Ph=H"-H'，Pw=W"-W'。
4.根据权利要求1-3任一项所述的方法，其特征在于，采用所述第一卷积核对所述分组图像数据进行卷积运算时，所述第一卷积核移动的步长为1。
5.根据权利要求4所述的方法，其特征在于，所述根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果，包括：
根据所述Dh×Dw个分组卷积运算结果按照所述分组处理的逆过程进行重组处理，得到目标卷积运算结果；
若第二卷积核移动的步长为1，则所述目标卷积运算结果为所述输入图像数据的扩张卷积运算结果；
若所述第二卷积核移动的步长不为1，则根据所述第二卷积核移动的步长对所述目标卷积运算结果进行抽取，得到所述输入图像数据的扩张卷积运算结果；
其中，所述第二卷积核为所述扩张卷积扩张后的卷积核。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第二卷积核移动的步长对所述目标卷积运算结果进行抽取，得到所述输入图像数据的扩张卷积运算结果，包括：
抽取所述目标卷积运算结果中的第n×k行数据和第n×k列数据，其中，所述n为所述第二卷积核移动的步长，所述n为大于或等于2的整数，所述k为大于或等于0的整数；
根据所述第n×k行数据和所述第n×k列数据中重合的数据，组成所述输入图像数据的扩张卷积运算结果；
其中，若所述目标卷积运算结果的尺寸为H1×W1，则所述n×k小于或等于所述H1，所述n×k小于或等于所述W1。
7.一种图像处理装置，应用于计算机装置，用于对图像进行扩张卷积运算，其特征在于，所述图像处理装置包括：
分组单元，用于对扩张卷积的输入图像数据进行分组处理，得到Dh×Dw个分组图像数据，其中，所述Dh为所述扩张卷积对应的卷积核在高度维度上的扩张率，所述Dw为所述扩张卷积对应的卷积核在宽度维度上的扩张率，所述Dh和所述Dw为正整数；
运算单元，用于采用第一卷积核对所述Dh×Dw个分组图像数据分别进行卷积运算，得到Dh×Dw个分组卷积运算结果，其中，所述第一卷积核为所述扩张卷积扩张前的卷积核；
所述运算单元，还用于根据所述Dh×Dw个分组卷积运算结果得到所述输入图像数据的扩张卷积运算结果。
8.一种计算机装置，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
9.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011106093.8A CN111951269B (zh) | 2020-10-16 | 2020-10-16 | 图像处理方法及相关设备 |
| US17/468,709 US11386533B2 (en) | 2020-10-16 | 2021-09-08 | Image processing method and related device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011106093.8A CN111951269B (zh) | 2020-10-16 | 2020-10-16 | 图像处理方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951269A CN111951269A (zh) | 2020-11-17 |
| CN111951269B true CN111951269B (zh) | 2021-01-05 |
Family
ID=73356984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011106093.8A Active CN111951269B (zh) | 2020-10-16 | 2020-10-16 | 图像处理方法及相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11386533B2 (zh) |
| CN (1) | CN111951269B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989169A (zh) * | 2020-07-08 | 2022-01-28 | 嘉楠明芯(北京)科技有限公司 | 一种膨胀卷积加速计算方法及装置 |
| CN114697275B (zh) * | 2020-12-30 | 2023-05-12 | 深圳云天励飞技术股份有限公司 | 数据处理方法和装置 |
| US20220222318A1 (en) * | 2021-01-08 | 2022-07-14 | Microsoft Technology Licensing, Llc | Performing tensor operations using a programmable control engine |
| CN113327217B (zh) * | 2021-05-31 | 2024-03-22 | 上海阵量智能科技有限公司 | 一种卷积处理方法、装置、计算机设备及存储介质 |
| CN113610223B (zh) * | 2021-08-03 | 2023-12-26 | 安谋科技（中国）有限公司 | 乘法电路、卷积运算方法、介质、片上系统和电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553921A (zh) * | 2020-02-19 | 2020-08-18 | 中山大学 | 一种基于通道信息共享残差模块的实时语义分割方法 |
| US20200265244A1 (en) * | 2017-03-10 | 2020-08-20 | Tusimple, Inc. | System and method for semantic segmentation using hybrid dilated convolution (hdc) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836853B1 (en) * | 2016-09-06 | 2017-12-05 | Gopro, Inc. | Three-dimensional convolutional neural networks for video highlight detection |
| WO2020031281A1 (ja) * | 2018-08-07 | 2020-02-13 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体 |
| CN109800857A (zh) * | 2018-12-21 | 2019-05-24 | 珠海亿智电子科技有限公司 | 一种空洞卷积加速系统及其方法 |
| CN110503651A (zh) * | 2019-08-09 | 2019-11-26 | 北京航空航天大学 | 一种图像显著对象分割方法及装置 |
| CN110543849B (zh) * | 2019-08-30 | 2022-10-04 | 北京市商汤科技开发有限公司 | 检测器的配置方法及装置、电子设备和存储介质 |
| CN110675407B (zh) * | 2019-09-17 | 2022-08-05 | 北京达佳互联信息技术有限公司 | 一种图像实例分割方法、装置、电子设备及存储介质 |
| CN111311599B (zh) * | 2020-01-17 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| US20210279841A1 (en) * | 2020-03-09 | 2021-09-09 | Nvidia Corporation | Techniques to use a neural network to expand an image |
-
2020
- 2020-10-16 CN CN202011106093.8A patent/CN111951269B/zh active Active
-
2021
- 2021-09-08 US US17/468,709 patent/US11386533B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200265244A1 (en) * | 2017-03-10 | 2020-08-20 | Tusimple, Inc. | System and method for semantic segmentation using hybrid dilated convolution (hdc) |
| CN111553921A (zh) * | 2020-02-19 | 2020-08-18 | 中山大学 | 一种基于通道信息共享残差模块的实时语义分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| Qiuyu Chen等.Adaptive Fractional Dilated Convolution Network.《Conference on Computer Vision and Pattern Recognition (CVPR)》.2020,第1-10页. * |
| Yaxing Li等.DENSELY CONNECTED NETWORK WITH TIME-FREQUENCY DILATED.《2018 IEEEinternational conference on Acoustics,Speech and Signal Processing(ICASSP)》.2018,第1-5页. * |
| 吴昊昊.基于各向异性膨胀卷积的图像识别方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,第I138-1544页. * |
| 顾一凡.基于分组膨胀卷积和级联网络的语义分割算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,第I138-2355页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11386533B2 (en) | 2022-07-12 |
| CN111951269A (zh) | 2020-11-17 |
| US20220122237A1 (en) | 2022-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951269B (zh) | 图像处理方法及相关设备 | |
| EP3499428A1 (en) | Method and electronic device for convolution calculation in neutral network | |
| EP3499427A1 (en) | Method and electronic device for convolution calculation in neutral network | |
| CN110781923B (zh) | 特征提取方法及装置 | |
| JP2021100247A (ja) | 歪んだドキュメント画像の矯正方法及び装置 | |
| US11734554B2 (en) | Pooling processing method and system applied to convolutional neural network | |
| CN114995782B (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| CN112183295A (zh) | 行人重识别方法、装置、计算机设备及存储介质 | |
| CN110673786A (zh) | 数据缓存的方法和装置 | |
| WO2021088569A1 (en) | Convolution method and device, electronic device | |
| US20240096078A1 (en) | Method and system for optimizing convolutional residual structure of neural network, device, and medium | |
| CN111768458A (zh) | 一种基于卷积神经网络的稀疏图像处理方法 | |
| CN114003201A (zh) | 矩阵变换方法、装置及卷积神经网络加速器 | |
| CN216053088U (zh) | 用于执行卷积神经网络运算的处理装置 | |
| KR20230081697A (ko) | 팽창 컨볼루션 계산 가속화 방법 및 장치 | |
| CN110837483B (zh) | 张量维度变换的方法以及装置 | |
| CN114091648A (zh) | 基于卷积神经网络的图像分类方法、装置及卷积神经网络 | |
| JP7033507B2 (ja) | ニューラルネットワーク用プロセッサ、ニューラルネットワーク用処理方法、および、プログラム | |
| CN114037054A (zh) | 一种数据处理方法、装置、芯片、设备及介质 | |
| CN110930290B (zh) | 一种数据处理方法及装置 | |
| CN114003859A (zh) | 卷积运算方法、可读介质和电子设备 | |
| CN113111891B (zh) | 一种图像重建方法、装置、终端设备和存储介质 | |
| CN111831207A (zh) | 一种数据处理方法、装置及其设备 | |
| CN117273102B (zh) | 用于池化加速器的装置及方法和芯片电路及计算设备 | |
| KR102526970B1 (ko) | 중첩 구조 및 평균 집중 모듈을 이용한 단일 영상 초해상도 네트워크 기법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |