CN113191193A - 一种基于图和格子的卷积方法 - Google Patents

Abstract

本发明公开了一种基于图和格子的卷积方法，具体包括如下步骤：S1：将若干个特征图转换成格子结构来保存特征；S2：根据基于图的卷积核结构设置卷积核参数；S3：用完成参数设置的卷积核对格子进行卷积操作，并且可以根据需求进行三种不同模式的卷积操作。本发明的新定义的特征图结构和卷积核结构在保证高运算效率以及低内存占有率的情况下保证了卷积效率，卷积过程并非使用传统平面卷积进行卷积，而是通过一种三维新式结构的卷积核对新式特征图结构进行卷积，并且存储特征的节点块还保留了其原始位置信息，这样的结构能够考虑到视频中帧的时序因素，从而能关注到特征的时序信息。

Description

一种基于图和格子的卷积方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于图和格子的卷积方法。

背景技术

计算机视觉是深度学习的一个分支，所谓计算机视觉，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。电脑和机器并不会像人眼一样直观地分辨出物体，所以就需要对图像进行处理，常用的方法是对图像进行特征提取，然后机器就会根据提取出的特诊信息来分别这是什么物体，计算机视觉经过长时间的发展，除了能够分辨出图像中的物体以外，还能够在此基础上对图像进行处理。卷积是获取特征信息过程中的关键步骤，其能够利用特定的卷积核来获取需要知道的特征信息，以帮助机器更精准地识别、处理图像。

计算机视觉中的卷积，就是对图像中的像素值进行特征提炼，得到特征图，接着再对得到的特征图进一步卷积，以获取特征信息。目前使用较为广泛的卷积方式是通过传统的n×n大小的卷积核去对大小为N×N特征图进行卷积操作，虽然这种方法较为有效且被广泛接受，但是使用单一的卷积核去对多个特征图进行卷积操作，往往会导致获得的特征信息过于宽泛和无法聚焦某种特征，并且在之后的池化过程中，特征会丢失其原有的位置信息。

发明内容

发明目的：针对现有的基于传统卷积核进行特征获取的过程中，不能有效聚焦某种特征，本发明提出一种基于图和格子的卷积方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于图和格子的卷积方法，所述计算方法具体包括如下步骤：

S1：将若干个特征图转换成格子结构来保存特征；

S2：根据基于图的卷积核结构设置卷积核参数；

S3：用完成参数设置的卷积核对格子进行卷积操作，并且可以根据需求进行三种不同模式的卷积操作。

进一步地讲，所述的存放特征的结构是一种格子结构，所述的卷积核的结构是一种图结构，所述的三种卷积模式可以根据不同的需求进行不同规格的卷积操作。

进一步地讲，在所述步骤S1中，创建格子的结构体将特征转移存放到其中，具体如下：

S1.1：定义格子结构体Grid，格子是一种三维矩阵结构，存放的是特征信息，其属性包括时序维度dim T、高度维度dim Y、宽度维度dim X和节点数dim P，其形状为dim Y×dim X×dim T；格子由dim Y×dim X×dim T个盒子box组成，每个盒子形状为1/dim Y×1/dim X×1/dim T，dim P是每个盒子中能存放的特征值个数，存放特征值的结构称为节点；

S1.2：将下一个待卷积的格子移动至当前位置准备进行卷积操作；

S1.3：初始化当前格子中盒子里的每个存放特征的节点；

S1.4：将图像的像素特征值依次从多个二维矩阵中复制到三维矩阵形式的格子中。

进一步地讲，所述盒子中存放特征值的节点node结构属性包括图序号graphID、像素特征值activation和三维坐标属性宽坐标x、高坐标y、时刻坐标t，其中，node的graphID表示此特征值是用序号为graphID的图卷积得到的，特征值就是图像中某一像素的值，其范围在[-255，255]区间。

进一步地讲，在所述步骤S1.4中，将特征信息从二维矩阵复制到三维矩阵格子中，具体如下：

S1.4.1：获取多个二维矩阵特征图，准备对特征信息进行结构转移；

S1.4.2：从若干个中的第一个二维矩阵开始，按从左到右从上到下的顺序，将矩阵中的特征值复制到三维矩阵格子对应的位置中去，当完成第一个二维矩阵特征值的复制后就继续对下一个二维矩阵循环进行同样的操作。

进一步地讲，在所述步骤S2中，所述的基于图的卷积核结构Graph的属性包括图序号graphID、时序维度dim t、高度维度dim y、宽度维度dim x、dim t维度的锚点anchorT、dim y维度的锚点anchorY和dim x维度的锚点anchorX，锚点是根据三维坐标(t，y,x)为中心的一个区域，图存放的是一种卷积核的信息，其形状为dim y×dim x×dim t，此处的dimy、dim x和dim t与格子的三维大小有所区别，且图的三维大小小于格子。

进一步地讲，在所述步骤S3中，根据需求进行三种不同模式的卷积操作，具体如下：

S3.1：根据第一种模式，使用所有序号的图对格子进行卷积操作，得到全部的特征信息，但是花费时间较长，效率较低；

S3.2：根据第二种模式，使用随机序号的图对格子进行卷积操作，得到部分特征信息，虽然效率有所改善，但获得的特征并不全面；

S3.3：根据第三种模式，通过制定的规则，选择一些特定序号的图进行卷积操作去获取特定的特征信息，效率有较大提升，并且可以精准获取某些重要特征。

进一步地讲，在所述步骤S3.1中第一种卷积模式，具体如下：

S3.1.1：以一个存放了若干像素特征值的三维矩阵格子作为待卷积的输入，称之为输入格子inputgird；

S3.1.2：分别使用所有的三维卷积核图对inputgird进行卷积；

S3.1.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

进一步地讲，在所述步骤S3.2中第二种卷积模式，具体如下：

S3.2.1：以一个存放了若干像素特征值的格子作为待卷积的输入，称之为输入格子inputgird；

S3.2.2：分别使用小于图总数量的随机三维卷积核图对inputgird进行卷积；

S3.2.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

进一步地讲，在所述步骤S3.2中第三种卷积模式，具体如下：

S3.3.1：以一个存放了若干像素特征值的格子作为待卷积的输入，称之为输入格子inputgird；

S3.3.2：分别使用特定序号graphID的三维卷积核图对inputgird进行卷积；

S3.3.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

(1)本发明的新定义的特征图结构和卷积核结构在保证高运算效率以及低内存占有率的情况下保证了卷积效率，卷积过程并非使用传统平面卷积进行卷积，而是通过一种三维新式结构的卷积核对新式特征图结构进行卷积，并且存储特征的节点块还保留了其原始位置信息，这样的结构能够考虑到视频中帧的时序因素，从而能关注到特征的时序信息；

(2)本发明的三种卷积模式方法，能够根据不同的需求进行不同的卷积操作，具有较高的灵活性和全面性，其中第三种根据制定的规则能够对某种特定需要的特征做到更多的关注和特征提取。

附图说明

图1是本发明基于图和局部盒子搜索获取团块的计算方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。

实施例1

参考图1，本实施例提供了一种基于图和格子的卷积方法，该计算方法具体包括如下步骤：

步骤S1：将若干个特征图转换成格子结构来保存特征，具体如下：

步骤S1.1：定义格子结构体Grid，格子存放的是特征信息，其属性包括时序维度dim T、高度维度dim Y、宽度维度dim X和节点数dim P，其形状为dim Y×dim X×dim T；格子由dim Y×dim X×dim T个盒子box组成，每个盒子形状为1/dim Y×1/dim X×1/dim T，dim P是每个盒子中能存放的特征值个数，存放特征值的结构称为节点。

在本实施例中，格子的数据结构名称定义为：MnetGrid，其中定义了该结构的时序维度dim T、高度维度dim Y、宽度维度dim X和节点数dim P这几个属性。此结构中dim T、dim Y、dim X和dim P的数值大小是可以根据使用者的实际情况进行具体选择的。但是在本实施例中，考虑到卷积的效率，为了防止出现参数过大导致卷积效率不高，此处dim T设为3，dim Y和dim X设为256，dim P设为3。

具体地讲，盒子中存放特征值的节点node结构属性包括图序号graphID、像素特征值activation和三维坐标属性宽坐标x、高坐标y、时刻坐标t，其中，node的graphID表示此特征值是用序号为graphID的图卷积得到的，特征值就是图像中某一像素的值，其范围在[-255,255]区间。

步骤S1.2：将下一个待卷积的格子移动至当前位置准备进行卷积操作；

步骤S1.3：初始化当前格子中盒子里的每个存放特征的节点；

步骤S1.4：将图像的像素特征值依次从多个二维矩阵中复制到三维矩阵形式的格子中，具体如下：

步骤S1.4.1：获取多个二维矩阵特征图，准备对特征信息进行结构转移；

步骤S1.4.2：从若干个中的第一个二维矩阵开始，按从左到右从上到下的顺序，将矩阵中的特征值复制到三维矩阵格子对应的位置中去，其他空余节点的值可以为空值，当完成第一个二维矩阵特征值的复制后就继续对下一个二维矩阵循环进行同样的操作。在本实施例中，复制特征的函数为：

Mnet_Grid_copy_layer_to_grid(Grid,Layer)

其中函数Mnet_Grid_copy_layer_to_grid(Grid,Layer)中的参数Grid是三维矩阵格子结构体，Layer是二维矩阵特征图结构。

步骤S2：根据基于图的卷积核结构设置卷积核参数，在本实施例中，基于图的卷积核结构Graph的属性包括图序号graphID、时序维度dim t、高度维度dim y、宽度维度dim x、dim t维度的锚点anchorT、dim y维度的锚点anchorY和dim x维度的锚点anchorX，锚点是根据三维坐标(t,y,x)为中心的一个区域，图存放的是一种卷积核的信息，其形状为dim y×dim x×dim t，此处的dim y、dim x和dim t与格子的三维大小有所区别，且图的三维大小小于格子。图的主要属性dim t设置为1，dim y设置为3，dim x设置为3。

步骤S3：用完成参数设置的卷积核对格子进行卷积操作，并且可以根据需求进行三种不同模式的卷积操作，具体如下：

步骤S3.1.1：以一个存放了若干像素特征值的三维矩阵格子作为待卷积的输入，称之为输入格子inputgird；

步骤S3.1.2：分别使用所有的三维卷积核图对inputgird进行卷积；

步骤S3.1.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

步骤S3.2：根据第二种模式，使用随机的图对格子进行卷积操作，得到部分特征信息，虽然效率有所改善，但获得的特征并不全面，具体如下：

步骤S3.2.1：以一个存放了若干像素特征值的格子作为待卷积的输入，称之为输入格子inputgird；

步骤S3.2.2：分别使用小于图总数量的随机三维卷积核图对inputgird进行卷积，在本实施例中，从总量50个图中随机取图，随机选择的数量设为10；

步骤S3.2.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

步骤S3.3：根据第三种模式，通过制定的规则，选择一些特定的图进行卷积操作去获取特定的特征信息，效率有较大提升，并且可以精准获取某些重要特征，具体如下：

步骤S3.3.1：以一个存放了若干像素特征值的格子作为待卷积的输入，称之为输入格子inputgird；

步骤S3.3.2：分别使用特定序号graphID的三维卷积核图对inputgird进行卷积，在本实施例中，从总量50个图中按照特定graphID去寻找某些图；

步骤S3.3.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

Claims (10)

1.一种基于图和格子的卷积方法，其特征在于，所述卷积方法具体包括以下步骤：

S1：将从图像中提取出来的像素特征转换成格子结构来保存；

S2：根据基于图的卷积核结构设置卷积核参数；

S3：用完成参数设置的卷积核对格子进行卷积操作，并且根据需求进行不同卷积模式的卷积操作。

2.根据权利要求1所述的一种基于图和格子的卷积方法，其特征在于，所述卷积核的结构是一种图结构，所述卷积模式可以根据不同的需求进行不同规格的卷积操作。

3.根据权利要求1或2所述的一种基于图和格子的卷积方法，其特征在于，在所述步骤S1中，将从图像中提取出来的像素特征转换成格子结构来保存，具体如下：

S1.1：定义格子结构体Grid，格子是一种三维矩阵结构，存放的是特征信息，其属性包括时序维度dim T、高度维度dim Y、宽度维度dim X和节点数dim P，其形状为dim Y×dim X×dim T；格子由dim Y×dim X×dim T个盒子box组成，每个盒子形状为1/dim Y×1/dim X×1/dim T，dim P是每个盒子中能存放的特征值个数，存放特征值的结构称为节点；

S1.2：将下一个待卷积的格子移动至当前位置准备进行卷积操作；

S1.3：初始化当前格子中盒子里的每个存放特征的节点；

S1.4：将图像的像素特征值依次从多个二维矩阵中复制到三维矩阵形式的格子中。

4.根据权利要求3所述的一种基于图和格子的卷积方法，其特征在于，所述盒子中存放特征值的节点node结构属性包括图序号graphID、像素特征值activation和三维坐标属性宽坐标x、高坐标y、时刻坐标t，其中，node的graphID表示此特征值是用序号为graphID的图卷积得到的，特征值就是图像中某一像素的值，其范围在[-255，255]区间。

5.根据权利要求3所述的一种基于图和格子的卷积方法，其特征在于，在所述步骤S1.4中，将图像的像素特征值依次从多个二维矩阵中复制到三维矩阵形式的格子中，具体如下：

S1.4.1：获取多个二维矩阵特征图，准备对特征信息进行结构转移，进入S1.4.2；

S1.4.2：从若干个中的第一个二维矩阵开始，按从左到右从上到下的顺序，将矩阵中的特征值复制到三维矩阵格子对应的位置中去，当完成第一个二维矩阵特征值的复制后就继续对下一个二维矩阵循环进行同样的操作。

6.根据权利要求1或2所述的一种基于图和格子的卷积方法，其特征在于，在所述步骤S2中，所述的基于图的卷积核结构Graph的属性包括图序号graphID、时序维度dim t、高度维度dim y、宽度维度dim x、dim t维度的锚点anchorT、dim y维度的锚点anchorY和dim x维度的锚点anchorX，锚点是根据三维坐标(t，y，x)为中心的一个区域，图存放的是一种卷积核的信息，其形状为dim y×dim x×dim t，此处的dim y、dim x和dim t与格子的三维大小有所区别，且图的三维大小小于格子。

7.根据权利要求1或2所述的一种基于图和格子的卷积方法，其特征在于，在所述步骤S3中，根据需求进行不同模式的卷积操作，具体如下：

S3.1：根据第一种模式，使用所有序号的图对格子进行卷积操作，得到全部的特征信息；

S3.2：根据第二种模式，使用随机序号的图对格子进行卷积操作，得到部分特征信息；

S3.3：根据第三种模式，通过制定规则，选择一些特定序号的图进行卷积操作去获取特定的特征信息。

8.根据权利要求7所述的一种基于图和格子的卷积方法，其特征在于，第一种卷积模式，具体如下：

S3.1.1：以一个存放了若干像素特征值的三维矩阵格子作为待卷积的输入，称之为输入格子inputgird；

S3.1.2：分别使用所有的三维卷积核图对inputgird进行卷积；

S3.1.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

9.根据权利要求7所述的一种基于图和格子的卷积方法，其特征在于，第二种卷积模式，具体如下：

S3.2.1：以一个存放了若干像素特征值的格子作为待卷积的输入，称之为输入格子inputgird；

S3.2.2：分别使用小于图总数量的随机三维卷积核图对inputgird进行卷积；

S3.2.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

10.根据权利要求7所述的一种基于图和格子的卷积方法，其特征在于，第三种卷积模式，具体如下：

S3.3.1：以一个存放了若干像素特征值的格子作为待卷积的输入，称之为输入格子inputgird；

S3.3.2：分别使用特定序号graphID的三维卷积核图对inputgird进行卷积；

S3.3.3：将图每一步卷积得出的像素特征值按从左到右从上到下的顺序存放到对应位置的盒子中，如果插入到对应位置盒子中仍存在空节点，就将特征值存放到这个空闲节点处，如果对应位置盒子中的没有空闲节点，就将插入的值与依次与现存节点中的特征值大小进行对比，若现存节点中的特征值有小于插入值的，则用新的插入值对此节点进行更新，经过完整卷积操作输出的格子称之为outputgird。

Images