CN111814865A - 一种图像识别方法、装置、设备及存储介质 - Google Patents
一种图像识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111814865A CN111814865A CN202010633895.8A CN202010633895A CN111814865A CN 111814865 A CN111814865 A CN 111814865A CN 202010633895 A CN202010633895 A CN 202010633895A CN 111814865 A CN111814865 A CN 111814865A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- convolution
- module
- dimensional residual
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 21
- 230000005284 excitation Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像识别方法、装置、设备及存储介质，该方法包括：获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。本发明实施例的技术方案，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率。
Description
技术领域
本发明实施例涉及图像识别技术领域，尤其涉及一种图像识别方法、装置、设备及存储介质。
背景技术
随着科技的不断进步，神经网络技术得到了迅速发展，被广泛应用于图像检测、图像分割和图像分类等人工智能领域。
现有的图像识别技术，通常是通过建立三维卷积神经网络来提取特征图，但现有技术中的三维卷积神经网络，由于引入了时间维度，导致整个神经网络的参数个数、运行时间，以及训练所需图形处理器(Graphics Processing Unit，GPU)内存均出现大幅增加，同时，需要构建大量的预训练参数，耗费了大量的时间成本和人力成本。
发明内容
本发明实施例提供了一种图像识别方法、装置、设备及存储介质。
第一方面，本发明实施例提供了一种图像识别方法，包括：
获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；
获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；
获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
第二方面，本发明实施例提供了一种图像识别装置，包括：
三维卷积神经网络模型获取模块，用于获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；
图像识别模型获取模块，用于获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；
图像识别执行模块，用于获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
第三方面，本发明实施例还提供了一种图像识别设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所述的图像识别方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时实现本发明任意实施例所述的图像识别方法。
本发明实施例的技术方案，通过二维空间卷积单元和一维时序卷积单元，构建三维卷积神经网络模型，并在训练完成后用于图像识别操作，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率，同时，使用现有的图像识别数据库中的训练参数即可完成模型训练，避免了手动构建预训练参数的繁琐过程，节省了大量的时间成本和人力成本。
附图说明
图1A是本发明实施例一提供的一种图像识别方法的流程图；
图1B是本发明实施例一提供的三维卷积神经网络单元的结构图；
图1C是本发明实施例一提供的第一类型三维残差卷积模块的结构图；
图1D是本发明实施例一提供的第二类型三维残差卷积模块的结构图；
图1E是本发明实施例一提供的第三类型三维残差卷积模块的结构图；
图1F是本发明实施例一提供的第四类型三维残差卷积模块的结构图；
图2是本发明实施例二提供的一种图像识别方法的流程图；
图3是本发明实施例三提供的一种图像识别方法的流程图；
图4是本发明实施例四提供的一种图像识别装置的结构框图；
图5是本发明实施例五提供的一种图像识别设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1A为本发明实施例一提供的一种图像识别方法的流程图，本实施例适用于识别视频中图像的内容，该方法可以由本发明任意实施例中的图像识别装置来执行，该装置可以通过软件和/或硬件实现，并集成在终端设备中，该方法具体包括如下步骤：
S110、获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型。
卷积神经网络(Convolutional Neural Networks，CNN)是深度学习(DeepLearning)中包含卷积计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)；在本发明实施例中，通过二维卷积神经网络和一维卷积神经网络表示三维卷积神经网络，以图1B为例，卷积核为3×3×3的三维卷积单元，拆分为卷积核为1×3×3的二维空间卷积单元和3×1×1的一维时域卷积单元，拆分后的三维卷积神经网络单元相比于同样深度的二维卷积神经网络单元，并未增加参数数量和运行时间，同时，由于其中的二维空间卷积单元可以使用已有的图像数据(例如，利用ImageNet图像识别数据库中已有的图像数据)进行预训练，因此不需要通过大量且精细标注的视频数据进行训练，减少了对视频数据的标注需求。二维空间卷积单元，具有高度和宽度两个空间维度，可以表示视频数据的空间信息；一维时序卷积单元，具有深度维度，可以表示视频信息在时间上的连续性，因此，在获取视频图像中每一帧视觉特征的同时，还能获取相邻帧随时间推移的变化。
可选的，在本发明实施例中，所述三维卷积神经网络模型，包括：卷积层、池化层、激活层和全连接层；所述卷积层包括至少一个三维残差卷积组件；所述三维残差卷积组件，用于提取图像特征；其中，所述三维残差卷积组件根据所述二维空间卷积单元和所述一维时序卷积单元构建。卷积层，用于通过获取特征图(feature map)来提取图像中的特征，例如，图像的颜色特征、纹理特征、形状特征和空间关系特征；其中，颜色特征，描述了图像或图像区域所对应的景物的表面性质，是基于像素点的特征；纹理特征，描述了图像或图像区域所对应景物的表面性质，其需要在包含多个像素点的区域中进行统计计算；形状特征，则描述物体外边界的轮廓特征，以及整体上的区域特征；空间关系特征，是视频图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，例如，连接关系、重叠关系以及包含关系等，在本发明实施例中，对提取的图像特征不作具体限定；池化层，用于减少图像特征的维度，以简化计算复杂度，以及压缩图像特征，以便于在所有图像特征中提取主要特征；激活层，用于提供激励函数；其中，激励函数，表示了神经网络中上层节点的输出与下层节点输入之间的函数关系，通常将非线性函数作为激励函数，使得神经网络模型不再只能反映输入与输出的线性关系，可以趋近于反映任意的函数关系，进而提高神经网络模型的表达能力，在本发明实施例中，可选的，将线性整流函数(Rectified Linear Unit，ReLU)作为激活层中的激励函数；全连接层，用于连接特征，并计算获取目标数值；三维卷积神经网络模型可通过全连接层，将计算获取的目标数值发送给分类器(例如，softmax分类器)，以实现对图像的识别及分类。
可选的，在本发明实施例中，所述根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型，包括：根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块；其中，所述第一类型三维残差卷积模块包括第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件。通过二维空间卷积神经网络单元(卷积核为1×3×3)和一维时序卷积神经网络单元(卷积核为3×1×1)来表示三维卷积神经网络(卷积核为3×3×3)时，彼此之间的连接关系无法确定，如图1C所示，可以存在串行连接、并行连接和捷径连接等不同的连接方式，由此也获取到三种对应的三维残差卷积模块，即第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；而三维残差卷积组件则包括至少一个第一串行连接三维残差卷积模块、至少一个第一并行连接三维残差卷积模块和至少一个第一捷径串行连接三维残差卷积模块。
可选的，在本发明实施例中，在根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块后，还包括：获取第一一维瓶颈卷积单元和第二一维瓶颈卷积单元，并根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块；其中，所述第二类型三维残差卷积模块包括第二串行连接三维残差卷积模块、第二并行连接三维残差卷积模块和第二捷径串行连接三维残差卷积模块；所述根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件，包括：根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件。在第一类型残差卷积模块中添加瓶颈结构，可以有效减少计算复杂度，具体的，如图1D所示，第一一维瓶颈卷积单元(卷积核为1×1×1)设置在二维空间卷积单元之前，用于降低图像特征的维度，以减少计算的复杂度，第二二维卷积单元(卷积核为1×1×1)设置在一维时域卷积单元之后，用于恢复图像特征的维度。
可选的，在本发明实施例中，在根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块后，还包括：在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块；其中，所述第三类型三维残差卷积模块包括第三串行连接三维残差卷积模块、第三并行连接三维残差卷积模块和第三捷径串行连接三维残差卷积模块；所述根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件，包括：根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件。在执行卷积操作后，进行批量归一化操作以及激励函数的激励作用，可以消除权重值规模对梯度传播的影响，提升三维卷积神经网络模型训练时的收敛速度，提高泛化能力；其中，批量归一化(Batch Normalization，BN)，是将每个待处理数据减去各待处理数据的均值，再除以各处理数据的方差，使各待处理数据服从均值为0且方差为1的分布(也即标准高斯分布)，其作用在于加快神经网络模型的训练速度和收敛速度，消除权值规模对梯度传播的影响，进而防止梯度爆炸和梯度消失，同时，防止过拟合现象的发生。具体的，如图1E所示，在第二类型三维残差卷积模块中插入多个批量归一化单元和激励函数单元，以获取第三类型三维残差卷积模块。
可选的，在本发明实施例中，在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块后，还包括：在所述第三类型三维残差卷积模块中，以捷径连接方式插入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块；其中，所述第四类型三维残差卷积模块包括第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块；所述根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件，包括：根据所述第四类型三维残差卷积模块，构建所述三维残差卷积组件。由于在残差神经网络中，跳跃连接会遇到输入与输出维度不匹配的情况，导致恒等映射不能直接相加，因此，为了减少神经网络的参数数量，统一输入输出的维度，以捷径连接的方式连接加入第三一维瓶颈卷积单元(卷积核为1×1×1)；具体的，如图1F所示，在第三类型三维残差卷积模块中以捷径连接的方式加入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块。
S120、获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型。
训练集样本可以通过图像识别数据库ImageNet获取；其中，ImageNet是用于视觉对象识别软件研究的大型可视化数据库，包括1400万个注释图像，用以指示图片中的对象，以及2万多个分类类别，而在其中至少一百万个图像中，还提供了边界框，因此，ImageNet提供了丰富的图像识别训练样本。
S130、获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
获取到目标视频后，通过图像识别模型中的卷积层，可以准确提取视频中的图像特征，再通过全连接层计算获取相应的目标数据，进而可以根据分类器获取该图像的分类情况。
本发明实施例的技术方案，通过二维空间卷积单元和一维时序卷积单元，构建三维卷积神经网络模型，并在训练完成后用于图像识别操作，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率，同时，使用现有的图像识别数据库中的训练参数即可完成对模型的训练，避免了手动构建预训练参数的繁琐过程，节省了大量的时间成本和人力成本。
实施例二
图2为本发明实施例二提供的一种图像识别方法的流程图，本实施例在上述技术方案的基础上进行具体化，在本实施例中，三维卷积神经网络模型的卷积层包括四个三维残差卷积组件，该方法具体包括如下步骤：
S201、获取目标视频。
目标视频是像素为224×224×3的图像。
S202、将目标视频输入初始卷积组件。
初始卷积组件的卷积核为7×7×64，步长为2，输入数据为224×224×3的图像，输出数据为112×112×64的图像。
S203、将初始卷积组件的输出数据输入第一激活层。
第一激活层对初始卷积组件的卷积结果进行批量归一化操作，并将ReLU作为激励函数。
S204、将第一激活层的输出数据输入第一池化层。
第一池化层采用最大值池化(max pooling)，也即选取图像区域的最大值作为该区域池化后的数值，卷积核为3×3×64，步长为2。
S205、将第一池化层的输出数据输入第一三维残差卷积组件。
第一三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块(共3个第四类型三维残差卷积模块)；第一三维残差卷积组件的输出数据为56×56×256的图像。
S206、将第一三维残差卷积组件的输出数据输入第二三维残差卷积组件。
第二三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块、第四捷径串行连接三维残差卷积模块和第四串行连接三维残差卷积模块(共4个第四类型三维残差卷积模块)；第二三维残差卷积组件的输出数据为28×28×512的图像。
S207、将第二三维残差卷积组件的输出数据输入第三三维残差卷积组件。
第三三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块、第四捷径串行连接三维残差卷积模块、第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块(共6个第四类型三维残差卷积模块)；第三三维残差卷积组件的输出数据为14×14×1024的图像。
S208、将第三三维残差卷积组件的输出数据输入第四三维残差卷积组件。
第四三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块(共3个第四类型三维残差卷积模块)；第四三维残差卷积组件的输出数据为7×7×2048的图像。
S209、将第四三维残差卷积组件的输出数据输入第二激活层。
第二激活层将ReLU作为激励函数。
S210、将第二激活层的输出数据输入至第二池化层。
第二池化层采用平均值池化，也即选取图像区域的平均值作为该区域池化后的值，卷积核为7×7，步长为1，输出数据为1×2048的图像。
S211、获取图像特征。
本发明实施例的技术方案，通过二维空间卷积单元和一维时序卷积单元，构建三维卷积神经网络模型，并在训练完成后用于图像识别操作，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率。
实施例三
图3为本发明实施例三提供的一种图像识别方法的流程图，本应用场景在上述技术方案的基础上进行具体化，在本实施例中，三维卷积神经网络模型的卷积层包括四个全连接组件，该方法具体包括如下步骤：
S301、将获取到的图像特征输入第一全连接组件。
第一全连接组件包括1024个权重值，并采用ReLU作为激活函数，通过第一全连接组件获取的第一特征映射结果进行L2归一化处理，以降低计算复杂度。
S302、将第一全连接组件的输出结果输入至第二全连接组件。
第一全连接组件的输出结果，采用随机丢弃50％参数的丢弃策略，以降低计算复杂度；第二全连接组件包括512个权重值，通过第二全连接组件获取的第二特征映射结果进行L2归一化处理，以降低计算复杂度。
S303、将第二全连接组件的输出结果输入至第三全连接组件。
第二全连接组件的输出结果，采用随机丢弃50％参数的丢弃策略，以降低计算复杂度；第三全连接组件包括64个权重值，通过第三全连接组件获取的第三特征映射结果进行L2归一化处理，以降低计算复杂度。
S304、将第三全连接组件的输出结果输入至第四全连接组件。
第三全连接组件的输出结果，采用随机丢弃50％参数的丢弃策略，以降低计算复杂度；第四全连接组件包括1个权重值，通过第四全连接组件获取的第三特征映射结果进行L2归一化处理，以降低计算复杂度。
S305、获取目标计算数值。
以判断视频中是否存在异常行为(例如，挥刀、挥拳和踢腿)为例，通过卷积层获取到目标视频的图像特征，全连接层根据图像特征计算获取图像中存在异常行为的得分，也即存在异常行为的概率，并将该概率值发送给分类器，以使分类器根据获取到的目标计算数值(即概率值)进行二值分类，进而判断视频中是否存在异常行为。
本发明实施例的技术方案，通过全连接层对卷积层输出的图像特征进行的数值计算，获取到相关的目标计算数值，为分类器进行二值分类提供了有效的参考数据，实现了视频中图像的类别划分。
实施例四
图4是本发明实施例四所提供的一种图像识别装置的结构框图，具体包括：三维卷积神经网络模型获取模块410、图像识别模型获取模块420和图像识别执行模块430；
三维卷积神经网络模型获取模块410，用于获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；
图像识别模型获取模块420，用于获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；
图像识别执行模块430，用于获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
本发明实施例的技术方案，通过二维空间卷积单元和一维时序卷积单元，构建三维卷积神经网络模型，并在训练完成后用于图像识别操作，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率，同时，使用现有的图像识别数据库中的训练参数即可完成对模型的训练，避免了手动构建预训练参数的繁琐过程，节省了大量的时间成本和人力成本。
可选的，在上述技术方案的基础上，三维卷积神经网络模型，包括：卷积层、池化层、激活层和全连接层；所述卷积层包括至少一个三维残差卷积组件；所述三维残差卷积组件，用于提取图像特征；其中，所述三维残差卷积组件根据所述二维空间卷积单元和所述一维时序卷积单元构建。
可选的，在上述技术方案的基础上，三维卷积神经网络模型获取模块410，包括：
第一类型三维残差卷积模块获取单元，用于根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块；其中，所述第一类型三维残差卷积模块包括第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；
三维残差卷积组件获取单元，用于根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，三维卷积神经网络模型获取模块410，还包括：
第二类型三维残差卷积模块获取单元，用于获取第一一维瓶颈卷积单元和第二一维瓶颈卷积单元，并根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块；其中，所述第二类型三维残差卷积模块包括第二串行连接三维残差卷积模块、第二并行连接三维残差卷积模块和第二捷径串行连接三维残差卷积模块。
可选的，在上述技术方案的基础上，三维残差卷积组件获取单元，具体用于根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，三维卷积神经网络模型获取模块410，还包括：
第三类型三维残差卷积模块获取单元，用于在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块；其中，所述第三类型三维残差卷积模块包括第三串行连接三维残差卷积模块、第三并行连接三维残差卷积模块和第三捷径串行连接三维残差卷积模块。
可选的，在上述技术方案的基础上，三维残差卷积组件获取单元，具体用于根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，三维卷积神经网络模型获取模块410，还包括：
第四类型三维残差卷积模块获取单元，用于在所述第三类型三维残差卷积模块中，以捷径连接方式插入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块；其中，所述第四类型三维残差卷积模块包括第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块。
可选的，在上述技术方案的基础上，三维残差卷积组件获取单元，具体用于根据所述第四类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，所述训练样本集通过ImageNet图像识别数据库获取。
上述装置可执行本发明任意实施例所提供的图像识别方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的方法。
实施例五
图5为本发明实施例五提供的一种图像识别设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例提供的图像识别方法。也即：获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的图像识别方法；该方法包括：
获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；
获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；
获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种图像识别方法，其特征在于，包括：
获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；
获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；
获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
2.根据权利要求1所述的方法，其特征在于，所述三维卷积神经网络模型，包括：卷积层、池化层、激活层和全连接层；所述卷积层包括至少一个三维残差卷积组件；
所述三维残差卷积组件，用于提取图像特征；
其中，所述三维残差卷积组件根据所述二维空间卷积单元和所述一维时序卷积单元构建。
3.根据权利要求2所述的方法，其特征在于，所述根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型，包括：
根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块；其中，所述第一类型三维残差卷积模块包括第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；
根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件。
4.根据权利要求3所述的方法，其特征在于，在根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块后，还包括：
获取第一一维瓶颈卷积单元和第二一维瓶颈卷积单元，并根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块；其中，所述第二类型三维残差卷积模块包括第二串行连接三维残差卷积模块、第二并行连接三维残差卷积模块和第二捷径串行连接三维残差卷积模块；
所述根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件，包括：
根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件。
5.根据权利要求4所述的方法，其特征在于，在根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块后，还包括：
在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块；其中，所述第三类型三维残差卷积模块包括第三串行连接三维残差卷积模块、第三并行连接三维残差卷积模块和第三捷径串行连接三维残差卷积模块；
所述根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件，包括：
根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件。
6.根据权利要求5所述的方法，其特征在于，在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块后，还包括：
在所述第三类型三维残差卷积模块中，以捷径连接方式插入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块；其中，所述第四类型三维残差卷积模块包括第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块；
所述根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件，包括：
根据所述第四类型三维残差卷积模块，构建所述三维残差卷积组件。
7.根据权利要求1-6任一所述的方法，其特征在于，所述训练样本集通过ImageNet图像识别数据库获取。
8.一种图像识别装置，其特征在于，包括：
三维卷积神经网络模型获取模块，用于获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型；
图像识别模型获取模块，用于获取训练样本集，并通过所述训练样本集，对所述三维卷积神经网络模型进行图像识别训练，以获取训练完成的图像识别模型；
图像识别执行模块，用于获取目标视频，并通过所述图像识别模型，对所述目标视频进行图像识别操作。
9.一种图像识别设备，其特征在于，所述图像识别设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像识别方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010633895.8A CN111814865A (zh) | 2020-07-02 | 2020-07-02 | 一种图像识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010633895.8A CN111814865A (zh) | 2020-07-02 | 2020-07-02 | 一种图像识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111814865A true CN111814865A (zh) | 2020-10-23 |
Family
ID=72855137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010633895.8A Pending CN111814865A (zh) | 2020-07-02 | 2020-07-02 | 一种图像识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814865A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633401A (zh) * | 2020-12-29 | 2021-04-09 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱遥感图像分类方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268941A (zh) * | 2017-01-04 | 2018-07-10 | 意法半导体股份有限公司 | 深度卷积网络异构架构 |
| CN109886090A (zh) * | 2019-01-07 | 2019-06-14 | 北京大学 | 一种基于多时间尺度卷积神经网络的视频行人再识别方法 |
| CN110020639A (zh) * | 2019-04-18 | 2019-07-16 | 北京奇艺世纪科技有限公司 | 视频特征提取方法及相关设备 |
| US20200033431A1 (en) * | 2018-07-30 | 2020-01-30 | Jo Schlemper | Deep learning techniques for magnetic resonance image reconstruction |
-
2020
- 2020-07-02 CN CN202010633895.8A patent/CN111814865A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268941A (zh) * | 2017-01-04 | 2018-07-10 | 意法半导体股份有限公司 | 深度卷积网络异构架构 |
| US20200033431A1 (en) * | 2018-07-30 | 2020-01-30 | Jo Schlemper | Deep learning techniques for magnetic resonance image reconstruction |
| CN109886090A (zh) * | 2019-01-07 | 2019-06-14 | 北京大学 | 一种基于多时间尺度卷积神经网络的视频行人再识别方法 |
| CN110020639A (zh) * | 2019-04-18 | 2019-07-16 | 北京奇艺世纪科技有限公司 | 视频特征提取方法及相关设备 |
Non-Patent Citations (2)
| Title |
|---|
| ZHAOFAN QIU等: "Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 25 December 2017 (2017-12-25) * |
| 卢宏涛;张秦川;: "深度卷积神经网络在计算机视觉中的应用研究综述", 数据采集与处理, no. 01, 15 January 2016 (2016-01-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633401A (zh) * | 2020-12-29 | 2021-04-09 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱遥感图像分类方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754541B (zh) | 目标跟踪方法、装置、设备及可读存储介质 | |
| CN114155543B (zh) | 神经网络训练方法、文档图像理解方法、装置和设备 | |
| CN114550177B (zh) | 图像处理的方法、文本识别方法及装置 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN111680678B (zh) | 目标区域识别方法、装置、设备及可读存储介质 | |
| CN110765860A (zh) | 摔倒判定方法、装置、计算机设备及存储介质 | |
| CN112598643A (zh) | 深度伪造图像检测及模型训练方法、装置、设备、介质 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
| WO2024060684A1 (zh) | 模型训练方法、图像处理方法、设备及存储介质 | |
| CN111444807A (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
| CN112101344B (zh) | 一种视频文本跟踪方法及装置 | |
| CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
| CN112364821A (zh) | 一种继电保护设备电力模式数据自识别方法和自识别设备 | |
| CN111814653B (zh) | 一种视频中异常行为的检测方法、装置、设备及存储介质 | |
| CN112241736A (zh) | 一种文本检测的方法及装置 | |
| CN114299366A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
| CN114168768A (zh) | 图像检索方法及相关设备 | |
| CN116802683A (zh) | 图像的处理方法和系统 | |
| CN113378837A (zh) | 车牌遮挡识别方法、装置、电子设备和存储介质 | |
| CN111814865A (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN112381118A (zh) | 一种大学舞蹈考试测评方法及装置 | |
| CN113361519B (zh) | 目标处理方法、目标处理模型的训练方法及其装置 | |
| CN115294578A (zh) | 基于人工智能的文本信息提取方法、装置、设备及介质 | |
| CN113763313A (zh) | 文本图像的质量检测方法、装置、介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |