CN114677632A - 一种基于三维垂直阻变存储器的视频动作识别方法和装置 - Google Patents

一种基于三维垂直阻变存储器的视频动作识别方法和装置 Download PDF

Info

Publication number
CN114677632A
CN114677632A CN202210578058.9A CN202210578058A CN114677632A CN 114677632 A CN114677632 A CN 114677632A CN 202210578058 A CN202210578058 A CN 202210578058A CN 114677632 A CN114677632 A CN 114677632A
Authority
CN
China
Prior art keywords
random access
access memory
dimensional
resistive random
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210578058.9A
Other languages
English (en)
Other versions
CN114677632B (zh
Inventor
时拓
刘琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210578058.9A priority Critical patent/CN114677632B/zh
Publication of CN114677632A publication Critical patent/CN114677632A/zh
Application granted granted Critical
Publication of CN114677632B publication Critical patent/CN114677632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于非易失性存储器技术领域，涉及一种基于三维垂直阻变存储器的视频动作识别方法和装置，该方法包括：步骤一，搭建基于自整流器件的三维垂直阻变存储器；步骤二，采集并预处理用于视频动作识别的训练集图像和测试集图像；步骤三，构造三维卷积神经网络模型；步骤四，使用训练集图像，在三维垂直阻变存储器上仿真训练三维卷积神经网络模型；步骤五，利用在三维垂直阻变存储器上训练好的三维卷积神经网络模型，输入测试集图像，进行视频动作识别。本发明基于的三维垂直阻变存储器具有高整流率，可以实现较低的读写误差，同时由于本发明的三维堆叠结构的设计，具有高度并行性，可以快速高效的从视频中识别动作。

Description

一种基于三维垂直阻变存储器的视频动作识别方法和装置
技术领域
本发明属于非易失性存储器技术领域，涉及一种基于三维垂直阻变存储器的视频动作识别方法和装置。
背景技术
近年来，人工智能技术越来越成熟，卷积神经网络是深度学习的代表算法之一。卷积核是卷积神经网络中重要的特征提取器。应用于2维图像的卷积神经网络缺乏捕捉图像之间相关性的能力。因此，对于视频动作识别，为了捕获时间的相关性，采用三维卷积神经网络3D-CNN，在卷积核中引入了视频的时间信息。但是，3D-CNN的硬件实现在面积和能量上都比较昂贵。VRRAM即垂直RRAM作为一种新兴技术，在面积，能源效率和并行性方面将比1T1R和1S1R等集成技术具有更大的优势。此外，得益于三维堆叠结构的优势，三维垂直交叉阻变存储器3D-VRRAM中的每一层都可以作为单独的卷积核使用，具有高度的并行性。然而仍然存在一些问题，首先，实现3D-VRRAM技术的挑战是高自整流器件，其次，由于非线性和非对称电导调节会引入误差，卷积神经网络在硬件上的性能通常比在软件上差很多。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于三维垂直阻变存储器的视频动作识别方法和装置，其具体技术方案如下：
一种基于三维垂直阻变存储器的视频动作识别方法，包括以下步骤：
步骤一，搭建基于自整流器件的三维垂直阻变存储器；
步骤二，采集并预处理用于视频动作识别的训练集图像和测试集图像；
步骤三，构造三维卷积神经网络模型；
步骤四，使用训练集图像，在三维垂直阻变存储器上仿真训练三维卷积神经网络模型；
步骤五，利用在三维垂直阻变存储器上训练好的三维卷积神经网络模型，输入测试集图像，进行视频动作识别。
进一步地，所述三维垂直阻变存储器由4层RRAM阻变存储器阵列堆叠组成，每个RRAM阻变存储器阵列由m行n列的RRAM单元器件组成，每个RRAM单元的器件结构包括铂Pt、碳C、氧化铌NbOx和锡TiN，其中阻变材料氧化铌NbOx与铂Pt电极形成肖特基势垒，使RRAM阵列出现整流特性。
进一步地，所述步骤二，具体为：采集视频，对视频流进行视频分帧处理，得到多帧RGB图像，每4帧图像作为一个样本，每个样本的大小为4×H×W×C，其中4表示帧数，H表示图像高度，W表示图像宽度，C表示图像通道数；
将每个样本的RGB图像转换为灰度图像，得到新的样本，大小为4×H×W，然后将每个样本的尺寸缩小1/2，缩放后的样本大小为4×H½×W ½，将缩放后的所有样本选取80%作为训练集图像，剩余的20%作为测试集图像。
进一步地，所述三维卷积神经网络模型的结构为：依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和分类器，其中，每层参数的设置如下：
输入层的特征通道数设置为4；
第一卷积层的特征通道数设置为32，第一卷积层卷积核的尺寸设置为32×5×5×4；
第一池化层的特征通道数设置为32，第一池化层池化尺寸设置为2×2；
第二卷积层的特征通道数设置为64，第二卷积层卷积核的尺寸设置为64×5×5×32；
第二池化层的特征通道数设置为64，第二池化层池化尺寸设置为2×2；
第三卷积层的特征通道数设置为128，第三卷积层卷积核的尺寸设置为128×5×5×64；
第三池化层的特征通道数设置为128，第三池化层池化尺寸设置为2×2；
全连接层的特征通道数设置为3。
进一步地，所述步骤四，具体为：
首先将训练数据集作为三维卷积神经网络模型的输入，利用模型提取数据集中每个像素点的空间特征和时间特征，将模型前向传播的结果作为模型的输出，通过求解所述输出与实际动作类别之间的误差并对误差进行反向传播，来更新三维卷积神经网络模型的权重；
然后将更新的权重映射到三维垂直阻变存储器的阵列的电导上，将更新的权重加上映射的权重误差作为网络训练过程中新的参数，再不断的进行迭代，直至网络输出与实际动作类别之间的误差不再减小，此时网络收敛，得到收敛时的三维卷积神经网络模型的权重，从而得到训练好的三维卷积神经网络模型。
进一步地，所述步骤五，具体为：将测试集图像输入到三维卷积神经网络模型中，并加载训练好的三维卷积神经网络模型的权重，得到测试集图像的动作识别精度。
一种基于三维垂直阻变存储器的视频动作识别装置，包括一个或多个处理器，用于实现所述的基于三维垂直阻变存储器的视频动作识别方法。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的基于三维垂直阻变存储器的视频动作识别方法。
与现有技术相比，本发明具有以下优点：
第一，本发明提出的三维垂直阻变存储器3D-VRRAM采用的器件具有高于4×104的高整流率，且由于高自整流的特性，读误差低于2.2%。
第二，由于本发明采用的是三维堆叠结构，3D-VRRAM中的每一层都可以作为单独的卷积核使用，具有高度的并行性；基于3D-VRRAM的卷积神经网络可以快速高效的从视频中识别人类打篮球，足球和高尔夫的动作。
附图说明
图1是本发明的基于三维垂直阻变存储器的视频动作识别方法流程图；
图2是本发明的三维垂直阻变存储器3D-VRRAM结构示意图；
图3是RRAM单元器件Pt/C/NbOx/TiN结构示意图；
图4是Icc=100 μA时的I-V曲线示意图；
图5是器件之间的耐力示意图；
图6是8个电导态在室温下1000秒的保留试验示意图；
图7a是本发明实施例的数据集中的踢足球的样本图像示意图；
图7b是本发明实施例的数据集中的打篮球的样本图像示意图；
图7c是本发明实施例的数据集中的打高尔夫的样本图像示意图；
图8是训练过程中，在本发明和软件上的3D-CNN的损失曲线示意图；
图9是训练过程中，在本发明和软件上的3D-CNN的视频动作识别精度曲线示意图；
图10是本发明的一种基于三维垂直阻变存储器的视频动作识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
如图1所示，一种基于三维垂直阻变存储器的视频动作识别方法，包括以下步骤：
步骤一，搭建基于自整流器件的三维垂直阻变存储器。
如图2所示，3D-VRRAM三维垂直阻变存储器是由4层RRAM阻变存储器阵列堆叠组成，每个RRAM阻变存储器阵列由m行n列的RRAM单元器件组成，本实施例中每个RRAM阻变存储器阵列的大小是32×8，即由32行8列的RRAM单元器件组成。如图3所示，每个RRAM单元的器件结构包括铂Pt、碳C、氧化铌NbOx和锡TiN，其中阻变材料氧化铌NbOx与铂Pt电极形成肖特基势垒，使RRAM阵列出现整流特性，因此单元具有高自整流特性。
本发明中RRAM单元器件的具体特性如下：ICC为100 μA时，I-V的特性如图4所示，其中Icc表RRAM单元器件的限流，为了防止电路过大，损坏器件，铂Pt底电极在测试中始终接地。电压的变化范围从0~5V 表示电压正偏差，从0~4V 表示电压的负偏差，在电压正偏差范围时，器件从高阻态切换到低阻态，为置位操作。在电压负偏差范围时，RRAM单元器件从低阻态切换到高阻态，为重置操作。在100个I-V循环的循环耐力试验中，观察到曲线有很高的重叠度，变化不明显。其中RRAM单元器件的整流比是4.44×104，该整流比是目前VRRAM垂直阻变存储器中最高的整流比。RRAM单元器件在正极性时的开关比为16.8，读电压为3 V。如图5所示，器件与器件之间的耐力测试是在4个随机器件上进行的，每个RRAM单元器件都是来自于图1中的4层RRAM阵列。在100个循环测试中，4个RRAM单元器件的I-V曲线显示出很高的重叠度和均匀性。如图6所示，研究了8个电导态的保留情况，经过1000 s后仍然可以清晰的区分出8个电导态。
步骤二，采集并预处理用于视频动作识别的训练集图像和测试集图像。
采集视频，对待识别的视频流进行视频分帧处理，得到多帧RGB图像。每4帧图像作为一个样本得到所有的样本，每个样本的大小为4×H×W×C，其中4表示帧数，H表示图像高度，W表示图像宽度，C表示图像通道数，本实施例中每个样本的大小为4×240×320×3，其中4表示帧数，240表示图像高度，320表示图像宽度，3表示图像通道数。
将每个样本的RGB图像转换为灰度图像，得到新的样本，大小为4×H×W，然后将每个样本的尺寸缩小1/2，缩放后的样本大小为4×H½×W ½，本实施例中新的样本大小为4×240×320，然后将每个样本的尺寸缩小1/2，缩放后的样本大小为4×120×160。将缩放后的所有样本选取80%作为训练集图像，剩余的20%作为测试集图像。
步骤三，构造三维卷积神经网络模型。
所述的三维卷积神经网络模型的结构为：依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和分类器，其中，每层参数的设置如下：
输入层的特征通道数设置为4。
第一卷积层的特征通道数设置为32，第一卷积层卷积核的尺寸设置为32×5×5×4。
第一池化层的特征通道数设置为32，第一池化层池化尺寸设置为2×2。
第二卷积层的特征通道数设置为64，第二卷积层卷积核的尺寸设置为64×5×5×32。
第二池化层的特征通道数设置为64，第二池化层池化尺寸设置为2×2。
第三卷积层的特征通道数设置为128，第三卷积层卷积核的尺寸设置为128×5×5×64。
第三池化层的特征通道数设置为128，第三池化层池化尺寸设置为2×2。
全连接层的特征通道数设置为3。
步骤四，使用训练集图像，在三维垂直阻变存储器上仿真训练三维卷积神经网络模型。
首先将训练数据集作为3D-CNN三维卷积神经网络模型的输入，利用模型提取数据集中每个像素点的空间特征和时间特征，将模型前向传播的结果作为模型的输出，通过求解上述输出与实际动作类别之间的误差并对误差进行反向传播，来更新3D-CNN模型的权重；
然后将更新的权重映射到3D-VRRAM三维垂直阻变存储器的阵列的电导上，由于电导的非线性和非对称问题，在读写的过程中会产生误差，将更新的权重加上映射的权重误差作为网络训练过程中新的参数。然后不断的进行迭代，直至网络输出与实际动作类别之间的误差不再减小，此时网络收敛，得到收敛时的3D-CNN模型的权重，从而得到训练好的三维卷积神经网络模型，即动作识别模型。
步骤五，利用在三维垂直阻变存储器上训练好的三维卷积神经网络模型，输入测试集图像，进行视频动作识别。
将测试集图像输入到3D-CNN三维卷积神经网络模型中，并加载训练好的3D-CNN三维卷积神经网络模型的权重，得到测试集的动作识别精度。
下面结合仿真实验对本发明的效果做进一步的说明：
仿真条件：
本发明的仿真实验是在NVIDIA GV100 GPU的硬件环境和pytorch1.5的软件环境下进行的。
图7a至图7c是本发明的仿真实验所使用的数据集中的部分样本图，数据集采用公开的UCF-101数据集，提供了来自101个动作类别的13320个视频。本发明选取了其中三种动作类别的视频，分别为足球，篮球和高尔夫球。
仿真内容与结果分析：
在3D-CNN三维卷积神经网络模型训练的过程中，使用本发明中的3D-VRRAM三维垂直阻变存储器与软件的对比结果如图8和图9所示。从图8中可以看出，随着训练集迭代次数的增加，在本发明和软件上，3D-CNN三维卷积神经网络的损失均不断下降，最后趋于稳定，网络收敛；从图9中可以看出3D-CNN三维卷积神经网络收敛时，与软件相比，测试集在本发明上的识别精度降低了不足1%。
综上所述，本发明在3D-VRRAM三维垂直阻变存储器上实现了基于3D-CNN三维卷积神经网络的视频动作识别。本发明提出的3D-VRRAM三维垂直阻变存储器采用的器件具有高于4×104高整流率。由于高自整流的特性，读误差低于2.2%。利用3D-VRRAM三维垂直阻变存储器的三维堆叠结构，3D-VRRAM三维垂直阻变存储器中的每一层都可以作为单独的卷积核使用，具有高度的并行性，有效的提高了3D-CNN三维卷积神经网络的推理速度。
与前述基于三维垂直阻变存储器的视频动作识别方法的实施例相对应，本发明还提供了基于三维垂直阻变存储器的视频动作识别装置的实施例。
参见图10，本发明实施例提供的一种基于三维垂直阻变存储器的视频动作识别装置，包括一个或多个处理器，用于实现上述实施例中的基于三维垂直阻变存储器的视频动作识别方法。
本发明基于三维垂直阻变存储器的视频动作识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本发明基于三维垂直阻变存储器的视频动作识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图10所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于三维垂直阻变存储器的视频动作识别方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，包括以下步骤：
步骤一，搭建基于自整流器件的三维垂直阻变存储器；
步骤二，采集并预处理用于视频动作识别的训练集图像和测试集图像；
步骤三，构造三维卷积神经网络模型；
步骤四，使用训练集图像，在三维垂直阻变存储器上仿真训练三维卷积神经网络模型；
步骤五，利用在三维垂直阻变存储器上训练好的三维卷积神经网络模型，输入测试集图像，进行视频动作识别。
2.如权利要求1所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述三维垂直阻变存储器由4层RRAM阻变存储器阵列堆叠组成，每个RRAM阻变存储器阵列由m行n列的RRAM单元器件组成，每个RRAM单元的器件结构包括铂Pt、碳C、氧化铌NbOx和锡TiN，其中阻变材料氧化铌NbOx与铂Pt电极形成肖特基势垒，使RRAM阵列出现整流特性。
3.如权利要求1所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述步骤二，具体为：采集视频，对视频流进行视频分帧处理，得到多帧RGB图像，每4帧图像作为一个样本，每个样本的大小为4×H×W×C，其中4表示帧数，H表示图像高度，W表示图像宽度，C表示图像通道数；
将每个样本的RGB图像转换为灰度图像，得到新的样本，大小为4×H×W，然后将每个样本的尺寸缩小1/2，缩放后的样本大小为4×H½×W ½，将缩放后的所有样本选取80%作为训练集图像，剩余的20%作为测试集图像。
4.如权利要求1所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述三维卷积神经网络模型的结构为：依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和分类器，其中，每层参数的设置如下：
输入层的特征通道数设置为4；
第一卷积层的特征通道数设置为32，第一卷积层卷积核的尺寸设置为32×5×5×4；
第一池化层的特征通道数设置为32，第一池化层池化尺寸设置为2×2；
第二卷积层的特征通道数设置为64，第二卷积层卷积核的尺寸设置为64×5×5×32；
第二池化层的特征通道数设置为64，第二池化层池化尺寸设置为2×2；
第三卷积层的特征通道数设置为128，第三卷积层卷积核的尺寸设置为128×5×5×64；
第三池化层的特征通道数设置为128，第三池化层池化尺寸设置为2×2；
全连接层的特征通道数设置为3。
5.如权利要求4所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述步骤四，具体为：
首先将训练数据集作为三维卷积神经网络模型的输入，利用模型提取数据集中每个像素点的空间特征和时间特征，将模型前向传播的结果作为模型的输出，通过求解所述输出与实际动作类别之间的误差并对误差进行反向传播，来更新三维卷积神经网络模型的权重；
然后将更新的权重映射到三维垂直阻变存储器的阵列的电导上，将更新的权重加上映射的权重误差作为网络训练过程中新的参数，再不断的进行迭代，直至网络输出与实际动作类别之间的误差不再减小，此时网络收敛，得到收敛时的三维卷积神经网络模型的权重，从而得到训练好的三维卷积神经网络模型。
6.如权利要求5所述的一种基于三维垂直阻变存储器的视频动作识别方法，其特征在于，所述步骤五，具体为：将测试集图像输入到三维卷积神经网络模型中，并加载训练好的三维卷积神经网络模型的权重，得到测试集图像的动作识别精度。
7.一种基于三维垂直阻变存储器的视频动作识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-6中任一项所述的基于三维垂直阻变存储器的视频动作识别方法。
8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-6中任一项所述的基于三维垂直阻变存储器的视频动作识别方法。
CN202210578058.9A 2022-05-26 2022-05-26 一种基于三维垂直阻变存储器的视频动作识别方法和装置 Active CN114677632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210578058.9A CN114677632B (zh) 2022-05-26 2022-05-26 一种基于三维垂直阻变存储器的视频动作识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210578058.9A CN114677632B (zh) 2022-05-26 2022-05-26 一种基于三维垂直阻变存储器的视频动作识别方法和装置

Publications (2)

Publication Number Publication Date
CN114677632A true CN114677632A (zh) 2022-06-28
CN114677632B CN114677632B (zh) 2022-10-18

Family

ID=82079421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210578058.9A Active CN114677632B (zh) 2022-05-26 2022-05-26 一种基于三维垂直阻变存储器的视频动作识别方法和装置

Country Status (1)

Country Link
CN (1) CN114677632B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103633242A (zh) * 2012-08-28 2014-03-12 中国科学院微电子研究所 一种具有自整流特性的阻变存储器及其制备方法
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
US9985206B1 (en) * 2017-02-01 2018-05-29 International Business Machines Corporation Resistive switching memory stack for three-dimensional structure
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
CN109086870A (zh) * 2018-07-27 2018-12-25 重庆因普乐科技有限公司 一种基于忆阻器的三维卷积神经网络实现方法
CN110543848A (zh) * 2019-08-29 2019-12-06 交控科技股份有限公司 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111564169A (zh) * 2020-04-30 2020-08-21 北京大学 三维垂直阻变存储器阵列及其操作方法、装置、设备及介质
CN112766283A (zh) * 2021-01-25 2021-05-07 西安电子科技大学 一种基于多尺度卷积网络的两相流流型识别方法
CN114299610A (zh) * 2021-12-24 2022-04-08 声耕智能科技(西安)研究院有限公司 一种红外视频中的动作识别方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103633242A (zh) * 2012-08-28 2014-03-12 中国科学院微电子研究所 一种具有自整流特性的阻变存储器及其制备方法
US9985206B1 (en) * 2017-02-01 2018-05-29 International Business Machines Corporation Resistive switching memory stack for three-dimensional structure
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
CN109086870A (zh) * 2018-07-27 2018-12-25 重庆因普乐科技有限公司 一种基于忆阻器的三维卷积神经网络实现方法
CN110543848A (zh) * 2019-08-29 2019-12-06 交控科技股份有限公司 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111564169A (zh) * 2020-04-30 2020-08-21 北京大学 三维垂直阻变存储器阵列及其操作方法、装置、设备及介质
CN112766283A (zh) * 2021-01-25 2021-05-07 西安电子科技大学 一种基于多尺度卷积网络的两相流流型识别方法
CN114299610A (zh) * 2021-12-24 2022-04-08 声耕智能科技(西安)研究院有限公司 一种红外视频中的动作识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WOOKYUNG SUN,AND ETC: "Three-Dimensional(3D) Vertical Resistive Random-Access Memory(VRRAM) Synapses for Neural Network Systems", 《MATERIALS》 *
高代法等: "三维阻变存储器的研究进展", 《半导体技术》 *

Also Published As

Publication number Publication date
CN114677632B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Dalgaty et al. In situ learning using intrinsic memristor variability via Markov chain Monte Carlo sampling
Chen et al. Reverse attention for salient object detection
Zhao et al. Pyramid feature attention network for saliency detection
Wang et al. Detect globally, refine locally: A novel approach to saliency detection
CN111832513B (zh) 基于神经网络的实时足球目标检测方法
Sun et al. Lattice long short-term memory for human action recognition
Park et al. RRAM-based synapse for neuromorphic system with pattern recognition function
US20200175379A1 (en) Generative adversarial network device and training method thereof
Peng et al. Bag of events: An efficient probability-based feature extraction method for AER image sensors
CN111479130B (zh) 一种视频定位方法、装置、电子设备和存储介质
CN112131943A (zh) 一种基于双重注意力模型的视频行为识别方法及系统
JP2023041581A (ja) メモリスタ誤差に対するメモリスタメモリニューラルネットワークトレーニング方法
CN110197195A (zh) 一种新型面向行为识别的深层网络系统及方法
TW202022711A (zh) 使用記憶體內運算的卷積加速器
Liu et al. 3D Convolutional Neural Network based on memristor for video recognition
CN112633482A (zh) 一种高效宽度图卷积神经网络模型及其训练方法
Wang et al. Generative adversarial network based on resnet for conditional image restoration
CN114677632B (zh) 一种基于三维垂直阻变存储器的视频动作识别方法和装置
Zhang et al. Multi-scale salient object detection with pyramid spatial pooling
Wang et al. Multistage model for robust face alignment using deep neural networks
Li et al. HoloSeg: An efficient holographic segmentation network for real-time scene parsing
Wei et al. Emerging Memory-Based Chip Development for Neuromorphic Computing: Status, Challenges, and Perspectives
Abdulhadi et al. Human Action Behavior Recognition in Still Images with Proposed Frames Selection Using Transfer Learning.
Sun et al. Quaternary synapses network for memristor-based spiking convolutional neural networks
CN108804470A (zh) 一种图像检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant