CN111583095A - 图像数据存储方法、图像数据处理方法、系统及相关装置 - Google Patents

图像数据存储方法、图像数据处理方法、系统及相关装置 Download PDF

Info

Publication number
CN111583095A
CN111583095A CN202010442519.0A CN202010442519A CN111583095A CN 111583095 A CN111583095 A CN 111583095A CN 202010442519 A CN202010442519 A CN 202010442519A CN 111583095 A CN111583095 A CN 111583095A
Authority
CN
China
Prior art keywords
image data
channel
storage
random access
dynamic random
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010442519.0A
Other languages
English (en)
Other versions
CN111583095B (zh
Inventor
蒋东东
赵雅倩
董刚
李仁刚
刘海威
杨宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202010442519.0A priority Critical patent/CN111583095B/zh
Publication of CN111583095A publication Critical patent/CN111583095A/zh
Priority to EP21808636.1A priority patent/EP4156079A4/en
Priority to PCT/CN2021/073790 priority patent/WO2021232843A1/zh
Priority to US17/926,966 priority patent/US20230196500A1/en
Application granted granted Critical
Publication of CN111583095B publication Critical patent/CN111583095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像数据处理方法，所述图像数据处理方法包括：将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。本申请能够提高了图像数据的处理速率。本申请还公开了一种图像数据存储方法、一种图像数据处理系统、一种电子设备及一种存储介质，具有以上有益效果。

Description

图像数据存储方法、图像数据处理方法、系统及相关装置
技术领域
本申请涉及深度学习技术领域，特别涉及一种图像数据存储方法、一种图像数据处理方法、一种图像数据处理系统、一种电子设备及一种存储介质。
背景技术
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，卷积神经网络被广泛应用于计算机视觉、图像处理、自然语言处理等领域。
卷积神经网络通常使用3*3大小的卷积核实现对于图像特征的提取，在现有的FPGA CNN卷积数据提取方案中，主要实现方式为：将图像数据缓存到FPGA的片外DDR中，每次只读取小3*3数据进行卷积，利用多次读取小范围DDR。但是，上述图像特征提取方法需要执行多次地址跳转以及非连续地址的小段数据读写，DDR读写速率较低，无法完全释放DDR的读写能力，使其成为图像处理速度的瓶颈。
因此，如何提高图像数据的处理速率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种图像数据存储方法、一种图像数据处理方法、系统、一种电子设备及一种存储介质，能够提高图像数据的处理速率。
为解决上述技术问题，本申请提供一种图像数据存储方法，该图像数据存储方法包括：
接收图像存储指令；
根据所述图像存储指令确定图像数据和动态随机存储器；
将所述图像数据按照预设存储格式依次存储至所述动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址。
可选的，将所述图像数据按照预设存储格式依次存储至所述动态随机存储器，包括：
确定动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；其中，所述存储起始位置包括通道高度坐标和通道宽度坐标；
判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；
若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；
若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
可选的，在将所述图像数据按照预设存储格式依次存储至所述动态随机存储器之后，还包括：
若接收到数据读取指令，则根据所述数据读取指令确定目标数据；其中，所述目标数据为多通道并行的图像数据；
将所述目标数据传输至FPGA的先进先出存储器。
本申请还提供一种图像数据处理方法，该图像数据处理方法包括：
将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；
从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；
对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
可选的，所述将图像数据按照预设存储格式依次存储至动态随机存储器，包括：
确定所述动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；所述存储起始位置包括通道高度坐标和通道宽度坐标；
判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；
若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；
若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
可选的，从所述动态随机存储器中读取预设数量的多通道并行的图像数据包括：
确定本轮存储器读取地址，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据；
相应的，还包括：
根据所述本轮存储器读取地址计算下一轮存储器读取地址；
在所述FPGA的先进先出存储器准备就绪后，根据所述下一轮存储器读取地址读取预设数量的多通道并行的新图像数据，并将所述多通道并行的新图像数据存储至所述FPGA的先进先出存储器。
可选的，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据包括：
将所述本轮存储器读取地址作为第一起始地址，并根据所述第一起始地址与数据读取长度计算第二起始地址和第三起始地址；
根据所述第一起始地址读取预设数量的多通道并行的第一图像数据；
根据所述第二起始地址读取预设数量的多通道并行的第二图像数据；
根据所述第三起始地址读取预设数量的多通道并行的第三图像数据。
可选的，所述多通道并行的图像数据具体为3*11的多通道图像数据；
相应的，所述对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据，包括：
将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据；
利用3*3的卷积核对所述9*9的多通道图像数据执行卷积操作，得到所述图像特征数据。
可选的，在将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据过程中，还包括：
控制状态机执行奇偶数据同时读取操作，以便去除所述3*11的多通道图像数据转化为所述9*9的多通道图像数据时产生的无效间隔。
可选的，在从所述动态随机存储器中读取预设数量的多通道并行的图像数据的过程中，还包括：
判断读取的所述多通道并行的图像数据的数据量是否为预设值；
若否，则在读取的所述多通道并行的图像数据后补零以使数据量等于所述预设值。
本申请还提供了一种图像数据处理系统，该图像数据处理系统包括：
存储模块，用于将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；
读取模块，用于从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；
卷积模块，用于对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述图像数据处理方法和图像数据存储方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述图像数据处理方法和图像数据存储方法执行的步骤。
本申请提供了一种图像数据处理方法，包括将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
本申请首先将图像数据按照预设存储格式依次存储至动态随机存储器的中，使得动态随机存储器中相邻的图像数据具有连续的存储地址。在对动态随机存储器中的数据进行数据读取时，可以通过依次命令读取所需的数据，由于图像数据连续存储能够避免存储地址跳转操作，提高了对动态随机存储器的读写速率。在从动态随机存储器读取到多通道并行的图像数据后，将读取得到的图像数据存储至FPGA的先进先出存储器，先进先出存储器具有读写延迟小的特点，因此对先进先出存储器指的图像数据执行卷积操作降低读写操作延迟，提高数据存储效率。本申请基于动态随机存储器容量大、连续读写速度快的特点，以及先进先出存储器读写延迟小的特点，先将全部的图像数据顺序存储至动态随机存储器，再从动态随机存储器中读取多通道并行的图像数据至先进先出存储器，降低了图像数据处理流程的读写延时，提高了图像数据的处理速率。本申请同时还提供了一种图像数据存储方法、一种图像数据处理系统、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种图像数据处理方法的流程图；
图2为本申请实施例所提供的一种卷积神经网络中所进行的三维卷积计算过程示意图；
图3为本申请实施例所提供的一种图像数据存储至动态随机存储器的原理示意图；
图4为本申请实施例所提供的一种读取多通道并行的图像数据的原理示意图；
图5为本申请实施例所提供的一种读动态随机存储器的起始地址进行计算管理方式原理示意图；
图6为本申请实施例所提供的一种实现DDR数据读取时控制状态机的流程示意图；
图7为本申请实施例所提供的一种数据读取示意图；
图8为本申请实施例所提供的一种数据转换示意图；
图9为本申请实施例所提供的一种中间空挡消除原理示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种图像数据处理方法的流程图。
具体步骤可以包括：
S101：将图像数据按照预设存储格式依次存储至动态随机存储器，以使动态随机存储器中相邻的所述图像数据具有连续的存储地址；
其中，本实施例可以应用于包括卷积神经网络的图像处理设备，该存储设备中可以由FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)执行相关的图像处理操作。请参见图2，图2为本申请实施例所提供的一种卷积神经网络中所进行的三维卷积计算过程示意图，卷积神经网络中所进行的三维卷积计算过程如下所述：假设一个彩色图像是6×6×3，这里的3指的是三个颜色通道，可以想象成三个6×6图像的堆叠。为了检测图像的边缘或者其他的特征，把该彩色图像与一个三维的过滤器相卷积，过滤器的维度是3×3×3，即该过滤器也有三层，分别对应红、绿、蓝三个通道。6×6×3彩色图像的第一个6代表图像高度，第二个6代表宽度，这个3代表通道的数目。同样过滤器也有高，宽和通道数，并且图像的通道数和过滤器的通道数相等，通过卷积操作可以得到一个4×4×1的图像。当然，为了提取多种特征，输出通道可以包括多个，例如可以将原图像和2个卷积核相卷后，可以2个输出通道的特征数据。
本申请首先将需要处理的图像数据(如图2中为执行卷积处理的6×6×3的彩色图像)按照预设存储格式依次存储至动态随机存储器的中。动态随机存储器即FPGA的片外DDR，通过将图像数据按照预设格式存储能够使动态随机存储器中相邻存储地址中存储的图像数据是连续的。由于整体较大，需要多个存储地址存储图像数据，在本步骤之前可以存在将原始图像转化为连续的图像数据的操作，本实施例中所提到的图像数据连续指：相邻存储地址对应的图像数据在图像数据对应的原图中也是连续的。通过按照预设格式进行存储，能够使相邻的所述图像数据具有连续的存储地址。
S102：从动态随机存储器中读取预设数量的多通道并行的图像数据，并将多通道并行的图像数据存储至FPGA的先进先出存储器；
其中，在将图像数据存储至动态随机存储器后，本实施例可以按照预设周期从所述动态随机存储器中读取预设数量的多通道并行的图像数据，由于在S101中动态随机存储器中存储的为连续的图像数据，因此在本步骤中可以通过一次数据读取操作得到多通道并行的图像数据。卷积操作通常对多行图像数据执行卷积操作，在本实施例中可以执行预设数量次数据读取操作得到预设数量的多通道并行的图像数据。在得到预设数量的多通道并行的图像数据后，可以将其存储至FPGA的先进先出存储器。FPGA的先进先出存储器即FPGA内部RAM资源中的FIFO存储器。在从所述动态随机存储器中读取预设数量的多通道并行的图像数据的过程中，还可以判断读取的所述多通道并行的图像数据的数据量是否为预设值；若否，则在读取的所述多通道并行的图像数据后补零以使数据量等于所述预设值。
由于需要多次从动态随机存储器中读取数据，因此作为一种可行的实施方式，上述从动态随机存储器中读取预设数量的多通道并行的图像数据的过程可以包括：确定本轮存储器读取地址，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据。相应的，本实施例还可以根据所述本轮存储器读取地址计算下一轮存储器读取地址；在所述FPGA的先进先出存储器准备就绪后，根据所述下一轮存储器读取地址读取预设数量的多通道并行的新图像数据，并将所述多通道并行的新图像数据存储至所述FPGA的先进先出存储器。
S103：对先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
其中，在将图像数据读取到FPGA的先入先出存储器后，FPGA可以在1个周期内读出任意位置的N*N数据，用于后端的卷积计算得到图像特征数据。本实施例中S102中将多通道并行的图像数据存储至FPGA的先进先出存储器相当于对FPGA的输入数据，S103中对目标图像数据执行卷积操作相当于FPGA输出数据，本实施例可以适当调节S102中数据读取的速率和S103中卷积操作的速率，使得FPGA内部的数据量处于相对稳定状态。
本实施例首先将图像数据按照预设存储格式依次存储至动态随机存储器的中，使得动态随机存储器中相邻的图像数据具有连续的存储地址。在对动态随机存储器中的数据进行数据读取时，可以通过依次命令读取所需的数据，由于图像数据连续存储能够避免存储地址跳转操作，提高了对动态随机存储器的读写速率。在从动态随机存储器读取到多通道并行的图像数据后，将读取得到的图像数据存储至FPGA的先进先出存储器，先进先出存储器具有读写延迟小的特点，因此对先进先出存储器指的图像数据执行卷积操作降低读写操作延迟，提高数据存储效率。本实施例基于动态随机存储器容量大、连续读写速度快的特点，以及先进先出存储器读写延迟小的特点，先将全部的图像数据顺序存储至动态随机存储器，再从动态随机存储器中读取多通道并行的图像数据至先进先出存储器，降低了图像数据处理流程的读写延时，提高了图像数据的处理速率。
请参见图3，图3为本申请实施例所提供的一种图像数据存储至动态随机存储器的原理示意图，图3中的CH为通道数，W为通道宽度，H为通道高度，图中所示的图像通道数为512，通道宽度为12，通道高度为6。将图像数据按照预设存储格式依次存储至动态随机存储器，包括以下过程：确定所述动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；所述存储起始位置包括通道高度坐标和通道宽度坐标；判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
如图3所示，本实施例将输入通道数据按照预设存储格式写入DDR中，图中方格内的数字代表了图像数据在DDR中的地址值。通道(CH)方向固定为512，DDR中先按照通道数方向进行存储，对应地址为0-511，如果真实输入通道小于512，则对应的地址位置给0值。通道(CH)方向完成后，按照宽度(W)方向进行数据存储。当W方向也完毕后，再按照H方向进行存储。W和H的长度可以为自定义长度(如7～512)。
作为对于上述实施例的进一步介绍，从所述动态随机存储器中读取预设数量的多通道并行的图像数据的过程可以包括：确定本轮存储器读取地址，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据；根据所述本轮存储器读取地址计算下一轮存储器读取地址；在所述FPGA的先进先出存储器准备就绪后，根据所述下一轮存储器读取地址读取预设数量的多通道并行的新图像数据，并将所述多通道并行的新图像数据存储至所述FPGA的先进先出存储器。具体的，当多通道并行的图像数据具体为3*11的多通道图像数据时，本实施例还可以将所述本轮存储器读取地址作为第一起始地址，并根据所述第一起始地址与数据读取长度计算第二起始地址和第三起始地址；根据所述第一起始地址读取预设数量的多通道并行的第一图像数据；根据所述第二起始地址读取预设数量的多通道并行的第二图像数据；根据所述第三起始地址读取预设数量的多通道并行的第三图像数据。在图3对应实施方式的数据存储方式的基础上，DDR一次命令可以读取出所有通道的11个数据，burst长度足够使DDR的读取效率维持在50％以上。请参见图4，图4为本申请实施例所提供的一种读取多通道并行的图像数据的原理示意图。从DDR中读取多通道并行的图像数据的过程可以包括：读取所有通道的第一组11个数据，给DDR发送一次命令，例：起始地址为h(0)*w(0)*512，读取长度为512*11；完成后读取第二组11个数据，给DDR发送一次命令，起始地址为h(1)*w(0)*512，读取长度为512*11；完成后读取第三组11个数据，给DDR发送一次命令，起始地址为h(2)*w(0)*512。读取长度为512*11；读出的数据分别存储到3组FPGA内的FIFO中，每组有512个FIFO。读完后，假如stride为1(可设)，则下一组新的起始地址为上一组起始地址+512*9，下一组起始地址会跟随计算更新。
请参见图5，图5为本申请实施例所提供的一种读动态随机存储器的起始地址进行计算管理方式原理示意图，设3组数据在W和H方向的坐标为表1中的值：
表1起始地址坐标表
组 坐标
Group1 (x，y<sub>1</sub>)
Group2 (x，y<sub>2</sub>)
Group3 (x，y<sub>3</sub>)
表1中W方向的坐标一致。以Stride(步长)为1举例，则新的地址计算管理方式如表2所示，通过使用3个乘法器+移位补0可以满足500M高速时钟要求。
表2地址计算关系表
组 x＝0 x！＝0
Group1 add1＝(y<sub>1</sub>×w)＜＜9 add1＝add1+(9＜＜9)
Group2 add2＝(y<sub>2</sub>×w)＜＜9 add1＝add1+(9＜＜9)
Group3 add3＝(y<sub>3</sub>×w)＜＜9 add1＝add1+(9＜＜9)
请参见图6，图6为本申请实施例所提供的一种实现DDR数据读取时控制状态机的流程示意图，由于每次写入数据都是按照Group1、Group2，Group3的顺序写入，但是读出端口是三组FIFO并行读出，为了降低RTL(Register Transfer Level，寄存器转换级电路)的扇出，只在开始读取group1时判断一次Group3 FIFO的ready状态即可。本实施例还可以设置地址更新乘法器。在500MHz时钟下，地址更新乘法器的安全计算周期为≥3个，如果只在换行判断时临时计算需要更新的参数，则要么无法满足时序要求，要么需要额外等待3个计算周期等待计算完成，造成整个状态机延迟增加3个时钟，因此，此处需要在单独设计提前计算单元，用于计算下一循环所需的所有参数，如DDR起始地址、Burst长度等。开始前先将开始后需要的所有数值计算出来，开始时锁定寄存器备份给状态机使用。同时利用整个状态机执行的时间，独立进行下一个循环状态所需要的所有数值，这样可以满足500MHz下乘法器的时序要求。也可以降低状态机判断的lut层≤4，同时也不会造成额外的系统延迟。
当3组FIFO中数据准备好后，可以按照通道读出3*11个数据，因为输入通道数可设，所以只需要读取需要的输入通道数，如当输入通道为3时，只需要读取3个通道的3*11，读取方式如下图7所示，图7为本申请实施例所提供的一种数据读取示意图。
作为一种可行的实施方式，当多通道并行的图像数据具体为3*11的多通道图像数据时，计算图像特征数据的过程可以包括：将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据；利用3*3的卷积核对所述9*9的多通道图像数据执行卷积操作，得到所述图像特征数据。进一步的，在将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据过程中，还包括：控制状态机执行奇偶数据同时读取操作，以便去除所述3*11的多通道图像数据转化为所述9*9的多通道图像数据时产生的无效间隔。
具体的，请参见图8，图8为本申请实施例所提供的一种数据转换示意图。FPGA的后端算法可以会将11个数据变为3个9*9，用来方便3*3的卷积，此处读出的11个数据，即使连续，也会在变为3个9*9时，产生一个2周期的无效间隔，无效间隔为无需进行卷积操作的周期。本实施例可以通过奇偶同时读取的状态机设计，来消除中间的空档实现数据的连续输出。请参见图9，图9为本申请实施例所提供的一种中间空挡消除原理示意图，本实施例可以先同时读出连续2个通道的11个数据，，然后等待7的时钟周期，进行11->9数据变化后，延迟第二个通道的数据9个周期，再与第一个通道的数据进行拼接，即完成了中间间隔的消除。
设真实的输入通道数为Cin，DDR时钟F_ddr为250MHz，后端卷积时钟F_dsp为500MHz，每组FIFO的个数/64为N(上述例子为N＝512/64＝8)则两端数据带宽平衡公式为：
Figure BDA0002504677370000121
当N＝1时(FIFO个数为64)，则Cin≥12。只要真实输入通道数Cin足够大，数据可以按照500MHz的时钟无效率损失地进行数据传输和运行，当数据通道Cin≥12，可适当修改DDR的存储格式即可(如CH＝64)，无需更改RTL设计。如果更小，则不属于多输入通道的条件，本实施例也可在一定损失效率情况下使用。当每组FIFO为512个时，为了实现流水操作，FIFO深度需要可实现乒乓功能，深度为11*2＝22个，可以实现当读取feature数据时，不会造成FIFO后端没有数据而读取暂停的情况。此时的最大RAM利用率也只为VU7(xilinxUltrascale plus Virtex 7FPGA，一种FPGA板卡)的15％。不会给后端的DSP卷积阵列布线造成任何压力。
本申请还可以提供一种多维卷积feature数据在DDR中的存储方法。可以同时读出多通道feature数据，适合后端提取处理，并且DDR读取效率不小于50％。本申请可以通过配置参数的变化，实现对feature数据起始地址的最小资源计算，使用3个乘法器，可以安全工作在500M时钟下，不会给系统造成额外的系统延迟。上述实施例速读取图像数据的控制过程包括：地址参数计算和控制状态机双线配合运行，避免状态转换时判断计算建立保持时间不满足，Lut级联≤4，满足500M时钟的运行条件，需要的RAM资源不超过VU7的15％。本实施例本发明充分利用DDR容量大、价格低、连续读写速度快，FPGA-RAM读写延迟小的优点，将两个优点合并，设计了一种500MHz时钟连续读取feature数据的方法(lut级数≤4)，feature宽、高、任意可设(≤512)，RAM资源利用率小于15％，并采用RTL在FPGA上进行了实现。LUT为Look Up Table(查找表)
本实施例通过结合DDR连续读写快、FPGA RAM资源小的特点，设计出了一种高速、多通道、低资源的硬件架构，可以在不同的配置参数控制下，在500MHz时钟下实现图像数据的连续读出，并且资源利用率不超过15％。可以应用于神经网络计算。本实施例提出多维卷积多通道高速低容量数据读取方法，可完全满足常见的ResNet50常见的卷积模型提取需求，在硬件资源充足的情况下可以任意扩展多模块，提高数据处理的并行度，加快计算的速度。
本申请实施例还提供一种图像数据存储方法，具体包括以下步骤：
步骤1：接收图像存储指令；
步骤2：根据所述图像存储指令确定图像数据和动态随机存储器；
步骤3：将所述图像数据按照预设存储格式依次存储至所述动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址。
其中，本实施例中的图像存储指令可以为用户下发的指令，也可以为图像数据处理过程中产生的指令。将图像数据按照预设存储格式依次存储至动态随机存储器的中，使得动态随机存储器中相邻的图像数据具有连续的存储地址。在对动态随机存储器中的数据进行数据读取时，可以通过依次命令读取所需的数据，由于图像数据连续存储能够避免存储地址跳转操作，提高了对动态随机存储器的读写速率。在对通过上述方法存储的图像数据执行图像处理操作时，能够提高图像数据的处理速率。
作为对于上述实施例的进一步介绍，步骤3中将图像数据按照预设存储格式依次存储至所述动态随机存储器的过程可以为：确定动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；其中，所述存储起始位置包括通道高度坐标和通道宽度坐标；判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
进一步的，在将所述图像数据按照预设存储格式依次存储至所述动态随机存储器之后，若接收到数据读取指令，则根据所述数据读取指令确定目标数据；其中，所述目标数据为多通道并行的图像数据；将所述目标数据传输至FPGA的先进先出存储器。
本申请实施例还提供的一种图像数据处理系统，该系统可以包括：
存储模块，用于将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；
读取模块，用于从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；
卷积模块，用于对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
本实施例首先将图像数据按照预设存储格式依次存储至动态随机存储器的中，使得动态随机存储器中相邻的图像数据具有连续的存储地址。在对动态随机存储器中的数据进行数据读取时，可以通过依次命令读取所需的数据，由于图像数据连续存储能够避免存储地址跳转操作，提高了对动态随机存储器的读写速率。在从动态随机存储器读取到多通道并行的图像数据后，将读取得到的图像数据存储至FPGA的先进先出存储器，先进先出存储器具有读写延迟小的特点，因此对先进先出存储器指的图像数据执行卷积操作降低读写操作延迟，提高数据存储效率。本实施例基于动态随机存储器容量大、连续读写速度快的特点，以及先进先出存储器读写延迟小的特点，先将全部的图像数据顺序存储至动态随机存储器，再从动态随机存储器中读取多通道并行的图像数据至先进先出存储器，降低了图像数据处理流程的读写延时，提高了图像数据的处理速率。
进一步的，存储模块用于确定所述动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；所述存储起始位置包括通道高度坐标和通道宽度坐标；还用于判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
进一步的，读取模块用于确定本轮存储器读取地址，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据；还用于根据所述本轮存储器读取地址计算下一轮存储器读取地址；还用于在所述FPGA的先进先出存储器准备就绪后，根据所述下一轮存储器读取地址读取预设数量的多通道并行的新图像数据，并将所述多通道并行的新图像数据存储至所述FPGA的先进先出存储器。
进一步的，读取模块用于将所述本轮存储器读取地址作为第一起始地址，并根据所述第一起始地址与数据读取长度计算第二起始地址和第三起始地址；还用于根据所述第一起始地址读取预设数量的多通道并行的第一图像数据；还用于根据所述第二起始地址读取预设数量的多通道并行的第二图像数据；还用于根据所述第三起始地址读取预设数量的多通道并行的第三图像数据；
进一步的，所述多通道并行的图像数据具体为3*11的多通道图像数据；
相应的卷积模块用于将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据；还用于利用3*3的卷积核对所述9*9的多通道图像数据执行卷积操作，得到所述图像特征数据。
进一步的，还包括：
间隔消除模块，用于在将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据过程中，控制状态机执行奇偶数据同时读取操作，以便去除所述3*11的多通道图像数据转化为所述9*9的多通道图像数据时产生的无效间隔。
进一步的，还包括：
补位模块，用于在从所述动态随机存储器中读取预设数量的多通道并行的图像数据的过程中，判断读取的所述多通道并行的图像数据的数据量是否为预设值；若否，则在读取的所述多通道并行的图像数据后补零以使数据量等于所述预设值。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (13)

1.一种图像数据存储方法，其特征在于，包括：
接收图像存储指令；
根据所述图像存储指令确定图像数据和动态随机存储器；
将所述图像数据按照预设存储格式依次存储至所述动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址。
2.根据权利要求1所述图像数据存储方法，其特征在于，将所述图像数据按照预设存储格式依次存储至所述动态随机存储器，包括：
确定动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；其中，所述存储起始位置包括通道高度坐标和通道宽度坐标；
判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；
若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；
若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
3.根据权利要求1所述图像数据存储方法，其特征在于，在将所述图像数据按照预设存储格式依次存储至所述动态随机存储器之后，还包括：
若接收到数据读取指令，则根据所述数据读取指令确定目标数据；其中，所述目标数据为多通道并行的图像数据；
将所述目标数据传输至FPGA的先进先出存储器。
4.一种图像数据处理方法，其特征在于，包括：
将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；
从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；
对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
5.根据权利要求4所述图像数据处理方法，其特征在于，所述将图像数据按照预设存储格式依次存储至动态随机存储器，包括：
确定所述动态随机存储器的存储起始位置，将图像数据从所述存储起始位置沿通道方向依次存储至所述动态随机存储器；其中，所述存储起始位置包括通道高度坐标和通道宽度坐标；
判断所述存储起始位置的通道宽度坐标是否大于宽度最大值；
若是，在当所述存储起始位置对应的所有通道方向均存储完毕时，将所述存储起始位置的通道高度坐标加1，并将所述存储起始位置的通道宽度坐标置0得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器；
若否，在当所述存储起始位置对应的所有通道方向均存储完毕时，则将所述存储起始位置的通道宽度坐标加1得到新的存储起始位置，将剩余的图像数据从所述新的存储起始位置沿通道方向依次存储至所述动态随机存储器。
6.根据权利要求4所述图像数据处理方法，其特征在于，从所述动态随机存储器中读取预设数量的多通道并行的图像数据包括：
确定本轮存储器读取地址，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据；
相应的，还包括：
根据所述本轮存储器读取地址计算下一轮存储器读取地址；
在所述FPGA的先进先出存储器准备就绪后，根据所述下一轮存储器读取地址读取预设数量的多通道并行的新图像数据，并将所述多通道并行的新图像数据存储至所述FPGA的先进先出存储器。
7.根据权利要求6所述图像数据处理方法，其特征在于，根据所述本轮存储器读取地址读取预设数量的多通道并行的图像数据包括：
将所述本轮存储器读取地址作为第一起始地址，并根据所述第一起始地址与数据读取长度计算第二起始地址和第三起始地址；
根据所述第一起始地址读取预设数量的多通道并行的第一图像数据；
根据所述第二起始地址读取预设数量的多通道并行的第二图像数据；
根据所述第三起始地址读取预设数量的多通道并行的第三图像数据。
8.根据权利要求7所述图像数据处理方法，其特征在于，所述多通道并行的图像数据具体为3*11的多通道图像数据；
相应的，所述对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据，包括：
将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据；
利用3*3的卷积核对所述9*9的多通道图像数据执行卷积操作，得到所述图像特征数据。
9.根据权利要求8所述图像数据处理方法，其特征在于，在将所述先进先出存储器中的所述3*11的多通道图像数据转化为9*9的多通道图像数据过程中，还包括：
控制状态机执行奇偶数据同时读取操作，以便去除所述3*11的多通道图像数据转化为所述9*9的多通道图像数据时产生的无效间隔。
10.根据权利要求4至9任一项所述图像数据处理方法，其特征在于，在从所述动态随机存储器中读取预设数量的多通道并行的图像数据的过程中，还包括：
判断读取的所述多通道并行的图像数据的数据量是否为预设值；
若否，则在读取的所述多通道并行的图像数据后补零以使数据量等于所述预设值。
11.一种图像数据处理系统，其特征在于，包括：
存储模块，用于将图像数据按照预设存储格式依次存储至动态随机存储器，以使所述动态随机存储器中相邻的所述图像数据具有连续的存储地址；
读取模块，用于从所述动态随机存储器中读取预设数量的多通道并行的图像数据，并将所述多通道并行的图像数据存储至FPGA的先进先出存储器；
卷积模块，用于对所述先进先出存储器中的所述目标图像数据执行卷积操作，得到图像特征数据。
12.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至10任一项方法的步骤。
13.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至10任一项方法的步骤。
CN202010442519.0A 2020-05-22 2020-05-22 图像数据存储方法、图像数据处理方法、系统及相关装置 Active CN111583095B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010442519.0A CN111583095B (zh) 2020-05-22 2020-05-22 图像数据存储方法、图像数据处理方法、系统及相关装置
EP21808636.1A EP4156079A4 (en) 2020-05-22 2021-01-26 IMAGE DATA STORAGE METHOD, IMAGE DATA PROCESSING METHOD AND SYSTEM AND ASSOCIATED APPARATUS
PCT/CN2021/073790 WO2021232843A1 (zh) 2020-05-22 2021-01-26 图像数据存储方法、图像数据处理方法、系统及相关装置
US17/926,966 US20230196500A1 (en) 2020-05-22 2021-01-26 Image data storage method, image data processing method and system, and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442519.0A CN111583095B (zh) 2020-05-22 2020-05-22 图像数据存储方法、图像数据处理方法、系统及相关装置

Publications (2)

Publication Number Publication Date
CN111583095A true CN111583095A (zh) 2020-08-25
CN111583095B CN111583095B (zh) 2022-03-22

Family

ID=72110954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442519.0A Active CN111583095B (zh) 2020-05-22 2020-05-22 图像数据存储方法、图像数据处理方法、系统及相关装置

Country Status (4)

Country Link
US (1) US20230196500A1 (zh)
EP (1) EP4156079A4 (zh)
CN (1) CN111583095B (zh)
WO (1) WO2021232843A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232843A1 (zh) * 2020-05-22 2021-11-25 浪潮电子信息产业股份有限公司 图像数据存储方法、图像数据处理方法、系统及相关装置
CN113706366A (zh) * 2021-07-30 2021-11-26 浪潮电子信息产业股份有限公司 一种图像特征数据的提取方法、系统及相关装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460350B (zh) * 2022-09-02 2024-01-12 白犀牛智达(北京)科技有限公司 一种基于fpga的图像处理方法和系统
CN117196931B (zh) * 2023-11-08 2024-02-09 苏州元脑智能科技有限公司 面向传感器阵列的数据处理方法、fpga及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340580A (zh) * 2008-08-15 2009-01-07 上海龙晶微电子有限公司 视频硬件解码器的片外动态存储器的地址映射方法
CN102279802A (zh) * 2010-06-13 2011-12-14 中兴通讯股份有限公司 提高同步动态随机存储控制器的读操作效率的方法和装置
CN104077233A (zh) * 2014-06-18 2014-10-01 百度在线网络技术（北京）有限公司 单通道卷积层及多通道卷积层处理方法和装置
US20190138459A1 (en) * 2017-11-03 2019-05-09 Google Inc. In-Memory Distributed Cache
CN109992541A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 一种数据搬运方法、相关产品及计算机存储介质
CN109992542A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 一种数据搬运方法、相关产品及计算机存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489703B2 (en) * 2015-05-20 2019-11-26 Nec Corporation Memory efficiency for convolutional neural networks operating on graphics processing units
CN109086867B (zh) * 2018-07-02 2021-06-08 武汉魅瞳科技有限公司 一种基于fpga的卷积神经网络加速系统
CN110826707B (zh) * 2018-08-10 2023-10-31 北京百度网讯科技有限公司 应用于卷积神经网络的加速方法和硬件加速器
CN109800867B (zh) * 2018-12-17 2020-09-29 北京理工大学 一种基于fpga片外存储器的数据调用方法
CN110674927A (zh) * 2019-09-09 2020-01-10 之江实验室 一种用于脉动阵列结构的数据重组方法
CN111583095B (zh) * 2020-05-22 2022-03-22 浪潮电子信息产业股份有限公司 图像数据存储方法、图像数据处理方法、系统及相关装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340580A (zh) * 2008-08-15 2009-01-07 上海龙晶微电子有限公司 视频硬件解码器的片外动态存储器的地址映射方法
CN102279802A (zh) * 2010-06-13 2011-12-14 中兴通讯股份有限公司 提高同步动态随机存储控制器的读操作效率的方法和装置
CN104077233A (zh) * 2014-06-18 2014-10-01 百度在线网络技术（北京）有限公司 单通道卷积层及多通道卷积层处理方法和装置
US20190138459A1 (en) * 2017-11-03 2019-05-09 Google Inc. In-Memory Distributed Cache
CN109992541A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 一种数据搬运方法、相关产品及计算机存储介质
CN109992542A (zh) * 2017-12-29 2019-07-09 深圳云天励飞技术有限公司 一种数据搬运方法、相关产品及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI YANG等: "A Flexible Processing-in-Memory Accelerator for Dynamic Channel-Adaptive Deep Neural Networks", 《IEEE》 *
季邓培等: "基于FPGA的同步动态随机存储器细分系统研究", 《计测技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232843A1 (zh) * 2020-05-22 2021-11-25 浪潮电子信息产业股份有限公司 图像数据存储方法、图像数据处理方法、系统及相关装置
CN113706366A (zh) * 2021-07-30 2021-11-26 浪潮电子信息产业股份有限公司 一种图像特征数据的提取方法、系统及相关装置
CN113706366B (zh) * 2021-07-30 2024-02-27 浪潮电子信息产业股份有限公司 一种图像特征数据的提取方法、系统及相关装置

Also Published As

Publication number Publication date
US20230196500A1 (en) 2023-06-22
WO2021232843A1 (zh) 2021-11-25
CN111583095B (zh) 2022-03-22
EP4156079A4 (en) 2024-03-27
EP4156079A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
CN111583095B (zh) 图像数据存储方法、图像数据处理方法、系统及相关装置
EP3637281A1 (en) Operational accelerator
CN111242277A (zh) 一种基于fpga设计的支持稀疏剪枝的卷积神经网络加速器
CN109146065B (zh) 二维数据的卷积运算方法及装置
CN107680028B (zh) 用于缩放图像的处理器和方法
US11860970B2 (en) Method, circuit, and SOC for performing matrix multiplication operation
CN110414672B (zh) 卷积运算方法、装置及系统
US11900577B2 (en) Processing apparatus for performing processing using a convolutional neural network
US20230253032A1 (en) In-memory computation device and in-memory computation method to perform multiplication operation in memory cell array according to bit orders
JP7410961B2 (ja) 演算処理装置
CN115860080B (zh) 计算核、加速器、计算方法、装置、设备、介质及系统
CN107894957B (zh) 面向卷积神经网络的存储器数据访问与插零方法及装置
CN111027688A (zh) 一种基于fpga的神经网络计算器生成方法及装置
CN114022366B (zh) 基于数据流架构的图像尺寸调整装置、调整方法及设备
US9715715B2 (en) Efficient cache preloading
CN114758209A (zh) 卷积结果获取方法、装置、计算机设备及存储介质
CN113592075B (zh) 卷积运算装置、方法和芯片
CN110163793B (zh) 卷积计算加速方法和装置
WO2022115783A1 (en) Systolic array cells with multiple accumulators
CN110348566B (zh) 一种生成神经网络训练用数字信号的方法和系统
CN113888390A (zh) 特征图处理方法、装置、电子设备和计算机可读介质
TWI798591B (zh) 卷積神經網路運算方法及裝置
TWI792665B (zh) 人工智慧(ai)演算法運算加速處理器與其方法、計算機系統與非暫態電腦可讀取媒體
JP7012168B2 (ja) 演算処理装置
WO2024114304A1 (zh) 一种运算资源处理方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant