CN116028226A - 一种基于量子计算设备dpdk组件图像数据排序方法、存储装置和智能终端 - Google Patents
一种基于量子计算设备dpdk组件图像数据排序方法、存储装置和智能终端 Download PDFInfo
- Publication number
- CN116028226A CN116028226A CN202310044008.7A CN202310044008A CN116028226A CN 116028226 A CN116028226 A CN 116028226A CN 202310044008 A CN202310044008 A CN 202310044008A CN 116028226 A CN116028226 A CN 116028226A
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- address
- dpdk
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开了一种基于量子计算设备DPDK组件图像数据排序方法，该排序方法的步骤如下：网卡接收原始图像数据，每幅原始图像数据被分为M个图像数据包随机缓存在所述N个物理核中；读取N个物理核中的数据包序号i及地址；创建数据列表，数据列表的第一列为顺序排列的序号j，第二列用于放置数据包地址的地址存储位置；找到与将数据包的序号i相等的的数据列表的序号j，将数据包序号i对应的数据包地址放置在该序号j对应的地址存储位置上；按照数据列表的序号顺序读取地址存储位置的地址，根据地址指向物理核，得到原始的图像数据。本发明减少数据拷贝操作，提高排序的性能；减少预先申请海量的内存空间，减少对系统内存配置的要求。
Description
技术领域
本发明涉及量子计算算法与量子网络领域，具体涉及一种基于量子计算设备DPDK组件图像数据排序方法、存储装置和智能终端。
背景技术
1981年，美国阿拉贡国家实验室的Paul Benioff最早提出了量子计算的基本理论，量子计算机是一种基于量子效应与高并行计算潜力的物理理论而工作的计算机。追根溯源，是对可逆机的不断探索促进了量子计算机的发展。量子计算机装置遵循量子计算的基本理论，其处理和计算实质是量子信息处理，运行的是量子算法。
传统内核的网络数据传输主要弊端有中断处理、内存拷贝、上下文切换、局部性失效和内存管理；在传统内核进行多任务操作，多任务间需要经过内核调度系统周期获取CPU的资源而执行，所以宏观上任务仍然是串行工作，这样反而会增加系统调度的开销。
因此需要对现有的海量图像数据排序方法进行改进以减少数据拷贝操作，提高排序的性能；减少预先申请海量的内存空间，减少对系统内存配置的要求。
发明内容
为了解决上述技术问题，提出了一种基于量子计算设备DPDK组件图像数据排序方法、存储装置和智能终端，该发明是一种数据拷贝操作，可提高排序的性能；减少预先申请海量的内存空间，减少对系统内存配置的要求的量子计算DPDK组件图像数据排序方法、存储装置和智能终端。
为实现上述目的，本发明采取的技术方案如下：一种基于量子计算设备DPDK组件图像数据排序方法，该方法应用在量子计算机上，所述量子计算机配置有DPDK组件、支持DPDK的网卡和多个物理核，该排序方法的步骤如下：
步骤S1：所述网卡接收原始图像数据，每幅原始图像数据被分为M个图像数据包随机缓存在所述N个物理核中；
所述图像数据包括数据包序号i、地址和图像数据内容；
步骤S2:读取N个物理核中的数据包序号i及地址；
步骤S3：创建数据列表，数据列表的第一列为顺序排列的序号j，第二列用于放置数据包地址的地址存储位置；
步骤S4:找到与将数据包的序号i相等的的数据列表的序号j，将数据包序号i对应的数据包地址放置在该序号j对应的地址存储位置上；
步骤S5：读取原始图像数据时先读取数据列表的数据，按照数据列表的序号顺序读取地址存储位置的地址，根据地址指向物理核，在物理核中读取对应的图像数据内容，得到原始的图像数据。
优选地，步骤S2时还包括判断步骤，判断图像数据是否为空：
如果否，则跳转到步骤S3；
如果是，则返回步骤S1。
优选地，所述地址包括基地址b和偏移地址o；
当i＝1时，对应的数据包1的地址为基地址b；
当i＝K时，对应的数据包K的地址为偏移地址o，1<K≤M。
优选地，所述偏移地址o与基地址的关系如下：
o＝b+L，L为数据包K与数据包1之间的数据长度。
一种存储装置，该存储装置中存储有多条指令，所述指令适用于由处理器加载并执行如上述的一种基于量子计算设备DPDK组件图像数据排序方法步骤操作。
一种智能终端，包括用于执行各指令的处理器和用于存储多条指令的存储装置，所述指令适用于由所述处理器加载并执行如上述的一种基于量子计算设备DPDK组件图像数据排序方法步骤操作。
本发明有益的技术效果：通过DPDK组件设置多个物理核接收缓存数据，采用数据列表的排序方式，减少数据拷贝操作，提高排序的性能；减少预先申请海量的内存空间，减少对系统内存配置的要求。
附图说明
图1为本发明的整体结构框图；
图2为本发明方法的步骤流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。
如图1-2所示，一种基于量子计算设备DPDK组件图像数据排序方法，该方法应用在量子计算机上，所述量子计算机配置有DPDK组件、支持DPDK的网卡和多个物理核。具体地，DPDK是一个linux基金会的开源项目，开发DPDK的主要目的是在数据平面应用中为快速的数据包处理提供一个简单而完善的架构。DPDK具有快速数据包处理函数库和驱动集合，可以极大提高数据处理的性能和吞吐量，同时DPDK使用了轮询来处理数据包，在收到网络数据包时，经过DPDK重载的网卡驱动不会通过中断通知CPU，而是直接将数据包存入内存，交付应用层软件通过DPDK提供的接口来直接处理，这样节省了大量的CPU中断时间和内存拷贝时间。
具体地本实施例的排序方法的步骤如下：
步骤S1：所述网卡接收原始图像数据，每幅原始图像数据被分为M个图像数据包随机缓存在所述N个物理核中；
每个图像数据包括设置有数据包序号i、地址和图像数据内容；
步骤S2:读取N个物理核中的数据包序号i及地址；
步骤S3：创建数据列表，数据列表的第一列为顺序排列的序号j，例如1,2,3,4……第二列用于放置数据包地址的地址存储位置；
其中，i和j的取值都取正整数。
步骤S4:找到与将数据包的序号i相等的的数据列表的序号j，将数据包序号i对应的数据包地址放置在该序号j对应的地址存储位置，例如：序号为1的数据包对应数据列表的序号1；序号为N的数据包对应数据列表的序号N。这样就能将所有的数据包的地址都按照数据包的序号顺序的保存在数据列表中，对数据包进行了有序的排序。
通过列表将数据包的地址进行顺序排序，确定好排序位置后，大大提高了效率，同事也不需要大量的内存空间。
步骤S5：读取原始图像数据时先读取数据列表的数据，按照数据列表的序号顺序读取地址存储位置的地址，根据地址指向物理核，在物理核中读取对应的图像数据内容，得到原始的图像数据。
在数据列表中只存储所述数据包的地址，并不存储数据包的数据内容，当需要读取原始数据时，需要从物理核中按照数据包序号i顺序读取数据才能还原原始数据。
具体地，所述地址包括基地址b和偏移地址o；
当i＝1时，对应的数据包1的地址为基地址b；
当i＝K时，对应的数据包K的地址为偏移地址o，1<K≤M。
其中，所述偏移地址o与基地址的关系如下：
o＝b+L，L为数据包K与数据包1之间的数据长度。
因此，可知，知道基地址以及数据包长度，其他所有的数据包地址都是可以获取的。
具体地，在对数据排序之前，需要判断数据包是否为空，
如果否，则跳转到步骤S2进行排序操作；
如果是，则返回到步骤S1重新开始。
一种存储装置，该存储装置中存储有多条指令，所述指令适用于由处理器加载并执行如上述的一种基于量子计算设备DPDK组件图像数据排序方法步骤操作。
一种智能终端，包括用于执行各指令的处理器和用于存储多条指令的存储装置，所述指令适用于由所述处理器加载并执行如上述的一种基于量子计算设备DPDK组件图像数据排序方法步骤操作。
本发明通过DPDK组件设置多个物理核接收缓存数据，采用数据列表的排序方式，减少数据拷贝操作，提高排序的性能；减少预先申请海量的内存空间，减少对系统内存配置的要求。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。
Claims (6)
1.一种基于量子计算设备DPDK组件图像数据排序方法，其特征在于，该方法应用在量子计算机上，所述量子计算机配置有DPDK组件和支持DPDK的网卡，所述网卡中设置有N个物理核，该排序方法的步骤如下：
步骤S1：所述网卡接收原始图像数据，每幅原始图像数据被分为M个图像数据包随机缓存在所述N个物理核中；
所述图像数据包括数据包序号i、地址和图像数据内容；
步骤S2:读取N个物理核中的数据包序号i及地址；
步骤S3：创建数据列表，数据列表的第一列为顺序排列的序号j，第二列用于放置数据包地址的地址存储位置；
步骤S4:找到与将数据包的序号i相等的的数据列表的序号j，将数据包序号i对应的数据包地址放置在该序号j对应的地址存储位置上；
步骤S5：读取原始图像数据时先读取数据列表的数据，按照数据列表的序号顺序读取地址存储位置的地址，根据地址指向物理核，在物理核中读取对应的图像数据内容，得到原始的图像数据。
2.如权利要求1所述的一种基于量子计算设备DPDK组件图像数据排序方法，其特征在于，步骤S2时还包括判断步骤，判断数据包是否为空：
如果否，则跳转到步骤S3；
如果是，则返回步骤S1。
3.如权利要求1所述的一种基于量子计算设备DPDK组件图像数据排序方法，其特征在于，所述地址包括基地址b和偏移地址o；
当i＝1时，对应的数据包1的地址为基地址b；
当i＝K时，对应的数据包K的地址为偏移地址o，1<K≤M。
4.如权利要求3所述的一种基于量子计算设备DPDK组件图像数据排序方法，其特征在于，所述偏移地址o与基地址的关系如下：
o＝b+L，L为数据包K与数据包1之间的数据长度。
5.一种存储装置，该存储装置中存储有多条指令，其特征在于，所述指令适用于由处理器加载并执行如权利要求1-4任一所述的一种基于量子计算设备DPDK组件图像数据排序方法步骤操作。
6.一种智能终端，包括用于执行各指令的处理器和用于存储多条指令的存储装置，其特征在于，所述指令适用于由所述处理器加载并执行如权利要求1-4任一所述的一种基于量子计算设备DPDK组件图像数据排序方法步骤操作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2023100223884 | 2023-01-07 | ||
| CN202310022388 | 2023-01-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116028226A true CN116028226A (zh) | 2023-04-28 |
Family
ID=86073709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310044008.7A Pending CN116028226A (zh) | 2023-01-07 | 2023-01-29 | 一种基于量子计算设备dpdk组件图像数据排序方法、存储装置和智能终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116028226A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117097822A (zh) * | 2023-10-19 | 2023-11-21 | 北京浩瀚深度信息技术股份有限公司 | 一种流式重组网络数据包的方法、系统及存储介质 |
-
2023
- 2023-01-29 CN CN202310044008.7A patent/CN116028226A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117097822A (zh) * | 2023-10-19 | 2023-11-21 | 北京浩瀚深度信息技术股份有限公司 | 一种流式重组网络数据包的方法、系统及存储介质 |
| CN117097822B (zh) * | 2023-10-19 | 2024-01-19 | 北京浩瀚深度信息技术股份有限公司 | 一种流式重组网络数据包的方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109358956B (zh) | 服务调用方法 | |
| CN113918101B (zh) | 一种写数据高速缓存的方法、系统、设备和存储介质 | |
| CN111190854B (zh) | 通信数据处理方法、装置、设备、系统和存储介质 | |
| CN113419824A (zh) | 数据处理方法、装置、系统及计算机存储介质 | |
| CN109857545B (zh) | 一种数据传输方法及装置 | |
| CN112667405B (zh) | 信息处理方法、装置、设备及存储介质 | |
| CN116028226A (zh) | 一种基于量子计算设备dpdk组件图像数据排序方法、存储装置和智能终端 | |
| US7243354B1 (en) | System and method for efficiently processing information in a multithread environment | |
| CN113918356B (zh) | 基于cuda数据快速同步方法、装置、计算机设备及存储介质 | |
| CN107451070B (zh) | 一种数据的处理方法和服务器 | |
| CN114218135A (zh) | 一种基于Redis缓存的源端流控方法及系统 | |
| CN110955461B (zh) | 计算任务的处理方法、装置、系统、服务器和存储介质 | |
| US9405470B2 (en) | Data processing system and data processing method | |
| CN1719416A (zh) | 嵌入式并行计算系统以及嵌入式并行计算方法 | |
| CN114595080A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111200608B (zh) | 链路信息处理方法和装置 | |
| CN114780463A (zh) | 中断控制方法、设备、分布式系统及存储介质 | |
| CN113342270A (zh) | 卷卸载方法、装置和电子设备 | |
| CN113094349A (zh) | 一种基于虚拟机的双系统日志上报方法及系统 | |
| CN111209042B (zh) | 一种建立函数栈的方法、装置、介质和电子设备 | |
| CN111831655B (zh) | 一种数据处理的方法、装置、介质和电子设备 | |
| CN112671918B (zh) | 基于二进制的分布式数据下载方法、装置、设备及介质 | |
| US11550572B2 (en) | Splitting vector instructions into microinstructions for parallel execution based on index comparisons of completed microinstructions | |
| CN116361037B (zh) | 一种分布式通信系统及方法 | |
| US20240078260A1 (en) | Systems and methods for general-purpose out-of-core random walk graph computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |