CN114911832B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN114911832B
CN114911832B CN202210554412.4A CN202210554412A CN114911832B CN 114911832 B CN114911832 B CN 114911832B CN 202210554412 A CN202210554412 A CN 202210554412A CN 114911832 B CN114911832 B CN 114911832B
Authority
CN
China
Prior art keywords
result
correlation
dividing
rearrangement
autocorrelation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210554412.4A
Other languages
English (en)
Other versions
CN114911832A (zh
Inventor
蒿杰
宋亚芳
方桂钿
梁俊
舒琳
卢进
范秋香
覃柱胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Artificial Intelligence and Advanced Computing
Original Assignee
Xintiao Technology Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xintiao Technology Guangzhou Co ltd filed Critical Xintiao Technology Guangzhou Co ltd
Priority to CN202210554412.4A priority Critical patent/CN114911832B/zh
Priority to PCT/CN2022/098964 priority patent/WO2023221217A1/zh
Publication of CN114911832A publication Critical patent/CN114911832A/zh
Application granted granted Critical
Publication of CN114911832B publication Critical patent/CN114911832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Abstract

本申请实施例提供一种数据处理方法及装置，该数据处理方法包括：获取多路天线中多个频点的采集数据；根据预设次数和预设组数对采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；对上述三种划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；再对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；根据预设的频点顺序，循环读取缓存结果。可见，实施这种实施方式，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。

Description

一种数据处理方法及装置
技术领域
本申请涉及资源配置领域，具体而言，涉及一种数据处理方法及装置。
背景技术
目前，在大型射电阵列数字信号处理系统中，由天线采集、滤波到经相关处理后所得到的结果通常是一种实时、高速的数据流。其中，传输过程中每秒传输的数据大小往往会达到几个Gb甚至十几个Gb。在实践中发现，这样大量数据的缓存处理不仅影响着整个系统的采集处理性能，还意味着采集系统需要配备巨大的存储空间和硬件资源。因此，如何合理优化配置系统资源以进行大数据缓存成为了射电采集开发工作的重要问题之一。
发明内容
本申请实施例的目的在于提供一种数据处理方法及装置，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
本申请实施例第一方面提供了一种数据处理方法，所述方法包括：
获取多路天线中多个频点的采集数据；所述多路天线中每路天线都包括多个频点；
根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
对所述自相关划分重排结果、所述组内互相关划分重排结果和所述组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；
对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；
根据预设的频点顺序，循环读取缓存结果。
在上述实现过程中，该方法可以采集每路天线中的数据，然后根据预设次数和预设组数对采集数据进行数据划分重排，然后再对划分重排得到的多个划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；再后，对自相关结果、组内互相关结果和组间互相关结果进行拼接截位缓存，得到缓存结果；最后，再对其进行缓存读取，以便于后续操作。可见，实施这种实施方式，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
进一步地，所述根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果的步骤包括：
根据预设次数对所述采集数据进行数据划分，得到自相关划分结果和互相关划分结果；
根据预设组数对所述自相关划分结果和所述互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。
在上述实现过程中，该方法可以先按照预设次数对数据进行划分，然后再按照预设组数对数据进行划分重排。可见，实施这种实施方式，能够对采集数据先进行划分在进行划分重排，从而能够实现合理优化配置系统资源的效果。
进一步地，所述根据预设次数对所述采集数据进行数据划分，得到自相关划分结果和互相关划分结果的步骤包括：
根据预设次数对所述采集数据中相同天线相同频点的数据进行数据划分，得到自相关划分结果；
根据所述预设次数对所述采集数据中不同天线相同频点间的数据进行数据划分，得到互相关划分结果。
在上述实现过程中，该方法对所有频点中相同天线相同频点的采集数据进行数据划分，得到自相关划分结果；同时对不同天线相同频点的采集子数据进行数据划分，得到互相关划分结果。可见，实施这种实施方式，能够对R路天线N个频点对应的采集数据进行合理划分，从而得到自相关划分结果和互相关划分结果两类结果，从而有利于后续步骤对两类结果进行不同的数据分组处理或不同的优化处理。
进一步地，所述根据预设组数对所述自相关划分结果和所述互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果的步骤包括：
根据预设组数对所述自相关划分结果进行分组处理，得到自相关划分重排结果；
根据所述预设组数对所述互相关划分结果进行分组处理，得到组内互相关划分重排结果和组间互相关划分重排结果。
在上述实现过程中，该方法可以根据预设组数对自相关划分结果和互相关划分结果两者进行数据分组处理，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。可见，实施这种实施方式，能够获取到三类结果，从而使得该方法可以对该三类结果进行相关累加处理，并可以进一步使用FPGA内部的硬件存储资源双端口RAM对得到的相关累加处理结果进行数据缓存，进而使得其能够避免大量数据的并行处理，并解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
进一步地，所述对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位缓存处理，得到缓存结果的步骤包括：
对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；
通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果。
在上述实现过程中，该方法对自相关结果、组内互相关结果和组间互相关结果进行了拼接处理，然后根据位宽进行1倍、2倍、4倍、8倍、16倍和/或32倍读出数据位宽的截位处理，并对不同位宽的拼接截位结果进行分别缓存。可见，实施这种实施方式，能够根据FPGA硬件存储资源大小对多路输入相关结果数据进行相应的截位和按频点顺序拼接的处理，从而能够对其进行同步缓存，节省存储资源并解决数据处理速度慢的问题，进而使得FPGA硬件存储资源能够被充分利用。
本申请实施例第二方面提供了一种数据处理装置，所述数据处理装置包括：
获取单元，用于获取多路天线中多个频点的采集数据；所述多路天线中每路天线都包括多个频点；
划分重排单元，用于根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
相关累加单元，用于对所述自相关划分重排结果、所述组内互相关划分重排结果和所述组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；
缓存单元，用于对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；
读取单元，用于根据预设的频点顺序，循环读取缓存结果。
在上述实现过程中，数据处理装置可以通过获取单元来获取多路天线中多个频点的采集数据；通过划分重排单元来根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；通过相关累加单元对对所述自相关划分重排结果、所述组内互相关划分重排结果和所述组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；再通过缓存单元对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；最后，通过读取单元来根据预设的频点顺序，循环读取缓存结果。可见，实施这种实施方式，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
进一步地，所述数据划分重排单元包括：
划分子单元，用于根据预设次数对所述采集数据进行数据划分，得到自相关划分结果和互相关划分结果；
分组子单元，用于根据预设组数对所述自相关划分结果和所述互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。
在上述实现过程中，该数据划分重排单元可以通过划分子单元来根据预设次数对采集数据进行数据划分，得到自相关划分结果和互相关划分结果；通过划分重排子单元来根据预设组数对自相关划分结果和互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。可见，实施这种实施方式，能够对采集数据进行划分重排，从而能够实现合理优化配置系统资源的效果。
进一步地，所述缓存单元包括：
处理子单元，用于对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；
缓存子单元，用于通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果。
在上述实现过程中，缓存单元可以通过处理子单元对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；通过缓存子单元来通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果。可见，实施这种实施方式，能够根据FPGA硬件存储资源大小对多路输入相关结果数据进行相应的截位和按频点顺序拼接的处理，从而能够对其进行同步缓存，节省存储资源并解决数据处理速度慢的问题。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的数据处理方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的数据处理方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例1提供的一种数据处理方法的流程示意图；
图2为本申请实施例2提供的一种数据处理装置的结构示意图；
图3为本申请实施例3提供的一种数据处理装置的结构示意图；
图4为本申请实施例提供的一种数据处理方法的数据处理流程示意图。
具体实施方式
下面将结合本实施例中的附图，对本实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供的一种数据处理方法的流程示意图。如图1所示，其中，该数据处理方法包括：
S101、获取多路天线中多个频点的采集数据；多路天线中每路天线都包括多个频点。
本实施例中，该步骤具体可以为获取R路天线中每路天线中F个不同频点的采集数据。
作为一种可选的实施方式，步骤S101之后，该方法还可以包括：
根据预设次数和预设组数对采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。
作为一种进一步可选的实施方式，根据预设次数和预设组数对采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果的步骤包括：
根据预设次数对采集数据进行数据划分，得到自相关划分结果和互相关划分结果；
根据预设组数对自相关划分结果和互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。
作为一种进一步可选的实施方式，根据预设次数对采集数据进行数据划分，得到自相关划分结果和互相关划分结果的步骤包括步骤S102～S103。
作为一种进一步可选的实施方式，根据预设组数对自相关划分结果和互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果的步骤包括步骤S104～S105。
S102、根据预设次数对采集数据中相同天线相同频点的数据进行数据划分，得到自相关划分结果。
本实施例中，预设次数为F/N次，其中F为上述的F个频点，N为预设的单次处理频点数量。
本实施例中，该方法可以将F个不同频点数据分成F/N次顺序处理，以使该方法在后续的处理过程中分多次对N(N＝1，2，3…)个频点进行并行处理，从而减少原本所需并行处理的频点数量。在上述过程中，该方法可以每次都产生R*N个自相关划分结果。将W1确定为每个自相关划分结果的数据位宽。那么，该R*N个自相关划分结果的数据位宽便可以记为R*N*W1。基于此，F/N次的处理过程中将产生的总数据位宽为R*N*W1*F/N。其中，R*N*W1为自相关划分结果的数据位宽，F/N为数据深度，由此便可将结果的数据位宽减小F/N倍，深度增大F/N倍，并且选择越小的N，还可以实现更小位宽和更大深度的数据转换。
本实施例中，该步骤具体可以得到产生R*F个自相关划分结果，总数据位宽为R*F*W1。其中W1为每个自相关划分结果的数据位宽。
在本实施例中，该结果是一种大位宽小深度的数据。
S103、根据预设次数对采集数据中不同天线相同频点间的数据进行数据划分，得到互相关划分结果。
本实施例中，该方法可以将F个不同频点数据分成F/N次顺序处理，以使该方法在后续的处理过程中分多次对N(N＝1，2，3…)个频点进行并行处理，从而减少原本所需并行处理的频点数量。在上述过程中，该方法可以每次都将产生(R-1)*R/2*N个互相关划分结果。将W2确定为每个互相关划分结果的数据位宽。那么，该(R-1)*R/2*N个互相关划分结果的数据位宽便可以记为R*(R-1)/2*N*W2。基于此，F/N次的处理过程中将产生的总数据位宽为R*(R-1)/2*N*W2*F/N。其中，R*(R-1)/2*N*W2为互相关划分结果的数据位宽，F/N为数据深度，由此便可将结果的数据位宽减小F/N倍，深度增大F/N倍，并且选择越小的N，还可以实现更小位宽和更大深度的数据转换。
本实施例中，该步骤具体可以得到(R-1)*R/2*F个互相关划分结果，总数据位宽为R*(R-1)/2*F*W2。其中，W2为每个互相关划分结果的数据位宽。
在本实施例中，该结果是一种大位宽小深度的数据。
S104、根据预设组数对自相关划分结果进行分组处理，得到自相关划分重排结果。
本实施例中，由于大型射电阵列采集系统往往需要处理几十路甚至几百路的天线数据，这也导致了产生的相关结果数据位宽极大。基于此，本方法将R路天线拆分为G(G＝2，3…)组处理，其中，G为预设组数。
本实施例中，该方法分G组顺序对R/G路天线中N个频点进行分组处理，得到自相关划分重排结果，其位宽记为R/G*N*W1*(F/N)*G。
实施这种实施方式，能够将自相关划分重排结果的位宽缩小G倍，并将数据深度增大G倍。
S105、根据预设组数对互相关划分结果进行分组处理，得到组内互相关划分重排结果和组间互相关划分重排结果。
本实施例中，由于大型射电阵列采集系统往往需要处理几十路甚至几百路的天线数据，这也导致了产生的相关结果数据位宽极大。基于此，本方法将R路天线拆分为G(G＝2，3…)组处理，其中，G为预设组数。
本实施例中，该方法分G组顺序对R/G路天线中N个频点进行分组处理，得到组内互相关划分重排结果，其位宽记为R/G*(R/G-1)/2*N*W2*(F/N)*G；同时，还能够得到组间互相关划分重排结果，其位宽记为R/G*R/G*N*W2*(F/N)*(G*(G-1)/2)。
在本实施例中，这组内互相关划分重排结果的深度为(F/N)*(G*(G-1)/2)，这就使得组内互相关划分重排结果的深度增大(G*(G-1)/2)。这里因为存在(G-1)/2个组，所以组内互相关划分重排结果中每个结果的深度都增大G倍。
实施这种实施方式，能够将互相关划分重排结果位宽转变成两种更小位宽的形式，以便后续处理。其中，每种结果数据的深度都将增大G倍。
S106、对自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果。
在步骤S106之后，还包括以下步骤：对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位缓存处理，得到缓存结果。
作为一种可选的实施方式，对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位缓存处理，得到缓存结果的步骤包括步骤S107～S108。
S107、对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果。
本实施例中，上述三种相关计算结果的数据位宽均无法直接转换成发送端特定的发送位宽M，使用FPGA内部的硬件存储资源双端口RAM进行数据缓存，需要通过将其数据位宽补零拓展到K*M(K＝1，2，4，8，16，32)才实现，这不仅浪费FPGA的存储资源，更是需要大量消耗FPGA的布线和逻辑资源，使得FPGA的面积过于庞大，并且存在相关结果的数据位宽过大的情况，无法直接进行缓存和位宽转换。
本实施例中，FPGA的硬件存储资源BLOCK RAM要完成M位宽的输出位宽转换时，其输入位宽需要是K*M(K＝1，2，4，8，16，32)，当K取相应倍数时记为K1，K2，K4，K8，K16和K32。
本实施例中，该方法根据FPGA硬件存储资源大小对多路输入相关结果数据进行相应的截位和按频点顺序拼接的处理方法。由于上述设计进行N个频点的同步相关计算，可以优先判断上述各路相关结果的1个频点结果数据位宽是否大于K32*M。若大于则将结果数据截位得到位宽为K32*M，深度为F/N*G的DATA_K32，同时例化相应位宽和深度的双端口RAM进行结果数据的缓存，剩下的数据位宽将继续进行判断；若小于则和相同一路的下一个频点结果数据拼接，再判断拼接位宽是否大于K32*M，并相应进行截位操作。直到同步计算的N个频点结果数据都拼接完并且拼接位宽没有大于K32*M，接着判断截位后剩余的数据位宽是否大于K16*M，若大于则截位得到位宽为K16*M，深度为F/N*G的DATA_K16进行缓存。
在本实施例，根据上述方法可以根据不同结果的数据位宽情况，相应可以得到DATA_K32、DATA_K16、DATA_K8、DATA_K4、DATA_K2或者DATA_K1的多种组合情况，但数据深度都是F/N*G，便完成多路大位宽小深度数据拼接截位处理。即上述三种相关结果可以截位分成K32*M*F/N*G、K16*M*F/N*G、K8*M*F/N*G、K4*M*F/N*G、K2*M*F/N*G或K1*M*F/N*G多种位宽的拼接截位结果。
S108、通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果。
本实施例中，该方法可以对拼接截位结果进行实时同步缓存。系统将根据上述三种相关计算结果数据的拼接截位情况，相应例化RAM_K32、RAM_K16、RAM_K8、RAM_K4、RAM_K2或RAM_K1的不同位宽却相同深度的双端口RAM，并根据跟随数据流输入的有效信号同步将这些数据进行缓存，得到缓存结果。
本实施例中，实施上述步骤S206～步骤S207，能够对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位缓存处理，得到缓存结果。
S109、根据预设的频点顺序，循环读取缓存结果。
本实施例中，该方法可以通过一种将所有缓存RAM的数据以频点逐一读出的方式的读控制逻辑，对上述三种相关结果进行一致性操作，使得全部缓存RAM的输出位宽为M。同时，对同一种相关结果的可能例化的RAM_K32、RAM_K16、RAM_K8、RAM_K4、RAM_K2或RAM_K1的缓存RAM，设计将RAM_KX(X＝32，16，8，4，2，1)读出KX次M位宽数据，再继续读KX次下一个缓存RAM_KX的M位宽数据，读完所有缓存RAM_KX则完成同步计算缓存的N个频点相关结果，循环读完F/N*G次后则完成同一种相关计算的所有频点结果的读出，直到上述三种相关结果所有频点全部读出，这样便实现了数据位宽为M的大深度小位宽的实时数据流输出。
实施这种实施方式，能够通过该种新型的大数据缓存处理方法很好地完成了系统的存储资源的合理分配，避免大位宽数据的冗余处理，同时对缓存RAM读出逻辑的合理实现，极大简化大位宽小深度的数据处理过程和FPGA硬件实现。
请参阅图4，图4提供了一种数据处理方法的数据处理流程示意图。由图4可知，对应于本实施例中的描述，其第一步为分F/N次顺序对R天线N个频点的数据进行划分的步骤；第二步为对F/N个结果的每一个结果分G组顺序计算R/G天线N频点的数据进行划分重排的步骤；第三步为对G个结果的每一个结果按频点N的个数拼接截位缓存的步骤；第四步为按频点的顺序循环读出各个RAM_KX的数据的步骤。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
可见，实施本实施例所描述的数据处理方法，能够对每路天线中的数据采集，然后根据预设次数和预设组数对采集到的采集数据进行数据划分重排，然后再对划分重排得到的多个数据进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；再然后，对自相关结果、组内互相关结果和组间互相关结果进行拼接截位缓存，得到缓存结果；最后，再对其进行缓存读取，以便于后续操作。可见，实施这种实施方式，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
实施例2
请参看图2，图2为本申请实施例提供的一种数据处理装置的结构示意图。如图2所示，该数据处理装置包括：
获取单元210，用于获取多路天线中多个频点的采集数据；多路天线中每路天线都包括多个频点；
数据划分重排单元220，用于根据预设次数和预设组数对采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
相关累加单元230，用于对自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；
缓存单元240，用于对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；
读取单元250，用于根据预设的频点顺序，循环读取缓存结果。
本实施例中，对于数据处理装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的数据处理装置，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
实施例3
请一并参阅图3，图3是本申请实施例提供的一种数据处理装置的结构示意图。其中，图3所示的数据处理装置是由图3所示的数据处理装置进行优化得到的。如图3所示，数据划分重排单元220包括：
划分子单元221，用于根据预设次数对采集数据进行数据划分，得到自相关划分结果和互相关划分结果；
分组子单元222，用于根据预设组数对自相关划分结果和互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果。
作为一种可选的实施方式，划分子单元221包括：
自相关划分模块，用于自相关划分根据预设次数对采集数据中相同天线相同频点的数据进行数据划分，得到自相关划分结果；
互相关划分模块，用于根据预设次数对采集数据中不同天线相同频点间的数据进行数据划分，得到互相关划分结果。
作为一种可选的实施方式，划分重排子单元222包括：
自相关划分重排模块，用于根据预设组数对自相关划分结果进行分组处理，得到自相关划分重排结果；
互相关划分重排模块，用于根据预设组数对互相关划分结果进行分组处理，得到组内互相关划分重排结果和组间互相关划分重排结果。
作为一种可选的实施方式，缓存单元240包括：
处理子单元241，用于对自相关结果、组内互相关结果和组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；
缓存子单元242，用于通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果。
本实施例中，对于数据处理装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施本实施例所描述的数据处理装置，能够合理优化配置系统资源，从而解决大数据缓存过程中遇到的资源占用空间大和数据处理速度慢的问题。
本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实施例1或实施例2中任一项数据处理方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项数据处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (6)

1.一种数据处理方法，其特征在于，所述方法包括：
获取多路天线中多个频点的采集数据；所述多路天线中每路天线都包括多个频点；
根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
对所述自相关划分重排结果、所述组内互相关划分重排结果和所述组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；
对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；
根据预设的频点顺序，循环读取缓存结果；
其中，所述对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位缓存处理，得到缓存结果的步骤包括：
对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；
通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果；
其中，所述根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果的步骤包括：
根据预设次数对所述采集数据进行数据划分，得到自相关划分结果和互相关划分结果；
根据预设组数对所述自相关划分结果和所述互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
其中，所述根据预设组数对所述自相关划分结果和所述互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果的步骤包括：
根据预设组数对所述自相关划分结果进行分组处理，得到自相关划分重排结果；
根据所述预设组数对所述互相关划分结果进行分组处理，得到组内互相关划分重排结果和组间互相关划分重排结果。
2.根据权利要求1所述的数据处理方法，其特征在于，所述根据预设次数对所述采集数据进行数据划分，得到自相关划分结果和互相关划分结果的步骤包括：
根据预设次数对所述采集数据中相同天线相同频点的数据进行数据划分，得到自相关划分结果；
根据所述预设次数对所述采集数据中不同天线相同频点间的数据进行数据划分，得到互相关划分结果。
3.一种数据处理装置，其特征在于，所述数据处理装置包括：
获取单元，用于获取多路天线中多个频点的采集数据；所述多路天线中每路天线都包括多个频点；
划分重排单元，用于根据预设次数和预设组数对所述采集数据进行数据划分重排，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
相关累加单元，用于对所述自相关划分重排结果、所述组内互相关划分重排结果和所述组间互相关划分重排结果进行相关累加处理，得到自相关结果、组内互相关结果和组间互相关结果；
缓存单元，用于对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位缓存处理，得到缓存结果；
读取单元，用于根据预设的频点顺序，循环读取缓存结果；
其中，所述数据划分重排单元包括：
划分子单元，用于根据预设次数对所述采集数据进行数据划分，得到自相关划分结果和互相关划分结果；
分组子单元，用于根据预设组数对所述自相关划分结果和所述互相关划分结果进行数据分组，得到自相关划分重排结果、组内互相关划分重排结果和组间互相关划分重排结果；
分组子单元包括：
自相关划分重排模块，用于根据预设组数对自相关划分结果进行分组处理，得到自相关划分重排结果；
互相关划分重排模块，用于根据预设组数对互相关划分结果进行分组处理，得到组内互相关划分重排结果和组间互相关划分重排结果。
4.根据权利要求3所述的数据处理装置，其特征在于，所述缓存单元包括：
处理子单元，用于对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；
缓存子单元，用于通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果；
其中，所述缓存单元包括：
处理子单元，用于对所述自相关结果、所述组内互相关结果和所述组间互相关结果分别进行拼接截位处理，得到多种位宽的拼接截位结果；
缓存子单元，用于通过不同的存储器对每种位宽的拼接截位结果进行缓存，得到缓存结果。
5.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至2中任一项所述的数据处理方法。
6.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至2任一项所述的数据处理方法。
CN202210554412.4A 2022-05-19 2022-05-19 一种数据处理方法及装置 Active CN114911832B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210554412.4A CN114911832B (zh) 2022-05-19 2022-05-19 一种数据处理方法及装置
PCT/CN2022/098964 WO2023221217A1 (zh) 2022-05-19 2022-06-15 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210554412.4A CN114911832B (zh) 2022-05-19 2022-05-19 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN114911832A CN114911832A (zh) 2022-08-16
CN114911832B true CN114911832B (zh) 2023-06-23

Family

ID=82768039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210554412.4A Active CN114911832B (zh) 2022-05-19 2022-05-19 一种数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN114911832B (zh)
WO (1) WO2023221217A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291197A (zh) * 2011-05-19 2011-12-21 重庆大学 组间正交互补序列集的生成方法
US8533245B1 (en) * 2010-03-03 2013-09-10 Altera Corporation Multipliers with a reduced number of memory blocks
CN104809996A (zh) * 2015-04-30 2015-07-29 武汉精测电子技术股份有限公司 基于fpga实现mipi多种lane数的数据信号的方法和装置
CN104820207A (zh) * 2015-05-08 2015-08-05 中国科学院新疆天文台 基于fpga、gpu和cpu混合架构的实时相关器
CN106685887A (zh) * 2017-01-12 2017-05-17 重庆邮电大学 一种用于fpga的ufmc发射机的频域实现方法
CN110262773A (zh) * 2019-04-28 2019-09-20 阿里巴巴集团控股有限公司 一种计算机数据处理方法及装置
CN111506294A (zh) * 2020-04-13 2020-08-07 中国科学院自动化研究所 基于块浮点的fblms算法的fpga实现装置及方法
CN112487354A (zh) * 2020-11-30 2021-03-12 北京航空航天大学 一种基于比较器和fpga的多通道高速实时互相关运算装置
WO2021128820A1 (zh) * 2019-12-27 2021-07-01 北京市商汤科技开发有限公司 数据处理方法、装置、设备、存储介质和程序产品
CN113555737A (zh) * 2021-09-17 2021-10-26 长沙泰科阳微电子有限公司 一种sar图像检测方法及系统
CN113590853A (zh) * 2021-07-13 2021-11-02 深圳市洲明科技股份有限公司 一种灰阶自适应扩展方法、fpga系统、设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999371B1 (ko) * 2007-02-14 2010-12-09 삼성전자주식회사 광대역 무선 접속 통신 시스템에서 간섭 제거 장치 및 방법
CN101997566B (zh) * 2010-11-08 2014-07-09 北京理工大学 一种基于最大绝对值累积平均和栅格比较的自适应截位方法
CN103037032B (zh) * 2012-12-20 2016-06-29 北京四方继保自动化股份有限公司 一种使用fpga实现sv数据32位寻址访问的方法
WO2018119035A1 (en) * 2016-12-22 2018-06-28 Ip Reservoir, Llc Pipelines for hardware-accelerated machine learning
CN108828592B (zh) * 2018-04-25 2020-12-22 中国科学院电子学研究所 基于mimo矩形平面阵列的方位向成像方法
CN109542799B (zh) * 2018-11-05 2023-03-28 西安智多晶微电子有限公司 块存储器拼接方法、拼接模块、存储装置及现场可编程门阵列
CN111339484B (zh) * 2020-02-20 2022-07-01 中国科学院自动化研究所 基于fpga的大型射电干涉阵列相关器的实现方法及装置
CN111931669B (zh) * 2020-08-14 2022-03-29 山东大学 一种太阳射电观测系统的信号自适应截位方法及系统
CN113960682A (zh) * 2021-08-31 2022-01-21 西安电子科技大学 一种基于fpga的多通道数字相关器及其相关方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533245B1 (en) * 2010-03-03 2013-09-10 Altera Corporation Multipliers with a reduced number of memory blocks
CN102291197A (zh) * 2011-05-19 2011-12-21 重庆大学 组间正交互补序列集的生成方法
CN104809996A (zh) * 2015-04-30 2015-07-29 武汉精测电子技术股份有限公司 基于fpga实现mipi多种lane数的数据信号的方法和装置
CN104820207A (zh) * 2015-05-08 2015-08-05 中国科学院新疆天文台 基于fpga、gpu和cpu混合架构的实时相关器
CN106685887A (zh) * 2017-01-12 2017-05-17 重庆邮电大学 一种用于fpga的ufmc发射机的频域实现方法
CN110262773A (zh) * 2019-04-28 2019-09-20 阿里巴巴集团控股有限公司 一种计算机数据处理方法及装置
WO2021128820A1 (zh) * 2019-12-27 2021-07-01 北京市商汤科技开发有限公司 数据处理方法、装置、设备、存储介质和程序产品
CN111506294A (zh) * 2020-04-13 2020-08-07 中国科学院自动化研究所 基于块浮点的fblms算法的fpga实现装置及方法
CN112487354A (zh) * 2020-11-30 2021-03-12 北京航空航天大学 一种基于比较器和fpga的多通道高速实时互相关运算装置
CN113590853A (zh) * 2021-07-13 2021-11-02 深圳市洲明科技股份有限公司 一种灰阶自适应扩展方法、fpga系统、设备及介质
CN113555737A (zh) * 2021-09-17 2021-10-26 长沙泰科阳微电子有限公司 一种sar图像检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Implementation Method Using Cut-Off Bits for Restricted Boltzmann Machines;SANSEI HORI等;IEEE Access;第10卷;全文 *
基于PN 序列互相关同步低复杂度实现方法;付博炜等;计算机仿真;第38卷(第10期);全文 *
牛晨辉 ; 汪群雄 ; 郑小平 ; 田海俊 ; 吴锋泉 ; 李吉夏 ; 陈学雷 ; 蒿杰 ; .基于ROACH2-GPU集群相关器的研究――F-engine模块的设计与实现.天文研究与技术.2017,全文. *
胡安民 ; 鲁少轲 ; 邢玉鹏 ; 李瑞 ; 王宇 ; .基于FPGA的高速高阶FIR数字滤波器的设计.无线互联科技.2016,全文. *

Also Published As

Publication number Publication date
CN114911832A (zh) 2022-08-16
WO2023221217A1 (zh) 2023-11-23

Similar Documents

Publication Publication Date Title
CN110795428A (zh) 应用于工业物联网的时序数据存储方法和时序数据库
CN113807509B (zh) 神经网络加速装置、方法和通信设备
CN102694554A (zh) 数据压缩设备、其操作方法以及包括该设备的数据处理装置
US20110238677A1 (en) Dynamic Sort-Based Parallelism
CN108073687B (zh) 随机游走、基于集群的随机游走方法、装置以及设备
US12009948B2 (en) Data processing apparatus and method, base station, and storage medium
CN114911832B (zh) 一种数据处理方法及装置
CN105607888A (zh) 数据位宽转换方法及装置
CN104699815A (zh) 数据处理方法和系统
CN110442439B (zh) 任务进程处理方法、装置和计算机设备
CN115754413A (zh) 示波器及数据处理方法
CN114070901B (zh) 基于多数据对齐的数据发送和接收方法、装置和设备
CN106776015B (zh) 一种并行程序任务处理方法及其装置
CN112685619A (zh) 一种网页表格数据通用抓取方法
CN114528998A (zh) 用于量子测控系统的多板卡信号同步方法、设备及介质
JP2022553683A (ja) 物理ランダムアクセスチャネルのデータ統合方法、装置および記憶媒体
CN110225211B (zh) 多通道脉冲编码调制语音交换系统及方法
KR100577005B1 (ko) 고속 하다마드 변환 및 고속 푸리에 변환의 선택적 수행장치 및 방법
CN114154113B (zh) 一种数据处理方法、装置、设备及存储介质
CN113407324B (zh) 一种数据库运行数据的处理方法和装置
CN112711588A (zh) 多表连接的方法和装置
CN116049612B (zh) 一种基于zynq-fpga的fft复用方法、系统及装置
CN117950622A (zh) 在芯片中实现多路符号位的处理方法、装置及存储介质
CN108664525B (zh) 用于数据处理服务器的数据处理方法和装置
CN111208477B (zh) 一种多通道雷达信号的预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221102

Address after: 510700 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Applicant after: Xintiao Technology (Guangzhou) Co.,Ltd.

Address before: 510700 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Applicant before: Xintiao Technology (Guangzhou) Co.,Ltd.

Applicant before: Guangdong Institute of artificial intelligence and advanced computing

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240415

Address after: 510700 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Patentee after: Guangdong Institute of artificial intelligence and advanced computing

Country or region after: China

Address before: 510700 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Patentee before: Xintiao Technology (Guangzhou) Co.,Ltd.

Country or region before: China