CN107193536B - 一种多维化动态数据的分组处理方法及系统 - Google Patents

一种多维化动态数据的分组处理方法及系统 Download PDF

Info

Publication number
CN107193536B
CN107193536B CN201710351889.1A CN201710351889A CN107193536B CN 107193536 B CN107193536 B CN 107193536B CN 201710351889 A CN201710351889 A CN 201710351889A CN 107193536 B CN107193536 B CN 107193536B
Authority
CN
China
Prior art keywords
processing
data
bit
space
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710351889.1A
Other languages
English (en)
Other versions
CN107193536A (zh
Inventor
孙成通
董毅
付宪瑞
王玉奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Financial Information Technology Co Ltd
Original Assignee
Inspur Financial Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Financial Information Technology Co Ltd filed Critical Inspur Financial Information Technology Co Ltd
Priority to CN201710351889.1A priority Critical patent/CN107193536B/zh
Publication of CN107193536A publication Critical patent/CN107193536A/zh
Application granted granted Critical
Publication of CN107193536B publication Critical patent/CN107193536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30145Instruction analysis, e.g. decoding, instruction word fields
    • G06F9/30149Instruction analysis, e.g. decoding, instruction word fields of variable length instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3836Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution

Abstract

本发明揭示了一种多维化动态数据的分组处理方法及系统,包括步骤:先将需要处理的超大位数据载入数据空间中;而后根据硬件环境将超大位数据在数据空间中进行多维化动态分组为相互独立的空间处理区域;再在一个时钟周期内对各空间处理区域进行并行运算,并反馈需要跨区域操作的消息给多维化动态分组处理系统;接着在下一个时钟周期内,多维化动态分组处理系统基于跨区域操作的消息对所涉及的各空间处理区域继续进行并行运算,并再反馈需要跨区域操作的消息;重复直至再无跨区域操作信息被反馈,采用多维化本地解析出处理结果。应用本发明的分组处理方法,针对超大位数据的同步处理和运算,在不变更现有硬件资源的基础上全面提升了系统处理数据的能力。

Description

一种多维化动态数据的分组处理方法及系统
技术领域
本发明涉及一种计算机数据处理方法,特别涉及一种用于超大位数据的快速处理和数学运算的方法,广泛适用于金融统计、科学计算、智能化程序设计、机器学习、图像处理等各种高精度复杂性数据处理领域。
背景技术
传统的计算机处理芯片基于数据处理的复杂程度先后经历了从8位、16位、32位到64位的衍变,从而使得计算机的处理能力大幅增强。计算机芯片位数的提升直接导致的结果就是在同一个时钟周期内原本只能处理8位数据的处理芯片,现在可以处理64位数据,单纯从数据的处理量来看就已经提升了8倍。
然而随着信息化发展的逐渐普及和科技水平的大幅提升,传统意义上以64位数据长度来定义的数据量已经逐渐无法满足日常使用的需求。比如在数据加密领域,密钥的长度从128位提升到了256位,甚至出现了512位或1024位以上这样更高的要求,传统的处理芯片在处理这些数据时就难以发挥出最大效能。
这是因为单位长度的数据处理长度直接限制了一个时钟周期内芯片处理数据的能力,超过芯片单位长度的数据需要分为多个时钟周期来依次处理,这就造成了运算效率上的降低。
但是计算机芯片的单位处理长度也不是可以任意设定的,为了保证二进制数据在处理时的一致性,低于64位的数据需要在处理的时候通过补位的方式来兼容64位处理单元。比如32位长度的数据需要使用0数据位补充为64位后方才可以被正确处理,这也是现有64位处理器的主要兼容模式。而这种补位不但会造成计算机系统的冗余操作,同时也会对计算机各种类型的存储器造成压力。
而且,在处理多维化数据空间时,这种数据长度位数的限定会造成数据空间的碎片化,从而大幅增加冗余处理和同步化操作难度。比如,在一个64*64*64长度的数据空间内,如果要完成数据空间内部的所有空间节点的单次同步运算,在64位处理芯片上则至少需要经历64*64*64个时钟周期,而在64*64*64位的处理芯片上则只需要经历一个时钟周期。但是以传统方式进行芯片设计的话,64*64*64位处理器在处理低位数据运算时又会造成极大的资源浪费。
发明内容
鉴于上述现有技术的缺陷,本发明的目的旨在提出一种多维化动态数据的分组处理方法及系统,解决芯片位数限制无法满足超长位数据处理的问题。
本发明实现上述第一个目的的技术解决方案是,一种多维化动态数据的分组处理方法,其特征在于包括步骤:
将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;
在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;
重复运算处理直至再无跨区域操作信息被反馈后,对空间处理区域的运算结果多维化本地解析出处理结果。
进一步地,所述超大位数据中每一位数在所载入的数据空间中具有对应的立体坐标,多维化动态分组后所得的各空间处理区域分别对应一组立体坐标集合。
进一步地,在多维化动态分组后所得的各空间处理区域具有相互区分和引导运算方向的专属标识。
进一步地,所述硬件环境为8位处理芯片组成的计算系统,所述超长位数据为32位长度的数据且多维化动态分组为四组8位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且并行运算处理。
进一步地,所述硬件环境为16位处理芯片组成的计算系统,所述超长位数据为两个64位长度的数据且分别多维化动态分组为各自的四组16位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且并行运算处理。
更进一步地,所述运算处理为加法运算或减法运算,且加法运算中包含向别个空间处理区域进位的跨区域操作;减法运算中包含向别个空间处理区域借位的跨区域操作。
再进一步地,所述跨区域操作基于各个空间处理区域的专属标识具有指向性。
本发明实现上述第二个目的的技术解决方案是,一种多维化动态数据的分组处理系统,其特征在于包括:多维动态分组模块,用于将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;
运算处理模块,用于在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;
运算结果返回模块,用于在重复运算处理直至再无跨区域操作信息被反馈后,对各空间处理区域的中间运算结果多维化本地解析出处理结果。
进一步地,所述计算系统设有存储单元,所述分组处理系统固化于存储单元中并调用于处理芯片。
进一步地,所述计算系统接设有可移动存储单元,所述分组处理系统存入可移动存储单元中并通信调用于处理芯片。
应用本发明的分组处理方法,较之于现有技术具备突出的实质性特点和显著的进步性:该方法通过应用多维化动态分组的方法,针对超大位数据进行分组并同步处理和运算,突破了传统硬处理方法受制于硬件资源的瓶颈,全面提升了计算机系统处理数据的能力,有利于在各行业高精度复杂性的数据处理。
附图说明
图1为本发明处理方法中将一个32位数据分组为四组8位数据的空间分组示意图。
具体实施方式
以下便结合实施例附图,对本发明的具体实施方式作进一步的详述,以使本发明技术方案更易于理解、掌握,从而对本发明的保护范围做出更为清晰的界定。
为解决现有技术芯片位数与处理性能之间的矛盾,本发明设计并提出了一种多维化动态数据分组处理系统,专门针对超大位数据的同步处理和运算,在不变更现有硬件资源的基础上能全面提升系统处理超大位数据的能力。
从概括描述本发明来看,该多维化动态数据的分组处理方法主要包括如下步骤:将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;重复运算处理直至再无跨区域操作信息被反馈后,对空间处理区域的运算结果多维化本地解析出处理结果。
需要理解的是:在多维化数据空间之中,根据数据空间处理规则和种类的不同,超大位数据中每一位数在所载入的数据空间中被赋予对应的立体坐标,多维化动态分组后所得的各空间处理区域分别对应一组立体坐标集合。但是无论数据空间如何定义,一个空间区域内的数据处理都需要产生实时互动的结果,否则这种数据空间的处理方式就没有太大的意义。作为实时互动的基础,除立体坐标外在多维化动态分组后所得的各空间处理区域具有相互区分和引导运算方向的专属标识,各分组后的低位数据具有专属标识、立体坐标的混合特性。
为了要处理这种空间区域内的互动运算,其所要载入的处理数据位就会很大,处理过程自然很复杂,以8*8*8*1的空间区域(一个8*8*8的数据空间内,数据位为1)为例的数据,其单次需要处理的数据量就是64位*8次。如果使用传统的数据处理技术,即使是最简单的操作也需要64位处理器经过8个时钟周期才能处理完,而且在此过程中,后一个处理还需要等待上一个处理过程的运算结果,显然难以使用并行运算的方式予以加速。当然,上述运算处理可以是加法,也可以是减法或当前其它主流二进制算法,相对应地,该些运算处理中包含向别个空间处理区域进位的跨区域操作。该些跨区域操作基于各个空间处理区域的专属标识具有明确的指向性。
为改变这种现象,使得超大位数据的并行化运算成为可能,本方法通过多维化数据空间技术针对超大数据位运算设计了一种多维化动态数据动态分组处理机制,通过该机制可以将超大位数据的处理并行分割为相互独立的空间化区域处理,
如图1所示,是本发明一较佳实施例的空间分组示意图。其具体是将一个32位数据分组为四组8位数据。而之所以需要分组,是因为在一个8位处理芯片组成的计算机系统中,如果要使用传统方法处理32位长度的数据需要将该数据分成4个阶段依次进行处理,每次处理都要等待前一个处理的结果,效率较低。而利用数据空间系统,超大位数据的处理可以通过多维化动态分组的机制予以自动分割(自动分割的基础是硬件环境的芯片处理能力),其中每个数据空间之间都是相互独立的个体,互不影响,因此可以对这些数据做并行化处理。而每个区域并行化处理的结果又可以通过多维度数据空间协调机制进行同步。举例来说,假设要在8位芯片的环境中要对两个32位长度的数据执行加法运算则首先要将两个数据分别分拆为四组8位长的数据,然后从低位开始依次相加,高位数据相加的运算需要等待低位数据的相加结果。设四个区域分别为a0、b0、c0、d0和a1、b1、c1、d1,则需要执行如下几个分组操作:d0+d1(一次加法运算、一个时钟周期);c0+c1+进位数据(两次加法运算、两个时钟周期);b0+b1+进位数据(两次加法运算、两个时钟周期);a0+a1+进位数据(两次加法运算、两个时钟周期)。由此可见,该次两个32位长度的数据总共涉及7次加法运算,占用7个时钟周期。
而通过多维化动态分组处理系统就可以使用并行化的方式进行运算,其需要经过的过程则与传统的处理方法大相径庭,具体来看:d0+d1、c0+c1、b0+b1、a0+a1(四次加法运算、一个时钟周期);区域2+进位数据、区域3+进位数据、区域4+进位数据(三次加法运算、一个时钟周期);区域3+进位数据、区域4+进位数据(两次次加法运算、一个时钟周期);区域4+进位数据(一次加法运算、一个时钟周期)。由此可见,虽然从加法运算的总体数量上有所增加,但是有赖于并行运算的执行,只需要4个时钟周期,执行效率大幅提升。
从上述分组处理方法所赖以实现的硬件装置来看,一种多维化动态数据的分组处理系统,其包括:多维动态分组模块,用于将需要处理的超大位数据载入数据空间,根据硬件环境将超大位数据在数据空间中进行多维化动态分组,形成若干相互独立且匹配预设数据处理长度的空间处理区域,其中所述超大位数据指长度大于处理芯片在单位时钟周期内预设数据处理长度的数据,所述硬件环境指具有预设数据处理长度的处理芯片组成的计算系统;
运算处理模块,用于在一个时钟周期内对相应空间处理区域进行并行运算处理,得到各区域的中间运算结果,并反馈需要跨区域操作的消息;在后一个时钟周期内,计算系统基于跨区域操作的消息对所涉及的相应空间处理区域继续进行并行运算,并再次反馈需要跨区域操作的消息;
运算结果返回模块,用于在重复运算处理直至再无跨区域操作信息被反馈后,对各空间处理区域的中间运算结果多维化本地解析出处理结果。
作为硬件上的配置基础,上述计算系统设有存储单元或外接设有可移动存储单元,上述分组处理系统可以固化于存储单元中,也可以存入可移动存储单元,并均可调用于处理芯片。
除上述较佳实施例外,本发明数据处理方法广泛适用于各种硬件环境和各种超长为数据的高效率处理。例如当硬件环境为16位处理芯片组成的计算系统,超长位数据为两个64位长度的数据且分别多维化动态分组为各自的四组16位长的数据,可将对应分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理。又或者当硬件环境为64位处理芯片组成的计算系统,超长位数据为512位长度的数据且多维化动态分组为八组64位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理,均能大幅缩减所占用的时钟周期。
综上所述可见,本发明分组处理方法,通过应用多维化动态分组的方法,针对超大位数据进行分组并同步处理和运算,突破了传统硬处理方法受制于赢件资源的瓶颈,全面提升了计算机系统处理数据的能力,有利于在各行业高精度复杂性数据处理中发挥重要作用。
以上附图及其说明仅作为实施例提供,其实施方式具有多样性。故凡对以上实施例进行的简单修改或等效变换,能够实现本创作目的的设计方案,均应纳入本专利申请的保护范围之内。

Claims (7)

1.一种多维化动态数据的分组处理方法,其特征在于包括步骤:
S1、将需要处理的超大位数据载入数据空间中,所述超大位数据中每一位数在所载入的数据空间中具有对应的立体坐标,多维化动态分组后所得的各空间处理区域分别对应一组立体坐标集合;
S2、根据硬件环境将超大位数据在数据空间中进行多维化动态分组为相互独立的空间处理区域,各空间处理区域具有相互区分和引导运算方向的专属标识,各分组后的低位数据具有专属标识、立体坐标的混合特性;
S3、在一个时钟周期内对各空间处理区域进行并行运算,并反馈需要跨区域操作的消息给多维化动态分组处理系统;
S4、在下一个时钟周期内,多维化动态分组处理系统基于跨区域操作的消息对所涉及的各空间处理区域继续进行并行的运算处理,并再反馈需要跨区域操作的消息;
S5、重复步骤S4,直至再无跨区域操作信息被反馈,采用多维化本地解析出处理结果。
2.根据权利要求1所述多维化动态数据的分组处理方法,其特征在于:所述硬件环境为8位处理芯片组成的计算系统,所述超大位数据为32位长度的数据且多维化动态分组为四组8位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理。
3.根据权利要求1所述多维化动态数据的分组处理方法,其特征在于:所述硬件环境为16位处理芯片组成的计算系统,所述超大位数据为两个64位长度的数据且分别多维化动态分组为各自的四组16位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理。
4.根据权利要求1所述多维化动态数据的分组处理方法,其特征在于:所述硬件环境为64位处理芯片组成的计算系统,所述超大位数据为512位长度的数据且分别多维化动态分组为八组64位长的数据,各分组数据所对应的空间处理区域在硬件环境中独立且同步进行运算处理。
5.根据权利要求1、2、3或4所述多维化动态数据的分组处理方法,其特征在于:所述运算处理为加法,且运算处理中包含向其它空间处理区域进位的跨区域操作。
6.根据权利要求1、2、3或4所述多维化动态数据的分组处理方法,其特征在于:所述运算处理为减法,且运算处理中包含向其它空间处理区域借位的跨区域操作。
7.根据权利要求1所述多维化动态数据的分组处理方法,其特征在于:所述跨区域操作基于各个空间处理区域的专属标识具有明确的指向性。
CN201710351889.1A 2017-05-18 2017-05-18 一种多维化动态数据的分组处理方法及系统 Active CN107193536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710351889.1A CN107193536B (zh) 2017-05-18 2017-05-18 一种多维化动态数据的分组处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710351889.1A CN107193536B (zh) 2017-05-18 2017-05-18 一种多维化动态数据的分组处理方法及系统

Publications (2)

Publication Number Publication Date
CN107193536A CN107193536A (zh) 2017-09-22
CN107193536B true CN107193536B (zh) 2020-09-01

Family

ID=59875244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710351889.1A Active CN107193536B (zh) 2017-05-18 2017-05-18 一种多维化动态数据的分组处理方法及系统

Country Status (1)

Country Link
CN (1) CN107193536B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766491A (zh) * 2017-10-18 2018-03-06 浪潮金融信息技术有限公司 文件存储方法及装置、计算机可读存储介质、终端
CN107678979A (zh) * 2017-10-19 2018-02-09 浪潮金融信息技术有限公司 数据存储方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050002584A1 (en) * 2003-07-03 2005-01-06 Shen-En Qian Method and system for compressing a continuous data flow in real-time using cluster successive approximation multi-stage vector quantization (SAMVQ)
CN1811698A (zh) * 2006-03-01 2006-08-02 成都卫士通信息产业股份有限公司 大数模幂系统的硬件高基实现方法
CN103678520A (zh) * 2013-11-29 2014-03-26 中国科学院计算技术研究所 一种基于云计算的多维区间查询方法及其系统
CN104991813A (zh) * 2015-06-04 2015-10-21 浪潮软件集团有限公司 一种数据处理的方法和装置
CN106657384A (zh) * 2017-01-12 2017-05-10 浪潮(苏州)金融技术服务有限公司 使用多维化技术大幅降低通信数据传输量的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050002584A1 (en) * 2003-07-03 2005-01-06 Shen-En Qian Method and system for compressing a continuous data flow in real-time using cluster successive approximation multi-stage vector quantization (SAMVQ)
CN1811698A (zh) * 2006-03-01 2006-08-02 成都卫士通信息产业股份有限公司 大数模幂系统的硬件高基实现方法
CN103678520A (zh) * 2013-11-29 2014-03-26 中国科学院计算技术研究所 一种基于云计算的多维区间查询方法及其系统
CN104991813A (zh) * 2015-06-04 2015-10-21 浪潮软件集团有限公司 一种数据处理的方法和装置
CN106657384A (zh) * 2017-01-12 2017-05-10 浪潮(苏州)金融技术服务有限公司 使用多维化技术大幅降低通信数据传输量的方法

Also Published As

Publication number Publication date
CN107193536A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
EP0942377A1 (en) Method for performing all-to-all communication in parallel computers
CN107273331A (zh) 一种基于cpu+gpu+fpga架构的异构计算系统和方法
US9164690B2 (en) System, method, and computer program product for copying data between memory locations
US9378533B2 (en) Central processing unit, GPU simulation method thereof, and computing system including the same
JP2003076668A (ja) アレイ型プロセッサ、データ処理システム
CN107193536B (zh) 一种多维化动态数据的分组处理方法及系统
WO2021036729A1 (zh) 一种矩阵运算方法、运算装置以及处理器
US6535901B1 (en) Method and apparatus for generating a fast multiply accumulator
US11874898B2 (en) Streaming-based artificial intelligence convolution processing method and apparatus, readable storage medium and terminal
CN116431562B (zh) 一种基于加速处理器的多头注意力机制融合计算分配方法
US20220188380A1 (en) Data processing method and apparatus applied to graphics processing unit, and electronic device
CN113448624B (zh) 数据存取方法及装置、系统、ai加速器
US7953938B2 (en) Processor enabling input/output of data during execution of operation
CN114692079A (zh) 一种gpu批量矩阵乘法加速器及其处理方法
US20220100813A1 (en) Dynamically adaptable arrays for vector and matrix operations
CN113704174A (zh) 一种芯片和数据处理方法
US11436022B2 (en) Semiconductor memory device for hash solution and method of driving the same
Honda et al. A warp-synchronous implementation for multiple-length multiplication on the GPU
CN112463218A (zh) 指令发射控制方法及电路、数据处理方法及电路
CN116109468B (zh) 图形处理单元及指令编译方法、存储介质、终端设备
US11775312B2 (en) Look-up table containing processor-in-memory cluster for data-intensive applications
US20230259581A1 (en) Method and apparatus for floating-point data type matrix multiplication based on outer product
JP2006515446A (ja) 関連アプリケーションを相互参照するカルテシアンコントローラを有するデータ処理システム
Huan et al. A new method of Sparse Matrix-Vector Multiplication on GPU
CN110716709B (zh) 支持进位借位正常传递的多精度大整数算术运算加速单元

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant