CN108279978A - 大数据的计算方法及系统 - Google Patents
大数据的计算方法及系统 Download PDFInfo
- Publication number
- CN108279978A CN108279978A CN201810047565.3A CN201810047565A CN108279978A CN 108279978 A CN108279978 A CN 108279978A CN 201810047565 A CN201810047565 A CN 201810047565A CN 108279978 A CN108279978 A CN 108279978A
- Authority
- CN
- China
- Prior art keywords
- instruction
- calculation
- control terminal
- sub
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000205 computational method Methods 0.000 title abstract 2
- 238000003860 storage Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 75
- 238000004590 computer program Methods 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例公开了一种大数据的计算方法及系统，所述方法包括如下步骤：控制终端接收待计算的大数据的数据量以及计算指令；控制终端将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；控制终端获取计算终端的负载值以及传输跳数；控制终端依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端。本申请提供的技术方案具有用户体验度高的优点。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种大数据的计算方法及系统。
背景技术
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据(Bigdata)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于计算时会花费过多时间和金钱。大数据计算常和云计算联系到一起，因为实时的大型数据集计算需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。
现有云平台处理大数据的速度慢，无法满足用户的要求，影响用户体验度。
发明内容
本申请实施例提供一种大数据的计算方法及系统，通过对云平台的终端进行调配执行大数据的处理，提高大数据的处理速度，提高用户体验度。
第一方面，本申请实施例提供一种大数据的计算方法，所述方法包括如下步骤：
控制终端接收待计算的大数据的数据量以及计算指令；
控制终端将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；
控制终端获取计算终端的负载值以及传输跳数；
控制终端依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端；
计算终端提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端；
控制终端依据对该部分结果执行第一计算子指令得到该待计算的大数据的最终结果。
第二方面，提供一种大数据的计算系统，所述系统包括：控制终端和计算终端；其中，
控制终端，用于接收待计算的大数据的数据量以及计算指令；将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；获取计算终端的负载值以及传输跳数；依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端；
计算终端，用于提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端；
控制终端，还用于提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端。
第三方面，本申请实施例提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如第一方面所述的方法。
第四方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
采用本申请实施例，具有以下有益效果：
可以看出，本申请提供的技术方案将待计算的大数据进行拆分给多个计算处理终端并行的执行第二计算子指令得到部分处理结果，控制终端将该部分处理结果组合得到最终的结果，并且其处理器，控制终端不用下发待计算的大数据，仅仅拆分待计算的大数据的存储地址即可实现对大数据的拆分，这样云平台之间的数据的传输仅仅只需传输对应的存储地址，无需传输大数据，减少传输量，所以其具有计算时间短，提高用户体验度的优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种大数据的计算方法的流程示意图；
图2是本申请实施例提供的大数据的计算方法的示意图；
图3是本申请实施例提供的一种硬件构架示意图；
图4是本申请实施例提供的一种网络拓扑的结构示意图；
图5是本申请实施例提供的一种大数据的计算系统示意图；
图6是本申请实施例提供的另一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
移动终端，又称之为用户设备(User Equipment，UE)，是一种向用户提供语音和/或数据连通性的设备，例如，具有无限连接功能的手持式设备、车载设备等。常见的终端例如包括：手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internetdevice，MID)、可穿戴设备，例如智能手表、智能手环、计步器等。
可选的，所述控制终端，具体用于依据将该部分结果执行累加计算得到最终的计算结果。
可选的，所述控制终端，具体用于如该计算指令为矩阵乘矩阵运算，将该矩阵乘矩阵运算拆分成乘法运算和累加运算，其中累加运算为第一运算子指令，乘法运算为第二运算子指令。
可选的，所述控制终端，还用于识别该最终结果的数据类型，依据该数据类型确定是否转换该数据类型。
参阅图1，图1为一种大数据的计算方法，如图1所示，该大数据的计算方法包括如下步骤，该方法可以由终端执行，该终端具体可以为：手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，MID)、可穿戴设备中的一种或多种。
步骤S101、终端接收大数据以及计算指令；
步骤S102、终端提取大数据，对该大数据进行计算得到计算结果；
步骤S103、终端将计算结果返回给云平台对应的控制终端。
参阅图2，图2为一种大数据的计算方法，如图2所示，该方法由云平台内的任意一个终端执行，该方法在如图3所示的硬件构架和如图4所示的网络拓扑结构内实现，该方法如图2所示，包括如下步骤：
步骤S201、控制终端接收待计算的大数据的数据量以及计算指令；
步骤S202、控制终端将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；
步骤S203、控制终端获取计算终端的负载值以及传输跳数；
步骤S204、控制终端依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端。
步骤S205、计算终端提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端。
步骤S206、控制终端依据对该部分结果执行第一计算子指令得到该待计算的大数据的最终结果。
本申请提供的技术方案将待计算的大数据进行拆分给多个计算处理终端并行的执行第二计算子指令得到部分处理结果，控制终端将该部分处理结果组合得到最终的结果，并且其处理器，控制终端不用下发待计算的大数据，仅仅拆分待计算的大数据的存储地址即可实现对大数据的拆分，这样云平台之间的数据的传输仅仅只需传输对应的存储地址，无需传输大数据，减少传输量，所以其具有计算时间短，提高用户体验度的优点。
可选的，上述步骤S206的实现方法具体可以为：
控制终端依据将该部分结果执行累加计算得到最终的计算结果。
可选的，上述步骤S202的实现方法具体可以为：
如该计算指令为矩阵乘矩阵运算，将该矩阵乘矩阵运算拆分成乘法运算和累加运算，其中累加运算为第一运算子指令，乘法运算为第二运算子指令。
可选的，上述方法还可以包括：
识别该最终结果的数据类型，依据该数据类型确定是否转换该数据类型。
参阅图5，图5提供一种大数据的计算系统，所述系统包括：控制终端501和计算终端502；其中，
控制终端，用于接收待计算的大数据的数据量以及计算指令；将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；获取计算终端的负载值以及传输跳数；依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端；
计算终端，用于提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端；
控制终端，还用于提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端。
本申请提供的技术方案将待计算的大数据进行拆分给多个计算处理终端并行的处理得到部分处理结果，控制终端将该部分处理结果组合得到最终的结果，并且其处理器，控制终端不用下发待计算的大数据，仅仅拆分待计算的大数据的存储地址即可实现对大数据的拆分，这样云平台之间的数据的传输仅仅只需传输对应的存储地址，无需传输大数据，减少传输量，所以其具有计算时间短，提高用户体验度的优点。
图6示出的是与本申请实施例提供的终端的部分结构的框图。参考图6，服务器包括：射频(Radio Frequency，RF)电路910、存储器920、输入单元930、传感器950、音频电路960、无线保真(Wireless Fidelity，WiFi)模块970、应用处理器AP980以及电源990等部件。本领域技术人员可以理解，图6中示出的智能设备结构并不构成对智能设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对智能设备的各个构成部件进行具体的介绍：
输入单元930可用于接收输入的数字或字符信息，以及产生与智能设备的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控显示屏933、手写笔931以及其他输入设备932。输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理按键、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
AP980是智能设备的控制中心，利用各种接口和线路连接整个智能设备的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行智能设备的各种功能和处理数据，从而对智能设备进行整体监控。可选的，AP980可包括一个或多个处理单元；可选的，AP980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到AP980中。上述AP980可以集成人脸识别模组，当然在实际应用中，上述人脸识别模组也可以单独设置或集成在摄像头770内，如图6所示的人脸识别模组以集成在AP980内为例。
此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
RF电路910可用于信息的接收和发送。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
智能设备还可包括至少一种传感器950，比如光传感器、运动传感器、近距离传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节触控显示屏的亮度，接近传感器可在手机移动到耳边时，关闭触控显示屏和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；近距离传感器可以用于检测手机与用户之间距离。至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路960、扬声器961，传声器962可提供用户与智能设备之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号播放；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据播放AP980处理后，经RF电路910以发送给比如另一手机，或者将音频数据播放至存储器920以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块970，但是可以理解的是，其并不属于智能设备的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
智能设备还包括给各个部件供电的电源990(比如电池或电源模块)，可选的，电源可以通过电源管理系统与AP980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，所述计算机包括终端设备。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，所述计算机包括终端设备。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。
Claims (10)
1.一种大数据的计算方法，其特征在于，所述方法包括如下步骤：
控制终端接收待计算的大数据的数据量以及计算指令；
控制终端将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；
控制终端获取计算终端的负载值以及传输跳数；
控制终端依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端；
计算终端提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端；
控制终端依据对该部分结果执行第一计算子指令得到该待计算的大数据的最终结果。
2.根据权利要求1所述的方法，其特征在于，所述控制终端依据对该部分结果执行第一计算子指令得到该待计算的大数据的最终结果，包括：
控制终端依据将该部分结果执行累加计算得到最终的计算结果。
3.根据权利要求1所述的方法，其特征在于，所述控制终端将计算指令拆分成第一计算子指令和第二计算子指令，包括：
如该计算指令为矩阵乘矩阵运算，将该矩阵乘矩阵运算拆分成乘法运算和累加运算，其中累加运算为第一运算子指令，乘法运算为第二运算子指令。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
识别该最终结果的数据类型，依据该数据类型确定是否转换该数据类型。
5.一种大数据的计算系统，其特征在于，所述系统包括：控制终端和计算终端；其中，
控制终端，用于接收待计算的大数据的数据量以及计算指令；将计算指令拆分成第一计算子指令和第二计算子指令，将该待计算的大数据的存储地址拆分成多个部分存储地址；获取计算终端的负载值以及传输跳数；依据该传输跳数以及负载值将该多个部分存储地址以及第二计算子指令分发给计算终端；
计算终端，用于提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端；
控制终端，还用于提取该部分存储地址对应的部分数据，将该部分数据执行第二计算子指令得到部分结果，将该部分结果返回给控制终端。
6.根据权利要求5所述的系统，其特征在于，
所述控制终端，具体用于依据将该部分结果执行累加计算得到最终的计算结果。
7.根据权利要求5所述的系统，其特征在于，
所述控制终端，具体用于如该计算指令为矩阵乘矩阵运算，将该矩阵乘矩阵运算拆分成乘法运算和累加运算，其中累加运算为第一运算子指令，乘法运算为第二运算子指令。
8.根据权利要求5所述的系统，其特征在于，
所述控制终端，还用于识别该最终结果的数据类型，依据该数据类型确定是否转换该数据类型。
9.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810047565.3A CN108279978A (zh) | 2018-01-17 | 2018-01-17 | 大数据的计算方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810047565.3A CN108279978A (zh) | 2018-01-17 | 2018-01-17 | 大数据的计算方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108279978A true CN108279978A (zh) | 2018-07-13 |
Family
ID=62803967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810047565.3A Withdrawn CN108279978A (zh) | 2018-01-17 | 2018-01-17 | 大数据的计算方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108279978A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078291A (zh) * | 2018-10-19 | 2020-04-28 | 中科寒武纪科技股份有限公司 | 运算方法、系统及相关产品 |
| CN111382390A (zh) * | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 运算方法、装置及相关产品 |
| CN112905110A (zh) * | 2021-01-29 | 2021-06-04 | 展讯半导体(成都)有限公司 | 数据存储方法及装置、存储介质、用户设备、网络侧设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567416A (zh) * | 2010-12-28 | 2012-07-11 | 中国银联股份有限公司 | 一种负载均衡的分布式数据统计方法及系统 |
| CN106211499A (zh) * | 2015-12-07 | 2016-12-07 | 电子科技大学 | 一种面向大型场所的智能照明控制系统 |
| CN106686117A (zh) * | 2017-01-20 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种分布式计算集群的数据存储处理系统及方法 |
-
2018
- 2018-01-17 CN CN201810047565.3A patent/CN108279978A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567416A (zh) * | 2010-12-28 | 2012-07-11 | 中国银联股份有限公司 | 一种负载均衡的分布式数据统计方法及系统 |
| CN106211499A (zh) * | 2015-12-07 | 2016-12-07 | 电子科技大学 | 一种面向大型场所的智能照明控制系统 |
| CN106686117A (zh) * | 2017-01-20 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种分布式计算集群的数据存储处理系统及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078291A (zh) * | 2018-10-19 | 2020-04-28 | 中科寒武纪科技股份有限公司 | 运算方法、系统及相关产品 |
| CN111382390A (zh) * | 2018-12-28 | 2020-07-07 | 上海寒武纪信息科技有限公司 | 运算方法、装置及相关产品 |
| CN111382390B (zh) * | 2018-12-28 | 2022-08-12 | 上海寒武纪信息科技有限公司 | 运算方法、装置及相关产品 |
| CN112905110A (zh) * | 2021-01-29 | 2021-06-04 | 展讯半导体(成都)有限公司 | 数据存储方法及装置、存储介质、用户设备、网络侧设备 |
| CN112905110B (zh) * | 2021-01-29 | 2023-03-24 | 展讯半导体(成都)有限公司 | 数据存储方法及装置、存储介质、用户设备、网络侧设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110069715B (zh) | 一种信息推荐模型训练的方法、信息推荐的方法及装置 | |
| CN107797866B (zh) | 处理器资源的分配方法及移动终端和介质产品 | |
| CN110515626B (zh) | 深度学习计算框架的代码编译方法及相关产品 | |
| CN108156508B (zh) | 弹幕信息处理的方法、装置、移动终端、服务器及系统 | |
| CN108279978A (zh) | 大数据的计算方法及系统 | |
| CN106502833B (zh) | 数据备份方法及装置 | |
| CN113886336A (zh) | 流量检测方法、装置、设备及介质 | |
| CN115345464A (zh) | 业务订单的派单方法、装置、计算机设备及存储介质 | |
| CN107368998A (zh) | 日程管理方法及相关产品 | |
| WO2019072179A1 (zh) | 应用程序运行控制方法及装置 | |
| CN111359210B (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
| CN106095567B (zh) | 一种安装任务的分配方法及移动终端 | |
| WO2019140567A1 (zh) | 大数据的分析方法及系统 | |
| CN116596202A (zh) | 工单处理方法、相关装置及存储介质 | |
| CN110322039B (zh) | 一种点击率预估方法、服务器及计算机可读存储介质 | |
| CN111818509A (zh) | 一种资源的转换方法、装置及设备 | |
| CN115222264A (zh) | 基于客户等级的派单方法、装置、计算机设备及存储介质 | |
| CN108280161A (zh) | 大数据的分析方法及系统 | |
| WO2019140577A1 (zh) | 大数据的计算方法及系统 | |
| CN108282473B (zh) | 云存储命令管理方法及系统 | |
| CN110716885B (zh) | 数据管理方法、装置、电子设备和存储介质 | |
| CN116450808B (zh) | 一种数据的处理方法、装置以及存储介质 | |
| CN113821276A (zh) | 一种定制服务的管理方法以及相关装置 | |
| CN118096174A (zh) | 客户管理方法、装置、终端设备以及存储介质 | |
| CN115330206A (zh) | 基于业务规模的派单方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180713 |
|
| WW01 | Invention patent application withdrawn after publication |