CN109857565A - 数据处理方法、装置、计算机设备及存储介质 - Google Patents
数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109857565A CN109857565A CN201910048901.0A CN201910048901A CN109857565A CN 109857565 A CN109857565 A CN 109857565A CN 201910048901 A CN201910048901 A CN 201910048901A CN 109857565 A CN109857565 A CN 109857565A
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- node
- data processing
- obtains
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据处理方法、装置、计算机设备及存储介质，所述方法包括：获取输入数据流；对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流；将n份基础数据流分发到神经网络集合中的n个节点神经网络中；采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；通过监听模式，对所述死锁队列进行监听，得到n个监听数据；对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。上述方法通过利用节点神经网络提高了服务治理中的数据处理效率。
Description
技术领域
本发明涉及云计算领域，尤其涉及一种数据处理方法、装置、计算机设备及存储介质。
背景技术
服务治理是指基于数据分析对服务进行治理使其可控。软件开发行业存在多种服务治理架构和服务，但是对于多神经网络工程的神经网络的服务治理还未出现。并且在传统神经网络框架里，仅对单一神经网络结果做保证，对于多个神经网络的数据流输入，传输和结果汇总无法实现。
传统的服务治理中数据处理通过循环调用的模式轮询获得神经网络处理结果，使得服务治理资源消耗大，且数据处理不稳定，降低了服务治理中的数据处理效率。
发明内容
本发明实施例提供一种数据处理方法、装置、计算机设备及存储介质，以解决服务治理效率不高的问题。
一种数据处理方法，包括：
获取输入数据流；
对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；
采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；
以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；
通过监听模式，对所述死锁队列进行监听，得到n个监听数据；
对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。
一种数据处理装置，包括：
输入数据流获取模块，用于获取输入数据流；
基础数据流获取模块，用于对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
分发模块，用于将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；
初始处理结果获取模块，用于采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；
初始结果发送模块，用于以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；
监听数据获取模块，用于通过监听模式，对所述死锁队列进行监听，得到n个监听数据；
目标处理结果获取模块，用于对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法。
上述数据处理方法、装置、计算机设备及存储介质中，首先，获取输入数据流；其次，对输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，有利于后续输入数据流存储的优化与后续数据处理效率的提高；然后，将n份基础数据流分发到神经网络集合中的n个节点神经网络中，以便通过每个节点神经网络对基础数据流实现同时处理，从而减少服务治理系统的服务资源被占用的负担以及处理时间，有利于后续对数据进行快速处理，提高服务治理效率；接着，采用对应的节点神经网络对接收到的每一基础数据流进行数据处理，得到每个节点神经网络的初始处理结果；以神经网络回传块方式将每个节点神经网络的初始处理结果发送至与节点神经网络对应的死锁队列中；接下来，通过监听模式，对死锁队列进行监听，得到n个监听数据，达到了节约资源，提高服务治理的稳定性的效果；最后，对n个监听数据通过加权求和的方式进行计算，得到目标处理结果，使得目标处理结果更加准确，从而提高了服务治理中的数据处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据处理方法的应用环境示意图；
图2是本发明实施例提供的数据处理方法一示例图；
图3是本发明实施例提供的数据处理方法的另一示例图；
图4是本发明实施例提供的数据处理方法的另一示例图；
图5是本发明实施例提供的数据处理方法的另一示例图；
图6是本发明实施例提供的数据处理装置的一原理框图；
图7是本发明实施例提供的数据处理装置的另一原理框图；
图8是本发明实施例提供的数据处理装置的另一原理框图；
图9是本发明实施例提供的计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的数据处理方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务端进行通信，服务端接收客户端发送的输入数据流；然后对输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流；将n份基础数据流分发到神经网络集合中的n个节点神经网络中；接着，采用对应的节点神经网络对接收到的每一基础数据流进行数据处理，得到每个节点神经网络的初始处理结果；以神经网络回传块方式将每个节点神经网络的初始处理结果发送至与节点神经网络对应的死锁队列中；进而通过监听模式，对死锁队列进行监听，得到n个监听数据；最后，对n个监听数据通过加权求和的方式进行计算，得到目标处理结果。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：
S10：获取输入数据流。
其中，输入数据流是指服务治理系统中需要处理的信息流，比如图片信息流、文字信息流或者语音信息流等。其中的服务治理系统是用于企业系统中存在的众多的子服务和子模块互相调用，以及对这些服务的调用关系以及整个调用过程进行治理的服务系统。具体地，获取输入数据流的动作可以由特定的指令或请求来触发。可选地，客户端发起一个输入数据流获取请求，并将该输入数据流获取请求发送至服务端，服务端在获取到该输入数据流获取请求之后，根据该输入数据流获取请求触发一个输入数据流获取指令，从而获取到对应的输入数据流。
可选地，获取输入数据流是一个定时触发的动作，通过预先设定一个周期，服务端在每个周期内的一个对应时间点触发输入数据流的获取指令，从而获取输入数据流。具体地，通过设定一个获取周期和具体的获取时间，服务端就可以根据获取周期和获取时间来定时获取输入数据流。例如：设定获取周期为24小时，获取时间为上午8：00，则服务端会在每天上午的8：00获取输入数据流。
S20：对输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数。
其中，数据分片是指对数据进行拆分的处理。数据分片方式可以是通过按照维度来分片，也可以是采用取模算法来进行分片，还可以是根据数据库提供的分区表的功能来进行分片。具体数据分片方式可以根据实际应用的需要进行设置，此处不做具体限制。预设的分片数目n是指数据进行数据分片后得到实际数据的数量，该预设的分片数目n的大小可根据需要进行服务治理的系统自身要满足的治理效率进行设定，此处不限限制。
其中，基础数据流是指输入数据流中的部分数据流。例如，若输入数据流为n幅图片，则每一幅图片就为一份基础数据流。可以理解地，将输入数据流分成n份基础数据流，以便后续可以将基础数据流发送到多个节点服务器中进行数据处理，提高数据处理的效率。
具体地，通过按照预设的分片数目n进行数据分片，将该输入数据流拆分成n份基础数据流，且每个基础数据流的数据类型一致，有利于后续输入数据流存储的优化与后续数据处理效率的提高。
优选地，本发明实施例采用的数据分片方式为按维度分片与分区表分片方式的结合。
S30：将n份基础数据流分发到神经网络集合中的n个节点神经网络中。
其中，神经网络集合是指由多个节点神经网络组成的集合，而节点神经网络是指包含输入节点的子神经网络，也即子神经网络，用于调整内部大量节点之间相互连接的关系。节点神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，该节点神经网络由于是并行处理，因此，能够同时处理多个数据。例如，某一基础数据流为T1(X1、X2、X3、X4、X5)，即该基础数据流中包含5个数据，且该基础数据流T1对应一个输入节点，每个输入节点用一个子神经网络来处理每份基础数据流中的5个输入的数据，可以理解地，由于通过子神经网络来替代输入节点，进而能够通过一个输入节点把输入的5个数据处理完后传递给神经网络的输出层。该神经网络集合根据系统的复杂程度，通过各个节点神经网络的节点关系对基础数据流进行服务治理，不仅具有容错的性能，并且能够实现服务系统自我学习，进而达到高效处理信息的目的。具体地，神经网络集合中的节点神经网络可用于处理基础信息流，且该神经网络集合包括神经网络分发中心，因此，可以通过神经网络分发中心将每一基础数据流分发到各个神经网络的节点。可以理解地，由于节点神经网络具有自我学习能力，因此能够提高数据处理的准确度。进一步地，将n份基础数据流分发到神经网络集合中的n个节点神经网络中，即每一份基础数据流分发到一个节点神经网络中，以便通过n个节点神经网络对n份基础数据流实现同时处理，从而减少服务治理系统的服务资源被占用的负担以及处理时间，有利于后续对数据进行快速处理，提高服务治理中的数据处理效率。
S40：采用对应的节点神经网络对接收到的每一基础数据流进行数据处理，得到每个节点神经网络的初始处理结果。
其中，初始处理结果是指对各个节点神经网络进行治理后得到的数据流的结果。
具体地，每个节点神经网络接收到基础数据流后，同时对该n个基础数据流进行数据处理，也即节点神经网络对n个基础数据流进行并行数据处理，得到每一节点神经网络对应的处理结果，即本步骤中的初始处理结果。其中的数据处理方式包括但不限于数据流查询、数据流抽样或者数据流统计等数据处理方法。其中的数据流查询是指获取匹配的数据流的数据处理方式；数据流抽样是指随机获取数据流作为样本的数据处理方式；数据流统计是指统计预设的时间段内数据流的处理方式。可以理解地，通过多个节点神经网络并行计算，使得基础数据流的处理速度加快。在一个具体实施方式中，对基础数据流进行数据流采样的具体实现过程为：通过随机获取预设数量的节点神经网络，将获取到的节点神经网络中的基础数据流作为样本，从而得到初始处理结果。对基础数据流进行数据流查询的具体实现过程为：通过获取与节点神经网络匹配的节点神经网络，从而在该神经网络中进行数据流的查询，进而得到初始处理结果。对基础数据流进行数据流采统计的具体实现过程为：通过获取预设时间段内节点神经网络，从而对该节点神经网络中进行数据流的统计，进而得到初始处理结果。
S50：以神经网络回传块方式将每个节点神经网络的初始处理结果发送至与节点神经网络对应的死锁队列中。
其中，神经网络回传块是指存储多个节点神经网络回传结果的数据结构，用于对数据按照预设的存储结构进行存储，神经网络回传块包括但不限于是链表结构。死锁队列是服务治理系统的一个阻塞队列，也即阻塞队列，具有提高数据并发的性能，且每个节点神经网络对应一个死锁队列，用于作为对n个基础数据流进行调度的依据。可以理解地，针对每个节点神经网络，以神经网络回传块方式将初始处理结果发送给与节点神经网络对应的死锁队列后，死锁队列元素为神经网络回传块，从而避免了服务治理的死锁，进而提高后续服务治理中数据处理的稳定性。
S60：通过监听模式，对死锁队列进行监听，得到n个监听数据。
其中，监听模式是一种非循环模式，利用系统中断来处理信息，节约系统资源。监听是指对数据进行监测，当服务端读取到数据时，该被读取的数据即为监听数据。具体地，通过监听模式，对死锁队列进行监听，即对整个死锁队列中的元素进行监测，进而获取到每个节点神经网络对应的数据流信息，即n个监听数据。可以理解地，由于监听模式是使用中断的方式检测到死锁队列的读取数据接口，使得在读取数据接口的过程中避免了使用循环模式读取，进而达到了节约资源，提高服务治理中的数据传输稳定性的效果。
S70：对n个监听数据通过加权求和的方式进行计算，得到目标处理结果。
其中，目标处理结果是指对每一初始结果进行汇总后得到的输出数据流。具体地，对神经网络服务治理系统中的n个监听数据赋予权重，然后将监听数据乘以对应的权重并求取和，得到的结果即为目标处理结果。对n个监听数据通过加权求和的方式进行计算的具体公式如下：
式中，S表示为目标处理结果，wi表示为表示为第i个监听数据的权值，ri表示为第i个监听数据，wi的具体大小可以根据各个节点神经网络的进行设定，此处不做具体限制。
本实施例中，通过对监听数据进行汇总计算，使得整个神经网络模型中的神经网络处理得到的数据更加准确，通过将更多的神经网络加以并行服务治理，使得目标处理结果更加准确，从而提高了服务治理的效率。
本实施例中，首先，获取输入数据流；其次，对输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，有利于后续输入数据流存储的优化与后续数据处理效率的提高；然后，将n份基础数据流分发到神经网络集合中的n个节点神经网络中，以便通过每个节点神经网络对基础数据流实现同时处理，从而减少服务治理系统的服务资源被占用的负担以及处理时间，有利于后续对数据进行快速处理，提高服务治理效率；接着，采用对应的节点神经网络对接收到的每一基础数据流进行数据处理，得到每个节点神经网络的初始处理结果；以神经网络回传块方式将每个节点神经网络的初始处理结果发送至与节点神经网络对应的死锁队列中；接下来，通过监听模式，对死锁队列进行监听，得到n个监听数据，达到了节约资源，提高服务治理的稳定性的效果；最后，对n个监听数据通过加权求和的方式进行计算，得到目标处理结果，使得目标处理结果更加准确，从而提高了服务治理中的数据处理的效率。
在一实施例中，如图3所示，步骤S20中，对输入数据流按照预设的分片数目n进行数据分片，得到n个基础数据流，包括：
S21：获取输入数据流的数据记录的条数，并对每条数据记录进行顺序编号，得到每一数据记录的序号。
其中，序号是指每一数据记录的顺序编号。例如获取到的输入数据流的数据记录的条数为50条，对每条数据记录进行编号，得到序号为1至序号为50的50个序号。具体地，获取输入数据流的数据记录的条数，在缓存记录中生成一个分片清单，将输入数据流的数据记录的条数记录写入到分片清单中，并依次对每条数据记录进行编号，得到每一条数据记录的序号。
S22：针对每条数据记录，使用序号对预设的分片数目n进行取模运算，得到该数据记录的序号模。
其中，取模运算是一种数学运算，其基本形式为a％b，或a mod b，表示a除以b的余数。
以步骤S21中的50个序号为例，在一具体实施方式中，预设的分片数目为4，使用1至50分别对4进行取模运算，其中序号1、5、9、13、17、21、25、29、33、37、41、45和49对4取模得到的序号模为1，序号2、6、10、14、18、22、26、30、34、38、42、46和50对4取模得到的序号模为2，序号3、7、11、15、19、23、27、31、35、39、43和47对4取模得到的序号模为3，序号4、8、12、16、20、24、28、32、36、40、44和48对4取模得到的序号模为0。
S23：将序号模相同的数据记录分入同一个分片集合中，并将每个分片集合中的数据记录作为一个基础数据流，得到n个基础数据流。
具体地，将分片清单中序号模相同的数据记录放入同一个分片集合中，将每一个分片集合作为一个基础数据流，得到n个基础数据流。
以步骤S22中对50个序号进行取模运算得到的结果为例，将序号模为1的数据记录作为第1个基础数据流，即将序号1、5、9、13、17、21、25、29、33、37、41、45和49对应的数据记录放入到第1个基础数据流中，将序号模为2的数据记录作为第2个基础数据流，即将序号2、6、10、14、18、22、26、30、34、38、42、46和50对应的数据记录放入到第2个基础数据流中，将序号模为3的数据记录作为第3个基础数据流，即将序号3、7、11、15、19、23、27、31、35、39、43和47对应的数据记录放入到第3个基础数据流中，将序号模为0的数据记录作为第4个基础数据流，即将序号4、8、12、16、20、24、28、32、36、40、44和48对应的数据记录放入到第4个基础数据流中，如此，便将该50条数据记录按照序号模的特性，分成到4个基础数据流中，且相邻的数据记录被分配到不同的分片数据中，后续将被分配到不同的节点神经网络中，使得后续在进行数据处理时，相邻编号的数据记录执行处理指令的时间点相差不会太大，即得到执行结果时间点相差不会太大，有利于提高数据处理的效率。
本实施例中，获取基础任务数据的数据记录的条数，并对每条数据记录进行顺序编号；针对每条数据记录，使用序号对预设的分片数目n进行取模运算，得到该数据记录的序号模；将序号模相同的数据记录分入同一个分片集合中，并将每个分片集合中的数据记录作为一个基础数据流，得到n个基础数据流，使得大数据量的输入数据流被划分到多个基础数据流中，且不同基础数据流包含的数据记录条数大体相同，使得后续将基础数据流分配到不同节点神经网络中进行计算时，提高了数据处理效率。
在一实施例中，步骤S40中，采用对应的节点神经网络对接收到的每一基础数据流进行数据处理，具体为：
采用并行处理方式对基础数据流进行数据处理。
其中，并行处理是指是计算机系统中能同时执行两个或更多个处理机的一种计算方法，用于节省大型和复杂问题的解决时间，也即一个在n个处理机上执行的程序速度可能会是在单一处理机上执行的速度的n倍。具体地，首先对神经网络网络进行并行化处理，并行调用n个节点神经网络，然后将n个基础数据流分别分发到n个节点神经网络中进行数据处理，由于是同时调用n个节点神经网络，并将n个基础数据流分发到节点神经网络中进行数据处理，从而保证了节点神经网络能够同时对该n个基础数据流进行数据处理，提高了服务治理速度。
本实施例中，通过采用并行处理方式对基础数据流进行数据处理，提高了服务治理速度。
在一实施例中，如图4所示，步骤S50中，以神经网络回传块方式将每个节点神经网络的初始处理结果发送至与节点神经网络对应的死锁队列中，具体包括如下步骤：
S51：获取神经网络集合中的节点神经网络的分发列表信息。
其中，分发列表信息是指存储节点神经网络分发状态的信息，其中的节点神经网络分发状态可以是在线状态或者掉线状态。具体地，可以通过新启动一个线程读取各个节点神经网络的分发状态，并将该分发状态以列表的形式进行保存，从而获取神经网络集合中的节点神经网络的分发列表信息。
S52：从分发列表信息中提取每一节点神经网络的工作状态标识。
其中，工作状态标识是用于唯一标识每一节点神经网络的分发状态，包括节点在线和节点掉线。具体地，可以通过查询分发列表信息，提取出各个节点神经网络的工作状态标识。
S53：若工作状态标识为节点在线，则将与工作状态标识对应的节点神经网络作为死锁队列。
其中，节点在线是指节点神经网络正处于正常工作的状态，在该工作状态下，将与工作状态标识对应的节点神经网络作为死锁队列，以便后续基于死锁队列进行进一步地处理。
S54：将初始处理结果以神经网络回传块方式发送至死锁队列中。
具体地，将初始处理结果作为神经网络回传块的传入数据，发送到死锁队列中，即死锁队列元素为神经网络回传块。可以理解地，由于死锁队列是阻塞队列，能够保证服务治理的稳定性。
本实施例中，首先，获取神经网络集合中的节点神经网络的分发列表信息。然后从分发列表信息中提取每一节点神经网络的工作状态标识，若工作状态标识为节点在线，则将与工作状态标识对应的节点神经网络作为死锁队列，以便后续基于死锁队列进行进一步地处理。最后，将初始处理结果以神经网络回传块方式发送至死锁队列中，能够保证服务治理中的数据传输的稳定性。
在一实施例中，如图5所示，步骤S60中，通过监听模式，对死锁队列进行监听，得到n个监听数据，具体包括如下步骤：
S61：依序读取死锁队列中的元素。
其中，依序是指依据队列中元素的存储顺序，即队列的对头至队列的队尾的顺序。具体地，通过调用读取元素的接口依序读取死锁队列的元素。
S62：若监听到当前读取的死锁队列的元素不为空，则继续执行依序读取死锁队列中的元素的步骤，直到监听到当前读取的死锁队列的元素为空为止，得到n个监听数据。
具体地，依次对读取每一死锁队列的元素进行监听，若监听到当前读取的死锁队列的元素为空，即该死锁队列中不存在元素时，停止依序读取死锁队列中的元素的步骤。若监听到死锁队列的元素不为空，则继续执行步骤S61的步骤，并对步骤S61中的死锁队列的元素继续进行监听，将监听的结果作为监听数据，进而得到n个监听数据。可以理解地，本步骤中对不为空的元素进行监听，节约了系统资源，提高了服务治理效率。
本实施例中，读取死锁队列的元素，若监听到死锁队列的元素不为空，则继续执行读取死锁队列的元素的步骤，直到监听到死锁队列的元素为空为止，得到n个监听数据，节约了系统资源，提高了服务治理中的数据处理效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种数据处理装置，该数据处理装置与上述实施例中数据处理方法一一对应。如图6所示，该数据处理装置包括输入数据流获取模块10、基础数据流获取模块20、分发模块30、初始处理结果获取模块40、初始结果发送模块50、监听数据获取模块60和目标处理结果获取模块70。各功能模块详细说明如下：
输入数据流获取模块10，用于获取输入数据流；
基础数据流获取模块20，用于对输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
分发模块30，用于将n份基础数据流分发到神经网络集合中的n个节点神经网络中；
初始处理结果获取模块40，用于采用对应的节点神经网络对接收到的每一基础数据流进行数据处理，得到每个节点神经网络的初始处理结果；
初始结果发送模块50，用于以神经网络回传块方式将每个节点神经网络的初始处理结果发送至与节点神经网络对应的死锁队列中；
监听数据获取模块60，用于通过监听模式，对死锁队列进行监听，得到n个监听数据；
目标处理结果获取模块70，用于对n个监听数据通过加权求和的方式进行计算，得到目标处理结果。
优选地，如图7所示，基础数据流获取模块20包括序号获取单元21、序号模计算单元22和基础数据流获取单元23。
序号获取单元21，用于获取输入数据流的数据记录的条数，并对每条数据记录进行顺序编号，得到每一数据记录的序号；
序号模计算单元22，用于针对每条数据记录，使用序号对预设的分片数目n进行取模运算，得到该数据记录的序号模；
基础数据流获取单元23，用于将序号模相同的数据记录分入同一个分片集合中，并将每个分片集合中的数据记录作为一个基础数据流，得到n个基础数据流。
优选地，初始处理结果获取模块包括数据处理单元，用于采用并行处理方式对基础数据流进行数据处理。
优选地，如图8所示，初始结果发送模块50包括列表信息获取单元51、状态标识提取单元52、死锁队列获取单元53和初始结果发送单元54。
列表信息获取单元51，用于获取神经网络集合中的节点神经网络的分发列表信息；
状态标识提取单元52，用于从分发列表信息中提取每一节点神经网络的工作状态标识；
死锁队列获取单元53，用于若工作状态标识为节点在线，则将与工作状态标识对应的节点神经网络作为死锁队列；
初始结果发送单元54，用于将初始处理结果以神经网络回传块方式发送至死锁队列中。
优选地，监听数据获取模块包括元素读取单元和监听数据获取单元。
元素读取单元，用于依序读取死锁队列中的元素；
监听数据获取单元，用于若监听到当前读取的死锁队列的元素不为空，则继续执行依序读取死锁队列中的元素的步骤，直到监听到当前读取的死锁队列的元素为空为止，得到n个监听数据。
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储该数据处理方法所使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取输入数据流；
对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；
采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；
以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；
通过监听模式，对所述死锁队列进行监听，得到n个监听数据；
对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取输入数据流；
对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；
采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；
以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；
通过监听模式，对所述死锁队列进行监听，得到n个监听数据；
对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，所述数据处理方法包括：
获取输入数据流；
对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；
采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；
以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；
通过监听模式，对所述死锁队列进行监听，得到n个监听数据；
对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。
2.如权利要求1所述的数据处理方法，其特征在于，所述对所述输入数据流按照预设的分片数目n进行数据分片，得到n个基础数据流，包括：
获取所述输入数据流的数据记录的条数，并对每条所述数据记录进行顺序编号，得到每一所述数据记录的序号；
针对每条所述数据记录，使用所述序号对所述预设的分片数目n进行取模运算，得到该数据记录的序号模；
将序号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础数据流，得到n个所述基础数据流。
3.如权利要求1所述的数据处理方法，其特征在于，所述采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，包括：
采用并行处理方式对所述基础数据流进行数据处理。
4.如权利要求1所述的数据处理方法，其特征在于，以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中，包括：
获取所述神经网络集合中的节点神经网络的分发列表信息；
从所述分发列表信息中提取每一所述节点神经网络的工作状态标识；
若所述工作状态标识为节点在线，则将与所述工作状态标识对应的节点神经网络作为死锁队列；
将所述初始处理结果以神经网络回传块方式发送至所述死锁队列中。
5.如权利要求1所述的数据处理方法，其特征在于，所述通过监听模式，对所述死锁队列进行监听，得到n个监听数据，包括：
依序读取所述死锁队列中的元素；
若监听到当前读取的所述死锁队列的元素不为空，则继续执行所述依序读取所述死锁队列中的元素的步骤，直到监听到当前读取的所述死锁队列的元素为空为止，得到所述n个监听数据。
6.一种数据处理装置，其特征在于，所述数据处理装置包括：
输入数据流获取模块，用于获取输入数据流；
基础数据流获取模块，用于对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；
分发模块，用于将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；
初始处理结果获取模块，用于采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；
初始结果发送模块，用于以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；
监听数据获取模块，用于通过监听模式，对所述死锁队列进行监听，得到n个监听数据；
目标处理结果获取模块，用于对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。
7.如权利要求6所述的数据处理装置，其特征在于，所述基础数据流获取模块，包括：
序号获取单元，用于获取所述输入数据流的数据记录的条数，并对每条所述数据记录进行顺序编号，得到每一所述数据记录的序号；
序号模计算单元，用于针对每条所述数据记录，使用所述序号对所述预设的分片数目n进行取模运算，得到该数据记录的序号模；
基础数据流获取单元，用于将序号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础数据流，得到n个所述基础数据流。
8.如权利要求6所述的基于数据处理装置，其特征在于，所述初始结果发送模块，包括：
列表信息获取单元，用于获取所述神经网络集合中的节点神经网络的分发列表信息；
状态标识提取单元，用于从所述分发列表信息中提取每一所述节点神经网络的工作状态标识；
死锁队列获取单元，用于若所述工作状态标识为节点在线，则将与所述工作状态标识对应的节点神经网络作为死锁队列；
初始结果发送单元，用于将所述初始处理结果以神经网络回传块方式发送至所述死锁队列中。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述数据处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910048901.0A CN109857565A (zh) | 2019-01-18 | 2019-01-18 | 数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910048901.0A CN109857565A (zh) | 2019-01-18 | 2019-01-18 | 数据处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109857565A true CN109857565A (zh) | 2019-06-07 |
Family
ID=66895180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910048901.0A Pending CN109857565A (zh) | 2019-01-18 | 2019-01-18 | 数据处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109857565A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110737535A (zh) * | 2019-09-09 | 2020-01-31 | 平安证券股份有限公司 | 基于消息队列的数据处理方法、装置和计算机设备 |
| CN111262923A (zh) * | 2020-01-14 | 2020-06-09 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN112734582A (zh) * | 2021-01-15 | 2021-04-30 | 深轻(上海)科技有限公司 | 一种提高寿险精算模型运行速度的方法 |
| CN116527659A (zh) * | 2023-06-29 | 2023-08-01 | 深圳方圆宝信息科技服务有限公司 | 一种路由器数据上传的加速方法、装置及存储介质 |
| CN116991332A (zh) * | 2023-09-26 | 2023-11-03 | 长春易加科技有限公司 | 一种智慧工厂大规模数据存储和分析方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120089812A1 (en) * | 2009-06-12 | 2012-04-12 | Graeme Roy Smith | Shared resource multi-thread processor array |
| CN104615490A (zh) * | 2015-02-05 | 2015-05-13 | 浪潮集团有限公司 | 一种数据转换的方法及装置 |
| CN106297774A (zh) * | 2015-05-29 | 2017-01-04 | 中国科学院声学研究所 | 一种神经网络声学模型的分布式并行训练方法及系统 |
| CN106789395A (zh) * | 2016-11-22 | 2017-05-31 | 盐城工学院 | 一种基于Web的分布式PDM系统数据传输监控方法 |
| CN108280514A (zh) * | 2018-01-05 | 2018-07-13 | 中国科学技术大学 | 基于fpga的稀疏神经网络加速系统和设计方法 |
| CN109144731A (zh) * | 2018-08-31 | 2019-01-04 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
-
2019
- 2019-01-18 CN CN201910048901.0A patent/CN109857565A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120089812A1 (en) * | 2009-06-12 | 2012-04-12 | Graeme Roy Smith | Shared resource multi-thread processor array |
| CN104615490A (zh) * | 2015-02-05 | 2015-05-13 | 浪潮集团有限公司 | 一种数据转换的方法及装置 |
| CN106297774A (zh) * | 2015-05-29 | 2017-01-04 | 中国科学院声学研究所 | 一种神经网络声学模型的分布式并行训练方法及系统 |
| CN106789395A (zh) * | 2016-11-22 | 2017-05-31 | 盐城工学院 | 一种基于Web的分布式PDM系统数据传输监控方法 |
| CN108280514A (zh) * | 2018-01-05 | 2018-07-13 | 中国科学技术大学 | 基于fpga的稀疏神经网络加速系统和设计方法 |
| CN109144731A (zh) * | 2018-08-31 | 2019-01-04 | 中国平安人寿保险股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张任其;李建华;范磊;: "分布式环境下卷积神经网络并行策略研究", 计算机工程与应用, no. 08, pages 6 - 12 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110737535A (zh) * | 2019-09-09 | 2020-01-31 | 平安证券股份有限公司 | 基于消息队列的数据处理方法、装置和计算机设备 |
| CN110737535B (zh) * | 2019-09-09 | 2023-02-07 | 平安证券股份有限公司 | 基于消息队列的数据处理方法、装置和计算机设备 |
| CN111262923A (zh) * | 2020-01-14 | 2020-06-09 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| WO2021142965A1 (zh) * | 2020-01-14 | 2021-07-22 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN112734582A (zh) * | 2021-01-15 | 2021-04-30 | 深轻(上海)科技有限公司 | 一种提高寿险精算模型运行速度的方法 |
| CN116527659A (zh) * | 2023-06-29 | 2023-08-01 | 深圳方圆宝信息科技服务有限公司 | 一种路由器数据上传的加速方法、装置及存储介质 |
| CN116527659B (zh) * | 2023-06-29 | 2023-09-01 | 深圳方圆宝信息科技服务有限公司 | 一种路由器数据上传的加速方法、装置及存储介质 |
| CN116991332A (zh) * | 2023-09-26 | 2023-11-03 | 长春易加科技有限公司 | 一种智慧工厂大规模数据存储和分析方法 |
| CN116991332B (zh) * | 2023-09-26 | 2023-12-15 | 长春易加科技有限公司 | 一种智慧工厂大规模数据存储和分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109857565A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN111897579B (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
| CN109144731A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| Li et al. | Traffic-aware geo-distributed big data analytics with predictable job completion time | |
| CN103645939B (zh) | 一种图片抓取的方法和系统 | |
| CN104601696B (zh) | 服务处理方法、服务调用系统、装置和系统 | |
| CN106951926A (zh) | 一种混合架构的深度学习系统方法及装置 | |
| CN104579854B (zh) | 众包测试方法 | |
| CN108681569A (zh) | 一种数据自动分析系统及其方法 | |
| CN107463434B (zh) | 一种分布式任务处理方法与设备 | |
| CN103713935B (zh) | 一种在线管理Hadoop集群资源的方法和装置 | |
| CN108834086A (zh) | 短信发送的方法、装置、计算机设备和存储介质 | |
| CN107180050A (zh) | 一种数据抓取系统及方法 | |
| CN110474820B (zh) | 流量回放方法、装置、电子设备 | |
| CN107256180A (zh) | 数据处理方法、装置及终端 | |
| CN109614227A (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
| CN110020046A (zh) | 一种数据抓取方法及装置 | |
| CN110278254A (zh) | 用于FogCDN场景的调度方法及调度端 | |
| CN111352896B (zh) | 人工智能加速器、设备、芯片以及数据处理方法 | |
| CN105069029B (zh) | 一种实时etl系统及方法 | |
| CN115344533A (zh) | 微服务日志检索方法、系统、控制装置及存储介质 | |
| CN110324211A (zh) | 一种数据获取方法及装置 | |
| CN106888264A (zh) | 一种数据交换方法和装置 | |
| CN109446441A (zh) | 一种通用的网络社区可信分布式采集存储系统 | |
| CN109634752A (zh) | 一种基于页面网关的客户端请求处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |