CN110955390A - 数据处理方法、装置和电子设备 - Google Patents

数据处理方法、装置和电子设备 Download PDF

Info

Publication number
CN110955390A
CN110955390A CN201911159697.6A CN201911159697A CN110955390A CN 110955390 A CN110955390 A CN 110955390A CN 201911159697 A CN201911159697 A CN 201911159697A CN 110955390 A CN110955390 A CN 110955390A
Authority
CN
China
Prior art keywords
data
processing
processed
heterogeneous
cache region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911159697.6A
Other languages
English (en)
Other versions
CN110955390B (zh
Inventor
钟辉
黄亮
江子豪
蔡云飞
贾宜彬
刘凌志
马宁宁
刘理
杨超
姜春阳
吴俊�
衣敏
白晓航
包能辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lingchuan Technology Co ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN201911159697.6A priority Critical patent/CN110955390B/zh
Publication of CN110955390A publication Critical patent/CN110955390A/zh
Application granted granted Critical
Publication of CN110955390B publication Critical patent/CN110955390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种数据处理方法、装置和电子设备，上述方法包括：若检测到数据缓存区存储有服务器主机写入的数据块，则对数据块进行第一异构加速处理；服务器主机用于接收客户端单次发送的待处理数据，将待处理数据分成至少两个数据块，分别将各个数据块写入到数据缓存区；统计数据缓存区中已完成第一异构加速处理的数据块的数量；若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果。采用该方法可以解决相关技术中服务器的数据处理效率较低的问题，从而提高了服务器的数据处理效率。

Description

数据处理方法、装置和电子设备
技术领域
本公开涉及数据处理技术领域，尤其涉及一种数据处理方法、装置和电子设备。
背景技术
随着计算机技术的快速发展，越来越多的数据处理通过服务器去完成，比如深度神经网络推理、视频解码等。
相关技术中，一般是服务器主机将接收的待处理数据完全写入到服务器中的加速卡的数据缓存区，才启动加速卡对待处理数据进行处理；但是，每次都要等待服务器主机将待处理数据完全写入到服务器中的加速卡的数据缓存区，才进行数据处理，会耗费大量时间，导致服务器的数据处理效率较低。
发明内容
本公开提供一种数据处理方法、装置和电子设备，以至少解决相关技术中服务器的数据处理效率较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种数据处理方法，包括：
若检测到数据缓存区存储有服务器主机写入的数据块，则对所述数据块进行第一异构加速处理；所述服务器主机用于接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块，分别将各个所述数据块写入到所述数据缓存区；
统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；
若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
可选地，在统计所述数据缓存区中已完成第一异构加速处理的数据块的数量之后，还包括：
若所述数据缓存区中已完成第一异构加速处理的数据块的数量未达到所述待处理数据所分成的所述数据块的数量，则检测所述数据缓存区是否存储有所述服务器主机写入的数据块。
根据本公开实施例的第二方面，提供一种数据处理方法，包括：
接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块；
分别将各个所述数据块写入到关联的加速卡的数据缓存区；所述加速卡用于若检测到数据缓存区存储有所述数据块，则对所述数据块进行第一异构加速处理；统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
根据本公开实施例的第三方面，提供一种数据处理装置，包括：
第一处理模块，被配置为执行若检测到数据缓存区存储有服务器主机写入的数据块，则对所述数据块进行第一处理；所述服务器主机用于接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块，分别将各个所述数据块写入到所述数据缓存区；
数据块统计模块，被配置为执行统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；
第二处理模块，被配置为执行若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
可选地，上述数据处理装置还包括：
数据块存储确认模块，被配置为执行识别所述数据缓存区中所述服务器主机写入的数据对应的数据量；若所述数据量达到预设数据量，则确认所述数据缓存区存储有所述服务器主机写入的数据块。
可选地，上述数据处理装置还包括：
数据块标记模块，被配置为在对所述数据块进行第一异构加速处理之后，将所述数据块标记为已处理。
可选地，所述数据块统计模块，还被配置为执行统计所述数据缓存区中已处理的数据块的数量，作为所述数据缓存区中已完成第一异构加速处理的数据块的数量。
可选地，上述数据处理装置还包括：
数据块检测模块，被配置为执行若所述数据缓存区中已完成第一异构加速处理的数据块的数量未达到所述待处理数据所分成的所述数据块的数量，则检测所述数据缓存区是否存储有所述服务器主机写入的数据块。
可选地，所述待处理数据中携带有数据处理类型；
所述第一处理模块，还被配置为执行获取与所述数据处理类型对应的第一异构加速处理文件；根据所述第一异构加速处理文件对所述数据块进行第一异构加速处理，得到对应的处理结果。
可选地，所述第二处理模块，还被配置为执行分别获取各个所述数据块对应的处理结果；获取与所述数据处理类型对应的第二异构加速处理文件，根据所述第二异构加速处理文件对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果。
可选地，上述数据处理装置还包括：
目标处理结果发送模块，被配置为执行将所述目标处理结果发送至所述服务器主机；所述服务器主机用于将所述目标处理结果发送至所述客户端。
根据本公开实施例的第四方面，提供一种数据处理装置，包括：
数据接收模块，被配置为执行接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块；
数据块写入模块，被配置为执行分别将各个所述数据块写入到关联的加速卡的数据缓存区；所述加速卡用于若检测到数据缓存区存储有所述数据块，则对所述数据块进行第一异构加速处理；统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面以及第二方面的实施方式中的方法。
根据本公开实施例的第六方面，提供一种存储介质，包括：当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面以及第二方面的实施方式中的方法。
根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被计算机运行时，使得所述计算机执行上述各方面中的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过服务器主机将客户端单次发送的待处理数据分成至少两个数据块，分别将各个数据块写入到数据缓存区；接着，若检测到数据缓存区存储有服务器主机写入的数据块，则对数据块进行第一异构加速处理；最后，若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；实现了数据缓存区存储有服务器主机写入的、由待处理数据所分成的数据块，即可对数据块进行处理的目的，无需等待服务器主机将待处理数据完全写入到服务器中的数据缓存区，才对待处理数据进行处理；从而节省了大量时间，进而降低了服务延迟，有效地提高了服务器的数据处理效率。同时，避免了在等待服务器主机将待处理数据完全写入到服务器中的数据缓存区的过程中，处于空闲状态的缺陷，有利于在有效的时间内处理更多的数据，从而提高了服务器的有效吞吐率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种数据处理方法的应用环境图。
图2是根据一示例性实施例示出的一种数据处理方法的流程图。
图3是根据一示例性实施例示出的原始同步请求调用以及本公开的同步请求调用的对比示意图。
图4是根据一示例性实施例示出的原始异步请求调用以及本公开的异步请求调用的对比示意图。
图5是根据另一示例性实施例示出的一种数据处理方法的流程图。
图6是根据又一示例性实施例示出的一种数据处理方法的流程图。
图7是根据一示例性实施例示出的服务器主机处理数据的流程图。
图8是根据一示例性实施例示出的加速卡处理数据的流程图。
图9是根据一示例性实施例示出的一种数据处理装置的框图。
图10是根据另一示例性实施例示出的一种数据处理装置的框图。
图11是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1为一示例性实施例示出的一种数据处理方法的应用环境图。参照图1，该应用环境图包括通过网络连接的服务器110和客户端120，服务器110包括通过接口连接的服务器主机111和加速卡112，加速卡112还连接有数据缓存区113。具体地，参照图1，服务器主机111接收客户端120单次发送的待处理数据，将待处理数据分成至少两个数据块，分别将各个数据块写入到加速卡112的数据缓存区113；加速卡112实时检测数据缓存区113是否存储有服务器主机111写入的数据块，若检测到数据缓存区113存储有服务器主机111写入的数据块，则对数据块进行第一异构加速处理；统计数据缓存区113中已完成第一异构加速处理的数据块的数量；若数据缓存区113中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；其中，第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。此外，加速卡112还可以将待处理数据的目标处理结果发送至服务器主机111，由服务器主机111将该目标处理结果发送至客户端120。
其中，服务器110可以用独立的服务器或者是多个服务器组成的服务器集群来实现；客户端120是指与服务器相对应的，可以为客户提供本地服务的应用程序，包括但不限于APP、浏览器、小程序等；一般安装在计算机设备上，比如智能手机、平板电脑、笔记本电脑、台式电脑等；服务器主机111是指服务器除去输入输出设备以外的主要机体部分；加速卡112是指可以对数据进行异构加速处理的处理器；数据缓存区113是指缓存数据的存储空间，比如DDR(Double Data Rate，双倍速率同步动态随机存储器)。
图2是根据一示例性实施例示出的一种数据处理方法的流程图，如图2所示，该数据处理方法用于如图1所示的加速卡中，包括以下步骤。
在步骤S21中，若检测到数据缓存区存储有服务器主机写入的数据块，则对数据块进行第一异构加速处理；服务器主机用于接收客户端单次发送的待处理数据，将待处理数据分成至少两个数据块，分别将各个数据块写入到数据缓存区。
其中，待处理数据是客户端向服务器主机请求的需要加速计算处理的数据，加速计算处理是指深度神经网络推理、视频解码等，那么待处理数据可以是指深度神经网络的输入层数据、视频原始数据等。
其中，数据块是指待处理数据中可以被加速卡加速计算处理的完整数据，一般是由服务器主机对客户端单次发送的待处理数据切分而成。需要说明的是，至少两个数据块是指两个或者两个以上数据块，具体本申请不做限定。
其中，第一异构加速处理是指异构加速处理的第一层处理，具体是指前级计算，其输入是客户端单次发送的待处理数据，其运算也只依赖客户端单次发送的待处理数据；第二异构加速处理是指异构加速处理的其他所有层处理，具体是指后级计算，其输入依赖第一异构加速处理的输出，需串行进行，其计算结果为最终输出结果；第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。
示例性地，以多层感知器网络推理加速为例，第一异构加速处理对应多层感知器网络的第一层神经网络的运算，主要包括矩阵乘运算；第二异构加速处理对应多层感知器网络的其他所有神经网络层的运算，主要由矩阵乘和激活函数组成。对于第一异构加速处理，将神经网络输入层的矩阵按垂直方向分块，加速卡只要收到一个完整的数据块，即启动该数据块和参数矩阵进行矩阵乘运算；当最后一个数据块处理完成后，则启动第二异构加速处理。
具体地，客户端响应用户的触发操作，获取待处理数据，将待处理数据发送至服务器主机；服务器主机接收客户端单次发送的待处理数据，对待处理数据进行预处理，比如数据去噪、数据清洗等；获取预处理后的待处理数据的数据量，根据待处理数据的数据量，将待处理数据按照预设数据量分成至少两个数据块，比如待处理数据的数据量为100M，预设数据量为5M，则将待处理数据分成20个数据量为5M的数据块。接着，服务器主机分别将各个数据块写入到加速卡的数据缓存区。在服务器主机将数据块写入到加速卡的数据缓存区的过程中，加速卡实时检测数据缓存区是否存储有服务器主机写入的数据块，只要一检测到数据缓存区存储有服务器主机写入的数据块，则对该数据块进行第一异构加速处理，得到对应的处理结果，同时将该数据块标记为已处理，以统计数据缓存区中已处理的数据块的数量。这样，只要一检测到数据缓存区存储有服务器主机写入的数据块，即可对数据块进行处理，无需等待服务器主机将待处理数据完全写入到加速卡中的数据缓存区，才对待处理数据进行处理；从而降低了服务延迟，有效地提高了服务器的数据处理效率。
示例性地，参考图3(a)，在同步请求调用场景中，原始同步请求调用是指服务器主机将待处理数据1完全写入到加速卡中的数据缓存区，加速卡才启动加速计算1；具体地，加速卡对待处理数据1进行前级计算，在前级计算完成后，再对前级计算后的结果进行后级计算；在加速计算1完成后，才允许服务器主机将待处理数据2写入到加速卡中的数据缓存区；同样地，在服务器主机将待处理数据2完全写入到加速卡中的数据缓存区后，加速卡才启动加速计算2。
参考图3(b)，本公开的同步请求调用是指服务器主机将待处理数据1分成多个数据块，再分别将各个数据块写入到加速卡中的数据缓存区，加速卡只要一检测到数据缓存区存储有服务器主机写入的数据块，即可对数据块进行加速计算1；具体地，加速卡对数据块进行前级计算，并在最后一个数据块前级计算完毕之后，再对各个数据块前级计算后的结果进行后级计算；在加速计算1完成后，才允许服务器主机将待处理数据2写入到加速卡中的数据缓存区。这样，在写入到加速卡的数据缓存区内的数据足以支持前级计算时，加速卡即刻启动计算，相较于原始同步请求调用的方案中需要等待当前请求的数据全部传输结束后才启动计算，可以节约大量数据处理时间，从而提高了服务器的数据处理效率。
示例性地，参考图4(a)，在异步请求调用场景中，原始异步请求调用是指服务器主机将待处理数据1完全写入到加速卡中的数据缓存区，加速卡才启动加速计算1；具体地，加速卡对待处理数据1进行前级计算，在前级计算完成后，再对前级计算后的结果进行后级计算；在这个计算过程中，服务器主机同时将待处理数据2写入到加速卡中的数据缓存区，并在加速计算1完成后，且服务器主机将待处理数据2完全写入到加速卡中的数据缓存区后，加速卡才启动加速计算2。
参考图4(b)，本公开的异步请求调用是指服务器主机将待处理数据1分成多个数据块，再分别将各个数据块写入到加速卡中的数据缓存区，加速卡只要一检测到数据缓存区存储有服务器主机写入的数据块，即可对数据块进行加速计算1；具体地，加速卡对数据块进行前级计算，并在最后一个数据块前级计算完毕之后，再对各个数据块前级计算后的结果进行后级计算；在这个计算过程中，服务器主机同时将待处理数据1的其他数据块写入到加速卡中的数据缓存区，并在将待处理数据1的数据块完全写入到加速卡中的数据缓存区之后，将待处理数据2按照同样的方法写入到加速卡中的数据缓存区；在加速计算1完成后，且加速卡检测到数据缓存区存储有服务器主机写入的待处理数据2所分成的数据块，即可对该数据块进行加速计算2。这样，在写入到加速卡的数据缓存区内的数据足以支持前级计算时，加速卡即刻启动计算，相较于原始异步请求调用的方案中需要等待当前请求的数据全部传输结束后才启动计算，可以节约大量数据处理时间，从而提高了服务器的数据处理效率。
在步骤S22中，统计数据缓存区中已完成第一异构加速处理的数据块的数量。
具体地，在将数据块标记为已处理之后，加速卡更新数据缓存区中已处理的数据块的数量；并将数据缓存区中已完成第一异构加速处理的数据块的数量与待处理数据所分成的数据块的数量进行比较，以确认加速卡是否已对待处理数据所分成的所有数据块都进行第一异构加速处理。
在步骤S23中，若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；其中，第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。
其中，待处理数据的目标处理结果是指加速卡的最终输出结果，即经过第一异构加速处理和第二异构加速处理后的最终输出结果。
具体地，加速卡实时统计数据缓存区中已完成第一异构加速处理的数据块的数量；若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则获取各个数据块对应的处理结果；对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果。
示例性地，若待处理数据所分成的数据块的数量为N个，且数据缓存区中已处理的数据块的数量也为N个，说明加速卡已对服务器主机写入到加速卡的数据缓存区的所有数据块都进行第一异构加速处理，则将各个数据块对应的处理结果均作为第二异构加速处理的输入，并对该输入进行第二异构加速处理，得到待处理数据的目标处理结果。
本公开实施例提供的数据处理方法，通过服务器主机将客户端单次发送的待处理数据分成至少两个数据块，分别将各个数据块写入到数据缓存区；接着，若检测到数据缓存区存储有服务器主机写入的数据块，则对数据块进行第一异构加速处理；最后，若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；实现了数据缓存区存储有服务器主机写入的、由待处理数据所分成的数据块，即可对数据块进行处理的目的，无需等待服务器主机将待处理数据完全写入到服务器中的数据缓存区，才对待处理数据进行处理；从而节省了大量时间，进而降低了服务延迟，有效地提高了服务器的数据处理效率。同时，避免了在等待服务器主机将待处理数据完全写入到服务器中的数据缓存区的过程中，处于空闲状态的缺陷，有利于在有效的时间内处理更多的数据，从而提高了服务器的有效吞吐率。
在一示例性实施例中，在步骤S21之前，上述数据处理方法还包括：识别数据缓存区中服务器主机写入的数据对应的数据量；若数据量达到预设数据量，则确认数据缓存区存储有服务器主机写入的数据块。
其中，预设数据量是指一个完整的数据块所对应的数据量。
具体地，加速卡对数据缓存区中服务器主机写入的数据对应的数据量进行统计，若该数据对应的数据量达到预设数据量，比如10M，说明该数据是一个完整的数据块，则确认数据缓存区中已存储有服务器主机写入的数据块。
本公开实施例提供的技术方案中，通过统计数据量的方式，来确认数据缓存区中是否存储有服务器主机写入的数据块，有利于后续一检测到数据缓存区中存储有服务器主机写入的数据块，即可对数据块进行处理，无需等待服务器主机将待处理数据全部写入到加速卡的数据缓存区才可以处理，从而减少了服务延迟，进一步提高了服务器的数据处理效率。
在一示例性实施例中，在步骤S21之后，上述数据处理方法还包括：将数据块标记为已处理；那么，步骤S22还包括：统计数据缓存区中已处理的数据块的数量，作为数据缓存区中已完成第一异构加速处理的数据块的数量。
在一示例性实施例中，在步骤S22之后，上述数据处理方法还包括：若数据缓存区中已完成第一异构加速处理的数据块的数量未达到待处理数据所分成的数据块的数量，则检测数据缓存区是否存储有服务器主机写入的数据块。
具体地，加速卡获取待处理数据所分成的数据块的数量，并实时统计数据缓存区中已完成第一异构加速处理的数据块的数量；若数据缓存区中已完成第一异构加速处理的数据块的数量未达到待处理数据所分成的数据块的数量，则说明待处理数据所分成的所有数据块还未被第一异构加速处理完毕，则继续检测数据缓存区是否存储有服务器主机写入的数据块，若有，则对该数据块进行第一异构加速处理，直到服务器主机写入数据缓存区的最后一个数据块被第一异构加速处理完毕。这样，有利于保证加速卡对服务器主机写入数据缓存区的所有数据块都进行第一异构加速处理。
在一示例性实施例中，待处理数据中携带有数据处理类型；那么，步骤S21还可以包括：获取与数据处理类型对应的第一异构加速处理文件；根据第一异构加速处理文件对数据块进行第一异构加速处理，得到对应的处理结果。
其中，数据处理类型用于衡量客户端请求的待处理数据的处理方式，比如深度神经网络推理、视频解码等；每个数据处理类型都具有对应的第一异构加速处理文件和第二异构加速处理文件，第一异构加速处理文件是指能够自动对数据进行第一异构加速处理(比如前级计算)的运算文件，第二数据处理文件是指能够自动对数据进行第二异构加速处理(比如后级计算)的运算文件。
示例性地，以数据处理类型为多层感知器网络推理加速计算类型进行说明，那么第一异构加速处理文件为矩阵乘运算文件，第二异构加速处理文件为矩阵乘和激活运算文件。
具体地，加速卡根据数据处理类型查询存储有多个数据处理类型对应的第一数据处理文件的预设数据库，从预设数据库中获取与该数据处理类型对应的第一异构加速处理文件；根据该第一异构加速处理文件对数据块进行第一异构加速处理，得到对应的处理结果。
本公开实施例提供的技术方案中，通过预先配置好的第一异构加速处理文件自动对数据块进行第一异构加速处理，有利于节省数据处理时间，进一步提高了服务器的数据处理效率。
在一示例性实施例中，步骤S23还可以包括：分别获取各个数据块对应的处理结果；获取与数据处理类型对应的第二异构加速处理文件，根据第二异构加速处理文件对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果。
具体地，加速卡分别获取各个数据块对应的处理结果，并根据数据处理类型查询存储有多个数据处理类型对应的第二异构加速处理文件的预设数据库，从预设数据库中获取与该数据处理类型对应的第二异构加速处理文件；将各个数据块对应的处理结果作为第二异构加速处理文件的输入，并通过第二异构加速处理文件对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果。
本公开实施例提供的技术方案中，通过预先配置好的第二异构加速处理文件自动对各个数据块对应的处理结果进行第二异构加速处理，有利于节省数据处理时间，进一步提高了服务器的数据处理效率。
在一示例性实施例中，步骤S23之后，上述数据处理方法还包括：将目标处理结果发送至服务器主机；服务器主机用于将目标处理结果发送至客户端。
具体地，加速卡将待处理数据的目标处理结果发送至服务器主机，由服务器主机通过网络将该目标处理结果发送至客户端，通过客户端界面显示该目标处理结果，并将待处理数据标记为已处理。
进一步地，加速卡在得到待处理数据的目标处理结果之后，还可以清除数据缓存区的数据块，便于数据缓存区腾出空间来存储其他数据，从而提高了数据缓存区的利用率。
在一示例性实施例中，如图5所示，从服务器主机角度，提供了另一种数据处理方法，包括以下步骤：
在步骤S51中，接收客户端单次发送的待处理数据，将待处理数据分成至少两个数据块。
在步骤S52中，分别将各个数据块写入到关联的加速卡的数据缓存区；加速卡用于若检测到数据缓存区存储有数据块，则对数据块进行第一异构加速处理；统计数据缓存区中已完成第一异构加速处理的数据块的数量；若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；其中，第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。
本公开实施例提供的数据处理方法，实现了数据缓存区存储有服务器主机写入的、由待处理数据所分成的数据块，即可对数据块进行处理的目的，无需等待服务器主机将待处理数据完全写入到服务器中的数据缓存区，才对待处理数据进行处理；从而节省了大量时间，进而降低了服务延迟，有效地提高了服务器的数据处理效率。同时，避免了在等待服务器主机将待处理数据完全写入到服务器中的数据缓存区的过程中，处于空闲状态的缺陷，有利于在有效的时间内处理更多的数据，从而提高了服务器的有效吞吐率。
在一示例性实施例中，步骤S51之前，上述数据处理方法还包括：对关联的加速卡进行初始化处理。
示例性地，服务器主机申请加速卡的数据缓存区、配置加速卡参数(如神经网络模型参数)、启动加速卡等一系列初始化处理。这样，有利于后续将数据块写入到加速卡的数据缓存区。
在一示例性实施例中，如图6所示，从加速卡角度，提供了又一种数据处理方法，包括以下步骤：
在步骤S61中，识别数据缓存区中服务器主机写入的数据对应的数据量；若数据量达到预设数据量，则确认数据缓存区存储有服务器主机写入的数据块。
在步骤S62中，若确认到数据缓存区存储有服务器主机写入的数据块，则对数据块进行第一异构加速处理；服务器主机用于接收客户端单次发送的待处理数据，将待处理数据分成至少两个数据块，分别将各个数据块写入到数据缓存区。
在步骤S63中，统计数据缓存区中已完成第一异构加速处理的数据块的数量。
在步骤S64中，若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二处理，得到待处理数据的目标处理结果；其中，第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。
在步骤S65中，将目标处理结果发送至服务器主机；服务器主机用于将目标处理结果发送至客户端。
本公开实施例提供的数据处理方法，实现了数据缓存区存储有服务器主机写入的、由待处理数据所分成的数据块，即可对数据块进行处理的目的，无需等待服务器主机将待处理数据完全写入到服务器中的数据缓存区，才对待处理数据进行处理；从而节省了大量时间，进而降低了服务延迟，有效地提高了服务器的数据处理效率。同时，避免了在等待服务器主机将待处理数据完全写入到服务器中的数据缓存区的过程中，处于空闲状态的缺陷，有利于在有效的时间内处理更多的数据，从而提高了服务器的有效吞吐率。
在一示例性实施例中，提供了再一种数据处理方法，主要包括服务器主机处理流程以及加速卡处理流程两部分组成，服务器主机和加速卡之间通过标准接口如PCIE实现数据交互。
具体地，服务器主机将客户端单次加速请求的待处理数据分成N份数据块，并分别将N份数据块写入至加速卡的数据缓存区，同时更新加速卡缓存区数据块计数器。加速卡通过比较处理数据块计数器和加速卡缓冲区数据块计数器的大小，以判断当前数据块计算是否可以进行。加速卡处理完最后一个数据块后，进入后级计算，当加速卡完成后级计算后，通知服务器主机本次加速请求完成。服务器主机读取本次请求的计算结果，完成本次加速处理。
示例性地，参考图7，服务器主机处理流程包括以下内容：
(1)服务器主机初始化加速卡，具体包括：申请加速卡的数据缓存区、加速卡缓存区数据块计数器置0、配置加速卡参数、启动加速卡等。
(2)服务器主机检查是否有数据块，如果有进入下一步，否则等待。
(3)服务器主机启动写数据块至加速卡的数据缓存区。
(4)服务器主机将加速卡缓存区数据块计数器加1。
(5)服务器主机判断加速卡缓存区数据块计数器是否小于N，如果小于N，则返回到第(2)步，否则进入下一步。
(6)加速卡缓存区数据块计数器置0。
(7)等待加速卡完成当前请求。
示例性地，参考图8，加速卡启动后，加速卡处理流程包括以下内容：
(1)处理数据块计数器置1。
(2)检查缓存区数据块计数器是否大于等于处理数据块计数器，如果是，进入下一步，否则等待。
(3)计算当前数据块。
(4)处理数据块计数器加1。
(5)比较处理数据块计数器是否小于N，如果小于N，则返回到第(2)步，否则进入下一步。
(6)完成后级计算。
(7)通知服务器主机当前请求完成。
本公开实施例提供的数据处理方法，实现了第一层的数据输入和计算细粒度流水进行的目的，将数据输入等待时间缩短至最小数据块的输入时间，从而提高了服务器的数据处理效率；有利于适应线上请求流量的动态特性，从而减少了服务延迟，进一步提升了服务器的有效吞吐率。
图9是根据一示例性实施例示出的一种数据处理装置的框图。参照图9，该装置包括第一处理模块910、数据块统计模块920和第二处理模块930。
第一处理模块910，被配置为执行若检测到数据缓存区存储有服务器主机写入的数据块，则对数据块进行第一异构加速处理；服务器主机用于接收客户端单次发送的待处理数据，将待处理数据分成至少两个数据块，分别将各个数据块写入到数据缓存区；
数据块统计模块920，被配置为执行统计数据缓存区中已完成第一异构加速处理的数据块的数量；
第二处理模块930，被配置为执行若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；其中，第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。
本公开实施例提供的数据处理装置，实现了数据缓存区存储有服务器主机写入的、由待处理数据所分成的数据块，即可对数据块进行处理的目的，无需等待服务器主机将待处理数据完全写入到服务器中的数据缓存区，才对待处理数据进行处理；从而节省了大量时间，进而降低了服务延迟，有效地提高了服务器的数据处理效率。同时，避免了在等待服务器主机将待处理数据完全写入到服务器中的数据缓存区的过程中，处于空闲状态的缺陷，有利于在有效的时间内处理更多的数据，从而提高了服务器的有效吞吐率。
在一示例性实施例中，上述数据处理装置还包括数据块存储确认模块，被配置为执行识别数据缓存区中服务器主机写入的数据对应的数据量；若数据量达到预设数据量，则确认数据缓存区存储有服务器主机写入的数据块。
在一示例性实施例中，上述数据处理装置还包括数据块标记模块，被配置为在对数据块进行第一异构加速处理之后，将数据块标记为已处理。
在一示例性实施例中，上述数据块统计模块920，还被配置为统计数据缓存区中已处理的数据块的数量，作为数据缓存区中已完成第一异构加速处理的数据块的数量。
在一示例性实施例中，上述数据处理装置还包括数据块检测模块，被配置为执行若数据缓存区中已完成第一异构加速处理的数据块的数量未达到待处理数据所分成的数据块的数量，则检测数据缓存区是否存储有服务器主机写入的数据块。
在一示例性实施例中，待处理数据中携带有数据处理类型；上述第一处理模块910，还被配置为执行获取与数据处理类型对应的第一异构加速处理文件；根据第一异构加速处理文件对数据块进行第一异构加速处理，得到对应的处理结果。
在一示例性实施例中，上述第二处理模块930，还被配置为执行分别获取各个数据块对应的处理结果；获取与数据处理类型对应的第二异构加速处理文件，根据第二异构加速处理文件对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果。
在一示例性实施例中，上述数据处理装置还包括目标处理结果发送模块，被配置为执行将目标处理结果发送至服务器主机；服务器主机用于将目标处理结果发送至客户端。
图10是根据另一示例性实施例示出的一种数据处理装置的框图。参照图10，该装置包括数据接收模块1010和数据块写入模块1020。
数据接收模块1010，被配置为执行接收客户端单次发送的待处理数据，将待处理数据分成至少两个数据块；
数据块写入模块1020，被配置为执行分别将各个数据块写入到关联的加速卡的数据缓存区；加速卡用于若检测到数据缓存区存储有所述数据块，则对数据块进行第一异构加速处理；统计数据缓存区中已完成第一异构加速处理的数据块的数量；若数据缓存区中已完成第一异构加速处理的数据块的数量达到待处理数据所分成的数据块的数量，则对各个数据块对应的处理结果进行第二异构加速处理，得到待处理数据的目标处理结果；其中，第二异构加速处理为依赖于第一异构加速处理的处理结果而进行的处理。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种电子设备的框图。参照图11，该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据块。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本公开还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述数据处理方法实施例中对应的各个步骤和/或流程。
本公开还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述数据处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码被计算机运行时，使得计算机执行上述数据处理方法实施例中对应的各个步骤和/或流程。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
若检测到数据缓存区存储有服务器主机写入的数据块，则对所述数据块进行第一异构加速处理；所述服务器主机用于接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块，分别将各个所述数据块写入到所述数据缓存区；
统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；
若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
2.根据权利要求1所述的方法，其特征在于，在若检测到数据缓存区存储有服务器主机写入的数据块，则对所述数据块进行第一异构加速处理之前，还包括：
识别所述数据缓存区中所述服务器主机写入的数据对应的数据量；
若所述数据量达到预设数据量，则确认所述数据缓存区存储有所述服务器主机写入的数据块。
3.根据权利要求1所述的方法，其特征在于，在对所述数据块进行第一异构加速处理之后，还包括：
将所述数据块标记为已处理；
所述统计所述数据缓存区中已完成第一异构加速处理的数据块的数量，包括：
统计所述数据缓存区中已处理的数据块的数量，作为所述数据缓存区中已完成第一异构加速处理的数据块的数量。
4.根据权利要求1所述的方法，其特征在于，所述待处理数据中携带有数据处理类型；
所述对所述数据块进行第一异构加速处理，包括：
获取与所述数据处理类型对应的第一异构加速处理文件；
根据所述第一异构加速处理文件对所述数据块进行第一异构加速处理，得到对应的处理结果。
5.根据权利要求4所述的方法，其特征在于，所述对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果，包括：
分别获取各个所述数据块对应的处理结果；
获取与所述数据处理类型对应的第二异构加速处理文件，根据所述第二异构加速处理文件对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
将所述目标处理结果发送至所述服务器主机；所述服务器主机用于将所述目标处理结果发送至所述客户端。
7.一种数据处理方法，其特征在于，所述方法包括：
接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块；
分别将各个所述数据块写入到关联的加速卡的数据缓存区；所述加速卡用于若检测到数据缓存区存储有所述数据块，则对所述数据块进行第一异构加速处理；统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
8.一种数据处理装置，其特征在于，所述装置包括：
第一处理模块，被配置为执行若检测到数据缓存区存储有服务器主机写入的数据块，则对所述数据块进行第一异构加速处理；所述服务器主机用于接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块，分别将各个所述数据块写入到所述数据缓存区；
数据块统计模块，被配置为执行统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；
第二处理模块，被配置为执行若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
9.一种数据处理装置，其特征在于，所述装置包括：
数据接收模块，被配置为执行接收客户端单次发送的待处理数据，将所述待处理数据分成至少两个数据块；
数据块写入模块，被配置为执行分别将各个所述数据块写入到关联的加速卡的数据缓存区；所述加速卡用于若检测到数据缓存区存储有所述数据块，则对所述数据块进行第一异构加速处理；统计所述数据缓存区中已完成第一异构加速处理的数据块的数量；若所述数据缓存区中已完成第一异构加速处理的数据块的数量达到所述待处理数据所分成的所述数据块的数量，则对各个所述数据块对应的处理结果进行第二异构加速处理，得到所述待处理数据的目标处理结果；其中，所述第二异构加速处理为依赖于所述第一异构加速处理的处理结果而进行的处理。
10.一种电子设备，其特征在于，包括：
处理器；
被配置为执行存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。
CN201911159697.6A 2019-11-22 2019-11-22 数据处理方法、装置、电子设备和存储介质 Active CN110955390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911159697.6A CN110955390B (zh) 2019-11-22 2019-11-22 数据处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911159697.6A CN110955390B (zh) 2019-11-22 2019-11-22 数据处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110955390A true CN110955390A (zh) 2020-04-03
CN110955390B CN110955390B (zh) 2023-08-08

Family

ID=69978318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911159697.6A Active CN110955390B (zh) 2019-11-22 2019-11-22 数据处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110955390B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835847A (zh) * 2020-07-10 2020-10-27 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质
CN112131164A (zh) * 2020-09-23 2020-12-25 山东云海国创云计算装备产业创新中心有限公司 应用于加速板卡的数据调度方法、装置及加速板卡和介质
CN114090266A (zh) * 2021-12-01 2022-02-25 中科三清科技有限公司 空气质量预报生成方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776466A (zh) * 2016-11-30 2017-05-31 郑州云海信息技术有限公司 一种fpga异构加速计算装置及系统
WO2018203185A1 (en) * 2017-05-02 2018-11-08 International Business Machines Corporation Asynchronous data store operations
CN109547531B (zh) * 2018-10-19 2021-04-09 华为技术有限公司 数据处理的方法、装置和计算设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835847A (zh) * 2020-07-10 2020-10-27 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质
CN111835847B (zh) * 2020-07-10 2021-12-14 中国联合网络通信集团有限公司 数据处理方法、装置、设备及存储介质
CN112131164A (zh) * 2020-09-23 2020-12-25 山东云海国创云计算装备产业创新中心有限公司 应用于加速板卡的数据调度方法、装置及加速板卡和介质
CN112131164B (zh) * 2020-09-23 2022-06-17 山东云海国创云计算装备产业创新中心有限公司 应用于加速板卡的数据调度方法、装置及加速板卡和介质
CN114090266A (zh) * 2021-12-01 2022-02-25 中科三清科技有限公司 空气质量预报生成方法和装置

Also Published As

Publication number Publication date
CN110955390B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110955390B (zh) 数据处理方法、装置、电子设备和存储介质
US11144330B2 (en) Algorithm program loading method and related apparatus
CN104268229B (zh) 一种基于多进程浏览器的资源获得方法及装置
EP3058481B1 (en) Acceleration based on cached flows
CN107807841B (zh) 服务器模拟方法、装置、设备及可读存储介质
CN109933610B (zh) 数据处理方法、装置、计算机设备及存储介质
CN113253878B (zh) 触摸屏的报点确定方法、装置、电子设备及存储介质
CN114328132A (zh) 外部数据源的状态监控方法、装置、设备和介质
CN114095567A (zh) 数据访问请求的处理方法、装置、计算机设备及介质
CN114006946B (zh) 同质资源请求的处理方法、装置、设备及存储介质
CN113656176A (zh) 云设备的分配方法、装置、系统、电子设备、介质及产品
CN110910249B (zh) 一种数据处理方法、装置、节点设备及存储介质
WO2023071566A1 (zh) 数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN115151902A (zh) 集群扩容方法、装置、存储介质及电子设备
CN110765392A (zh) 数据的加载方法及装置、存储介质、终端
CN113673476A (zh) 人脸识别模型训练方法、装置、存储介质与电子设备
CN114968505A (zh) 任务处理系统、方法、装置、设备、存储介质及程序产品
CN106776947A (zh) 资源获取方法、装置及终端
CN111444253A (zh) 数据导入方法、装置、计算机可读存储介质和计算机设备
CN113468195B (zh) 服务器数据缓存更新方法、系统和主数据库服务器
CN111045823A (zh) 上下文数据的负载分发方法、装置、设备及存储介质
CN116820658B (zh) 一种云应用页面渲染方法、装置、设备及存储介质
CN115168002A (zh) 一种请求控制方法及相关装置
CN117785264A (zh) 一种服务器运维的接口配置方法、装置和存储介质
CN115495256A (zh) 服务调用方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240410

Address after: Room 101, 7th Floor, Building 11, No.16 West Erqi Road, Haidian District, Beijing, 100080

Patentee after: Beijing Lingchuan Technology Co.,Ltd.

Country or region after: China

Address before: 101d1-7, 1st floor, building 1, No. 6, Shangdi West Road, Haidian District, Beijing 100085

Patentee before: Beijing Dajia Internet Information Technology Co.,Ltd.

Country or region before: China