CN114579054A - 一种数据处理方法、装置、电子设备及计算机可读介质 - Google Patents

一种数据处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN114579054A
CN114579054A CN202210213115.3A CN202210213115A CN114579054A CN 114579054 A CN114579054 A CN 114579054A CN 202210213115 A CN202210213115 A CN 202210213115A CN 114579054 A CN114579054 A CN 114579054A
Authority
CN
China
Prior art keywords
data
processing
processed
determining
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210213115.3A
Other languages
English (en)
Inventor
许舒恒
许新玉
李�浩
徐卓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Kunpeng Jiangsu Technology Co Ltd
Original Assignee
Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Kunpeng Jiangsu Technology Co Ltd filed Critical Jingdong Kunpeng Jiangsu Technology Co Ltd
Priority to CN202210213115.3A priority Critical patent/CN114579054A/zh
Publication of CN114579054A publication Critical patent/CN114579054A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了数据处理方法、装置、电子设备及计算机可读介质，涉及计算机技术领域，该方法包括：接收数据处理请求，确定对应的设备标识；基于设备标识，确定数据后处理类型；获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，确定目标预测概率，基于目标预测概率调用对应的策略对待处理数据进行处理。所有数据处理、格式转换、模型推理，均在GPU上完成，且仅涉及一次数据拷贝，通过使用GPU完成全链路的优化，使全链路的耗时减少，同时增加了GPU的利用率。

Description

一种数据处理方法、装置、电子设备及计算机可读介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。
背景技术
目前，在现有的智能驾驶场景中，图形处理器(graphics processing unit，GPU)的使用范畴大多局限在深度学习模型推理阶段。同时，在智能驾驶的系统中，可能存在少量的数据处理等运算使用了GPU，GPU使用率低且在GPU运算前，需要将后续需要处理的数据从中央处理器(central processing unit，CPU)的内存中传输至GPU的显存，处理完成后还要拷贝回CPU，导致过多的额外数据拷贝时间，耗时增加的问题。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：
在智能驾驶场景中，进行数据处理时，CPU和GPU之间互相的数据拷贝，导致数据处理的耗时增加。
发明内容
有鉴于此，本申请实施例提供一种数据处理方法、装置、电子设备及计算机可读介质，能够解决现有的在智能驾驶场景中，进行数据处理时，CPU和GPU之间互相的数据拷贝，导致数据处理的耗时增加的问题。
为实现上述目的，根据本申请实施例的一个方面，提供了一种数据处理方法，包括：
接收数据处理请求，确定对应的设备标识；
基于设备标识，确定数据后处理类型；
获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；
将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；
基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。
可选地，确定数据后处理类型，包括：
确定设备标识对应的设备数量和对应的预测模型数量；
基于设备数量和预测模型数量，确定数据处理流程，进而基于数据处理流程确定对应的数据后处理类型。
可选地，获取数据处理请求对应的待处理数据，包括：
确定数据处理请求中的数据存储地址；
基于数据存储地址，从CPU拷贝对应的待处理数据。
可选地，对待处理数据进行前处理，得到前处理数据特征，包括：
基于预设条件对待处理数据进行阶段划分，得到阶段划分数据；
对各阶段划分数据进行融合，生成融合数据；
对融合数据进行特征提取，得到前处理数据特征。
可选地，在输出对应的预测概率和置信度之前，方法还包括：
调用各对应的预测模型的预测服务，以调用公共模型数据处理组件，对来自于同一数据源的待处理数据进行概率预测和确定预测的概率所对应的置信度。
可选地，确定目标预测概率，包括：
响应于确定置信度大于第一预设阈值，将置信度对应的预测概率确定为目标预测概率。
可选地，基于目标预测概率调用对应的策略对待处理数据进行处理，包括：
响应于确定目标预测概率大于第二预设阈值，调用异常处理策略，以对待处理数据执行对应的异常处理进程。
另外，本申请还提供了一种数据处理装置，包括：
接收单元，被配置成接收数据处理请求，确定对应的设备标识；
类型确定单元，被配置成基于设备标识，确定数据后处理类型；
前处理单元，被配置成获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；
预测单元，被配置成将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；
数据处理单元，被配置成基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。
可选地，类型确定单元进一步被配置成：
确定设备标识对应的设备数量和对应的预测模型数量；
基于设备数量和预测模型数量，确定数据处理流程，进而基于数据处理流程确定对应的数据后处理类型。
可选地，前处理单元进一步被配置成：
确定数据处理请求中的数据存储地址；
基于数据存储地址，从CPU拷贝对应的待处理数据。
可选地，前处理单元进一步被配置成：
基于预设条件对待处理数据进行阶段划分，得到阶段划分数据；
对各阶段划分数据进行融合，生成融合数据；
对融合数据进行特征提取，得到前处理数据特征。
可选地，预测单元进一步被配置成：
调用各对应的预测模型的预测服务，以调用公共模型数据处理组件，对来自于同一数据源的待处理数据进行概率预测和确定预测的概率所对应的置信度。
可选地，数据处理单元进一步被配置成：
响应于确定置信度大于第一预设阈值，将置信度对应的预测概率确定为目标预测概率。
可选地，数据处理单元进一步被配置成：
响应于确定目标预测概率大于第二预设阈值，调用异常处理策略，以对待处理数据执行对应的异常处理进程。
另外，本申请还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据处理方法。
另外，本申请还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据处理方法。
上述发明中的一个实施例具有如下优点或有益效果：本申请通过在智能驾驶时，GPU接收数据处理请求，确定对应的设备标识；基于设备标识，确定数据后处理类型；从CPU获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。所有数据处理、格式转换、模型推理，均在GPU上完成(加速)，且仅涉及一次数据拷贝。通过使用GPU完成全链路的优化：在全链路中无需任何额外的数据拷贝操作；前、后处理的运算得到了几何倍的加速，使全链路的耗时减少，同时增加了GPU的利用率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请，不构成对本申请的不当限定。其中：
图1是根据本申请可选实施例的数据处理方法的流程图(一)；
图2是根据本申请可选实施例的系统原理图；
图3是根据本申请可选实施例的数据处理方法的流程图(二)；
图4是根据本申请可选实施例的数据处理方法的应用场景示意图；
图5是根据本申请可选实施例的数据处理装置的示意图；
图6是本申请可选实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本申请可选实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请可选实施例的数据处理方法的流程图(一)，如图1所示，数据处理方法包括：
步骤S101，接收数据处理请求，确定对应的设备标识。
本实施例中，数据处理方法的执行主体(例如，可以是GPU)可以通过有线连接或无线连接的方式，接收数据处理请求。数据处理请求，例如可以是智能驾驶场景中的识别障碍物的请求。执行主体在接收到数据处理请求后，可以获取数据处理请求中携带的设备标识。设备标识，可以是JGLD、SXT，分别代表激光雷达、摄像头。本申请实施例对设备标识的具体内容不做限定。
步骤S102，基于设备标识，确定数据后处理类型。
执行主体可以确定不同的设备标识的数量，基于不同的设备标识的数量来确定数据后处理类型。示例的，如图2所示的系统原理图，当不同设备标识的数量为1时，数据后处理类型可以使用图2中的结构a或c。当不同设备标识的数量大于1时，数据后处理类型只能选择图2中的结构b。
步骤S103，获取数据处理请求对应的待处理数据，对待处理数据进行前处理，得到前处理数据特征。
具体地，获取数据处理请求对应的待处理数据，包括：
确定数据处理请求中的数据存储地址；基于数据存储地址，从CPU拷贝对应的待处理数据。
具体地，对待处理数据进行前处理，得到前处理数据特征，包括：
基于预设条件对待处理数据进行阶段划分，得到阶段划分数据。具体地，预设条件可以是预设的解码、采样、校正、增强、筛选、融合、特征提取的条件。阶段划分数据可以是解码阶段、采样阶段、校正阶段、增强阶段、筛选阶段、融合阶段、特征提取阶段得到的数据。
对各阶段划分数据进行融合，生成融合数据。对各阶段划分数据进行融合，指的是利用数据融合技术对各阶段划分数据进行融合。生成融合数据。数据融合技术，包括对各种信息源给出的有用信息的采集、传输、综合、过滤、相关及合成，以便辅助进行态势/环境判定、规划、探测、验证、诊断。
对融合数据进行特征提取，得到前处理数据特征。执行主体调用特征提取模型进行相应特征的提取，得到经过前处理后的前处理数据特征。
在前处理过程中，均可采用图2中的a、b、c三种结构；对于后处理而言，考虑到通常情况下，需要一个在时间、空间上稳定的预测结果输出，因此其结果会有多个数据源(模型推理的预测结果、上一时刻的后处理结果)，此时后处理仅能使用上述的结构b。如后处理对时间、空间无一致性要求，仍可使用结构a。
步骤S104，将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度。
置信度，也称为可靠度，或置信水平、置信系数，即在抽样对总体参数做出估计时，由于样本的随机性，其结论总是不确定的。因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。
具体地，在输出对应的预测概率和置信度之前，方法还包括：
调用各对应的预测模型的预测服务，以调用公共模型数据处理组件，对来自于同一数据源的待处理数据进行概率预测和确定预测的概率所对应的置信度。
示例的，在智能驾驶的场景中，由于任务的复杂性，可能需要为不同任务部署不同的推理服务，但由于车端的传感器有限，不同的模型推理可能使用相同的数据源，且其处理方式可能相同，如图2中的“前处理”-“c”，不同模型之间可以共用一个有相同基础处理操作的组件(即公共模型数据处理组件)对来自于同一数据源的待处理数据进行概率预测和确定预测的概率所对应的置信度，从而达到节省算力、加速运算的目的。
步骤S105，基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。
具体地，确定目标预测概率，包括：
响应于确定置信度大于第一预设阈值，将置信度对应的预测概率确定为目标预测概率。
第一预设阈值是对置信度进行评价的阈值，本申请实施例对第一预设阈值不做具体限定，可以根据实际情况确定。
当执行主体确定预测模型输出的预测概率的置信度大于第一预设阈值，则可以确定该预测概率即为可信的预测概率，可以将该预测概率确定为目标预测概率。
具体地，基于目标预测概率调用对应的策略对待处理数据进行处理，包括：
响应于确定目标预测概率大于第二预设阈值，调用异常处理策略，以对待处理数据执行对应的异常处理进程。
第二预设阈值是对预测概率进行评价的阈值。目标预测概率，例如可以是智能驾驶过程中遇到的物体是障碍物的概率。当目标预测概率大于第二预设阈值时，也就是说智能驾驶过程中遇到的物体是障碍物的概率大于第二预设阈值，表明智能驾驶过程中遇到的物体是障碍物可能性大到一定程度，可以判定该物体就是障碍物。则执行主体可以调用对障碍物处理的策略执行行驶路线的重新规划等异常处理进程。
本实施例通过在智能驾驶时，GPU接收数据处理请求，确定对应的设备标识；基于设备标识，确定数据后处理类型；从CPU获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。所有数据处理、格式转换、模型推理，均在GPU上完成(加速)，且仅涉及一次数据拷贝。通过使用GPU完成全链路的优化：在全链路中无需任何额外的数据拷贝操作；前、后处理的运算得到了几何倍的加速，使全链路的耗时减少，同时增加了GPU的利用率。
图3是根据本申请可选实施例的数据处理方法的流程图(二)，如图3所示，数据处理方法包括：
步骤S301，接收数据处理请求，确定对应的设备标识。
步骤S302，确定设备标识对应的设备数量和对应的预测模型数量。
步骤S303，基于设备数量和预测模型数量，确定数据处理流程，进而基于数据处理流程确定对应的数据后处理类型。
执行主体可以响应于确定设备标识对应的设备数量为1，对应的预测模型的数量为1，则可以确定数据处理流程为如图2所示的结构a，对应的数据后处理类型对应的结构也是a结构。执行主体可以响应于确定设备标识对应的设备数量为大于1，对应的预测模型的数量为大于1，则可以确定数据处理流程为如图2所示的结构b，对应的数据后处理类型对应的结构也是b结构。执行主体可以响应于确定设备标识对应的设备数量为1，对应的预测模型的数量为大于1，则可以确定数据处理流程为如图2所示的结构c，对应的数据后处理类型对应的结构也是c结构。从而实现全链路GPU通道加速。
步骤S304，获取数据处理请求对应的待处理数据，对待处理数据进行前处理，得到前处理数据特征。
步骤S305，将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度。
步骤S306，基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。
步骤S304～步骤S306的原理与步骤S103～步骤S105的原理类似，此处不再赘述。
图4是根据本申请可选实施例的数据处理方法的应用场景示意图。本申请实施例的数据处理方法，可以应用于智能驾驶过程中的数据处理场景。如图4所示，本申请实施例提供一种全链路的优化方法。可以将服务于模型推理的数据前处理、后处理过程迁移至GPU上运行，来达到释放CPU资源，同时加快模型推理的全链路速度。并且通过建立GPU数据通道，从而减少CPU-GPU之间的数据传输，来进一步加快推理全链路的速度。提供一系列可随机组合的经GPU优化的用于数据处理的组件(包含TensorRT格式转换)。可供移动设备在不同的环境下，随意使用、组合，且执行性能不受影响。具体地，推理全链路主要包含了3个部分：前处理、模型推理和后处理。其中，如图2和图4所示，前处理主要包含但不限于：从CPU中获取的输入数据(图像、激光雷达)的解码、采样、校正、增强、筛选、融合、特征提取等。模型推理主要包含：运行不同输入数据(单、多数据)的机器学习、深度学习等模型，并根据当前输入给出预测。后处理(例如T0，…，Tt-1，Tt)主要包括：通过将不同时间、空间的预测相融合，并根据每个预测结果的置信度，给出一个鲁棒性较强的预测结果，该结果可具有(时间、空间连续性)。
具体地，前、后处理的GPU加速过程：为构建全链路GPU高速通道，同时避免CPU到GPU的数据频繁拷贝。需要将全链路整个过程中所涉及的数据处理操作全部在GPU上实现优化加速。同时，为了增加前后处理的可扩展性，实现了一系列基础的数据处理组件(包含TensorRT格式转换)。同时提供了3种不同的数据处理流程，如图2所示的“前处理”中，每个圆圈均代表一个基础的数据处理组件，每个组件均在GPU上执行。在单一数据源，单一模型推理的情况下，如上图“前处理”-“a”，输入数据经过多次不同的基础数据处理组件，最终实现复杂的前处理操作。对于智能驾驶，移动设备通常有多个输入设备(相机、雷达、毫米波等)，而每种数据信号源的处理方式存在差异，因此在多数据源，单一模型推理的情况下，如上图“前处理”-“b”，通过对不同分散化的输入数据进行处理，再分阶段融合/统一，最终可以得到一个结构化/整体化的数据源，供模型推理使用。在智能驾驶的场景中，由于任务的复杂性，可能需要为不同任务部署不同的推理服务，但由于车端的传感器有限，不同的模型推理可能使用相同的数据源，且其处理方式可能相同，如上图“前处理”-“c”，不同模型之间可以共用一个有相同基础处理操作的组件，从而达到节省算力、加速运算的目的。
在前处理过程中，均可采用上述的a、b、c三种结构；对于后处理而言，考虑到通常情况下，需要一个在时间、空间上稳定的预测结果输出，因此其结果会有多个数据源(模型推理的预测结果、上一时刻的后处理结果)，此时后处理仅能使用上述的结构b。如后处理对时间、空间无一致性要求，仍可使用结构a。
全链路GPU通道加速：通过将全链路(包含：前处理、模型推理、后处理)的碎片化操作全部整合至GPU上运行，全链路中不再包含任何CPU的操作，因此无需将全链路过程中的数据从GPU拷贝至CPU，所有数据源、中间数据均存储在GPU数据通道中。同时，在常用的数据处理操作中，CPU到GPU和GPU到CPU的数据拷贝的时间远大于GPU执行运算的耗时，经过整合后的全链路，不仅前、后处理得到了加速，同时由于免去了数据拷贝，因此全链路耗时也将大大缩短。
通过使用GPU完成全链路的优化：在全链路中无需任何额外的数据拷贝操作；前、后处理的运算得到了几何倍的加速，使全链路的耗时减少，同时增加了GPU的利用率。
图5是根据本申请可选实施例的数据处理装置的示意图。如图5所示，数据处理装置包括接收单元501、类型确定单元502、前处理单元503、预测单元504和数据处理单元505。
接收单元501，被配置成接收数据处理请求，确定对应的设备标识。
类型确定单元502，被配置成基于设备标识，确定数据后处理类型。
前处理单元503，被配置成获取数据处理请求对应的待处理数据，对待处理数据进行前处理，得到前处理数据特征。
预测单元504，被配置成将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度。
数据处理单元505，被配置成基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。
在一些实施例中，类型确定单元502进一步被配置成：确定设备标识对应的设备数量和对应的预测模型数量；基于设备数量和预测模型数量，确定数据处理流程，进而基于数据处理流程确定对应的数据后处理类型。
在一些实施例中，前处理单元503进一步被配置成：确定数据处理请求中的数据存储地址；基于数据存储地址，从CPU拷贝对应的待处理数据。
在一些实施例中，前处理单元503进一步被配置成：基于预设条件对待处理数据进行阶段划分，得到阶段划分数据；对各阶段划分数据进行融合，生成融合数据；对融合数据进行特征提取，得到前处理数据特征。
在一些实施例中，预测单元504进一步被配置成：调用各对应的预测模型的预测服务，以调用公共模型数据处理组件，对来自于同一数据源的待处理数据进行概率预测和确定预测的概率所对应的置信度。
在一些实施例中，数据处理单元505进一步被配置成：响应于确定置信度大于第一预设阈值，将置信度对应的预测概率确定为目标预测概率。
在一些实施例中，数据处理单元505进一步被配置成：响应于确定目标预测概率大于第二预设阈值，调用异常处理策略，以对待处理数据执行对应的异常处理进程。
需要说明的是，在本申请数据处理方法和数据处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
图6示出了可以应用本申请可选实施例的数据处理方法或数据处理装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有数据处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所提交的数据处理请求提供支持的后台管理服务器(仅为示例)。后台管理服务器的GPU可以接收数据处理请求，确定对应的设备标识；基于设备标识，确定数据后处理类型；从CPU获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。所有数据处理、格式转换、模型推理，均在GPU上完成(加速)，且仅涉及一次数据拷贝。通过使用GPU完成全链路的优化：在全链路中无需任何额外的数据拷贝操作；前、后处理的运算得到了几何倍的加速，使全链路的耗时减少，同时增加了GPU的利用率。
需要说明的是，本申请实施例所提供的数据处理方法一般由服务器605执行，相应地，数据处理装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本申请可选实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有计算机系统700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本申请公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、类型确定单元、前处理单元、预测单元和数据处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备的GPU接收数据处理请求，确定对应的设备标识；基于设备标识，确定数据后处理类型；从CPU获取数据处理请求对应的待处理数据，对所待处理数据进行前处理，得到前处理数据特征；将前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；基于各预测概率和置信度，调用数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于目标预测概率调用对应的策略对待处理数据进行处理。
根据本申请实施例的技术方案，通过所有数据处理、格式转换、模型推理，均在GPU上完成(加速)，且仅涉及一次数据拷贝。通过使用GPU完成全链路的优化：在全链路中无需任何额外的数据拷贝操作；前、后处理的运算得到了几何倍的加速，使全链路的耗时减少，同时增加了GPU的利用率。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种数据处理方法，其特征在于，包括：
接收数据处理请求，确定对应的设备标识；
基于所述设备标识，确定数据后处理类型；
获取数据处理请求对应的待处理数据，对所述待处理数据进行前处理，得到前处理数据特征；
将所述前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；
基于各所述预测概率和置信度，调用所述数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于所述目标预测概率调用对应的策略对所述待处理数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述确定数据后处理类型，包括：
确定所述设备标识对应的设备数量和对应的预测模型数量；
基于所述设备数量和所述预测模型数量，确定数据处理流程，进而基于所述数据处理流程确定对应的数据后处理类型。
3.根据权利要求1所述的方法，其特征在于，所述获取数据处理请求对应的待处理数据，包括：
确定所述数据处理请求中的数据存储地址；
基于所述数据存储地址，从CPU拷贝对应的待处理数据。
4.根据权利要求1所述的方法，其特征在于，所述对所述待处理数据进行前处理，得到前处理数据特征，包括：
基于预设条件对所述待处理数据进行阶段划分，得到阶段划分数据；
对各所述阶段划分数据进行融合，生成融合数据；
对所述融合数据进行特征提取，得到前处理数据特征。
5.根据权利要求1所述的方法，其特征在于，在所述输出对应的预测概率和置信度之前，所述方法还包括：
调用各所述对应的预测模型的预测服务，以调用公共模型数据处理组件，对来自于同一数据源的待处理数据进行概率预测和确定预测的概率所对应的置信度。
6.根据权利要求1所述的方法，其特征在于，所述确定目标预测概率，包括：
响应于确定所述置信度大于第一预设阈值，将所述置信度对应的预测概率确定为目标预测概率。
7.根据权利要求1～6中任一项所述的方法，其特征在于，所述基于所述目标预测概率调用对应的策略对所述待处理数据进行处理，包括：
响应于确定所述目标预测概率大于第二预设阈值，调用异常处理策略，以对所述待处理数据执行对应的异常处理进程。
8.一种数据处理装置，其特征在于，包括：
接收单元，被配置成接收数据处理请求，确定对应的设备标识；
类型确定单元，被配置成基于所述设备标识，确定数据后处理类型；
前处理单元，被配置成获取数据处理请求对应的待处理数据，对所述待处理数据进行前处理，得到前处理数据特征；
预测单元，被配置成将所述前处理数据特征输入对应的预测模型，以输出对应的预测概率和置信度；
数据处理单元，被配置成基于各所述预测概率和置信度，调用所述数据后处理类型对应的数据后处理组件，以确定目标预测概率，进而基于所述目标预测概率调用对应的策略对所述待处理数据进行处理。
9.根据权利要求8所述的装置，其特征在于，所述类型确定单元进一步被配置成：
确定所述设备标识对应的设备数量和对应的预测模型数量；
基于所述设备数量和所述预测模型数量，确定数据处理流程，进而基于所述数据处理流程确定对应的数据后处理类型。
10.根据权利要求8所述的装置，其特征在于，所述前处理单元进一步被配置成：
确定所述数据处理请求中的数据存储地址；
基于所述数据存储地址，从CPU拷贝对应的待处理数据。
11.一种数据处理电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210213115.3A 2022-03-04 2022-03-04 一种数据处理方法、装置、电子设备及计算机可读介质 Pending CN114579054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210213115.3A CN114579054A (zh) 2022-03-04 2022-03-04 一种数据处理方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210213115.3A CN114579054A (zh) 2022-03-04 2022-03-04 一种数据处理方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN114579054A true CN114579054A (zh) 2022-06-03

Family

ID=81778544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210213115.3A Pending CN114579054A (zh) 2022-03-04 2022-03-04 一种数据处理方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN114579054A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115148028A (zh) * 2022-06-30 2022-10-04 北京小马智行科技有限公司 依据历史数据构建车辆路测场景的方法、装置及一种车辆

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115148028A (zh) * 2022-06-30 2022-10-04 北京小马智行科技有限公司 依据历史数据构建车辆路测场景的方法、装置及一种车辆
CN115148028B (zh) * 2022-06-30 2023-12-15 北京小马智行科技有限公司 依据历史数据构建车辆路测场景的方法、装置及一种车辆

Similar Documents

Publication Publication Date Title
CN107330522B (zh) 用于更新深度学习模型的方法、装置及系统
CN109829164B (zh) 用于生成文本的方法和装置
CN107257379B (zh) 用于推送信息的方法和装置
CN111510466B (zh) 客户端的数据更新方法、装置、电子设备及可读介质
US11934287B2 (en) Method, electronic device and computer program product for processing data
CN111427701A (zh) 一种工作流引擎系统和业务处理方法
CN110781373A (zh) 榜单更新方法、装置、可读介质和电子设备
CN115326099A (zh) 局部路径规划方法、装置、电子设备和计算机可读介质
CN112416632A (zh) 事件通信方法、装置、电子设备和计算机可读介质
CN115205305A (zh) 一种实例分割模型训练方法、实例分割方法及装置
CN114579054A (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN110633597B (zh) 一种可行驶区域检测方法和装置
CN109218338B (zh) 信息处理系统、方法和装置
CN113312553A (zh) 一种用户标签的确定方法和装置
CN113742389A (zh) 一种业务处理方法和装置
CN110489955B (zh) 应用于电子设备的图像处理、装置、计算设备、介质
CN111125503B (zh) 用于生成信息的方法和装置
CN111475392A (zh) 生成预测信息的方法、装置、电子设备和计算机可读介质
CN112418389A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN112115738A (zh) 一种应用于浏览器端的图像识别方法和装置
CN115391661A (zh) 训练推荐模型的方法、推荐资源的方法及其装置
CN111131354B (zh) 用于生成信息的方法和装置
CN113760487A (zh) 一种业务处理方法和装置
CN116700956B (zh) 请求处理方法、装置、电子设备和计算机可读介质
CN112781581B (zh) 应用于扫地机的移动至儿童推车路径生成方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination