CN113435454B - 一种数据处理方法、装置及设备 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置及设备，该方法包括：数据处理设备获取了第一图像处理模型对应的第一预处理配置信息，若所述数据处理设备已处理过第一图像处理模型的第一预处理配置信息，则数据处理设备可以获取该第一图像处理模型对应的第一预处理图像集；然后将具有与第一预处理配置信息相同预处理配置信息的第二图像处理模型与第一预处理图像集相关联。可见，数据处理设备可以避免重复执行相同的预处理操作，节省计算资源。并且第二图像处理模型可以与第一图像处理模型共享第一预处理图像集，节省存储资源。

Description

一种数据处理方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

图像处理系统可以包括图像采集设备、图像处理设备与数据处理设备。在图像处理设备调用图像处理模型执行图像处理(例如，图像增强、图像特征提取)时，通常需要数据处理设备对图像采集设备采集到的图像进行预处理。

其中，一个图像处理模型可以对应一个预处理过程。数据处理设备通常分别以每个图像处理模型对应的预处理配置信息对图像采集设备采集到的图像执行预处理操作。然而，当存在至少两个图像处理模型对应的预处理配置信息相同时，可能会重复执行相同的预处理过程得到相同的预处理图像，浪费计算资源和存储资源。

发明内容

本申请实施例提供了一种数据处理方法、装置及设备。该方法可以避免数据处理设备重复执行相同的预处理操作，第二图像处理模型与第一图像处理模型可以共享第一预处理图像集，可以节省计算资源和存储资源。

第一方面，本申请实施例提供了一种数据处理方法，该数据处理方法包括：

数据处理设备获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

若数据处理设备已处理该第一预处理配置信息，则数据处理设备获取第一图像处理模型对应的第一预处理图像集；

数据处理设备确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

在本申请实施例中，数据处理设备在获取到第一图像处理模型对应的第一预处理配置信息时，判断该第一预处理配置信息是否被处理过。若数据处理设备已处理第一预处理配置信息，则数据处理设备可以直接获取第一图像处理模型对应的第一预处理图像集，并且将第二图像处理模型与第一预处理图像集相关联，第二图像处理模型的第二预处理配置信息与第一预处理配置信息相同。当第一预处理配置信息被处理过时，数据处理设备无需重复执行第一预处理配置信息，并且在第二图像处理模型的第二预处理配置信息与第一预处理配置信息相同时，也无需执行第二预处理配置信息，所以本申请实施例的方法可以节省计算资源，提升数据处理速率。除此之外，数据处理设备还将第二图像处理模型与第一预处理图像集相关联，第二图像处理模型可以与第一图像处理模型共享第一预处理图像集，极大的节省了存储资源。

结合第一方面，在一些可行的实施方式中，第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；该第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法；该第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；该第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

结合第一方面，在一些可行的实施方式中，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

结合第一方面，在一些可行的实施方式中，该第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

结合第一方面，在一些可行的实施方式中，该待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

结合第一方面，在一些可行的实施方式中，数据处理设备确定第二图像处理模型与第一预处理图像集相关联，包括：

获取第二图像处理模型的标识，以及获取第一预处理图像集的存储路径；

将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。

结合第一方面，在一些可行的实施方式中，该方法还包括：

若数据处理设备未处理第一预处理配置信息，则数据处理设备根据第一处理配置信息确定第一预处理图像集。

第二方面，本申请实施例提供了一种数据处理装置，该数据处理装置包括：

获取单元，用于获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

获取单元，还用于若数据处理装置已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定单元，用于确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

结合第二方面，在一些可行的实施方式中，第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；该第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法；该第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；该第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

结合第二方面，在一些可行的实施方式中，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

结合第二方面，在一些可行的实施方式中，该第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

结合第二方面，在一些可行的实施方式中，该待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

结合第二方面，在一些可行的实施方式中，确定单元用于确定第二图像处理模型与第一预处理图像集相关联，包括：

获取第二图像处理模型的标识，以及获取第一预处理图像集的存储路径；

将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。

结合第二方面，在一些可行的实施方式中，确定单元还用于：

若数据处理装置未处理第一预处理配置信息，则根据第一处理配置信息确定第一预处理图像集。

第三方面，本申请实施例提供了一种数据处理设备，该数据处理设备包括处理器和存储器，处理器和存储器相连，其中，存储器用于存储程序代码，处理器用于调用程序代码以执行第一方面的数据处理方法。

第四方面，本申请实施例提供了一种芯片，该芯片用于获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

若芯片已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

第五方面，本申请实施例提供了一种模组设备，该模组设备包括处理器和通信接口，处理器与通信接口相连，通信接口用于收发信号，处理器用于：

获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

若模组设备已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

第六方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时以实现第一方面的数据处理方法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种数据处理方法的流程示意图；

图2是本申请实施例提供的一种图像处理系统的架构示意图；

图3是本申请实施例提供的一种数据处理方法的流程示意图；

图4是本申请实施例提供的一种预处理配置信息的示意图；

图5是本申请实施例提供的一种数据处理方法的流程示意图；

图6是本申请实施例提供的一种数据处理装置的结构示意图；

图7是本申请实施例提供的一种数据处理设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，计算机视觉技术通常包括图像处理、视频处理，以及光学字符识别(OpticalCharacter Recognition，OCR)等多种技术。在计算机视觉研究中，通常会基于计算机视觉技术构建图像处理模型，试图建立能够从图像或者多维数据中获取信息的人工智能系统。

在计算机视觉技术领域中，图像处理设备在调用图像处理模型执行图像处理操作之前，数据处理设备常常需要对图像采集设备采集到的待处理图像执行预处理操作。一个图像处理模型可以对应一个预处理配置信息，数据处理设备可以根据预处理配置信息执行预处理操作，得到预处理图像集。

然而，由于图像处理过程较复杂，图像处理设备可能需要构建多个图像处理模型执行图像处理操作。相应的，数据处理设备就需要分别根据每个图像处理模型对应的预处理配置信息执行预处理操作。请参见图1，图1示出了一种数据处理方法的流程示意图。如图1所示，假设图像处理设备构建了N个图像处理模型，分别为图像处理模型1、图像处理模型2...以及图像处理模型N。数据处理设备需要根据图像处理模型1对应的预处理配置信息1执行预处理操作1得到预处理图像集1。根据图像处理模型2对应的预处理配置信息2执行预处理操作2得到预处理图像集2...以及根据图像处理模型N对应的预处理配置信息N执行预处理操作N得到预处理图像集N。然而，数据处理设备可能会重复执行相同的预处理操作得到相同的预处理图像，例如，图像处理模型1对应的预处理配置信息1和图像处理模型2对应的预处理配置信息2可能相同，导致数据处理设备执行的预处理操作1和预处理操作2相同，重复执行预处理操作，工作量较大，浪费计算资源。并且，由于执行的预处理操作1和预处理操作2相同，导致执行预处理操作得到的预处理图像集1和预处理图像集2也相同。当分别利用存储资源存储预处理图像集1和预处理图像集2时，会重复存储相同的预处理图像集，浪费存储资源。

基于此，本申请实施例提供一种数据处理方法、装置及设备。在该方法中，数据处理设备获取了第一图像处理模型对应的第一预处理配置信息，并判断该第一预处理配置信息是否被处理过；若数据处理设备已处理过该第一图像处理模型的第一预处理配置信息，则数据处理设备可以获取该第一图像处理模型对应的第一预处理图像集；然后将具有与第一预处理配置信息相同预处理配置信息的第二图像处理模型与第一预处理图像集相关联。数据处理设备可以避免重复执行相同的预处理操作，节省计算资源，并且，第二图像处理模型与第一图像处理模型共享第一预处理图像集，可以节省存储资源。

在一个实施例中，该数据处理方法可应用在如图2所示的图像处理系统中，如图2所示，该图像处理系统可至少包括：图像采集设备11、图像处理设备12和数据处理设备13。

其中，图像采集设备11可以是具有图像采集功能的任意设备，图像采集设备11可以为独立的图像采集设备，例如摄像头；图像采集设备11也可以为具有图像采集功能的终端设备，例如智能手机、摄像机等等。图像处理设备12是调用图像处理模型执行图像处理操作的设备。

其中，图像处理设备12可以是具有数据处理功能的任意设备。该图像处理设备12可以是终端设备，该终端设备可以包括但不限于：智能手机、平板电脑、膝上计算机、可穿戴设备、台式计算机，等等。该图像处理设备12还可以是如图2所示的服务器，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、内容分发网络(Content Delivery Network，CDN)、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

其中，数据处理设备13是用于执行本申请所提及的数据处理方法的设备，与图像处理设备12类似，数据处理设备13可以是终端设备，也可以是服务器。该数据处理设备13可以是独立于图像采集设备11或者图像处理设备12之外的设备，如图2所示。该数据处理设备13还可以是部署于图像采集设备11或者图像处理设备12中的设备，例如，数据处理设备13可以部署于图像采集设备11中；又例如，数据处理设备13可以部署于图像处理设备12中，等等，本申请实施例对此不做限定。

其中，本申请实施例的数据处理方法可以应用于图像处理模型的训练阶段或者图像处理模型的测试阶段。例如，在图像处理模型的训练阶段，数据处理设备可以通过本申请的数据处理方法获得每个图像处理模型对应的训练样本集(即预处理图像集)，以使得图像处理设备可以基于该训练样本集对图像处理模型进行训练，得到训练后的图像处理模型。又例如，在图像处理模型的测试阶段，数据处理设备可以通过本申请的数据处理方法获得每个图像处理模型对应的测试样本集(即预处理图像集)，以使得图像处理设备可以基于该测试样本集对图像处理模型进行精度测试。再例如，在图像处理模型的使用阶段，数据处理设备可以通过本申请的数据处理方法获得每个图像处理模型对应的输入样本集(即预处理图像集)，以使得图像处理设备可以将该输入样本集作为图像处理模型的输入。等等。

接下来，将详细阐述本申请实施例的数据处理方法。请参见图3，图3示出了一种数据处理方法的流程示意图。该数据处理方法可以应用于如图2所示的数据处理设备中。如图3所示，该数据处理方法具体包括S301-S303：

S301：获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型。

其中，一个图像处理模型对应有一个预处理配置信息。其中，预处理配置信息用于指示数据处理设备执行的预处理操作，即数据处理设备可以根据预处理配置执行预处理操作。该预处理配置信息中可以包括预处理方法字段、预处理方法参数字段以及待处理图像集目录字段中的一个或多个。

该预处理方法字段可以用于指示图像处理模型对应的预处理方法。可选的，数据处理设备可以根据预处理方法字段和预处理方法字典获取预处理方法，即数据处理设备可以在预处理方法字典中查找到预处理方法字段对应的预处理方法。其中，一个预处理方法可以包括但不限于图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

其中，不同的预处理方法可以包括不同的方法类型。例如，预处理方法A可以包括图像减均值处理和图像缩放处理；又例如，预处理方法B可以包括图像减均值处理、图像缩放处理和图像裁剪处理；等等。

其中，不同的预处理方法可以包括不同的方法顺序。例如，预处理方法C和预处理方法D均可以包括图像缩放处理和图像裁剪处理。在预处理方法C中，数据处理设备可以先执行图像缩放处理，然后再执行图像裁剪处理。在预处理方法D中，数据处理设备可以先执行图像裁剪处理，然后再执行图像缩放处理。

可选的，为了节省存储资源，可以将预处理配置信息以对象简谱(Java ScriptObject Notation，JSON)格式的配置文件进行存储。其中，JSON是一种轻量级的数据交换格式，它是基于欧洲计算机协会制定的JavaScript代码规范的一个子集，采用完全独立于编程语言的文本格式来存储数据。不仅易于用户阅读和编写，也易于数据处理设备解析和生成，可以有效提升数据处理设备的处理速率。当增加图像处理模型的数量时，可以只增加JSON格式的预处理配置信息，极大简化了开发流程。

例如，基于JSON格式存储的预处理配置信息的示意图可如图4所示。可以用图4中的401表示预处理配置信息中的预处理方法字段。该预处理方法字段可以表示为401中的“process_crop”字段。数据处理设备可以根据“process_crop”字段的内容“resize_crop”去预处理方法字典中查找，获得“resize_crop”对应预处理方法。

该预处理方法参数字段用于指示预处理方法对应的预处理参数，可以包括但不限于图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

其中，预处理方法参数字段与预处理方法相关。当预处理方法包括图像减均值处理时，预处理方法参数字段需要包括图像减均值处理对应的参数字段。当预处理方法包括图像缩放处理时，预处理方法参数字段需要包括图像缩放处理对应的参数字段。当预处理方法包括图像归一化处理时，预处理方法参数字段需要包括图像归一化处理对应的参数字段。当预处理方法包括图像裁剪处理时，预处理方法参数字段需要包括图像裁剪处理对应的参数字段。

与预处理方法字段相似，可以用图4中的402表示预处理配置信息中的预处理方法参数字段。该预处理方法参数字段可以表示为402中的“process_arg”字段。可选的，预处理方法参数字段402可以包括图像减均值处理的参数字段mean、图像缩放处理的参数字段short-side、图像归一化处理的参数字段scale以及图像裁剪处理的参数字段size中的一项或多项。

其中，图像减均值处理的参数字段mean用于指示三个颜色通道对应的均值。如图4的402所示，图像减均值处理的参数字段mean的内容为“123.68，116.779，103.939”。当待处理图像为RGB格式的图像时，数据处理设备将待处理图像的R(红色)通道的值减去均值123.68、将待处理图像的G(绿色)通道的值减去均值116.779以及将待处理图像的B(蓝色)通道的值减去均值103.939。

其中，图像缩放处理的参数字段short-side用于指示缩小或者放大后的图像的最短边的长度。如图4的402所示，图像缩放处理的参数字段short-side的内容“256”可以指示数据处理设备需要将待处理图像的最短边的长度缩小或放大至256个像素点。其中，为了避免图像变形，数据处理设备需要基于最短边的缩小比例或放大比例相应的对待处理图像的最长边进行缩小或放大。需要明白，图像缩放处理的参数字段long-side也可以表征图像缩放处理的参数。图像缩放处理的参数字段long-side用于指示缩小或者放大后的图像的最长边的长度。当图像缩放处理的参数字段long-side的内容“256”可以指示数据处理设备需要将待处理图像的最长边的长度缩小或放大至256个像素点。其中，为了避免图像变形，数据处理设备需要基于最长边的缩小比例或放大比例相应的对待处理图像的最短边进行缩小或放大。

其中，图像归一化处理的参数字段scale用于指示图像归一化处理过程中的乘积常数。如图4的402所示，图像归一化处理的参数字段scale的内容“0.017”可以指数据处理设备需要将待处理图像的各个像素点的像素值与0.017相乘。在一些其他实施例中，图像归一化处理的参数字段divise也可以表征图像归一化处理的参数，图像归一化处理的参数字段divise可以用于图像归一化处理过程中的除法常数。图像归一化处理的参数字段divise的内容“256”可以指数据处理设备需要将待处理图像的各个像素点的像素值除以256。

其中，图像裁剪处理的参数字段size用于指示图像裁剪后的图像尺寸。如图4的402所示，图像裁剪处理的参数字段size的内容“224，224”指示数据处理设备需要从待处理图像的中心裁剪出长为224个像素点，宽为224个像素点的图像。

其中，待处理图像集目录字段用于指示预处理方法对应的待处理图像集。其中，该待处理图像目录字段可以指示待处理图像集的存储路径，数据处理设备可以根据待处理图像集的存储路径获取待处理图像集，并对待处理图像集中的每一张待处理图像执行图像预处理操作。与预处理方法字段相似，可以用图4中的403表示预处理配置信息中的待处理图像集目录字段。如图4所示，该待处理图像集目录字段可以表示为403中的“image_dir”字段，“image_dir”字段可以用于指示待处理图像集的存储路径，如“image_dir”字段的内容“/home/xxx/test_images”可以指示待处理图像的存储路径为“/home/xxx/test_images”。

进一步的，一个图像处理模型对应的待处理图像集的图像类型可能相同。例如，图像处理模型a对应的待处理图像集中的图像均为RGB格式类型的图像；又例如，图像处理模型b对应的待处理图像集中的图像均为BGR格式类型的图像。可选的，可以用字段bgr指示待处理图像集中每个图像的图像类型。例如，可以用字段bgr的内容“false”指示该待处理图像集中的待处理图像为RGB格式类型的图像。用字段bgr的内容“ture”指示该待处理图像集中的待处理图像为BGR格式类型的图像。

可选的，可以用字段rgb指示待处理图像集中每个图像的图像类型。例如，可以用字段rgb的内容“false”指示该待处理图像集中的待处理图像为BGR格式类型的图像。用字段rgb的内容“ture”指示该待处理图像集中的待处理图像为RGB格式类型的图像。

综上，针对第一图像处理模型的第一预处理配置信息，该第一预处理配置信息可以包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一项或多项。其中，第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

S302：若数据处理设备已处理第一预处理配置信息，则数据处理设备获取第一图像处理模型对应的第一预处理图像集。

具体的，当获取第一预处理配置信息后，数据处理设备可以判断第一预处理配置信息是否被处理过。若数据处理设备已处理过第一预处理配置信息，则数据处理设备可以直接获取第一图像处理模型对应的第一预处理图像集；若数据处理设备未处理第一预处理配置信息，则数据处理设备需要根据第一预处理配置信息确定第一预处理图像集。

在一个实施例中，数据处理设备可以根据日志信息判断第一预处理配置信息是否被处理过。具体的，当日志信息中存在第一预处理配置信息的第一预处理方法字段时，可以确定该第一预处理配置信息被数据处理设备处理过；当日志信息中不存在第一预处理配置信息的第一预处理方法字段时，可以确定该第一预处理配置信息未被数据处理设备处理过。

在一个实施例中，数据处理设备处理第一预处理配置信息可以得到第一预处理图像集。并且可以将第一预处理配置信息对应的第一图像处理模型与第一预处理图像集相关联。所以，当数据处理设备确定第一预处理配置信息已被处理过时，可以直接获取第一图像处理模型对应的第一预处理图像集，避免重复执行第一预处理配置信息对应的预处理操作，节省计算资源。当数据处理设备确定第一预处理配置信息未被处理过时，数据处理设备无法直接获取第一预处理图像集。此时，数据处理设备需要根据第一预处理配置信息确定第一预处理图像集。数据处理设备可以获取第一预处理配置信息所指示的待处理图像集中的待处理图像。

S303：数据处理设备确定第二图像处理模型与第一预处理图像集相关联，第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

其中，当数据处理设备确定第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同时，为了节省存储资源，可以让第一图像处理模型和第二图像处理模型共享第一预处理图像集。因此，可以将第二图像处理模型也与第一预处理图像集相关联。

请参见图5，图5示出了一种数据处理方法的流程示意图。如图5所示，假设图像处理设备构建了N个图像处理模型，分别为图像处理模型1、图像处理模型2...以及图像处理模型N。数据处理设备根据图像处理模型1对应的预处理配置信息1执行预处理操作1得到预处理图像集1。此时，数据处理设备可以确定预处理配置信息1已被处理过，那么数据处理设备可以直接获取图像处理模型1对应的预处理图像集1。当数据处理设备确定图像处理模型2对应的预处理配置信息2与预处理配置信息1相同时，数据处理设备无需再执行预处理操作2，可以避免重复操作，节省计算资源。直接将图像处理模型2与预处理图像集1相关联，图像处理模型2与图像处理模型1共享预处理图像集1，节省存储资源。

在一个实施例中，可以将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。其中，第二图像处理模型的标识可以包括但不限于第二图像处理模型的名称等。可选的，可以通过键值对将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。具体的，可以将第二图像处理模型的标识作为键值对的键，将第一预处理图像集的存储路径作为键值对的值。以使得图像处理设备在执行第二图像处理模型时，可以直接根据第二图像处理模型的标识获得第一预处理图像集，以作为第二图像处理模型的训练样本或者测试样本。

可选的，可以通过关联列表将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。如表1的关联列表所示，关联列表中可以包括标识列表项和存储路径列表项，标识列表项可以表示为“标识”。存储路径列表项可以表示为“存储路径”。数据处理设备在确定第二图像处理模型的第二预处理配置信息与第一预处理配置信息相同时，可以将第二图像处理模型的标识存储在标识列表项的第一位置处，并将第一预处理图片集的存储位置存储在存储路径列表项与第一位置相对应的位置处。例如，假设第二图像处理模型的标识为“mode2”，则将第二图像处理模型的标识为“mode2”存储在标识列表项的第二栏，并将第二图像处理模型的标识关联的第一预处理图像集的存储路径“/home/xxx/test_images1”存储在存储路径列表项中的第二栏。以使得图像处理设备在执行第二图像处理模型时，可以直接从关联列表中获取第二图像处理模型关联的第一预处理图像集。

标识	存储路径
		mode1	/home/xxx/test_images1
mode2	/home/xxx/test_images1

表1

需要明白，上述数据处理设备确定第二图像处理模型与第一预处理图像集相关联的步骤同样适用于其他图像处理模型。例如，在将第一图像处理模型与第一预处理图像集相关联时，可以将第一图像处理模型的标识与第一预处理图像集的存储路径相关联。此次不再赘述。

在本申请实施例中，数据处理设备在获取到第一图像处理模型对应的第一预处理配置信息时，判断该第一预处理配置信息是否被处理过。若数据处理设备已处理第一预处理配置信息，则数据处理设备可以直接获取第一图像处理模型对应的第一预处理图像集，并且将第二图像处理模型与第一预处理图像集相关联，第二图像处理模型的第二预处理配置信息与第一预处理配置信息相同。当第一预处理配置信息被处理过时，数据处理设备无需重复执行第一预处理配置信息，并且在第二图像处理模型的第二预处理配置信息与第一预处理配置信息相同时，也无需执行第二预处理配置信息，所以本申请实施例的方法可以节省计算资源，提升数据处理速率。除此之外，数据处理设备还将第二图像处理模型与第一预处理图像集相关联，第二图像处理模型可以与第一图像处理模型共享第一预处理图像集，极大的节省了存储资源。

请参见图6，图6是本申请实施例的一种数据处理装置的结构示意图。该装置可以是数据处理设备，也可以是数据处理设备中的装置，或者是能够和数据处理设备匹配使用的装置。图6所示的数据处理装置可以包括获取单元601和确定单元602。其中：

获取单元601，用于获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

获取单元601，还用于若数据处理装置已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定单元602，用于确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

在一些可行的实施方式中，第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；该第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法；该第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；该第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

在一些可行的实施方式中，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

在一些可行的实施方式中，该第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

在一些可行的实施方式中，该待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

在一些可行的实施方式中，确定单元用于确定第二图像处理模型与第一预处理图像集相关联，包括：

获取第二图像处理模型的标识，以及获取第一预处理图像集的存储路径；

将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。

在一些可行的实施方式中，确定单元602还用于：

若数据处理装置未处理第一预处理配置信息，则根据第一处理配置信息确定第一预处理图像集。

上述数据处理装置例如可以是：芯片、或者模组设备。关于上述实施例中描述的各个装置、产品包含的各个单元，其可以是软件单元，也可以是硬件单元，或者也可以部分是软件单元，部分是硬件单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个单元可以都采用电路等硬件的方式实现，或者，至少部分单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分单元可以采用电路等硬件方式实现；对于应用于或集成于模组设备的各个装置、产品，其包含的各个单元可以都采用电路等硬件的方式实现，不同的单元可以位于模组设备的同一组件(例如芯片、电路单元等)或者不同组件中，或者，至少部分单元可以采用软件程序的方式实现，该软件程序运行于模组设备内部集成的处理器，剩余的(如果有)部分单元可以采用电路等硬件方式实现；对于应用于或集成于数据处理设备的各个装置、产品，其包含的各个单元可以都采用电路等硬件的方式实现，不同的单元可以位于数据处理设备内同一组件(例如，芯片、电路单元等)或者不同组件中，或者，至少部分单元可以采用软件程序的方式实现，该软件程序运行于数据处理设备内部集成的处理器，剩余的(如果有)部分单元可以采用电路等硬件方式实现。

其中，该实施方式的相关内容可参见上述方法实施例的相关内容。此处不再详述。本申请实施例和上述方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述方法实施例的描述，在此不赘述。

请参见图7，图7为本申请实施例提供的一种数据处理设备的结构示意图。该数据处理设备包括：处理器701、存储器702，处理器701和存储器702通过一条或多条通信总线703连接。

上述处理器701可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器701被配置为支持数据处理设备执行前述数据处理方法中数据处理设备相应的功能。

上述存储器702可以包括只读存储器和随机存取存储器，并向处理器701提供计算机程序和数据。存储器702的一部分还可以包括非易失性随机存取存储器。其中，该处理器701调用所述计算机程序时用于执行：

获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

若数据处理设备已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

在一些可行的实施方式中，第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；该第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法；该第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；该第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

在一些可行的实施方式中，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

在一些可行的实施方式中，该第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

在一些可行的实施方式中，该待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

在一些可行的实施方式中，处理器701用于确定第二图像处理模型与第一预处理图像集相关联，包括：

获取第二图像处理模型的标识，以及获取第一预处理图像集的存储路径；

将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。

在一些可行的实施方式中，处理器701还用于：

若数据处理设备未处理第一预处理配置信息，则根据第一处理配置信息确定第一预处理图像集。

其中，该实施方式的相关内容可参见上述方法实施例的相关内容。此处不再详述。本申请实施例和上述方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述方法实施例的描述，在此不赘述。

本申请实施例提供一种芯片，该芯片可以执行前述方法实施例中数据处理设备的相关步骤。该芯片用于：

获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

若芯片已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

在一些可行的实施方式中，第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；该第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法；该第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；该第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

在一些可行的实施方式中，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

在一些可行的实施方式中，该第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

在一些可行的实施方式中，该待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

在一些可行的实施方式中，该芯片用于确定第二图像处理模型与第一预处理图像集相关联，包括：

获取第二图像处理模型的标识，以及获取第一预处理图像集的存储路径；

将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。

在一些可行的实施方式中，该芯片还用于：

若芯片未处理第一预处理配置信息，则根据第一处理配置信息确定第一预处理图像集。

其中，该实施方式的相关内容可参见上述方法实施例的相关内容。此处不再详述。本申请实施例和上述方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述方法实施例的描述，在此不赘述。

本申请实施例还提供一种模组设备，模组设备包括处理器和通信接口，处理器与通信接口相连，通信接口用于收发信号，处理器用于：

获取第一预处理配置信息，该第一预处理配置信息对应第一图像处理模型；

若模组设备已处理第一预处理配置信息，则获取第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与第一预处理图像集相关联，该第二图像处理模型对应的第二预处理配置信息与第一预处理配置信息相同。

在一些可行的实施方式中，第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；该第一预处理方法字段用于指示第一图像处理模型对应的第一预处理方法；该第一预处理方法参数字段用于指示第一预处理方法对应的预处理参数；该第一待处理图像集目录字段用于指示第一预处理方法对应的待处理图像集。

在一些可行的实施方式中，该第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

在一些可行的实施方式中，该第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

在一些可行的实施方式中，该待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

在一些可行的实施方式中，该处理器用于确定第二图像处理模型与第一预处理图像集相关联，包括：

获取第二图像处理模型的标识，以及获取第一预处理图像集的存储路径；

将第二图像处理模型的标识与第一预处理图像集的存储路径相关联。

在一些可行的实施方式中，该处理器还用于：

若模组设备未处理第一预处理配置信息，则根据第一处理配置信息确定第一预处理图像集。

其中，该实施方式的相关内容可参见上述方法实施例的相关内容。此处不再详述。本申请实施例和上述方法实施例基于同一构思，其带来的技术效果也相同，具体原理请参照上述方法实施例的描述，在此不赘述。

本申请实施例还提供一种计算机可读存储介质，该可读存储介质存储有计算机程序，计算机程序被处理器执行时，可以用于实现本申请实施例描述的数据处理方法，在此不再赘述。

计算机可读存储介质可以是前述任一实施例的数据处理设备的内部存储单元，例如设备的硬盘或内存。计算机可读存储介质也可以是数据处理设备的外部存储设备，例如设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，计算机可读存储介质还可以既包括数据处理设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序以及数据处理设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于可读取存储介质中，所述程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (12)

1.一种数据处理方法，其特征在于，所述方法包括：

数据处理设备获取第一预处理配置信息，所述第一预处理配置信息对应第一图像处理模型；

若所述数据处理设备已处理所述第一预处理配置信息，则所述数据处理设备获取所述第一图像处理模型对应的第一预处理图像集；

所述数据处理设备确定第二图像处理模型与所述第一预处理图像集相关联，使得所述第二图像处理模型与所述第一图像处理模型共享所述第一预处理图像集，

所述第二图像处理模型对应的第二预处理配置信息与所述第一预处理配置信息相同；

所述第一预处理配置信息和所述第二预处理配置信息是通过JSON格式进行存储的。

2.如权利要求1所述的方法，其特征在于，所述第一预处理配置信息包括第一预处理方法字段、第一预处理方法参数字段以及第一待处理图像集目录字段中的一个或多个；所述第一预处理方法字段用于指示所述第一图像处理模型对应的第一预处理方法；所述第一预处理方法参数字段用于指示所述第一预处理方法对应的预处理参数；所述第一待处理图像集目录字段用于指示所述第一预处理方法对应的待处理图像集。

3.如权利要求2所述的方法，其特征在于，所述第一预处理方法包括图像减均值处理、图像缩放处理、图像归一化处理和图像裁剪处理中的一项或多项。

4.如权利要求2所述的方法，其特征在于，所述第一预处理方法参数字段包括图像减均值处理的参数字段、图像缩放处理的参数字段、图像归一化处理的参数字段以及图像裁剪处理的参数字段中的一项或多项。

5.如权利要求2所述的方法，其特征在于，所述待处理图像集目录字段所指示的待处理图像集中每个待处理图像的图像类型相同。

6.如权利要求1-5任一项所述的方法，其特征在于，所述数据处理设备确定第二图像处理模型与所述第一预处理图像集相关联，包括：

获取所述第二图像处理模型的标识，以及获取所述第一预处理图像集的存储路径；

将所述第二图像处理模型的标识与所述第一预处理图像集的存储路径相关联。

7.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

若所述数据处理设备未处理所述第一预处理配置信息，则所述数据处理设备根据所述第一预处理配置信息确定所述第一预处理图像集。

8.一种数据处理装置，其特征在于，所述装置包括：

获取单元，用于获取第一预处理配置信息，所述第一预处理配置信息对应第一图像处理模型；

所述获取单元，还用于若所述数据处理装置已处理所述第一预处理配置信息，则获取所述第一图像处理模型对应的第一预处理图像集；

确定单元，用于确定第二图像处理模型与所述第一预处理图像集相关联，使得所述第二图像处理模型与所述第一图像处理模型共享所述第一预处理图像集，所述第二图像处理模型对应的第二预处理配置信息与所述第一预处理配置信息相同；

所述第一预处理配置信息和所述第二预处理配置信息是通过JSON格式进行存储的。

9.一种数据处理设备，其特征在于，包括处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至7任意一项所述的数据处理方法。

10.一种芯片，其特征在于，所述芯片包括处理器，所述处理器用于获取第一预处理配置信息，所述第一预处理配置信息对应第一图像处理模型；

若已处理所述第一预处理配置信息，则获取所述第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与所述第一预处理图像集相关联，使得所述第二图像处理模型与所述第一图像处理模型共享所述第一预处理图像集，所述第二图像处理模型对应的第二预处理配置信息与所述第一预处理配置信息相同；所述第一预处理配置信息和所述第二预处理配置信息是通过JSON格式进行存储的。

11.一种模组设备，其特征在于，所述模组设备包括处理器和通信接口，所述处理器与所述通信接口相连，所述通信接口用于收发信号，所述处理器用于：

获取第一预处理配置信息，所述第一预处理配置信息对应第一图像处理模型；

若所述模组设备已处理所述第一预处理配置信息，则获取所述第一图像处理模型对应的第一预处理图像集；

确定第二图像处理模型与所述第一预处理图像集相关联，使得所述第二图像处理模型与所述第一图像处理模型共享所述第一预处理图像集，所述第二图像处理模型对应的第二预处理配置信息与所述第一预处理配置信息相同；

所述第一预处理配置信息和所述第二预处理配置信息是通过JSON格式进行存储的。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1至7任意一项所述的数据处理方法。