CN112529767B - 图像数据处理方法、装置、计算机设备和存储介质 - Google Patents
图像数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112529767B CN112529767B CN202011384350.4A CN202011384350A CN112529767B CN 112529767 B CN112529767 B CN 112529767B CN 202011384350 A CN202011384350 A CN 202011384350A CN 112529767 B CN112529767 B CN 112529767B
- Authority
- CN
- China
- Prior art keywords
- image data
- processing
- layer
- processed
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 230000009467 reduction Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000002829 reductive effect Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000005315 distribution function Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请涉及人工智能领域，根据目标处理策略确定待处理图像数据在图像处理模型中的目标处理层，以使目标处理层对待处理图像数据进行降维或还原，提高了处理图像数据的便捷性。尤其涉及一种图像数据处理方法、装置、计算机设备和存储介质，该方法包括：确定待处理图像数据对应的目标处理策略，目标处理策略包括降维处理或还原处理；基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层；将待处理图像数据输入目标处理层，以使目标处理层根据目标处理策略处理待处理图像数据，得到待处理图像数据对应的处理结果。此外，本申请还涉及区块链技术，待处理图像数据可存储于区块链中。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种图像数据处理方法、装置、计算机设备和存储介质。
背景技术
随着图像数据的获取方式更加便捷，用户的图像数据的特征维度也在逐渐变大。由于高维的图像数据存在维度复杂、可解释性和实际使用难度高等问题，因此需要对高维的图像数据进行降维处理。
现有的降维处理方法主要有主成分分析、奇异值分解以及线性判别分析等无监督学习方法。这些方法在对图像数据降维时，通过简单的线性变换达到特征降维的效果，但是只能对图像数据进行降维而不能对降维后的图像数据进行还原。因此，在实际运用中，现有的降维处理方法处理图像数据不够便捷和灵活。
因此如何提高处理图像数据的便捷性成为亟需解决的问题。
发明内容
本申请提供了一种图像数据处理方法、装置、计算机设备和存储介质，通过根据待处理图像数据对应的目标处理策略，确定待处理图像数据在图像处理模型中的目标处理层，以使目标处理层对待处理图像数据进行降维或还原，提高了处理图像数据的便捷性。
第一方面，本申请提供了一种图像数据处理方法，所述方法包括：
获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理；
基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层；
将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果。
第二方面，本申请还提供了一种图像数据处理装置，所述装置包括：
处理策略确定模块，用于获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理；
处理层确定模块，用于基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层；
图像数据处理模块，用于将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的图像数据处理方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的图像数据处理方法。
本申请公开了一种图像数据处理方法、装置、计算机设备和存储介质，通过确定待处理图像数据对应的目标处理策略，可以实现根据不同的目标处理策略对待处理图像进行处理；通过基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层，可以根据实际需求确定待处理图像数据的目标处理层；通过将待处理图像数据输入目标处理层，可以使得目标处理层根据目标处理策略处理待处理图像数据，实现对待处理图像进行降维处理或还原处理，提高了处理图像数据的便捷性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像数据处理方法的示意性流程图；
图2是本申请实施例提供的一种VAE模型的结构示意图；
图3是本申请实施例提供的一种对图像处理模型进行训练的子步骤的示意性流程图；
图4是本申请实施例提供的图像处理模型生成还原图像数据的子步骤的示意性流程图；
图5是本申请实施例提供的图像处理模型的训练过程的示意图；
图6是本申请实施例提供的图像处理模型处理待处理图像数据的示意图；
图7是本申请实施例提供的另一种图像处理模型处理待处理图像数据的示意图；
图8是本申请实施例提供的一种图像数据处理装置的示意性框图；
图9是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种图像数据处理方法、装置、计算机设备和存储介质。其中，该图像数据处理方法可以应用于服务器或终端中，实现根据待处理图像数据对应的目标处理策略，确定待处理图像数据在图像处理模型中的目标处理层，以使目标处理层对待处理图像数据进行降维处理或还原处理，提高了处理图像数据的便捷性。
其中，服务器可以为独立的服务器，也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
如图1所示，图像数据处理方法包括步骤S10至步骤S30。
步骤S10、获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理。
在本申请实施例中，该图像数据处理方法可以应用于服务器或终端中的图像数据处理系统。图像数据处理系统可以对图像数据进行降维，并将降维的图像数据存储至数据库中；图像数据处理系统还可以对数据库中存储的降维的图像数据进行还原，以提供给外部进行数据分析、数据处理以及模型建立等等。其中，数据库可以是分布式数据库。
需要说明的是，分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。
示例性的，处理策略包括降维处理和还原处理。可以理解的是，降维处理是指对图像数据进行降维，以压缩图像数据，从而减少图像数据的存储空间；还原处理是指对降维处理后的图像数据进行高度还原。
示例性的，待处理图像数据可以是未降维处理的图像数据，也可以是降维处理后的图像数据。其中，图像数据可以包括但不限于图片、用户画像、图表数据、文本数据以及用户标签等等。在本申请实施例中，以图像数据为用户画像为例，进行详细说明。其中，用户画像是指根据用户的社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。
在本申请实施例中，用户可以通过图像数据处理系统上传需要存储至数据库的画像数据；还可以通过图像数据处理系统，提取数据库中的画像数据。因此，可以将用户上传的画像数据或者用户提取的画像数据作为待处理图像数据。
示例性的，还可以根据用户的操作类型确定待处理图像数据对应的目标处理策略。其中，操作类型可以包括存储操作和提取操作。
在一些实施例中，确定待处理图像数据对应的目标处理策略，可以包括：当检测到对待处理图像数据的存储操作时，确定处理图像数据对应的目标处理策略为降维处理。
示例性的，当接收到用户对待处理画像数据的存储操作时，根据存储操作确定目标处理策略为降维处理。其中，待处理画像数据为用户上传的高维的画像数据。
在另一些实施例中，确定待处理图像数据对应的目标处理策略，可以包括：当检测到对待处理图像数据的提取操作时，确定待处理图像数据对应的目标处理策略为还原处理。
示例性的，当接收到用户对待处理图像数据的提取操作时，根据提取操作确定目标处理策略为还原处理。其中，待处理画像数据为数据库存储的降维后的画像数据。
需要说明的是，当用户上传画像数据时，图像数据处理系统可以对画像数据进行降维处理，再存储至分布式数据库。因此，分布式数据库存储有降维后的画像数据。
需要强调的是，为进一步保证上述降维后的画像数据的私密和安全性，上述降维后的画像数据还可以存储于一区块链的节点中。
通过根据用户的操作类型，可以准确地确定待处理图像数据对应的目标处理策略，进而可以根据目标处理策略确定目标处理层，实现对待处理图像数据进行处理。
步骤S20、基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层。
在本申请实施例中，图像处理系统中存储有预先训练好的图像处理模型，可以调用训练好的图像处理模型对待处理图像数据进行处理。其中，图像处理模型可以包括VAE(Variational Auto Encoder，变分自编码器)模型。
请参阅图2，图2是本申请实施例提供的一种VAE模型的结构示意图。如图2所示，VAE模型的处理层包括编码层、中间层以及解码层。编码层包括编码器，通过编码器池化降维，可以将一个高维的输入数据映射到一个低维的隐变量上；解码层包括解码器，通过解码器反池化升维，可以从低维的隐变量再映射回高维的输入数据，并使输入和输出数据之间的差异性最小。中间层用于将编码层输出的隐变量约束至高斯分布空间。通过VAE模型，可以对画像数据进行降维处理，得到降维后的画像数据；也可以对降维后的画像数据进行还原处理。
通过根据变分自编码器训练得到图像处理模型，由于变分自编码器的对称结构，因此图像处理模型可以将高维的图像数据进行压缩后还可以高度还原，解决了压缩图像数据的不可逆问题；变分自编码器还可以在降低维度的前提下最大程度地保存画像数据的原始语义信息，有效地减少图像数据的信息损失。
在一些实施例中，基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层之前，可以对图像处理模型进行训练，得到训练好的图像处理模型。
请参阅图3，图3是本申请实施例提供的一种对图像处理模型进行训练的子步骤的示意性流程图，具体可以包括以下步骤S201至步骤S203。
步骤S201、获取预设数量的样本用户的原始图像数据，将所述原始图像数据输入所述图像处理模型中训练，得到所述原始图像数据对应的还原图像数据。
示例性的，样本用户的原始图像数据可以是画像数据，可以将未降维处理的高维的画像数据作为原始图像数据。其中，画像数据可以包括样本用户的年龄、性别、兴趣爱好以及行为记录等数据。
在一些实施例中，获取预设数量的样本用户的原始图像数据之前，收集样本用户对应的原始图像数据，将原始图像数据存储至数据库中。其中，数据库可以是分布式数据库。
在一些实施例中，获取预设数量的样本用户的原始图像数据，可以包括：基于预设的读取策略，从数据库中读取原始图像数据，并将原始图像数据添加至图像处理器集群中。
示例性的，预设的读取策略可以是数据流方式。其中，数据流是一个用于传输数据的对象。
需要说明的是，图像处理器(Graphics Processing Unit，GPU)集群是一个计算机集群，其中每个节点配备有图像处理器。由于通用计算的GPU具有很高的数据并行架构，可以并行处理大量的数据点，从而可以使GPU集群执行非常快速的计算，提高计算吞吐量。通过将原始图像数据添加至图像处理器集群，可以提高训练的速度。
示例性的，在训练模型时，可以将原始图像数据输入初始的图像处理模型中训练。其中，初始的图像处理模型包括VAE模型。
请参阅图4，图4是步骤S201中将原始图像数据输入图像处理模型中训练，得到原始图像数据对应的还原图像数据的子步骤的示意性流程图，具体可以包括以下步骤S2011至步骤S2013。
步骤S2011、基于所述图像处理器集群，将所述原始图像数据输入所述编码层中计算均值与方差，得到所述原始图像数据对应的均值与方差。
可以理解的是，对初始的图像处理模型进行训练，可以通过图像处理器集群进行处理，从而提高了模型训练的速度。
请参阅图5，图5是本申请实施例提供的图像处理模型的训练过程的示意图。如图5所示，将原始图像数据输入编码层中，编码层可以根据预设的维数n，对原始画像数据进行均值与方差计算，得到n个均值和n个方差。需要说明的是，编码层可以通过内部的均值层计算原始图像数据的均值，通过内部的方差层计算原始图像数据的方差。具体的计算均值与方差的过程，在此不再限定。
步骤S2012、将所述原始图像数据对应的均值与方差输入所述中间层进行采样处理，得到所述原始图像数据对应的降维图像数据。
示例性的，可以在中间层引入第一分布函数，中间层可以基于第一分布函数，根据原始图像数据对应的均值与方差构建成第二分布函数；然后对第二分布函数进行采样，得到降维图像数据对应的多个分布数据。其中，第一分布函数可以是N(0，1)分布函数。
示例性的，第二分布函数可以是正态分布函数，可以表示为：
式中，μ表示均值；σ2表示方差。
步骤S2013、将所述降维图像数据输入所述解码层进行还原处理，得到所述原始图像数据对应的还原图像数据。
示例性的，可以将降维图像数据对应的分布数据输入解码层进行还原处理。解码层可以对分布数据进行重构，得到原始图像数据对应的还原图像数据。
示例性的，解码器可以通过两层全连接层，融合提取分布数据中的高阶特征，然后通过上采样层采样有效信息，得到还原特征，即还原图像数据。
步骤S202、基于预设的损失函数，确定所述原始图像数据与所述还原图像数据之间的重构损失值。
示例性的，预设的损失函数可以包括但不限于相对熵损失函数、交叉熵损失函数、对数损失函数、平方损失函数以及指数损失函数等等。在本申请实施例中，以预设的损失函数为相对熵损失函数为例，进行说明计算原始图像数据与还原图像数据之间的重构损失值。
需要说明的是，相对熵损失函数用于比较两个概率分布之间的差异，相对熵又称KL散度(Kullback-Leibler Divergence)。示例性的，重构损失值可以根据KL散度计算公式确定，KL散度计算公式如下：
式中，p(xi)表示原始图像数据的分布函数；q(xi)表示还原图像数据的分布函数。
示例性的，通过上述KL散度计算公式可以计算出原始图像数据与还原图像数据之间的重构损失值。
步骤S203、基于预设的梯度下降算法，根据所述重构损失值调整所述图像处理模型中的参数并进行下一轮训练，直至得到的重构损失值小于预设损失阈值时，结束训练，得到训练后的所述图像处理模型。
示例性的，梯度下降算法可以包括但不限于批量梯度下降法(Batch GradientDescent)、随机梯度下降法(Stochastic Gradient Descent)以及小批量梯度下降法(Mini-batch Gradient Descent)等等。
具体地，梯度下降算法的计算过程为：
式中，表示参数u的偏导值；/>表示权重w的偏导值。
在本申请实施例中，可以基于预设的梯度下降算法，根据重构损失值调整初始的图像处理模型中的参数。例如，调整编码层、中间层以及解码层中的参数。在调整初始的图像处理模型的参数后，进行下一轮的训练并计算每一轮的重构损失值。当计算得到的重构损失值小于预设损失阈值或不再变小时，则训练结束，得到训练好的图像处理模型。
其中，预设损失阈值可以根据实际情况进行设定，具体数值在此不作限定。
通过对初始的图像处理模型进行训练，可以将原始图像数据中的原始语义信息有效保存，使得还原后的图像数据保留大量原始信息；通过根据KL散度计算公式计算原始图像数据与还原图像数据之间的重构损失值，可以准确地得到重构损失值；通过基于预设的梯度下降算法对初始的图像处理模型进行参数调整，可以有效提高训练好的图像处理模型处理图像数据的准确性。
在一些实施例中，基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层，可以包括：当待处理图像数据对应的目标处理策略为降维处理时，确定目标处理层为编码层和中间层。
可以理解的是，不同的处理策略，需要通过图像处理模型中的不同处理层来实现。示例性的，可以预先将处理策略与处理层进行关联。例如，当处理策略为降维处理时，对应关联的处理层包括编码层和中间层；当处理策略为还原处理时，对应关联的处理层包括解码层。
示例性的，当待处理图像数据对应的目标处理策略为降维处理时，可以确定目标处理策略在图像处理模型中的目标处理层包括编码层和中间层。
在另一些实施例中，基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层，可以包括：当待处理图像数据对应的目标处理策略为还原处理时，确定目标处理层为解码层。
示例性的，当待处理图像数据对应的目标处理策略为还原处理时，可以确定目标处理策略在图像处理模型中的目标处理层包括解码层。
通过基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层，可以根据实际需求确定待处理图像数据的目标处理层，使得目标处理层有针对性地对待处理图像数据进行降维处理或还原处理。
步骤S30、将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果。
需要说明的是，本申请实施例中的图像处理模型为可拆分的，可以根据实际需求对处理层进行拆分。
在一些实施方式中，如图6所示，图6是本申请实施例提供的一种图像处理模型处理待处理图像数据的示意图。如图6所示，若目标处理层包括编码层和中间层，则编码层可以对待处理图像数据进行均值与方差的计算，得到待处理图像数据对应的均值与方差；中间层对待处理图像数据对应的均值与方差进行采样，从而可以得到降维后的图像数据，即待处理图像数据对应的处理结果。
示例性的，待处理图像数据对应的处理结果可以存储至分布式数据库中。
通过将待处理画像数据输入目标处理层进行降维处理，可以在保持高保真的条件下减少计算量和存储空间，还可以减少了手工处理图像数据的原始特征的步骤，降低了后续根据降维后的图像数据建模的难度。此外，降维后的图像据由于符合高斯分布的特性，因此可以直接观察降维后的图像数据对应的分布情况，实现图像数据可视化的效果。
在另一些实施方式中，如图7所示，图7是本申请实施例提供的另一种图像处理模型处理待处理图像数据的示意图。如图7所示，若目标处理层包括解码层，则可以将待处理图像数据输入解码层中；解码层可以对待处理图像数据进行还原处理，得到还原后的图像数据，即待处理图像数据对应的处理结果。
需要强调的是，为进一步保证上述待处理图像数据对应的处理结果的私密和安全性，上述待处理图像数据对应的处理结果还可以存储于一区块链的节点中。
通过将待处理图像数据输入图像处理模型的解码层进行还原处理，得到还原处理后的图像数据；后续在建模时，可以直接将还原处理后的图像数据接入有监督学习模型中，即可完成建模，从而提高了建模的效率。
在一些实施例中，本申请实施例提供的图像数据处理方法还可以包括：确定上传的图像数据对应的数据量；当数据量大于预设数据量时，将上传的图像数据作为训练样本数据，对图像处理模型进行二次训练，得到二次训练后的图像处理模型。
其中，预设数据量可以根据实际情况设定，具体数值在此不作限定。
示例性的，用户可以通过图像数据处理系统上传需要存储至数据库的图像数据。
在一些实施例中，还可以将上传的图像数据输入二次训练后的图像处理模型中进行降维处理，将降维处理后的图像数据存储至分布式数据库中。
通过将上传的图像数据作为训练样本数据对图像处理模型进行二次训练，可以实现对图像处理模型进行更新，以保证图像处理模型的降维处理和还原处理的准确性与稳定性。
上述实施例提供的图像数据处理方法，通过根据用户的操作类型，可以准确地确定待处理图像数据对应的目标处理策略，进而可以根据目标处理策略确定目标处理层，实现对待处理图像数据进行处理；通过根据变分自编码器训练得到图像处理模型，由于变分自编码器的对称结构，因此图像处理模型可以将高维的图像数据进行压缩后还可以高度还原，解决了图像数据的压缩不可逆问题，变分自编码器还可以在降低维度的前提下最大程度地保存画像数据的原始语义信息，有效地减少图像数据的信息损失；通过将原始图像数据添加至图像处理器集群，可以提高训练的速度；通过对初始的图像处理模型进行训练，可以将原始图像数据中的原始语义信息有效保存，使得还原后的图像数据保留大量原始信息；通过根据KL散度计算公式计算原始图像数据与还原图像数据之间的重构损失值，可以准确地得到重构损失值；通过基于预设的梯度下降算法对初始的图像处理模型进行参数调整，可以有效提高训练好的图像处理模型处理图像数据的准确性；通过基于处理策略与图像处理模型的处理层之间预设的对应关系，确定目标处理策略对应图像处理模型中的目标处理层，可以根据实际需求确定待处理图像数据的目标处理层，使得目标处理层有针对性地对待处理图像数据进行降维处理或还原处理；通过将待处理画像数据输入目标处理层进行降维处理，可以在保持高保真的条件下减少计算量和存储空间，还可以减少了手工处理图像数据的原始特征的步骤，降低了后续根据降维后的图像数据建模的难度；通过将上传的图像数据作为训练样本数据对图像处理模型进行二次训练，可以实现对图像处理模型进行更新，以保证图像处理模型的降维处理和还原处理的准确性与稳定性。
请参阅图8，图8是本申请的实施例还提供一种图像数据处理装置1000的示意性框图，该图像数据处理装置用于执行前述的图像数据处理方法。其中，该图像数据处理装置可以配置于服务器或终端中。
如图8所示，该图像数据处理装置1000，包括：处理策略确定模块1001、处理层确定模块1002和图像数据处理模块1003。
处理策略确定模块1001，用于获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理。
处理层确定模块1002，用于基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层。
图像数据处理模块1003，用于将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
请参阅图9，该计算机设备包括通过系统总线连接的处理器和存储器，其中，存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种图像数据处理方法。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理；基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层；将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果。
在一个实施例中，所述处理器在实现确定所述待处理图像数据对应的目标处理策略时，用于实现：
当检测到对所述待处理图像数据的存储操作时，确定所述待处理图像数据对应的目标处理策略为降维处理；当检测到对所述待处理图像数据的提取操作时，确定所述待处理图像数据对应的目标处理策略为还原处理。
在一个实施例中，所述处理器在实现基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层之前，还用于实现：
获取预设数量的样本用户的原始图像数据，将所述原始图像数据输入所述图像处理模型中训练，得到所述原始图像数据对应的还原图像数据；基于预设的损失函数，确定所述原始图像数据与所述还原图像数据之间的重构损失值；基于预设的梯度下降算法，根据所述重构损失值调整所述图像处理模型中的参数并进行下一轮训练，直至得到的重构损失值小于预设损失阈值时，结束训练，得到训练后的所述图像处理模型。
在一个实施例中，所述处理器在实现获取预设数量的样本用户的原始图像数据之前，还用于实现：
收集所述样本用户对应的原始图像数据，将所述原始图像数据存储至数据库中。
在一个实施例中，所述处理器在实现获取预设数量的样本用户的原始图像数据时，用于实现：
基于预设的读取策略，从所述数据库中读取所述原始图像数据，并将所述原始图像数据添加至图像处理器集群中。
在一个实施例中，所述处理层包括编码层、中间层和解码层；所述处理器在实现将所述原始图像数据输入所述图像处理模型中训练，得到所述原始图像数据对应的还原图像数据时，用于实现：
基于所述图像处理器集群，将所述原始图像数据输入所述编码层中计算均值与方差，得到所述原始图像数据对应的均值与方差；将所述原始图像数据对应的均值与方差输入所述中间层进行采样处理，得到所述原始图像数据对应的降维图像数据；将所述降维图像数据输入所述解码层进行还原处理，得到所述原始图像数据对应的还原图像数据。
在一个实施例中，所述处理器在实现基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层时，用于实现：
当所述待处理图像数据对应的目标处理策略为降维处理时，确定所述目标处理层为编码层和中间层；当所述待处理图像数据对应的目标处理策略为还原处理时，确定所述目标处理层为解码层。
在一个实施例中，所述处理器还用于实现：
确定上传的图像数据对应的数据量；当所述数据量大于预设数据量时，将所述上传的图像数据作为训练样本数据，对所述图像处理模型进行二次训练，得到二次训练后的所述图像处理模型。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项图像数据处理方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字卡(Secure Digital Card，SD Card)，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种图像数据处理方法，其特征在于，包括：
获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理；
基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层；
将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果；
所述基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层之前，还包括：获取预设数量的样本用户的原始图像数据，将所述原始图像数据输入所述图像处理模型中训练，得到所述原始图像数据对应的还原图像数据；基于预设的损失函数，确定所述原始图像数据与所述还原图像数据之间的重构损失值；基于预设的梯度下降算法，根据所述重构损失值调整所述图像处理模型中的参数并进行下一轮训练，直至得到的重构损失值小于预设损失阈值时，结束训练，得到训练后的所述图像处理模型；
所述处理层包括编码层、中间层和解码层；所述将所述原始图像数据输入所述图像处理模型中训练，得到所述原始图像数据对应的还原图像数据，包括：基于图像处理器集群，将所述原始图像数据输入所述编码层中计算均值与方差，得到所述原始图像数据对应的均值与方差；将所述原始图像数据对应的均值与方差输入所述中间层进行采样处理，得到所述原始图像数据对应的降维图像数据；将所述降维图像数据输入所述解码层进行还原处理，得到所述原始图像数据对应的还原图像数据。
2.根据权利要求1所述的图像数据处理方法，其特征在于，所述确定所述待处理图像数据对应的目标处理策略，包括：
当检测到对所述待处理图像数据的存储操作时，确定所述待处理图像数据对应的目标处理策略为降维处理；
当检测到对所述待处理图像数据的提取操作时，确定所述待处理图像数据对应的目标处理策略为还原处理。
3.根据权利要求1所述的图像数据处理方法，其特征在于，所述获取预设数量的样本用户的原始图像数据之前，还包括：
收集所述样本用户对应的原始图像数据，将所述原始图像数据存储至数据库中；
所述获取预设数量的样本用户的原始图像数据，包括：
基于预设的读取策略，从所述数据库中读取所述原始图像数据，并将所述原始图像数据添加至所述图像处理器集群中。
4.根据权利要求1所述的图像数据处理方法，其特征在于，所述基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层，包括：
当所述待处理图像数据对应的目标处理策略为降维处理时，确定所述目标处理层为编码层和中间层；
当所述待处理图像数据对应的目标处理策略为还原处理时，确定所述目标处理层为解码层。
5.根据权利要求1-4任一项所述的图像数据处理方法，其特征在于，所述方法还包括：
确定上传的图像数据对应的数据量；
当所述数据量大于预设数据量时，将所述上传的图像数据作为训练样本数据，对所述图像处理模型进行二次训练，得到二次训练后的所述图像处理模型。
6.一种图像数据处理装置，其特征在于，包括：
处理策略确定模块，用于获取待处理图像数据，确定所述待处理图像数据对应的目标处理策略，其中，所述目标处理策略包括降维处理或还原处理；
处理层确定模块，用于基于处理策略与图像处理模型的处理层之间预设的对应关系，确定所述目标处理策略对应所述图像处理模型中的目标处理层；
图像数据处理模块，用于将所述待处理图像数据输入所述目标处理层，以使所述目标处理层根据所述目标处理策略处理所述待处理图像数据，得到所述待处理图像数据对应的处理结果；
所述处理层确定模块，还用于获取预设数量的样本用户的原始图像数据，将所述原始图像数据输入所述图像处理模型中训练，得到所述原始图像数据对应的还原图像数据；基于预设的损失函数，确定所述原始图像数据与所述还原图像数据之间的重构损失值；基于预设的梯度下降算法，根据所述重构损失值调整所述图像处理模型中的参数并进行下一轮训练，直至得到的重构损失值小于预设损失阈值时，结束训练，得到训练后的所述图像处理模型；
所述处理层包括编码层、中间层和解码层；所述处理层确定模块，还用于基于图像处理器集群，将所述原始图像数据输入所述编码层中计算均值与方差，得到所述原始图像数据对应的均值与方差；将所述原始图像数据对应的均值与方差输入所述中间层进行采样处理，得到所述原始图像数据对应的降维图像数据；将所述降维图像数据输入所述解码层进行还原处理，得到所述原始图像数据对应的还原图像数据。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6任一项所述的图像数据处理方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至6任一项所述的图像数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011384350.4A CN112529767B (zh) | 2020-12-01 | 2020-12-01 | 图像数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011384350.4A CN112529767B (zh) | 2020-12-01 | 2020-12-01 | 图像数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529767A CN112529767A (zh) | 2021-03-19 |
| CN112529767B true CN112529767B (zh) | 2023-07-25 |
Family
ID=74995788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011384350.4A Active CN112529767B (zh) | 2020-12-01 | 2020-12-01 | 图像数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529767B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610107A (zh) * | 2021-07-02 | 2021-11-05 | 同盾科技有限公司 | 特征优化方法及装置 |
| CN113971513A (zh) * | 2021-10-22 | 2022-01-25 | 河南鑫安利安全科技股份有限公司 | 一种企业安全风险管理平台的数据存储与优化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019085793A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、计算机设备及计算机可读存储介质 |
| CN110175506A (zh) * | 2019-04-08 | 2019-08-27 | 复旦大学 | 基于并行降维卷积神经网络的行人重识别方法及装置 |
| WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| WO2020192704A1 (zh) * | 2019-03-25 | 2020-10-01 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及存储介质 |
-
2020
- 2020-12-01 CN CN202011384350.4A patent/CN112529767B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019085793A1 (zh) * | 2017-11-01 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、计算机设备及计算机可读存储介质 |
| WO2019233341A1 (zh) * | 2018-06-08 | 2019-12-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| WO2020192704A1 (zh) * | 2019-03-25 | 2020-10-01 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法、装置及存储介质 |
| CN110175506A (zh) * | 2019-04-08 | 2019-08-27 | 复旦大学 | 基于并行降维卷积神经网络的行人重识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529767A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7002404B2 (ja) | データから潜在因子を発見するニューラルネットワーク | |
| WO2021189844A1 (zh) | 多元kpi时间序列的检测方法、装置、设备及存储介质 | |
| CN109960761B (zh) | 信息推荐方法、装置、设备及计算机可读存储介质 | |
| WO2023134086A1 (zh) | 卷积神经网络模型剪枝方法和装置、电子设备、存储介质 | |
| CN112529767B (zh) | 图像数据处理方法、装置、计算机设备和存储介质 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| US11494614B2 (en) | Subsampling training data during artificial neural network training | |
| CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| CN113763385A (zh) | 视频目标分割方法、装置、设备及介质 | |
| CN112508048A (zh) | 图像描述的生成方法和装置 | |
| CN115016965A (zh) | 计量自动化主站的故障检测方法、装置、设备及存储介质 | |
| CN113409307A (zh) | 基于异质噪声特性的图像去噪方法、设备及介质 | |
| CN117033039A (zh) | 故障检测方法、装置、计算机设备和存储介质 | |
| CN114580791B (zh) | 膨化机工作状态识别方法、装置、计算机设备、存储介质 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| WO2023010701A1 (en) | Image generation method, apparatus, and electronic device | |
| CN115115920A (zh) | 一种数据训练方法及装置 | |
| CN114118411A (zh) | 图像识别网络的训练方法、图像识别方法及装置 | |
| CN115686597A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN112966150A (zh) | 一种视频内容抽取的方法、装置、计算机设备及存储介质 | |
| Tiwari et al. | Security Protection Mechanism in Cloud Computing Authorization Model Using Machine Learning Techniques | |
| CN116811894B (zh) | 一种连续型驾驶风格识别方法、系统及设备 | |
| CN115689648B (zh) | 应用于定向投放的用户信息处理方法及系统 | |
| JP7382461B2 (ja) | 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体 | |
| CN110728615B (zh) | 基于序贯假设检验的隐写分析方法、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |