CN113222167A - 一种图像处理方法及其装置 - Google Patents
一种图像处理方法及其装置 Download PDFInfo
- Publication number
- CN113222167A CN113222167A CN202010081349.8A CN202010081349A CN113222167A CN 113222167 A CN113222167 A CN 113222167A CN 202010081349 A CN202010081349 A CN 202010081349A CN 113222167 A CN113222167 A CN 113222167A
- Authority
- CN
- China
- Prior art keywords
- attribute
- image
- training
- vector
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 255
- 238000012549 training Methods 0.000 claims abstract description 215
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000010801 machine learning Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Technology Law (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法及其装置，所述方法包括：获取待处理的第一图像；将第一图像输入到已训练完成的图像处理机器学习模型中，获取第一图像在预设属性下的属性特征向量，其中，所述图像处理机器学习模型利用预先获取的训练图像集以及每个训练图像对于所述预设属性的标注信息进行训练得到。采用本申请，可获取到图像在特定属性下的特征信息，从而能够更好地反映图像的局部细节。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像处理方法及其装置。
背景技术
随着电子商务平台的快速发展，服饰设计的原创保护越来越受到关注。在现有技术中，通常从整体上确定服饰是否被抄袭，例如，通过服饰间的整体相似度来检测服饰设计是否被抄袭。但比较常见的服饰抄袭并非整体抄袭，而是仅抄袭服饰中的某个属性的设计，因此基于整体相似度的检测方法不能很好的满足服饰版权保护的需求。
发明内容
本申请实施例提供一种图像处理方法及其装置，用于至少解决以上提到的技术问题。
根据本发明的一个方面，提供一种图像处理方法，适于在计算设备中执行，该方法包括如下步骤：获取待处理的第一图像；将第一图像输入到已训练完成的图像处理机器学习模型中，获取第一图像在预设属性下的属性特征向量，其中，所述图像处理机器学习模型利用预先获取的训练图像集以及每个训练图像对于所述预设属性的标注信息进行训练得到。
根据本发明的一个方面，提供一种一种图像处理方法，所述方法包括：确定与输入图像对应的图像特征向量；将所述图像特征向量输入到注意力模型中，获取所述输入图像在预设属性上的各个属性特征对应的权重信息。
根据本发明的一个方面，提供一种图像处理装置，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行前述方法的指令。
根据本发明的一个方面，提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行前述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
采用本申请，可获取到图像在特定属性下的特征信息，从而能够更好地反映图像的局部细节。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是示出根据本申请的示例性实施例的计算设备100的示意图。
图2是示出根据本申请的示例性实施例的图像处理方法200的流程图。
图3是示出根据本申请的示例性实施例的图像处理方法对待处理图像执行处理的示意图。
图4是示出根据本申请的示例性实施例的图像处理方法400的流程图。
图5是示出根据本申请的示例性实施例的图像处理装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备100可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
在一些实施例中，计算设备100被配置为执行根据本发明的图像处理方法。其中，计算设备100的一个或多个程序122包括用于执行根据本发明的图像处理方法的指令。
图2示出了根据本申请的示例性实施例的图像处理方法对图像执行处理的示意图，所述图像处理方法200适用于计算设备(例如图1所示的计算设备100)中执行。
根据本申请的图像是指可利用分辨率表示的各种类型的图像，包括不限于服饰图像、商标图像、工业设计图像等。所述图像可被描述为由不同维度的属性构成的，例如，所述属性可以是地理空间上的位置属性，也可以是色彩空间上的颜色属性。
如图2所示，方法200始于步骤S210。在步骤S210，获取待处理的第一图像。
在步骤S220，将第一图像输入到已训练完成的图像处理机器学习模型中，获取第一图像在预设属性下的属性特征向量，其中，所述图像处理机器学习模型利用预先获取的训练图像集以及每个训练图像对于所述预设属性的标注信息进行训练得到。
在本申请中，所述预设属性可以是与位置信息相关的属性，以服饰图像为例，所述预设属性可用于描述服饰中的各个服装部位，基于此，所述预设属性可包括领座、小袖、领线、总肩等部位。又例如，所述预设属性还可以用于描述服饰的版型，基于此，所述预设属性可包括A形、H形、X形、T形等形状。又例如，所述预设属性还可以用于描述服饰的类别，基于此，所述预设属性可包括T恤、帽衫、卫衣等类别。
作为示例，所述预设属性可以是预先指定的属性，例如，用户可在对第一图像执行处理前指定所述预设属性为领线，或者所述预设属性可以是默认的属性，也就是说，计算设备将已经训练好的图像处理机器学习模型对应的属性默认为所述预设属性。
在本申请中的属性可对应于多种属性特征，也就是说，每个属性可利用不同的属性特征对其进行描述。以服饰图像为例，在属性为领口的情况下，该属性可对应于不同维度上的属性特征，例如，领口可具有颜色特征、形状特征、材质特征等。
作为示例，所述图像处理机器学习模型包括输入层、特征提取层、全连接层和输出层。所述输入层用于对第一图像执行预处理，根据本申请的示例性实施例，所述预处理操作包括对第一图像执去噪处理或将第一图像转换为预定尺寸的图像等。
所述特征提取层用于提取出与所述预设属性相关的图像特征向量。更具体地，所述特征提取层包括第一特征提取模型与注意力模型耦合而成，其中，第一特征提取模型是用于整体上对第一图像提取全局特征向量的模型；所述注意力模型是利用所述全局特征向量获取针对所述预设属性的注意力权重的模型。
作为示例，第一特征提取模型可以是卷积神经网络模型。所述卷积神经网络模型可包括输入层、卷积层、激活函数、池化层和全连接层，为了能够保存图像中的位置信息，可将所述卷积神经网络模型中的全连接层移除，也就是说，将所述卷积神经网络模型的池化层输出的特征向量确定为全局特征向量。优选地，可将残差卷积神经网络模型确定为第一特征提取模型。基于此，可将残差卷积神经网络中的任意残差块(优选倒数第二个残差块)输出的特征向量确定为全局特征向量。
所述注意力模型包括所述注意力模型包括用于定位所述预设属性在第一图像上的空间位置的第一子注意力模型。
接下来，全连接层用于对所述图像特征向量进行变换，调整到适当的维度，生成属性特征向量。在实施中，所述图像处理机器学习模型为了使其输出的属性特征向量便于执行后续处理，将所述图像特征向量通过全连接层，转换为适当的维度(通常是与先前的维度相比更低的维度)，以及输出层用于输出所述属性特征向量。
以上已经对所述图像处理机器学习模型进行了描述，在利用所述图像处理机器学习模型对第一图像执行处理前，需要利用已经获取的训练数据对所述图像处理机器学习模型进行训练，具体步骤如下：
获取构成所述训练图像集的训练图像以及所述训练图像在所述预设属性上的特征信息的标注信息，所述训练图像以及标注信息可利用已有的图像数据集，例如，FashionAI数据集、DARN数据集、DeepFashion数据集以及Zappos50k数据集。
根据本申请的一个实施例，可将训练图像集中的这些训练图像按预定比例划分为训练集、验证集以及测试集，其中，所述预定比例可由技术人员根据经验划分，优选地，可采用7:1:2的比例对训练图像集进行划分。
随后，构建所述图像处理机器学习模型，设置有全网络参数。具体来说，将所述训练图像输入到第一特征提取模型中，获取到与所述训练图像对应的训练全局特征向量。
为了更好地定位所述预设属性在训练图像中的区域，可利用第一子注意力模型获取训练空间注意力权重矩阵，所述训练空间注意力权重矩阵可提高训练图像中与所述预设属性相关的区域的权重值，并降低训练图像中与所述预设属性不相关的区域的权重值，从而重点关注所述预设属性在训练图像中的区域。
为此，第一子注意力模型的输入向量应包括训练图像中的位置信息的图像特征向量以及与所述预设属性相关的属性向量，基于此，可按照以下方式获取第一子注意力模型的输入向量：
将所述训练图像输入到第一特征提取模型中，获取到与所述训练图像对应的训练全局特征向量，以上已经对第一特征提取模型进行了描述，在此将不再赘述。
在确定所述预设属性的情况下，利用属性嵌入的方式，将确定与所述预设属性对应的初始第一属性向量；利用特征复制方式，将所述初始第一属性向量转换为第一属性向量。
作为示例，所述属性嵌入的方式可指示词嵌入方式，也就是说，可利用词嵌入方式，将所述预设属性对应的文本转换为向量表示。举例来说，在所述预设属性被指定为领线的情况下，可利用词嵌入方式将领线转换为预定通道数的初始第一属性向量，随后利用特征复制方式，将所述初始第一属性向量转换为第一属性向量。
应注意，以上仅给出了确定第一属性向量的优选实施方式，任何可将所述预设属性转换为可与训练全局特征向量执行运算的属性向量的方式均可应用于此。
随后，可将训练全局特征向量与第一属性向量转换为相同维度，确定第一属性向量与第一训练全局特征向量，作为示例，技术人员可预先设置好所述训练全局特征向量以及所述初始属性向量的维度，以便于利用变换矩阵将这些特征向量转换为维度相同的向量。
最后，利用所述训练属性向量与第一训练全局特征向量，生成第一输入向量。作为示例，可将所述训练属性向量与第一训练全局特征向量中的各个对应元素相乘，生成第一输入向量。
根据本申请的示例性实施例，将第一输入向量输入到第一子注意力模型，可获取所述训练空间注意力权重矩阵。具体来说，可将所述第一输入向量经过卷积层映射到空间注意力矩阵，并利用非线性函数对所述空间注意力矩阵进行归一化，使得权重和为1，从而确定所述训练空间注意力权重矩阵。作为示例，所述非线性函数可以是softmax函数。
作为示例，利用所述训练空间注意力权重矩阵以及训练全局特征向量，获取到所述训练图像的第一训练图像特征向量，具体来说，可将所述训练全局特征向量与所述训练空间注意力权重矩阵对应相乘加和，生成与所述预设属性相关的第一训练图像特征向量。
根据本申请的示例性实施例，可将所述训练图像特征作为特征提取层的输出向量，输入到全连接层，执行后续的训练。
根据本申请的示例性实施例，所述注意力模型还可包括用于确定第一图像在所述预设属性上的各个属性特征的第二子注意力模型。也就是说，所述注意力模型可包括第一子注意力模型和第二子注意力模型。
在这种情况下，所述训练图像特征向量可根据第一子注意力模型输出的训练空间注意力权重矩阵以及第二子注意力模型输出的训练属性特征注意力权重矩阵确定。
具体来说，在确定所述预设属性的情况下，利用属性嵌入的方式确定与所述预设属性对应的第二属性向量。作为示例，可利用以上提到的属性嵌入的方式确定预定维度的第二属性向量。所述第一训练图像特征向量与第二属性向量执行拼接，生成第二输入向量。
随后，将第二输入向量输入到第二子注意力模型，获取所述训练属性特征注意力权重矩阵。在具体实施中，可利用两个全连接层确定所述训练属性特征注意力权重矩阵，其中，这两个全连接层之一可用于使第二输入向量的维度降低，另一个使第二输出向量的维度增大，从而降低全连接层内的参数同时引入非线性成分。
最后，利用第一训练图像特征向量以及对应的训练属性特征注意力权重矩阵，确定所述训练图像的第二训练图像特征向量作为训练图像特征向量。具体来说，可将所述第一训练图像特征向量与对应的训练属性特征注意力权重矩阵的各个对应像素相乘，获取所述训练图像特征向量。
根据本申请的示例性实施例，可将所述训练图像特征向量作为特征提取层的输出向量，输入到全连接层。利用所述全连接层将所述训练图像特征向量映射为所述训练图像在所述预设属性下的训练所述属性特征向量
最后，利用所述训练图像以及标注信息之间的对应关系对所述图像处理机器学习模型进行训练，调整所述全网络参数，直到所述图像处理机器学习模型达到预设要求。
根据示例，所述损失函数是利用所述训练图像、在所述预设属性上与所述训练图像的属性特征相同的正向训练图像以及在所述预设属性上与所述训练图像的属性特征不同的负向训练图像构成的三元组损失函数。
在采用三元组损失函数的情况下，所述标注信息可仅用于指示在同一属性下的多个训练图像具有相同属性特征和/或不同属性特征。举例来说，在将领口作为所述预设属性的情况下，所述标注信息可用于指示第一图像与第二图像在领口属性上具有相同特征(例如，圆领)，此外，所述标注信息还可用于指示第一图像与第三图像在领口属性上具有不同特征(例如，V领)。
在这种情况下，均具有“圆领”的训练图像的距离很近，而具有“圆领”的训练图像与具有“V领”的训练图像之间的距离稍远。基于这种方式构建三元组损失函数作为损失函数，并利用亚当算法(Adam算法)计算三元组损失函数输出的损失值相对全网络参数的更新梯度，其中，所述亚当算法是以随机梯度下降为核心的参数更新策略。
也就是说，在获取训练图像集时，针对每个训练图像，可获取到与其具有相同属性特征以及与其具有不同属性特征的训练图像即可，不需要准确获知每个训练图像的属性特征，这样可简化训练图像集在标注上的工作量。这种方式训练的图像处理机器模型对于判定某一图像是否与指定图像的指定属性类似，或者检索与指定图像的指定属性的图像这些方面具有更好地效果。
此外，所述标注信息还还可以是用于指示每个训练图像在各个属性上的属性特征的信息，也就是说，所述标注信息可指示训练图像在指定属性上的属性特征，以服饰图像为例，所述标注信息可以是指定训练图像在领口上的属性特征为圆领。
在这种情况下，损失函数可利用图像处理机器学习模型获取的属性特征向量确定的属性特征与标注信息确定的属性特征确定损失值，并根据损失值对全网络参数进行更新。
作为示例，可将待处理的第二图像输入到所述图像处理机器学习模型中，获取到第二图像在所述预设属性下的第二属性特征向量；利用所述属性特征向量与第二属性特征向量之间的相似度，确定第一图像与第二图像在所述预设属性下的相似度。
在本申请中，所述图像处理机器学习模型可针对各个属性执行训练，也就是说，所述图像处理机器学习模型可利用所述训练图像集以及每个训练图像针对各个属性的标注信息执行训练，训练后的所述图像处理机器学习模型可在确定预设属性以及第一图像后，获取第一图像的属性特征向量。
基于此，当所述预设属性包括至少一个属性时，可利用已针对所述至少一个属性训练完成后的图像处理机器学习模型，获取与所述至少一个属性分别对应的至少一个属性特征向量。
针对每个属性特征向量，确定第一图像与第二图像在对应的属性下的相似度，从而获取到与至少一个属性特征向量对应的至少一个相似度。
此外，根据本申请的示例性实施例的图像处理方法还可应用于图像检索场景。具体来说，可在获取到待处理图像后，利用所述待处理图像和预设属性获取所述待处理图像的属性特征向量，并利用所述属性特征向量，从图像库中检索出与所述待处理图像具有相同属性特征的图像。
作为示例，可获取到所述待处理图像的多个属性特征向量，并这些属性特征向量，从图像库中检索出具有以上属性特征的图像。
以上已经示出了根据本申请的示例性实施例的图像处理方法的流程图，为了更好地描述本申请，作为优选实施例，以下将参照图3描述利用所述图像处理机器学习模型对所述服饰图像进行处理的示意图。
图3示出了根据本申请的示例性实施例的图像处理方法对待处理图像执行处理的示意图。
如图3所示，在对待处理图像执行处理前，可指定所述待处理图像的属性，如图3所示，所述待处理图像是服饰图像的情况下，所述属性被指定为领线设计。
接下来，可将所述待处理图像经由根据本申请的示例性实施例的图像处理机器学习模型进行处理。如图3所示，所述图像处理机器学习模型包括输入层310、特征提取层320、全连接层330以及输出层340。
所述输入层310可接收待处理图像，在此期间，所述输入层可对所述待处理图像执行各种预处理。随后，可将输入层310输出的图像输入到特征提取层。
如图3所示，所述特征提取层可包括残差卷积神经网络模型、第一子注意力模型以及第二子注意力模型，并可利用以上模型分别生成与所述带处理图像对应的图像特征向量321、322以及323。
针对所述待处理图像，可利用卷积神经网络输出全局图像特征向量321。具体来说，可利用已知的残差神经网络(如图3中的ResNet-50)中倒数第二个残差块的输出作为该图像的全局图像特征向量321，其中，所述全局图像特征向量321可用I∈Rc×h×w表示。
如图3所示，所述全局图像特征向量321利用第一子注意力模型，生成空间图像特征向量322。作为示例，可在对所述图像进行处理前，预先设置各个图像特征向量的维度，基于此，为了使所述全局图像特征向量321可与后续的属性向量执行运算，可利用以下公式1对所述全局特征向量进行维度变换：
p(I)＝tanh(Convc'(I)) 公式1
在公式1中，Convc'是包含c'个1×1卷积核的卷积层，tanh为双曲正切函数，是一种常见的非线性激活函数。可以看出，利用公式1，可将全局图像特征向量321转换为通道数为c’的特征向量
在此期间，可将所述属性利用属性嵌入和特征复制的方式，转换为与p(I)具有相同维度的属性向量，具体计算公式如下：
p(a)＝tanh(Waa)·1 公式2
其中，a∈{0，1}A代表所述属性的属性值，作为示例，所述属性嵌入方式可采用one-hot编码方式，其中A表示所有属性的数量；
代表属性嵌入的变换矩阵；
代表复制矩阵，将维度为c'×1的向量通过复制的方法变为维度为c'×h×w的矩阵。
随后，可将图像特征向量p(I)与属性向量p(a)进行结合，获取第一输入向量，随后，将第一输入向量利用第一子注意力模型获取空间注意力权重矩阵。具体来说，可将获取的第一输入向量利用卷积层映射到维度为h*w的空间注意力矩阵，具体计算公式如下：
s＝tanh(Conv1(p(a)⊙p(I))) 公式3
αs＝softmax(s) 公式4
其中，⊙用于代表图像特征向量p(I)与属性向量p(a)中的各个对应元素相乘，Conv1表示包括一个1x1的卷积核的卷积层，as代表得到针对所述属性的空间注意力权重矩阵，softmax非线性函数被用于对空间注意力矩阵进行归一化，使得权重和为1，其中，所述空间注意力权重能够关注所述属性在所述待处理区域上的重要区域，忽略不重要区域，也就是说，所述属性所在的图像区域上的权重值大，而所述属性不在的图像区域上的权重值小。
在获取空间注意力权重矩阵后，可按照图3所示，利用全局图像特征向量321与所述空间注意力权重矩阵，生成空间特征向量322。具体公式如下：
其中，αsj∈R表示在图像位置j上的注意力权重值，Ij∈Rc表示在图像位置J上的属性特征。可以看出，通过以上方式获取的空间特征向量322作为所述待处理图像的图像特征向量能够定位到与所述属性相关的区域，并且能够加强所述区域在所述属性上的特征，并且弱化与所述属性无关的区域的特征。
虽然以上获取的空间特征向量能够关注到指定属性在所述待处理图像的图像区域，但是同一图像区域可在不同维度上具有不同特征。以图3中的领线设计为例，领线设计可分为方领、尖领、圆领等，同时，领线还可具有颜色特征。因此，在确定空间特征向量322的情况下，可利用用于确定属性的具体特征的第二子注意力模型，确定所述图像特征在各个特征维度上的注意力权重。
具体来说，所述空间特征向量322利用第二子注意力模型，生成图像特征向量323。
具体来说，在已经确定属性的情况下，利用属性嵌入方式产生维度为c的第二属性向量，具体公式如下：
q(a)＝δ(Wca) 公式6
其中，a∈{0，1}A代表所述属性的属性值，作为示例，所述属性嵌入方式可采用one-hot编码方式，其中A表示所有属性的数量，
代表属性嵌入的变换矩阵，δ代表ReLU函数，是一种常见的非线性激活函数。
应注意，图像特征向量322与323中利用的第一属性向量和第二属性向量是彼此独立地利用属性嵌入方式对所述属性进行处理，二者之间并不存在关联关系。
随后，将第二属性向量与图像特征向量322执行拼接，生成第二输入向量，并将所述第二输入向量输入到第二子注意力模型，获取所述训练属性特征注意力权重矩阵，如图3所示，可将第二输入向量经过两层全连接层，获取属性特征注意力权重矩阵，这两个全连接层一个使维度减小，一个使维度增大，这样参数比一个全连接层要少，并且引入了非线性成分，具体按照如下公式计算：
αc＝σ(W2δ(W1[q(a),Is])) 公式7
其中，式中[,]代表拼接操作，σ代表sigmoid函数，是一种常见的非线性函数，
和
表示变换矩阵。
最后，可利用以上获取的属性特征注意力权重矩阵以及空间特征向量322，生成所述待处理图像的图像特征向量323，计算公式如下所示：
Ic＝Is⊙αc 公式8
其中，⊙代表向量中各个对应元素相乘。
在利用特征提取层320获取到所述图像特征向量323后，可将所述图像特征向量323输入到全连接层，全连接层可将所述图像特征向量323最终映射为所述待处理图像针对所述属性的特征向量，计算公式如下所示：
f(I,a)＝WIc+b 公式9
其中，
是转换矩阵，
代表偏置项。
在本申请中，在已确定所述图像在所述属性上的特征的情况下，利用对应的特征向量计算所述图像与特定图像的相似度，作为示例，可利用图像特征向量的余弦相似度来检测所述图像与特定图像是否相似，在所述图像的特征向量可包括对应于所述属性的各个特征的各个特征向量的情况下，可针对每个特征向量，计算所述图像与特定图像的相似度，并利用这些相似度确定最终相似度。
为了更好地实现检索结果，在训练所述图像处理机器学习模型过程中，可采用三元组损失函数来计算损失值，三元组损失函数如以下公式所示：
L(I,I+,I-|a)＝max{0,m-s(I,I+|a)+s(I,I-|a)} 公式10
其中，I+代表与所述待处理图像具有相同属性特征的图像，I-代表与所述待处理图像具有不同属性特征的图像；s(I,I+|a)代表根据针对属性a，图像I与图像I+的相似度，具体计算方式为特征f(I，a)和f(I+，a)的余弦相似度；m为常数阈值。
为了求取所述损失函数达到最小值，可利用梯度下降算法。优选地，可采用亚当算法(Adam算法)。亚当算法是一种以随机梯度下降为核心的网络参数更新策略，和随机梯度下降相比，具有更快的收敛速度和更高的稳定性。
综上可述，根据本申请的示例性实施例的图像处理方法可利用图像处理机器学习模型获取到图像在预设属性下的属性特征向量，从而能够更好地反映图像的局部细节。更进一步地，可利用注意力模型获取到图像在预设属性下的区域信息，进而定位到与所述属性相关的区域。更进一步地，可利用注意力模型获取图像在预设属性下的各个属性特征的属性特征向量。更进一步地，可利用所述属性特征向量确定图像间的相似度。更进一步地，可采用三元组损失函数对所述图像处理机器学习模型进行训练，从而能够更好地检索出相似图像。更进一步地，可通过加和不同属性对应的多个属性特征向量上的相似度确定所述图像与特定图像的相似度。
在实施中，在对某一图像(例如，服饰图像)进行分析时，期望获取到指定属性上的关键特征，也就是在用户已指定属性的情况下，能够抽取出对于该属性而言比较重要的特征信息。为此，可采用图4中的图像处理方法400对图像进行处理。图4示出了根据本申请的示例性实施例的图像处理方法400的流程图。所述图像处理方法400适用于计算设备(例如图1所示的计算设备100)中执行。
在步骤S410，确定与输入图像对应的图像特征向量。在实施中，可按照图3中获取图像特征向量321的方式获取与输入图像对应的图像特征向量。
在步骤S420，将所述图像特征向量输入到注意力模型中，获取所述输入图像在预设属性上的各个属性特征对应的权重信息，其中，所述注意力模型可包括以上提到的第一子注意力模型和第二子注意力模型。
也就是说，将所述图像特征向量输入到第一子注意力模型中，可获取到用于定位所述预设属性在所述图像输入中的图像区域的注意力权重矩阵。这样用户可利用所述注意力权重矩阵，获取到包括所述预设属性的位置信息的第一图像特征向量。
随后将所述第二图像特征向量输入到第二子注意力模型中，获取到输入图像在所述预设属性上的各个属性特征对应的权重信息，从而能够重点关注权重较高的属性特征。
以下以服饰图像进行举例说明，图像服饰可由不同的属性构成，例如，领口、袖口等。每个服饰图像相对于各个属性可具有不同的属性特征，例如，在输入图像为服饰图像的情况下，所述预设属性可以是领口，针对领口可具有颜色、形状等多个属性。在所述预设属性是领口的情况下，可通过以上所述的图像处理方法400，输入图像中的领口属性的关键属性特征是圆领(形状)。
可以看出，根据本申请的示例性实施例的图像处理方法400可分析出在输入图像的各个属性上的关键特征，这样可帮助设计师获知对于各个属性的设计重点，从而能够设计出更容易地吸引购买用户的注意力的服饰。
图5示出本申请的示例性实施例的图像处理装置的框图。参考图5，在硬件层面，该装置包括处理器、内部总线和计算机可读存储介质，其中，所述计算机可读存储介质包括易失性存储器和非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
具体来说，所述处理器执行以下操作：获取待处理的第一图像；将第一图像输入到已训练完成的图像处理机器学习模型中，获取第一图像在预设属性下的属性特征向量，其中，所述图像处理机器学习模型利用预先获取的训练图像集以及每个训练图像对于所述预设属性的标注信息进行训练得到。
可选地，所述图像处理机器学习模型包括输入层、特征提取层、全连接层和输出层，其中，所述输入层用于对第一图像执行预处理；所述特征提取层用于提取出与所述预设属性相关的图像特征向量；全连接层用于根据所述图像特定向量确定第一图像对应于所述预设属性上的所述属性特征向量；输出层用于输出所述属性特征向量。
可选地，所述特征提取层包括第一特征提取模型与注意力模型耦合而成，其中，第一特征提取模型是用于整体上对第一图像提取全局特征向量的模型；所述注意力模型是利用所述全局特征向量获取针对所述预设属性的注意力权重的模型。
可选地，所述注意力模型包括用于定位所述预设属性在第一图像上的空间位置的第一子注意力模型。
可选地，所述处理器在实现步骤所述图像处理机器学习模型利用预先获取的训练图像集和标注信息进行训练得到包括：获取构成所述训练图像集的训练图像以及所述训练图像在所述预设属性上的特征信息的标注信息；构建所述图像处理机器学习模型，设置有全网络参数；利用所述训练图像以及标注信息之间的对应关系对所述图像处理机器学习模型进行训练，调整所述全网络参数，直到所述图像处理机器学习模型达到预设要求。
可选地，所述处理器实现步骤构建所述图像处理机器学习模型包括：将所述训练图像输入到第一特征提取模型中，获取到与所述训练图像对应的训练全局特征向量；将转换为相同维度的训练全局特征向量以及针对所述预设属性的第一属性向量输入到第一子注意力模型，获取训练空间注意力权重矩阵；利用训练空间注意力权重矩阵以及训练全局特征向量，获取到所述训练图像的训练图像特征向量；所述训练图像特征向量输入到全连接层，获取所述训练图像的训练所述属性特征向量。
可选地，所述处理器在实现步骤将转换为相同维度的训练全局特征向量以及针对所述预设属性的第一属性向量输入到第一子注意力模型，获取训练空间注意力权重矩阵包括：在确定所述预设属性的情况下，确定与所述预设属性的第一属性向量；将训练全局特征向量转换为与第一属性向量维度相同的第一训练全局特征向量；将第一属性向量与第一训练全局特征向量输入到第一子注意力模型，获取训练空间注意力权重矩阵。
可选地，所述处理器在实现步骤确定所述预设属性的情况下确定与所述预设属性的第一属性向量包括：利用属性嵌入的方式确定与所述预设属性对应的初始第一属性向量；利用特征复制方式，将所述初始第一属性向量转换为第一属性向量。
可选地，所述处理器在实现步骤将训练属性向量与第一训练全局特征向量输入到第一子注意力模型获取训练空间注意力权重矩阵包括：利用第一属性向量与第一训练全局特征向量，生成第一输入向量；将第一输入向量输入到第一子注意力模型，获取所述训练空间注意力权重矩阵。
可选地，所述注意力模型还包括用于确定第一图像在所述预设属性上的各个属性特征的第二子注意力模型。
可选地，所述处理器实现步骤利用训练空间注意力权重矩阵以及训练全局特征向量获取到所述训练图像的训练图像特征向量包括：利用所述训练全局特征向量以及训练空间注意力权重矩阵，确定所述训练图像在所述预设属性下的第一训练图像特征向量；将所述第一训练图像特征向量以及针对所述预设属性的第二属性向量输入到第二子注意力模型，获取在所述预设属性上的各个属性特征上的训练属性特征注意力权重矩阵；利用所述第一训练图像特征向量以及对应的训练属性特征注意力权重矩阵，确定所述训练图像的训练图像特征向量。
可选地，所述处理器在实现步骤将所述第一训练图像特征向量以及针对所述预设属性的第二属性向量输入到第二子注意力模型获取在所述预设属性上的各个属性特征上的训练属性特征注意力权重矩阵包括：在确定所述预设属性的情况下，利用属性嵌入的方式确定与所述预设属性对应的初始第二属性向量；将所述初始第二属性向量转换为与所述第一训练图像特征向量相同维度的第二属性向量；所述第一训练图像特征向量与第二属性向量执行拼接，生成第二输入向量；将第二输入向量输入到第二子注意力模型，获取所述训练属性特征注意力权重矩阵。
可选地，所述处理器在实现步骤利用所述训练图像以及标注信息之间的对应关系对所述图像处理机器学习模型进行训练调整所述全网络参数直到所述图像处理机器学习模型达到预设要求包括：利用损失函数计算所述训练特征信息与对应的标注信息之间的损失值，并利用所述损失值调整所述全网络参数，直到所述图像处理机器学习模型达到所述预设要求。
可选地，所述损失函数是利用所述训练图像、在所述预设属性上与所述训练图像的属性特征相同的正向训练图像以及在所述预设属性上与所述训练图像的属性特征不同的负向训练图像构成的三元组损失函数。
可选地，所述处理器还可实现步骤：将待处理的第二图像输入到所述图像处理机器学习模型中，获取到第二图像在所述预设属性下的第二属性特征向量；利用所述属性特征向量与第二属性特征向量之间的相似度，确定第一图像与第二图像在所述预设属性下的相似度。
可选地，所述处理器还可实现步骤：利用所述图像处理机器学习模型，获取第一图像在多属性下的各个属性特征向量，其中，所述多属性包括所述预设属性。
根据本申请的示例性实施例，所述处理器还可执行以下步骤：确定与输入图像对应的图像特征向量；将所述图像特征向量输入到注意力模型中，获取所述输入图像在预设属性上的各个属性特征对应的权重信息。
综上可述，根据本申请的示例性实施例的图像处理装置可利用图像处理机器学习模型获取到图像在预设属性下的属性特征向量，从而能够更好地反映图像的局部细节。更进一步地，可利用注意力模型获取到图像在预设属性下的区域信息，进而定位到与所述属性相关的区域。更进一步地，可利用注意力模型获取图像在预设属性下的各个属性特征的属性特征向量。更进一步地，可利用所述属性特征向量确定图像间的相似度。更进一步地，可采用三元组损失函数对所述图像处理机器学习模型进行训练，从而能够更好地检索出相似图像。更进一步地，可通过加和不同属性对应的多个属性特征向量上的相似度确定所述图像与特定图像的相似度。
需要说明的是，实施例1所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤21和步骤22的执行主体可以为设备1，步骤23的执行主体可以为设备2；又比如，步骤21的执行主体可以为设备1，步骤22和步骤23的执行主体可以为设备2；等等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中第一的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中第一的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中第一的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (19)
1.一种图像处理方法，其特征在于，包括：
获取待处理的第一图像；
将第一图像输入到已训练完成的图像处理机器学习模型中，获取第一图像在预设属性下的属性特征向量，其中，所述图像处理机器学习模型利用预先获取的训练图像集以及每个训练图像对于所述预设属性的标注信息进行训练得到。
2.如权利要求1所述的方法，其特征在于，所述图像处理机器学习模型包括输入层、特征提取层、全连接层和输出层，其中，所述输入层用于对第一图像执行预处理；所述特征提取层用于提取出与所述预设属性相关的图像特征向量；全连接层用于调整所述图像特征向量的维度来生成属性特征向量；输出层用于输出所述属性特征向量。
3.如权利要求2所述的方法，其特征在于，所述特征提取层通过第一特征提取模型与注意力模型耦合而成，其中，第一特征提取模型是用于整体上对第一图像提取全局特征向量的模型；所述注意力模型是利用所述全局特征向量获取针对所述预设属性的注意力权重的模型。
4.如权利要求3所述的方法，其特征在于，所述注意力模型包括用于定位所述预设属性在第一图像上的空间位置的第一子注意力模型。
5.如权利要求4所述的方法，其特征在于，所述图像处理机器学习模型利用预先获取的训练图像集以及每个训练图像对于所述预设属性的标注信息进行训练得到包括：
获取构成所述训练图像集的训练图像以及所述训练图像在所述预设属性上的特征信息的标注信息；
构建所述图像处理机器学习模型，设置有全网络参数；
利用所述训练图像以及标注信息之间的对应关系对所述图像处理机器学习模型进行训练，调整所述全网络参数，直到所述图像处理机器学习模型达到预设要求。
6.如权利要求5所述的方法，其特征在于，所述图像处理机器学习模型按照如下步骤进行构建：
将所述训练图像输入到第一特征提取模型中，获取到与所述训练图像对应的训练全局特征向量；
将转换为相同维度的训练全局特征向量以及针对所述预设属性的第一属性向量输入到第一子注意力模型，获取训练空间注意力权重矩阵；
利用训练空间注意力权重矩阵以及训练全局特征向量，获取到所述训练图像的训练图像特征向量；
所述训练图像特征向量输入到全连接层，获取所述训练图像的训练属性特征向量。
7.如权利要求6所述的方法，其特征在于，将转换为相同维度的训练全局特征向量以及针对所述预设属性的第一属性向量输入到第一子注意力模型，获取训练空间注意力权重矩阵包括：
在确定所述预设属性的情况下，确定与所述预设属性的第一属性向量；
将训练全局特征向量转换为与第一属性向量维度相同的第一训练全局特征向量；
将第一属性向量与第一训练全局特征向量输入到第一子注意力模型，获取训练空间注意力权重矩阵。
8.如权利要求7所述的方法，其特征在于，在确定所述预设属性的情况下确定所述预设属性的第一属性向量包括：
利用属性嵌入的方式确定与所述预设属性对应的初始第一属性向量；
利用特征复制方式，将所述初始第一属性向量转换为第一属性向量。
9.如权利要求7所述的方法，其特征在于，将第一属性向量与第一训练全局特征向量输入到第一子注意力模型获取训练空间注意力权重矩阵包括：
利用第一属性向量与第一训练全局特征向量，生成第一输入向量；
将第一输入向量输入到第一子注意力模型，获取所述训练空间注意力权重矩阵。
10.如权利要求7所述的方法，其特征在于，所述注意力模型还包括用于确定第一图像在所述预设属性上的各个属性特征的第二子注意力模型。
11.如权利要求10所述的方法，其特征在于，利用训练空间注意力权重矩阵以及训练全局特征向量，获取到所述训练图像的训练图像特征向量包括：
利用所述训练全局特征向量以及训练空间注意力权重矩阵，确定所述训练图像在所述预设属性下的第一训练图像特征向量；
将所述第一训练图像特征向量以及针对所述预设属性的第二属性向量输入到第二子注意力模型，获取在所述预设属性上的各个属性特征上的训练属性特征注意力权重矩阵；
利用所述第一训练图像特征向量以及所述训练属性特征注意力权重矩阵，确定所述训练图像的第二训练图像特征向量作为训练图像特征向量。
12.如权利要求11所述的方法，其特征在于，将所述第一训练图像特征向量以及针对所述预设属性的第二属性向量输入到第二子注意力模型获取在所述预设属性上的各个属性特征上的训练属性特征注意力权重矩阵包括：
在确定所述预设属性的情况下，利用属性嵌入的方式确定与所述预设属性对应的第二属性向量；
将第一训练图像特征向量与第二属性向量执行拼接，生成第二输入向量；
将第二输入向量输入到第二子注意力模型，获取所述训练属性特征注意力权重矩阵。
13.如权利要求6所述的方法，其特征在于，利用所述训练图像以及标注信息之间的对应关系对所述图像处理机器学习模型进行训练调整所述全网络参数直到所述图像处理机器学习模型达到预设要求包括：
利用损失函数计算针对所述训练图像与对应的标注信息产生的损失值，并利用所述损失值调整所述全网络参数，直到所述图像处理机器学习模型达到所述预设要求。
14.如权利要求13所述的方法，其特征在于，所述损失函数是利用所述训练图像、在所述预设属性上与所述训练图像的属性特征相同的正向训练图像以及在所述预设属性上与所述训练图像的属性特征不同的负向训练图像构成的三元组损失函数。
15.如权利要求1所述的方法，其特征在于，还包括：
将待处理的第二图像输入到所述图像处理机器学习模型中，获取到第二图像在所述预设属性下的第二属性特征向量；
利用所述属性特征向量与第二属性特征向量之间的相似度，确定第一图像与第二图像在所述预设属性下的相似度。
16.如权利要求1所述的方法，其特征在于，还包括：
利用所述图像处理机器学习模型，获取第一图像在多属性下的各个属性特征向量，其中，所述多属性包括所述预设属性。
17.一种图像处理方法，其特征在于，包括：
确定与输入图像对应的图像特征向量；
将所述图像特征向量输入到注意力模型中，获取所述输入图像在预设属性上的各个属性特征对应的权重信息。
18.一种图像处理装置，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-17所述的方法中的任一方法的指令。
19.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-17所述的方法中的任一方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010081349.8A CN113222167A (zh) | 2020-02-06 | 2020-02-06 | 一种图像处理方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010081349.8A CN113222167A (zh) | 2020-02-06 | 2020-02-06 | 一种图像处理方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113222167A true CN113222167A (zh) | 2021-08-06 |
Family
ID=77085560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010081349.8A Pending CN113222167A (zh) | 2020-02-06 | 2020-02-06 | 一种图像处理方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222167A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850027A (zh) * | 2021-11-30 | 2021-12-28 | 山东华尚电气有限公司 | 一种基于设计图纸智能识别的干式变压器制造方法及系统 |
| CN114049255A (zh) * | 2021-11-08 | 2022-02-15 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、存算一体芯片和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729901A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 图像处理模型的建立方法、装置及图像处理方法及系统 |
| US20190073353A1 (en) * | 2017-09-07 | 2019-03-07 | Baidu Usa Llc | Deep compositional frameworks for human-like language acquisition in virtual environments |
| CN109544524A (zh) * | 2018-11-15 | 2019-03-29 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
| CN109658455A (zh) * | 2017-10-11 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 图像处理方法和处理设备 |
| CN110232348A (zh) * | 2019-06-10 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 行人属性识别方法、装置和计算机设备 |
| CN110458215A (zh) * | 2019-07-30 | 2019-11-15 | 天津大学 | 基于多时态注意力模型的行人属性识别方法 |
| CN110490254A (zh) * | 2019-08-20 | 2019-11-22 | 山西潞安环保能源开发股份有限公司五阳煤矿 | 一种基于双重注意力机制层次网络的图像语义生成方法 |
| CN110633665A (zh) * | 2019-09-05 | 2019-12-31 | 卓尔智联(武汉)研究院有限公司 | 识别方法、设备和存储介质 |
-
2020
- 2020-02-06 CN CN202010081349.8A patent/CN113222167A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729901A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 图像处理模型的建立方法、装置及图像处理方法及系统 |
| US20190073353A1 (en) * | 2017-09-07 | 2019-03-07 | Baidu Usa Llc | Deep compositional frameworks for human-like language acquisition in virtual environments |
| CN109658455A (zh) * | 2017-10-11 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 图像处理方法和处理设备 |
| CN109544524A (zh) * | 2018-11-15 | 2019-03-29 | 中共中央办公厅电子科技学院 | 一种基于注意力机制的多属性图像美学评价系统 |
| CN110232348A (zh) * | 2019-06-10 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 行人属性识别方法、装置和计算机设备 |
| CN110458215A (zh) * | 2019-07-30 | 2019-11-15 | 天津大学 | 基于多时态注意力模型的行人属性识别方法 |
| CN110490254A (zh) * | 2019-08-20 | 2019-11-22 | 山西潞安环保能源开发股份有限公司五阳煤矿 | 一种基于双重注意力机制层次网络的图像语义生成方法 |
| CN110633665A (zh) * | 2019-09-05 | 2019-12-31 | 卓尔智联(武汉)研究院有限公司 | 识别方法、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张周彬: ""利用位置增强注意力机制的属性级情感分类"", 《计算机科学与探索》 * |
| 高健等: "基于混合注意力机制的表情识别研究", 《信息技术与网络安全》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049255A (zh) * | 2021-11-08 | 2022-02-15 | Oppo广东移动通信有限公司 | 图像处理方法及其装置、存算一体芯片和电子设备 |
| CN113850027A (zh) * | 2021-11-30 | 2021-12-28 | 山东华尚电气有限公司 | 一种基于设计图纸智能识别的干式变压器制造方法及系统 |
| CN113850027B (zh) * | 2021-11-30 | 2022-03-01 | 山东华尚电气有限公司 | 一种基于设计图纸智能识别的干式变压器制造方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10740640B2 (en) | Image processing method and processing device | |
| US12093306B2 (en) | Automatically detecting user-requested objects in digital images | |
| CN111860669B (zh) | Ocr识别模型的训练方法、装置和计算机设备 | |
| CN110619050B (zh) | 意图识别方法及设备 | |
| CN112749300B (zh) | 用于视频分类的方法、装置、设备、存储介质和程序产品 | |
| CN112668341B (zh) | 文本正则化方法、装置、设备和可读存储介质 | |
| CN111428645A (zh) | 人体关键点的检测方法、装置、电子设备及存储介质 | |
| WO2020228536A1 (zh) | 图标生成方法及装置、获取图标的方法、电子设备以及存储介质 | |
| CN117765132A (zh) | 图像生成方法、装置、设备与存储介质 | |
| CN113255328A (zh) | 语言模型的训练方法及应用方法 | |
| CN112784066A (zh) | 基于知识图谱的信息反馈方法、装置、终端和存储介质 | |
| CN113222167A (zh) | 一种图像处理方法及其装置 | |
| CN114995729B (zh) | 一种语音绘图方法、装置及计算机设备 | |
| CN113435182A (zh) | 自然语言处理中分类标注的冲突检测方法、装置和设备 | |
| CN113849679A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
| CN113869371A (zh) | 模型训练方法、服装细粒度分割方法及相关装置 | |
| CN114782943A (zh) | 票据信息提取方法及其装置、设备、介质、产品 | |
| CN117009599A (zh) | 数据检索方法、装置、处理器及电子设备 | |
| CN115905591B (zh) | 一种视觉问答方法、系统、设备及可读存储介质 | |
| CN111767710B (zh) | 印尼语的情感分类方法、装置、设备及介质 | |
| CN112749364B (zh) | 基于人工智能的网页生成方法、装置、设备及存储介质 | |
| CN114818627A (zh) | 一种表格信息抽取方法、装置、设备及介质 | |
| CN114662487A (zh) | 一种文本分段方法、装置、电子设备及可读存储介质 | |
| CN109740162A (zh) | 文本表示方法、装置及介质 | |
| CN111626305B (zh) | 目标检测方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |
|
| RJ01 | Rejection of invention patent application after publication |