CN113255709A - 图像元素搭配方法及装置和模型训练方法及装置和数据处理方法 - Google Patents

图像元素搭配方法及装置和模型训练方法及装置和数据处理方法 Download PDF

Info

Publication number
CN113255709A
CN113255709A CN202010087574.2A CN202010087574A CN113255709A CN 113255709 A CN113255709 A CN 113255709A CN 202010087574 A CN202010087574 A CN 202010087574A CN 113255709 A CN113255709 A CN 113255709A
Authority
CN
China
Prior art keywords
collocation
nodes
image
knowledge graph
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010087574.2A
Other languages
English (en)
Inventor
吴腾飞
崔苗苗
谢宣松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010087574.2A priority Critical patent/CN113255709A/zh
Priority to US17/134,924 priority patent/US11734573B2/en
Publication of CN113255709A publication Critical patent/CN113255709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种图像元素搭配方法及装置和模型训练方法及装置和数据处理方法，将寻找与给定图像元素搭配的图像信息的问题转换成了从搭配知识图谱中预测给定图像元素对应的节点与搭配知识图谱中的其它节点两两之间是否存在边的问题，灵活地实现了图像元素的搭配，提升了搭配效果，而且降低了人工成本。

Description

图像元素搭配方法及装置和模型训练方法及装置和数据处理 方法
技术领域
本申请涉及但不限于工业智能技术，尤指一种图像元素搭配方法及装置和模型训练方法及装置和数据处理方法。
背景技术
相关技术中，会通过预先涉及的模板或规则来解决图像元素搭配问题。这种方式灵活性差、多样性不好，而且设计师成本高。
之外，也会通过预先设计图自动编码器来解决图像元素搭配问题，但是，这种方式对于大规模图训练困难，而且图节点的视觉特征是预先计算好，因此。搭配结果并不理想。
发明内容
本申请提供一种图像元素搭配方法及装置和模型训练方法及装置和数据处理方法，能够灵活适合大规模图训练，提升搭配效果。
本发明实施例提供了一种数据处理方法，包括：
接收待处理图片；
获取所述待处理图片的至少一个原始图像元素；
基于知识图谱，获取所述原始图像元素对应的目标图像元素，其中，所述知识图谱以图像元素作为节点、以图像元素之间的关系作为边；
反馈所述目标图像元素。
本发明实施例还提供了一种图像元素搭配方法，包括：
将待处理的图像元素作为待处理节点加入搭配知识图谱；
根据表征搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息；
根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定存在边的节点对，其中，节点对包括待处理节点与搭配知识图谱中其它任意节点构成的节点对；
确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
在一种示例性实例中，所述方法之前还包括：
根据样本图像的图像元素构建所述搭配知识图谱，其中，样本图像的图像元素作为所述搭配知识图谱的节点，相同搭配组合中任意两个图像元素之间构建边。
在一种示例性实例中，所述样本图像的图像元素包括：
以海量banner psd图像信息为素材，对每个图像文件psd文件进行解析，获取psd文件包括的若干个图层，每个图层作为一个独立的所述图像元素；
所述根据样本图像的图像元素构建搭配知识图谱，包括：
将独立的所述图像元素作为所述搭配知识图谱的节点，相同的搭配组合中任意两个图像元素之间构建边。
在一种示例性实例中，所述特征信息包括邻接矩阵；所述提取搭配知识图谱中节点的特征信息，包括：
基于卷积神经网络，根据所述邻接矩阵提取节点的视觉特征矩阵。
在一种示例性实例中，所述根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息，包括：
将所述邻接矩阵和所述特征信息输入多层图卷积神经网络，对所述搭配知识图谱中的节点分别进行编码获取所述搭配知识图谱中节点的新特征信息。
在一种示例性实例中，所述确定存在边的节点对，包括：
通过计算所述节点对的连边概率确定所述节点对之间是否存在边。
本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的图像元素搭配方法。
本申请又提供了一种实现图像元素搭配的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的图像元素搭配方法的步骤。
本申请再提供了一种图像元素搭配方法，包括：
将待处理的图像元素作为待处理节点加入搭配知识图谱；
将表征搭配知识图谱中节点的搭配关系的邻接节点信息输入预先训练好的搭配模型进行处理；
搭配模型输出节点对之间存在边，则确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
在一种示例性实例中，所述将表征搭配知识图谱中节点的搭配关系的邻接节点信息输入预先训练好的搭配模型进行处理，包括：
根据表征所述搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息；
根据邻接节点信息和特征信息，对所述搭配知识图谱中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定节点对之间是否存在边，其中，节点对包括待处理节点与所述搭配知识图谱中其它任意节点构成的节点对。
在一种示例性实例中，所述方法之前还包括训练所述搭配模型。
在一种示例性实例中，所述搭配模型为FedNet模型。
本申请又提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的图像元素搭配方法。
本申请又提供了一种实现图像元素搭配的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的图像元素搭配方法的步骤。
本申请还提供了一种模型训练方法，包括：
根据样本图像的图像元素构建搭配知识图谱，其中，图像元素作为搭配知识图谱的节点，相同搭配组合中任意两个图像元素之间构建边；
将搭配知识图谱划分为搭配组合数量个子图，其中搭配组合数量为搭配知识图谱包括的搭配组合的数量；
获取每个子图的第一邻接矩阵，将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵；
比较第一邻接矩阵和第二邻接矩阵，并根据比较结果调整搭配模型的参数。
在一种示例性实例中，所述样本图像的图像元素包括：
以海量banner psd图像信息为素材，对每个图像文件psd文件进行解析，获取psd文件包括的若干个图层，每个图层作为一个独立的所述图像元素；
所述根据样本图像的图像元素构建搭配知识图谱，包括：
将独立的所述图像元素作为所述搭配知识图谱的节点，相同的搭配组合中任意两个图像元素之间构建边。
在一种示例性实例中，所述将搭配知识图谱划分为搭配组合数量个子图，包括：
在所述搭配知识图谱中，根据每个所述搭配组合中所有节点取其k阶邻居节点构成所述子图，将所述搭配知识图谱切分成所述搭配组合数量个子图，每个子图包括有一个搭配组合及搭配组合节点的k阶邻接节点。
在一种示例性实例中，所述将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵，包括：
根据表征所述子图中节点的搭配关系的所述第一邻接矩阵提取所述子图中节点的特征信息；
根据所述第一邻接矩阵和特征信息，对所述子图中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定节点对之间是否存在边，其中，节点对为子图中的节点对，并解码出该子图中节点的搭配关系的第二邻接矩阵。
在一种示例性实例中，所述获取每个子图的第一邻接矩阵，包括：
对每个所述子图构建正负边集合，取该子图中搭配组合所有节点两两连接的边作为正边集合，随机取与正边集合相同数量的没有连接的节点对构成的边作为负边集合，当所述子图中的节点vi和节点vj存在一条边连接时，所述第一邻接矩阵中Ai,j＝1，否则所述第一邻接矩阵中Ai,j＝0。
在一种示例性实例中，所述特征信息包括视觉特征；所述提取子图中节点的特征信息，包括：
基于卷积神经网络，根据所述第一邻接矩阵提取节点的视觉特征矩阵。
在一种示例性实例中，所述根据第一邻接矩阵和特征信息，对子图中的节点分别进行编码得到节点的新特征信息，包括：
将所述第一邻接矩阵和特征信息输入多层图卷积神经网络，对所述子图中的节点分别进行编码获取所述子图中节点的新特征信息。
在一种示例性实例中，所述确定节点对之间是否存在边，包括：
通过计算所述节点对的连边概率来确定所述节点对之间是否存在边。
在一种示例性实例中，所述比较第一邻接矩阵和第二邻接矩阵，并根据比较结果调整搭配模型的参数，包括：
使用损失函数分别对每个样本计算损失；
对所有样本的损失求均值作为目标损失；
根据目标损失利用反向传播算法对所述搭配模型的参数进行更新；
其中，样本包括：正样本pt＝pi,j，负样本pt＝1-pi,j，其中，pi,j为节点对(vi,vj)的所述连边概率。
本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的模型训练方法。
本申请又提供了一种实现模型训练的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的模型训练方法的步骤。
本申请实施例提供的图像元素搭配方法，将寻找与给定图像元素搭配的图像信息的问题转换成了从搭配知识图谱中预测给定图像元素对应的节点与搭配知识图谱中的其它节点两两之间是否存在边的问题，灵活地实现了图像元素的搭配，提升了搭配效果，而且降低了人工成本。
本申请实施例提供的模型训练方法适合大规模图训练，一方面，将搭配知识图谱中的图像元素切分为多个子图的方式进行后续搭配模型的训练，解决了大规模图训练困难的问题；另一方面，节点的特征信息如视觉特征不是预先计算好的，而是参与在模型训练中不断训练的，这样保证了训练好的搭配模型具有更为理想的搭配效果。
进一步地，本申请模型训练方法中，搭配模型采用FedNet模型，实现了在海量数据上进行端到端训练，使得得到的搭配模型达到了更好的效果。。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请图像元素搭配方法的流程图；
图2(a)为本申请构建搭配知识图谱的第一实施例的示意图；
图2(b)为本申请构建搭配知识图谱的第二实施例的示意图；
图2(c)为本申请构建搭配知识图谱的第三实施例的示意图；
图3为本申请构建搭配知识图谱的第四实施例的示意图；
图4为本申请另一种图像元素搭配方法的流程图；
图5为本申请图像元素搭配的应用实施例示意图；
图6为本申请图像元素搭配装置的组成结构示意图；
图7为本申请模型训练方法的流程图；
图8为本申请搭配网络的网络结构示意图；
图9为本申请模型训练装置的组成结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在本申请一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本申请图像元素搭配方法的流程图，如图1所示，包括：
步骤100：将待处理的图像元素作为待处理节点加入搭配知识图谱。
在一种示例性实例中，搭配知识图谱是根据样本图像的图像元素预先构建的，可以包括：
以广告设计图(Banner)psd图像信息(如包括若干个图像文件即psd文件)为素材，对每个psd文件进行解析，获取psd文件包括的若干个图层，每个图层作为一个独立的图像元素。可以认为，同一个psd文件中的任意两个图像元素在设计上是相互搭配协调的，也就是说，每个psd文件中的图像元素两两构成一个搭配组合；
将独立的图像元素作为搭配知识图谱的节点，相同的搭配组合中任意两个图像元素之间构建边(即相互搭配协调的节点之间存在边)。如此，以bannerpsd图像信息为素材，可以构建成一个庞大的搭配知识图谱，在这个知识图谱中蕴含了设计师创造banner过程中使用的设计知识。
在一种示例性实例中，对每个psd文件进行解析可以通过相关psd解析工具来实现，具体实现并不用于限定本申请的保护范围，这里不再赘述。
在一种示例性实例中，每个图层具有一个身份标识(ID)，相同ID的图层具有相同的图像元素，在搭配知识图谱中是同一个节点。
其中，广告设计图(Banner)是横跨于网页上的矩形公告牌，当用户点击这些横幅的时候，通常可以链接到广告主的网页，banner psd图像信息以psd文件保存。Banner Ad是网络广告最早采用的形式，也是目前最常见的形式。横幅广告又称旗帜广告。
在一种示例性实例中，假设搭配知识图谱G有N个节点和M条边，V＝{v1,v2,...,vN}表示N个节点的集合，E＝{(v1,v2),(v3,v4),...,(vk,vm)}表示M条边的集合，(vi,vj)表示节点vi和节点vj存在一条边连接。G＝(V,E)，如果采用N×N的邻接矩阵A表示搭配知识图谱G，那么，当节点vi和节点vj存在一条边连接时，Ai,j＝1，否则Ai,j＝0。X表示节点特征矩阵，每个节点包含F维特征，节点vi的特征Xi＝{xi,1,xi,2,...,xi,F}，X是N×F的矩阵。在一种示例性实例中，节点特征包括视觉特征。
举个例子来看，假设对某psd1文件进行解析，获取psd1文件包括的5个图层，每个图层作为一个独立的图像元素，如图2(a)～图2(c)所示，分别对应节点1、节点2、节点3、节点4和节点5。同一个psd1文件中的任意两个图像元素在设计上是相互搭配协调的，也就是说，节点1、节点2、节点3、节点4和节点5两两构成一个搭配组合，如图2(a)所示，为构建出的节点1的边；如图2(b)所示，为构建出的节点1、节点2的边；如图2(c)所示，为构建出的节点1、节点2、节点3、节点4和节点5的边。再举个例子来看，在图2(c)所示的搭配知识图谱基础上，假设继续对某psd2文件进行解析，获取psd2文件包括的4个图层，每个图层作为一个独立的图像元素，如图3所示，分别对应节点2、节点6、节点7和节点8，可见，psd2文件包括的图层中有一个图层与psd1文件中的节点2对应的图层具有相同的图像元素，因此在搭配知识图谱中均体现为具有相同ID的节点2。同一个psd2文件中的任意两个图像元素在设计上是相互搭配协调的，也就是说，节点2、节点6、节点7和节点8两两构成一个搭配组合，构建出的边如图3所示。
步骤100将待处理的图像元素作为一个节点加入预先构建的搭配知识图谱中，这样，接下来就是将从元素库中寻找与给定图像元素搭配的图像信息的问题转换成了从搭配知识图谱中预测给定图像元素对应的节点与搭配知识图谱中的其它节点两两之间是否存在边的问题。
步骤101：根据表征搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息。
在一种示例性实例中，表征搭配知识图谱中节点的搭配关系的邻接节点信息可以采用邻接矩阵来表示。
在一种示例性实例中，假设搭配知识图谱G有N个节点和M条边，V＝{v1,v2,...,vN}表示N个节点的集合，E＝{(v1,v2),(v3,v4),...,(vk,vm)}表示M条边的集合，(vi,vj)表示节点vi和节点vj存在一条边连接。G＝(V,E)，如果采用N×N的邻接矩阵A表示搭配知识图谱G，那么，当节点vi和节点vj存在一条边连接时，Ai,j＝1，否则Ai,j＝0。X表示节点特征矩阵，每个节点包含F维特征，节点vi的特征Xi＝{xi,1,xi,2,...,xi,F}，X是N×F的矩阵。在一种示例性实例中，节点特征包括视觉特征。
在一种示例性实例中，本步骤中的提取搭配知识图谱中节点的特征信息，可以包括：
基于卷积神经网络提取节点的视觉特征矩阵X。其中，卷积神经网络可以包括但不限于如：加宽网络结构(VGGNet、Inception Network)、残差网络(ResNet，ResidualNetwork)、密集卷积网络(DenseNet)等，其中，VGGNet由牛津大学计算机视觉组(VGG，Visual Geometry Group)提出。
较佳地，在一种示例性实例中，可以利用ResNet提取搭配知识图谱中每个节点i图片的视觉特征Xi，所有节点的视觉特征构成搭配知识图谱的特征矩阵X。
步骤102：根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息。
在一种示例性实例中，本步骤可以包括：
将邻接矩阵和特征信息输入多层图卷积神经网络，对搭配知识图谱中的节点分别进行编码获取搭配知识图谱中节点的新特征信息。
本步骤中，输入多层图卷积神经网络的信息包括任意节点vi的特征信息和邻接矩阵，因此，对于任意节点vi，得到的新特征信息zi不仅编码了该节点自身的信息，还编码了与该节点搭配的其他节点的信息。
在一种示例性实例中，对于节点vi和该节点vi的邻居节点Ni，Ni＝{vj|Ai,j＝1}，zi＝fencoder(Xi,Ni)，其中，fencoder通过多层图卷积神经网络(GCN，GraphConvolutionalNetwork)来实现，某一层GCN的实现可以如公式(1)所示：
Figure BDA0002382256970000101
在公式(1)中，
Figure BDA0002382256970000102
表示第l层第i个节点，
Figure BDA0002382256970000103
是
Figure BDA0002382256970000104
的输出值，ReLU是激活层，搭配知识图谱中的所有节点经过公式(1)所示的GCN处理后输出的结果如公式(2)所示：
Figure BDA0002382256970000105
在公式(2)中，
Figure BDA0002382256970000106
表示邻接矩阵A的拉普拉斯矩阵，
Figure BDA0002382256970000107
其中，I表示单位矩阵，D表示顶点的度矩阵
Figure BDA0002382256970000108
s表示取节点的s阶邻居节点，W(l)表示第l层的学习参数。在首次学习中，W(l)可以使用如kaiming_uniform初始化。
步骤103：根据节点的新特征信息确定存在边的节点对，其中，节点对包括待处理节点与搭配知识图谱中其它任意节点构成的节点对。
在一种示例性实例中，本步骤可以包括：通过计算节点对的连边概率即搭配的得分，来确定节点对之间是否存在边。在一种示例性实例中，可以采用如公式(3)所示来计算节点对(即节点i和节点j)的连边概率pi,j：
pi，j＝h(zi-zj)w+b (3)
在公式(3)中，zi、zj是节点vi、节点vj经过步骤102的编码(Encoder)后的得到的新特征信息；w、b是学习参数，h(.)表示sigmoid激活函数。
步骤104：确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
本申请提供的图像元素搭配方法，将从元素库中寻找与给定图像元素搭配的图像信息的问题转换成了从搭配知识图谱中预测给定图像元素对应的节点与搭配知识图谱中的其它节点两两之间是否存在边的问题，灵活地实现了图像元素的搭配，提升了搭配效果，而且降低了人工成本。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图1所示任一项的图像元素搭配方法。
本申请再提供一种实现图像元素搭配的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图1所示任一项所述的图像元素搭配方法的步骤。
图4为本申请另一种图像元素搭配方法的流程图，包括：
步骤400：将待处理的图像元素作为待处理节点加入搭配知识图谱。
步骤401：将表征搭配知识图谱中节点的搭配关系的邻接节点信息输入预先训练好的搭配模型进行处理，搭配模型输出节点对之间是否存在边。
在一种示例性实例中，本步骤中的处理包括：
根据表征搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息；
根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定节点对之间是否存在边，其中，节点对包括待处理节点与搭配知识图谱中其它任意节点构成的节点对。
步骤402：确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
图4所示的图像元素搭配方法与图1所示的不同之处在于：图1中的步骤101～步骤103的实现，在图4所示的图像元素搭配方法中是采用预先训练好的搭配模型来实现的。搭配模型的训练方法如下文图6所示。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行图4所示任一项的图像元素搭配方法。
本申请再提供一种实现图像元素搭配的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行图4所示任一项所述的图像元素搭配方法的步骤。
在一种示例性实例中，本申请还提供一种数据处理方法，包括：接收待处理图片；获取待处理图片的至少一个原始图像元素；基于知识图谱，获取所述原始图像元素对应的目标图像元素，其中，所述知识图谱以图像元素作为节点、以图像元素之间的关系作为边；反馈所述目标图像元素。这里，以用户上传一张商品主体图为例，如图5所示，通过本申请实施例提供的图像元素搭配方法，会根据商品主体图从知识图谱中自动搭配出所需要的图片信息，比如一张或多张与用户上传的商品主体图搭配的图片。这样，可以将搭配出的一张图片推荐给用户使用，或者，将搭配出的多张图片展现给用户以供用户选择。
在一种示例性实例中，图5中待处理的也可以直接是图像元素本身，通过本申请所述的数据处理方法，会根据待处理的图像元素从知识图谱中自动搭配出一组图像元素。这样，可以整体推荐搭配出的一套图像元素。
图6为本申请图像元素搭配装置的组成结构示意图，如图6所示，包括预处理模块、处理模块和确定模块；其中，
预处理模块，用于将待处理的图像元素作为待处理节点加入搭配知识图谱。
处理模块，用于根据表征搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息；根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息；根据节点的新特征信息确定存在边的节点对，其中，节点对包括待处理节点与搭配知识图谱中其它任意节点构成的节点对；
确定模块，用于确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
在一种示例性实例中，处理模块可以为预先训练好的搭配模型，搭配模型的输入为表征搭配知识图谱中节点的搭配关系的邻接节点信息，搭配模型的输出为节点对之间是否存在边。
图7为本申请模型训练方法的流程图，如图7所示，包括：
步骤700：根据样本图像的图像元素构建搭配知识图谱，其中，图像元素作为搭配知识图谱的节点，相同搭配组合中任意两个图像元素之间构建边。
在一种示例性实例中，样本图像可以以海量banner psd图像信息(如包括若干个图像文件即psd文件)为素材，对每个psd文件进行解析，获取psd文件包括的若干个图层，每个图层作为一个独立的图像元素。可以认为，同一个psd文件中的任意两个图像元素在设计上是相互搭配协调的，也就是说，每个psd文件中的图像元素两两构成一个搭配组合；
将独立的图像元素作为搭配知识图谱的节点，相同的搭配组合中任意两个图像元素之间构建边(即相互搭配协调的节点之间存在边)。如此，以海量banner psd图像信息为素材，可以构建成一个庞大的搭配知识图谱，在这个知识图谱中蕴含了设计师创造banner过程中使用的设计知识。
步骤701：将搭配知识图谱划分为搭配组合数量个子图，其中搭配组合数量为搭配知识图谱包括的搭配组合的数量。
在一种示例性实例中，假设搭配知识图谱G包括Q个搭配组合，本步骤中的将搭配知识图谱G划分为搭配组合数量个子图，包括：
在搭配知识图谱G中，根据每个搭配组合中所有节点取其k阶邻居节点构成子图，将搭配知识图谱G切分成Q个子图，每个子图Gq包括有一个搭配组合及搭配组合节点的k阶邻接节点。其中，k是训练过程中的超参数，通过设置不同k值能得到不同的训练结果。
本步骤中，将搭配知识图谱G中的图像元素切分为多个子图的方式进行后续搭配模型的训练，解决了大规模图训练困难的问题。
步骤702：获取每个子图的第一邻接矩阵，将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵。
在一种示例性实例中，本步骤中的获取每个子图Gq的第一邻接矩阵Aq，包括：
对每个子图Gq构建正负边集合，取子图Gq中搭配组合所有节点两两连接的边作为正边集合，随机取与正边集合相同数量的没有连接的节点对构成的边作为负边集合，当该子图Gq中的节点vi和节点vj存在一条边连接时，Ai,j＝1，否则Ai,j＝0。
在一种示例性实例中，对于每个子图，结合图8，步骤702中的将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵，可以包括：
根据表征子图中节点的搭配关系的第一邻接矩阵提取子图中节点的特征信息；
根据第一邻接矩阵和特征信息，对子图中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定节点对之间是否存在边，其中，节点对为子图中的节点对，并解码(Decoder)出该子图中节点的搭配关系的第二邻接矩阵。如公式(3)所示，pi,j就是第二邻接矩阵中第i，j位置的值，也就是说，第二邻接矩阵由所有节点对预测搭配得分构成。
在本申请中，节点的特征信息如视觉特征不是预先计算好的，而是参与在模型训练中不断训练的，这样保证了训练好的搭配模型具有更为理想的搭配效果。
在一种示例性实例中，本步骤中的提取子图中节点的特征信息，可以包括：
基于卷积神经网络提取节点的视觉特征矩阵X。其中，卷积神经网络可以包括但不限于如：加宽网络结构(VGGNet、Inception Network)、残差网络(ResNet，ResidualNetwork)、密集卷积网络(DenseNet)等，其中，VGGNet由牛津大学计算机视觉组(VGG，Visual Geometry Group)提出。
较佳地，在一种示例性实例中，可以利用ResNet提取搭配知识图谱中每个节点i图片的视觉特征Xi，所有节点的视觉特征构成搭配知识图谱的特征矩阵X。
在一种示例性实例中，本步骤中的根据第一邻接矩阵和特征信息，对子图中的节点分别进行编码得到节点的新特征信息，可以包括：
将第一邻接矩阵和特征信息输入多层图卷积神经网络，对子图中的节点分别进行编码获取子图中节点的新特征信息。具体实现可以参见上文公式(1)和公式(2)的描述，这里不再赘述。
本步骤中，输入多层图卷积神经网络的信息包括任意节点vi的特征信息和第一邻接矩阵，因此，对于任意节点vi，得到的新特征信息zi不仅编码了该节点自身的信息，还编码了与该节点搭配的其他节点的信息。
在一种示例性实例中，本步骤中的确定存在边的节点对，可以包括：通过计算节点对的连边概率即搭配的得分，来确定节点对之间是否存在边。具体实现可以参见上文公式(3)和步骤103的描述，这里不再赘述。
在一种示例性实例中，搭配模型包括特征提取部分(Featurer)、编码部分(Encoder)和解码部分(Decoder)，本文中可以称为FedNet模型。
FedNet模型可以在海量数据上进行端到端训练，由此得到的搭配模型能够达到更好的效果。
步骤703：比较第一邻接矩阵和第二邻接矩阵，并根据比较结果调整搭配模型的参数。
在一种示例性实例中，本步骤可以包括：
使用Focal Loss损失函数FL(pt)＝-αt(1-pt)βlog(pt)，其中，αt和β是新联模型的超参数，试验中可以取值如：αt＝0.5，β＝1，对于每个样本计算损失lossi＝FL(pt)；
对所有样本的损失loss求均值作为目标损失loss；
根据目标损失loss利用反向传播算法(Back Propagation)对搭配模型的；参数进行更新。
其中，样本包括正样本和负样本。以第一邻接矩阵中所有Ai,j＝1的节点对(vi,vj)构成的边ei,j作为正样本，从Ai,j＝0中随机采样一定比例作为负样本；第二邻接矩阵由所有节点对预测搭配得分构成，节点对(vi,vj)构成的边ei,j的预测得分pi,j＝āi,j，因此，对于所有正样本真实值是1，对于所有负样本真实值是0，假设约定数学符号pt，那么，正样本pt＝pi,j，负样本pt＝1-pi,j。
本申请提供的模型训练方法适合大规模图训练，一方面，将搭配知识图谱中的图像元素切分为多个子图的方式进行后续搭配模型的训练，解决了大规模图训练困难的问题；另一方面，节点的特征信息如视觉特征不是预先计算好的，而是参与在模型训练中不断训练的，这样保证了训练好的搭配模型具有更为理想的搭配效果。进一步地，本申请模型训练方法中，搭配模型采用FedNet模型，实现了在海量数据上进行端到端训练，使得得到的搭配模型达到了更好的效果。
需要说明的是，图4所示的图像元素搭配方法本身也是一个对搭配模型的训练过程，也就是说，本申请中的搭配模型的训练除了应用样本进行前期训练之外，在搭配模型的使用过程中也在动态进行实时训练，进一步保证了搭配模型的实用性。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项的模型训练方法。
本申请再提供一种实现搭配模型训练的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上任一项所述的模型训练方法的步骤。
图9为本申请模型训练装置的组成结构示意图，如图9所示，包括：构建单元、划分单元、训练单元、调整单元；其中，
构建单元，用于根据样本图像的图像元素构建搭配知识图谱，其中，图像元素作为搭配知识图谱的节点，相同搭配组合中任意两个图像元素之间构建边；
划分单元，用于将搭配知识图谱划分为搭配组合数量个子图，其中搭配组合数量为搭配知识图谱包括的搭配组合的数量；
训练单元，用于获取每个子图的第一邻接矩阵，将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵；
调整单元，用于比较第一邻接矩阵和第二邻接矩阵，并根据比较结果调整搭配模型的参数。
在一种示例性实例中，训练单元可以包括：提取模块、编码模块和解码模块，其中，
提取模块，用于根据表征子图中节点的搭配关系的第一邻接矩阵提取子图中节点的特征信息；
编码模块，用于根据第一邻接矩阵和特征信息，对子图中的节点分别进行编码得到节点的新特征信息；
解码模块，用于根据节点的新特征信息确定节点对之间是否存在边，其中，节点对子图中的节点对，并解码出该子图中节点的搭配关系的第二邻接矩阵。
在一种示例性实例中，提取模块可以为ResNet。
在一种示例性实例中，训练单元可以为FedNet模型。
FedNet模型可以在海量数据上进行端到端训练，由此得到的搭配模型能够达到更好的效果。
虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (26)

1.一种数据处理方法，包括：
接收待处理图片；
获取所述待处理图片的至少一个原始图像元素；
基于知识图谱，获取所述原始图像元素对应的目标图像元素，其中，所述知识图谱以图像元素作为节点、以图像元素之间的关系作为边；
反馈所述目标图像元素。
2.一种图像元素搭配方法，包括：
将待处理的图像元素作为待处理节点加入搭配知识图谱；
根据表征搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息；
根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定存在边的节点对，其中，节点对包括待处理节点与搭配知识图谱中其它任意节点构成的节点对；
确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
3.根据权利要求4所述的图像元素搭配方法，所述方法之前还包括：
根据样本图像的图像元素构建所述搭配知识图谱，其中，样本图像的图像元素作为所述搭配知识图谱的节点，相同搭配组合中任意两个图像元素之间构建边。
4.根据权利要求3所述的图像元素搭配方法，其中，所述样本图像的图像元素包括：
以海量banner psd图像信息为素材，对每个图像文件psd文件进行解析，获取psd文件包括的若干个图层，每个图层作为一个独立的所述图像元素；
所述根据样本图像的图像元素构建搭配知识图谱，包括：
将独立的所述图像元素作为所述搭配知识图谱的节点，相同的搭配组合中任意两个图像元素之间构建边。
5.根据权利要求2所述的图像元素搭配方法，其中，所述特征信息包括邻接矩阵；所述提取搭配知识图谱中节点的特征信息，包括：
基于卷积神经网络，根据所述邻接矩阵提取节点的视觉特征矩阵。
6.根据权利要求5所述的图像元素搭配方法，其中，所述根据邻接节点信息和特征信息，对搭配知识图谱中的节点分别进行编码得到节点的新特征信息，包括：
将所述邻接矩阵和所述特征信息输入多层图卷积神经网络，对所述搭配知识图谱中的节点分别进行编码获取所述搭配知识图谱中节点的新特征信息。
7.根据权利要求2所述的图像元素搭配方法，其中，所述确定存在边的节点对，包括：
通过计算所述节点对的连边概率确定所述节点对之间是否存在边。
8.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求2～权利要求7任一项所述的图像元素搭配方法。
9.一种实现图像元素搭配的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求2～权利要求7任一项所述的图像元素搭配方法的步骤。
10.一种图像元素搭配方法，包括：
将待处理的图像元素作为待处理节点加入搭配知识图谱；
将表征搭配知识图谱中节点的搭配关系的邻接节点信息输入预先训练好的搭配模型进行处理；
搭配模型输出节点对之间存在边，则确定与待处理节点之间存在边的节点对应的图像元素与待处理的图像元素搭配。
11.根据权利要求10所述的图像元素搭配方法，其中，所述将表征搭配知识图谱中节点的搭配关系的邻接节点信息输入预先训练好的搭配模型进行处理，包括：
根据表征所述搭配知识图谱中节点的搭配关系的邻接节点信息提取搭配知识图谱中节点的特征信息；
根据邻接节点信息和特征信息，对所述搭配知识图谱中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定节点对之间是否存在边，其中，节点对包括待处理节点与所述搭配知识图谱中其它任意节点构成的节点对。
12.根据权利要求10或11所述的图像元素搭配方法，所述方法之前还包括训练所述搭配模型。
13.根据权利要求12所述的图像元素搭配方法，其中，所述搭配模型为FedNet模型。
14.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求10～权利要求13任一项所述的图像元素搭配方法。
15.一种实现图像元素搭配的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求10～权利要求13任一项所述的图像元素搭配方法的步骤。
16.一种模型训练方法，包括：
根据样本图像的图像元素构建搭配知识图谱，其中，图像元素作为搭配知识图谱的节点，相同搭配组合中任意两个图像元素之间构建边；
将搭配知识图谱划分为搭配组合数量个子图，其中搭配组合数量为搭配知识图谱包括的搭配组合的数量；
获取每个子图的第一邻接矩阵，将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵；
比较第一邻接矩阵和第二邻接矩阵，并根据比较结果调整搭配模型的参数。
17.根据权利要求16所述的模型训练方法，其中，所述样本图像的图像元素包括：
以海量banner psd图像信息为素材，对每个图像文件psd文件进行解析，获取psd文件包括的若干个图层，每个图层作为一个独立的所述图像元素；
所述根据样本图像的图像元素构建搭配知识图谱，包括：
将独立的所述图像元素作为所述搭配知识图谱的节点，相同的搭配组合中任意两个图像元素之间构建边。
18.根据权利要求16所述的模型训练方法，其中，所述将搭配知识图谱划分为搭配组合数量个子图，包括：
在所述搭配知识图谱中，根据每个所述搭配组合中所有节点取其k阶邻居节点构成所述子图，将所述搭配知识图谱切分成所述搭配组合数量个子图，每个子图包括有一个搭配组合及搭配组合节点的k阶邻接节点。
19.根据权利要求16所述的模型训练方法，其中，所述将获得的邻接矩阵输入预先设置的搭配模型进行端到端训练，得到该子图的第二邻接矩阵，包括：
根据表征所述子图中节点的搭配关系的所述第一邻接矩阵提取所述子图中节点的特征信息；
根据所述第一邻接矩阵和特征信息，对所述子图中的节点分别进行编码得到节点的新特征信息；
根据节点的新特征信息确定节点对之间是否存在边，其中，节点对为子图中的节点对，并解码出该子图中节点的搭配关系的第二邻接矩阵。
20.根据权利要求19所述的模型训练方法，其中，所述获取每个子图的第一邻接矩阵，包括：
对每个所述子图构建正负边集合，取该子图中搭配组合所有节点两两连接的边作为正边集合，随机取与正边集合相同数量的没有连接的节点对构成的边作为负边集合，当所述子图中的节点vi和节点vj存在一条边连接时，所述第一邻接矩阵中Ai，j＝1，否则所述第一邻接矩阵中Ai，j＝0。
21.根据权利要求19所述的模型训练方法，其中，所述特征信息包括视觉特征；所述提取子图中节点的特征信息，包括：
基于卷积神经网络，根据所述第一邻接矩阵提取节点的视觉特征矩阵。
22.根据权利要求19所述的模型训练方法，其中，所述根据第一邻接矩阵和特征信息，对子图中的节点分别进行编码得到节点的新特征信息，包括：
将所述第一邻接矩阵和特征信息输入多层图卷积神经网络，对所述子图中的节点分别进行编码获取所述子图中节点的新特征信息。
23.根据权利要求19所述的模型训练方法，其中，所述确定节点对之间是否存在边，包括：
通过计算所述节点对的连边概率来确定所述节点对之间是否存在边。
24.根据权利要求23所述的模型训练方法，其中，所述比较第一邻接矩阵和第二邻接矩阵，并根据比较结果调整搭配模型的参数，包括：
使用损失函数分别对每个样本计算损失；
对所有样本的损失求均值作为目标损失；
根据目标损失利用反向传播算法对所述搭配模型的参数进行更新；
其中，样本包括：正样本pt＝pi，j，负样本pt＝1-pi，j，其中，pi，j为节点对(vi，vj)的所述连边概率。
25.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求16～权利要求24任一项所述的模型训练方法。
26.一种实现模型训练的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求16～权利要求24任一项所述的模型训练方法的步骤。
CN202010087574.2A 2020-02-11 2020-02-11 图像元素搭配方法及装置和模型训练方法及装置和数据处理方法 Pending CN113255709A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010087574.2A CN113255709A (zh) 2020-02-11 2020-02-11 图像元素搭配方法及装置和模型训练方法及装置和数据处理方法
US17/134,924 US11734573B2 (en) 2020-02-11 2020-12-28 Image element matching via graph processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010087574.2A CN113255709A (zh) 2020-02-11 2020-02-11 图像元素搭配方法及装置和模型训练方法及装置和数据处理方法

Publications (1)

Publication Number Publication Date
CN113255709A true CN113255709A (zh) 2021-08-13

Family

ID=77178391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010087574.2A Pending CN113255709A (zh) 2020-02-11 2020-02-11 图像元素搭配方法及装置和模型训练方法及装置和数据处理方法

Country Status (2)

Country Link
US (1) US11734573B2 (zh)
CN (1) CN113255709A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114003648B (zh) * 2021-10-20 2024-04-26 支付宝(杭州)信息技术有限公司 风险交易团伙的识别方法、装置、电子设备与存储介质
CN118334180B (zh) * 2024-06-13 2024-09-03 乐麦信息技术(杭州)有限公司 基于机器学习的psd文件自动还原与处理方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248687A1 (en) * 2008-03-31 2009-10-01 Yahoo! Inc. Cross-domain matching system
US20160283049A1 (en) * 2015-03-25 2016-09-29 Adobe Systems Incorporated Document Layer Extraction for Mobile Devices
CN107862562A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
US20190258895A1 (en) * 2018-02-20 2019-08-22 Microsoft Technology Licensing, Llc Object detection from image content
CN110457403A (zh) * 2019-08-12 2019-11-15 南京星火技术有限公司 图网络决策系统、方法及知识图谱的构建方法
CN110457508A (zh) * 2019-07-18 2019-11-15 西安工程大学 基于矩阵分解和知识图谱的服装搭配推荐方法
CN110598021A (zh) * 2018-05-25 2019-12-20 阿里巴巴集团控股有限公司 获取图片的知识图谱的方法、装置和系统
CN110750653A (zh) * 2019-10-22 2020-02-04 中国工商银行股份有限公司 信息处理方法、装置、电子设备及介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060129933A1 (en) 2000-12-19 2006-06-15 Sparkpoint Software, Inc. System and method for multimedia authoring and playback
US20050209983A1 (en) 2004-03-18 2005-09-22 Macpherson Deborah L Context driven topologies
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US9785914B2 (en) 2008-12-08 2017-10-10 Adobe Systems Incorporated Collaborative review apparatus, systems, and methods
US8806331B2 (en) 2009-07-20 2014-08-12 Interactive Memories, Inc. System and methods for creating and editing photo-based projects on a digital network
US20160182971A1 (en) 2009-12-31 2016-06-23 Flickintel, Llc Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9922096B2 (en) 2011-07-08 2018-03-20 Yahoo Holdings, Inc. Automated presentation of information using infographics
US20130031455A1 (en) 2011-07-28 2013-01-31 Peter Griffiths System for Linking to Documents with Associated Annotations
PL2959672T3 (pl) 2013-02-21 2020-06-01 Koninklijke Philips N.V. Ulepszone sposoby i urządzenia do kodowania i dekodowania obrazu hdr
US9880712B2 (en) 2013-09-06 2018-01-30 Microsoft Technology Licensing, Llc In-application customization
CN106462555B (zh) 2014-05-14 2020-03-31 网页云股份有限公司 用于web内容生成的方法和系统
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US10380650B2 (en) 2017-07-26 2019-08-13 Jehan Hamedi Systems and methods for automating content design transformations based on user preference and activity data
CN112740196A (zh) * 2018-09-20 2021-04-30 华为技术有限公司 基于知识管理人工智能系统中的识别模型

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248687A1 (en) * 2008-03-31 2009-10-01 Yahoo! Inc. Cross-domain matching system
US20160283049A1 (en) * 2015-03-25 2016-09-29 Adobe Systems Incorporated Document Layer Extraction for Mobile Devices
CN107862562A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
US20190258895A1 (en) * 2018-02-20 2019-08-22 Microsoft Technology Licensing, Llc Object detection from image content
CN110598021A (zh) * 2018-05-25 2019-12-20 阿里巴巴集团控股有限公司 获取图片的知识图谱的方法、装置和系统
CN110457508A (zh) * 2019-07-18 2019-11-15 西安工程大学 基于矩阵分解和知识图谱的服装搭配推荐方法
CN110457403A (zh) * 2019-08-12 2019-11-15 南京星火技术有限公司 图网络决策系统、方法及知识图谱的构建方法
CN110750653A (zh) * 2019-10-22 2020-02-04 中国工商银行股份有限公司 信息处理方法、装置、电子设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEHAI ZHANG 等，: "Knowledge Graph-Based Image Classification Refinement", 《IEEE ACCESS》, vol. 7, 24 April 2019 (2019-04-24), pages 3 *
KENNETH MARINO 等,: "The more you know:Using knowledge graphs for image classification", 《2017 IEEE COFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》, 31 December 2017 (2017-12-31), pages 20 - 28 *
武文雅，: "基于卷积神经网络的实体关系抽取方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, vol. 2020, no. 1, 15 January 2020 (2020-01-15), pages 138 - 2498 *

Also Published As

Publication number Publication date
US11734573B2 (en) 2023-08-22
US20210248412A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
US20220309762A1 (en) Generating scene graphs from digital images using external knowledge and image reconstruction
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
US20200210773A1 (en) Neural network for image multi-label identification, related method, medium and device
US20230245266A1 (en) Generating digital images utilizing high-resolution sparse attention and semantic layout manipulation neural networks
CA3069365A1 (en) Generation of point of interest copy
US11983903B2 (en) Processing images using self-attention based neural networks
CN115457531A (zh) 用于识别文本的方法和装置
Ji et al. Colorformer: Image colorization via color memory assisted hybrid-attention transformer
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
CN112348828A (zh) 基于神经网络的实例分割方法和装置以及存储介质
US20220277514A1 (en) Reconstructing three-dimensional scenes portrayed in digital images utilizing point cloud machine-learning models
CN112989116B (zh) 一种视频推荐方法、系统及装置
Park Deep self-guided cost aggregation for stereo matching
Liu et al. Painting completion with generative translation models
Chai et al. A one-to-many conditional generative adversarial network framework for multiple image-to-image translations
CN113255709A (zh) 图像元素搭配方法及装置和模型训练方法及装置和数据处理方法
Rajput Mixed gaussian-impulse noise robust face hallucination via noise suppressed low-and-high resolution space-based neighbor representation
CN112069412A (zh) 信息推荐方法、装置、计算机设备及存储介质
US12056849B2 (en) Neural network for image style translation
Zheng et al. Visiting the invisible: Layer-by-layer completed scene decomposition
Zhao et al. Parallel image completion with edge and color map
CN114612402A (zh) 对象数量的确定方法、装置、设备、介质及程序产品
Li et al. Lifelong CycleGAN for continual multi-task image restoration
Tian et al. Augmentation Method for anti-vibration hammer on power transimission line based on CycleGAN
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination