CN113780321A - 图片审核方法、系统、电子设备及计算机可读介质 - Google Patents

图片审核方法、系统、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN113780321A
CN113780321A CN202110043106.XA CN202110043106A CN113780321A CN 113780321 A CN113780321 A CN 113780321A CN 202110043106 A CN202110043106 A CN 202110043106A CN 113780321 A CN113780321 A CN 113780321A
Authority
CN
China
Prior art keywords
picture
auditing
audited
model
compliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110043106.XA
Other languages
English (en)
Inventor
李姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110043106.XA priority Critical patent/CN113780321A/zh
Publication of CN113780321A publication Critical patent/CN113780321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图片审核方法和系统，涉及互联网技术领域。该方法的一具体实施方式包括：将待审核图片输入到图片审核模型中；利用所述图片审核模型识别所述待审核图片的属性；根据所述图片审核模型的输出结果判断所述待审核图片是否合规；其中，所述图片审核模型的训练过程包括：根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。该实施方式能够解决现有的图片审核方法中的多任务分类模型对不同任务的判断效果差异较大而导致图片审核的准确性变差的问题。

Description

图片审核方法、系统、电子设备及计算机可读介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于多任务学习的图片审核方法、系统、电子设备及计算机可读介质。
背景技术
在电商平台中，在搜索频道及商品内容首页使用主图来直观地展示商品。为了规范电商平台的环境并提高用户体验，需要对商家上传的待审核图片进行图片审核，仅允许通过审核的合格图片显示为主图，由此保证电商平台的公平公正和用户体验。
上述图片可采用多任务分类模型。首先分别利用各任务对应的训练图片对该模型进行训练，在模型中构建图片与该图片是否合规的关联逻辑，得到训练后的模型。然后应用训练后的模型对待审核图片进行审核，使该模型输出图片是否合规的判定结果。
在实现本发明过程中，发明人发现上述现有技术至少存在如下问题：就现有的图片审核所采用的多任务分类模型而言，在训练过程中，对各任务的损失函数求和以计算总损失函数，但是，由于不同任务的难度存在差异，当难度差异很大时，高难度任务的损失函数的值远大于低难度任务的损失函数值，即高难度任务在总损失函数中所占的比重过高，这将导致训练后的模型对不同任务的判断效果差异较大，从而图片审核的准确性变差。
发明内容
有鉴于此，本发明实施例提供一种图片审核方法、系统、电子设备及计算机可读介质，能够解决现有的图片审核方法中的多任务分类模型对不同任务的判断效果差异较大而导致图片审核的准确性变差的问题。
本发明实施例的第一方面提供一种基于多任务学习的图片审核方法，其包括：
将待审核图片输入到图片审核模型中；
利用所述图片审核模型识别所述待审核图片的属性；
根据所述图片审核模型的输出结果判断所述待审核图片是否合规；
其中，所述图片审核模型的训练过程包括：
根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。
所述图片审核方法还包括：
若判断待审核图片为合规图片，则输出表示审核通过的信息，并将合规图片上传至素材库；
若判断待审核图片为不合规图片，则输出表示审核未通过的信息。
优选地，当判断待审核图片为不合规图片时，还输出表示违规类型的信息。
可选地，所述图片审核方法还包括：
若无法判断待审核图片是否合规，则仅在发布端输出表示审核通过的信息，不上传至素材库。
可选地，所述图片审核方法还包括：
若无法判断待审核图片是否合规，则人工判断该待审核图片是否合规；
若判断待审核图片为合规图片，则将合规图片上传至素材库；
若判断待审核图片为不合规图片，则对该待审核图片进行人工修改。
优选地，所述图片审核方法还包括
利用不同合规图片生成合成图片，并将该合成图片上传至所述素材库。
本发明的第二方面提供一种基于多任务学习的图片审核系统，其包括：
输入模块，将待审核图片输入到图片审核模型中；
识别模块，利用所述图片审核模型识别所述待审核图片的属性；
判断模块，根据所述图片审核模型的输出结果判断所述待审核图片是否合规；
其中，所述图片审核模型的训练过程包括：
根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。
所述判断模块还用于：
若判断待审核图片为合规图片，则输出表示审核通过的信息，并将合规图片上传至素材库；
若判断待审核图片为不合规图片，则输出表示审核未通过的信息。
当判断待审核图片为不合规图片时，还输出表示违规类型的信息。
可选地，所述判断模块还用于：
若无法判断待审核图片是否合规，则仅在发布端输出表示审核通过的信息，不上传至素材库。
可选地，所述判断模块还用于：
若无法判断待审核图片是否合规，则人工判断该待审核图片是否合规；
若判断待审核图片为合规图片，则将合规图片上传至素材库；
若判断待审核图片为不合规图片，则对该待审核图片进行人工修改。
优选地，所述图片审核系统还包括生成模块，利用不同合规图片生成合成图片，并将该合成图片上传至所述素材库。
本发明的第三方面提供了一种图片审核电子设备，其包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述图片审核方法。
本发明的第四方面提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述图片审核方法。
本发明的实施例具有如下有益效果：通过在多任务图片审核模型中引入根据各任务与图片属性的关系而设定的初始权重，并在模型的训练过程中根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重，从而实现权重的自适应调整，由于图片属性与任务的难度相关，因此，通过利用该图片审核用权重对各任务的损失函数进行加权求和来得到总损失函数，能够调整难易程度不同的任务的损失函数在总损失函数中所占的比例，从而在训练模型时平衡不同任务的训练效果，进而在应用模型时平衡不同任务的判断效果，提高图片审核的准确性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的第一方面涉及的图片审核方法的主要流程的示意图；
图2是本发明实施例的第一方面涉及的图片审核方法的完整流程的示意图
图3是本发明实施例的第一方面涉及的图片审核方法的完整流程的示意图；
图4是本发明实施例的第二方面涉及的图片审核系统的主要模块的示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例的第一方面涉及一种基于多任务学习的图片审核方法，其使用算法模型进行审核，是一种实时审核方法，在该方法中，随时接受发布端经由输入端口上传的待审核图片并对待审核图片进行审核，并向商家返回审核结果。
图1是本发明实施例的第一方面涉及的图片审核方法的主要流程图，如图1所示，该图片审核方法包括步骤S110、步骤S120及步骤S130。
在步骤S110中，将待审核图片输入到图片审核模型中。
具体地，可以经由发布端经由输入端口输入待审核图片，该发布端例如为商家，输入端口例如为商家使用的客户端。
在步骤S120中，利用图片审核模型识别待审核图片的属性。
在步骤S130中，根据图片审核模型的输出结果判断待审核图片是否合规。
本发明实施例中使用的图片审核模型至少经过如下训练：
根据各任务与图片属性的关系来设定图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代初始权重，以获得各任务损失函数的图片审核用权重。
以下对本发明实施例中使用的图片审核模型进行具体说明。
图片审核模型采用人工神经网络实现图片审核，其是一种基于多任务学习的分类模型，其执行多个任务，每个任务用于判断图片的某项属性是否合规(或者说将图片分为具有该属性的图片和不具有该属性的图片)针对每个任务可以一一对应地设置有输入层，多个输入层连接有同一共享层。
图片审核模型使用分为训练过程和应用过程，以下以图片审核为例，说明图片审核模型的运行方式。
在图片审核模型的训练过程中，首先，分别向每个任务的输入层输入训练图片以及该训练图片针对该任务的判断结果(是否合规)。输入层将表示训练图片以及上述结果的数据信息输入共享层，在共享层中共享这些数据信息并利用模型的自学习功能进行学习，在图片与该图片对于所有任务是否均合规的结果之间建立总关联逻辑，并且优选还可以在图片与该图片对于各任务是否合规的结果之间针对每个任务分别建立关联逻辑，得到训练后的模型，在训练过程中，使用在下文中说明的总损失函数来评价模型训练的结果。
在图片审核模型的应用过程中，向图片审核模型中输入待审核图片，图片审核模型根据其在图片与该图片对于所有任务是否均合规的结果之间建立的总关联逻辑，自动判断图片是否合规。
以下举例说明本发明实施例中设置的任务及其识别的图片属性，可以理解的是，以下示出的任务及图片属性仅为示例，本领域技术人员可以根据实际情况添加、删除、更改这些任务及图片属性。
第一任务用于识别边框图属性，边框图是指除商品主体之外两边具有直线或带颜色的边的图片，若识别为边框图则第一任务不合规。第二任务用于识别腰带图属性，腰带图是指底部出现非白色色带、色带长度超过一半且高度不超过图像高度1/3的图片，若识别为腰带图则第二任务不合规。第三任务用于识别拼接图属性，拼接图是指分成多个分区且各分区内商品主体相近的图片，若识别为拼接图则第三任务不合规。第四任务用于识别牛皮癣图属性，牛皮癣图是指商标位以外出现图标、色块、分区、商家添加的有底色的文字、商家添加的无底色的大文字、促销宣传语等的图片，若识别为牛皮癣图则第四任务不合规。
以下具体说明训练过程中的总损失函数。
总损失函数代表训练过程的训练效果(即对模型的优化程度)，在训练过程中总损失函数收敛的值越小，则在应用过程中出现判断错误的可能性越低。
现有技术中通过将各任务的损失函数相加以获得总损失函数。但是，由于不同属性的任务的难度不同，例如识别图片是否为牛皮癣图的难度经常大于识别图片是否为边框图的难度，而在模型训练过程中，任务难度越大则其损失函数越大(即判断错误的风险越大)，因此若各个任务难度的差异很大，则高难度的任务和低难度的任务在总损失函数中占据的比重失衡，导致有时即使将总任务函数收敛到一个目标值，但此时各任务的损失函数的收敛值并不均衡，甚至可能相差若干数量级，因此各任务的实际训练效果差异很大。因此，在应用这样训练得到的模型对图片进行分类时，不同任务的图片识别效果差异较大，导致图片审核的准确性变差。
而在本发明实施例中，在构建图片审核模型时，针对每个任务，根据任务与图片属性的关系设定初始权重，在计算总损失函数时使用各任务的权重对各任务的损失函数进行加权平均，以得到总损失函数。并且，在每次训练中均会对初始权重进行更新，作为下次应用中的图片审核用权重，也即对权重进行迭代优化，从而利用图片审核模型的训练来使该权重基于任务与图片属性的关系的变化不断地动态调整。
由于图片属性与任务的难度存在相关关系，因此通过设置上述权重，能够平衡各损失函数在总损失函数中所占的比重，即在训练过程中平衡各任务的训练效果，进而在应用过程中平衡各任务的识别效果，提高图片审核的准确性。并且，由于该权重基于任务与图片属性的关系的变化不断动态调整，因此，即使不同任务的难度关系随着技术发展而发生变化，也可以利用模型的训练来自适应地对权重进行动态调整，而不需重新构建整个模型。
以下具体说明总损失函数的计算方式，设总损失函数为loss，任务总数为n，第i任务的图片审核用权重为wi，第i任务的损失函数为lossi。
则存在如下关系式。
Figure BDA0002896649630000081
在本发明实施例中，图片审核用权重wi与对应的第i任务的难度负相关。由于任务的难度越大则其损失函数(即判断错误的风险)越大，因此，通过使图片审核用权重wi与对应的任务的难度负相关，从而降低难度过大的任务的损失函数在总损失函数中的比重，即平衡难度不同的任务的损失函数在总损失函数中的比重，从而平衡难度不同的任务的训练效果，提升模型应用过程中对图片进行分类的准确性。
以下，举出实例具体说明图片审核模型的训练过程和应用过程。可以理解的是，以下说明仅是为了便于理解图片审核模型的例子，并非本发明实施例的具体设置，也不会对本发明造成任何限定。
在该实例的图片审核模型中设置有两个输入层，第一输入层对应的任务判定图片是否为边框图，第二输入层对应的任务判定图片是否为腰带图。
在训练过程中：
在第一输入层输入50张图片及表示这50张图片为边框图的信息并且输入另外50张图片及表示这另外50张图片为非边框图的信息，同理，在第二输入层输入50张图片及表示这50张图片为腰带图的信息并且输入另外50张图片及表示这另外50张图片为非腰带图的信息；
两个输入层将这些图片及其属性向共享层输入，共享层分析这些图片的数据以及各图片的属性建立如下总关联逻辑，在不合规图片(边框图或腰带图)与不合规的判定结果之间建立关联，并且在合规图片(非边框图且非腰带图)与合规的判定结果之间建立关联；
按照上述的总损失函数的计算方法计算总损失函数，若其大于预先限定的阈值(例如1％)则输入新的图片，继续进行训练，若小于预先限定的阈值则训练完成，得到训练完成的图片审核模型。
在应用过程中，
向训练完成的图片审核模型中输入待审核图片，图片审核模型利用上述建立的关联逻辑判断待审核图片是否合规，并输出判断结果。
如图2所示，本发明实施例的图片审核方法还包括步骤S210、步骤S220和步骤S230。
在步骤S210中，若判断待审核图片为合规图片，则输出表示审核通过的信息，并将合规图片上传至素材库。素材库是用于收集可向各频道展示的个性化主图的图库，存储有通过审核的合规图片。
在步骤S220中，若判断待审核图片为不合规图片，则输出表示审核未通过的信息。另外，还优选此时输出表示违规类型的信息。
违规类型是表示该图片的不合规属性的信息。例如，若不合规图片的腰带图属性不合规，则输出该不合规图片是腰带图的信息，该步骤中将表示审核未通过的信息以及表示违规类型的信息返回至发布端，以告知商家其上传的待审核图片不合规，同时告知违规类型，以变其进行修改。
在步骤S230中，若无法判断待审核图片是否合规，则仅在发布端输出表示审核通过的信息，不上传至素材库。
在该步骤中，由于存在多任务图片审核模型无法准确是否合规的待审核图片，因此为了确保素材库存储的所有图片均符合规定，不能将该待审核图片上传至素材库。但此时可以向发布端返回审核结果，告知商家该图片上传成功。
优选地，如图2所示，本发明实施例的图片审核方法还可以包括步骤S211，在该步骤中，利用生成的合规图片生成合成图片，并将该合成图片上传至素材库。
本发明实施例的合规图片例如可以分为白底图和场景图，底色是纯白色的合规图片是白底图，底色非白色的合规图片是场景图。并且，素材库中还可以存储有合成图片，该合成图片例如可以分为营销图和卖点图，营销图和卖点图是基于白底图和场景图利用模板生成的图片，营销图包含营销语，卖点图包含卖点文字。
通过利用合规图片生成合成图片并上传至素材库，从而使素材库能够为各频道提供更丰富的个性化素材，更好地提高用户的体验。
本发明的实施例具有如下有益效果：通过在多任务图片审核模型中引入根据各任务与图片属性的关系而设定的初始权重，并在模型的训练过程中根据加权后的多任务损失函数迭代初始权重，以获得各任务损失函数的图片审核用权重，从而实现权重的自适应调整，由于图片属性与任务的难度相关，因此，通过利用该图片审核用权重对各任务的损失函数进行加权求和来得到总损失函数，能够调整难易程度不同的任务的损失函数在总损失函数中所占的比例，从而在训练模型时平衡不同任务的训练效果，进而在应用模型时平衡不同任务的判断效果，提高图片审核的准确性。
以下说明本发明实施例第一方面的图片审核方法的一个变化例，该变化例与第一方面涉及的图片审核方法的主要区别在于对图片审核模型无法判断是否合规的待审核图片进行人工分类。
可以理解的是，由于需要人工审核，因此该变化例涉及的图片审核方法是一种离线服务方法，其待审核图片来自历史存留数据。
需要说明的是，在以下说明中，对于与第一方面的图片审核方法相同的步骤，附加相同的标记并省略部分重复说明。
如图3所示，在第一方面的图片审核方法的基础上，该变化例涉及的图片审核方法包括步骤S310、步骤S320和步骤S330。
在步骤S310中，若无法判断待审核图片是否合规，则人工判断该待审核图片是否合规。
在步骤S320中，若人工判断该待审核图片为合规图片，则将合规图片上传至素材库。
在步骤S330中，若人工判断该待审核图片为不合规图片，则对该待审核图片进行人工修改。
另外，如图3所示，与第一方面的图片审核方法相同，在本变形例中还包括步骤S311，在该步骤S311中，利用生成的合规图片生成合成图片，并将该合成图片上传至素材库。
在本变化例中，将人工审核与机器审核结合，一方面利用算法模型减少了人工审核的工作量，提升了审核效率，另一方面利用人工分类对算法模型无法判断是否合规的待审核图片进行分类，提升了审核质量，从而能够兼顾审核的效率和准确程度，维护电商平台生态的健康发展。
可以理解的是，本发明实施例的第一方面涉及的图片审核方法及其变化例可以利用同一图片审核系统执行，例如可以利用下述的本发明实施例的第二方面涉及的图片审核系统来执行，因此能够实现算法模型和系统的复用，节省系统资源。
以下说明本发明实施例的第二方面涉及的图片审核系统，图2是本发明实施例的第二方面涉及的图片审核系统的主要流程图。
需要说明的是，在以下说明中，对于与第一方面涉及的图片审核方法相同的要素，有时省略重复说明。
如图4所示，本发明实施例的第二方面设计的图片审核系统400包括输入模块410、识别模块420以及判断模块430。
输入模块410将待审核图片输入到图片审核模型中。
识别模块420利用图片审核模型识别所述待审核图片的属性。
判断模块430根据图片审核模型的输出结果判断待审核图片是否合规。
其中，图片审核模型的训练过程包括：
根据各任务与图片属性的关系来设定图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代初始权重，以获得各任务损失函数的图片审核用权重。
该判断模块430还用于：
若判断待审核图片为合规图片，则输出表示审核通过的信息，并将合规图片上传至素材库；
若判断待审核图片为不合规图片，则输出表示审核未通过的信息。
当判断待审核图片为不合规图片时，还输出表示违规类型的信息。
作为优选方案，判断模块410还用于：
若无法判断待审核图片是否合规，则仅在发布端输出表示审核通过的信息，不上传至素材库。
作为另一种优选方案，判断模块430还用于：
若无法判断待审核图片是否合规，则人工判断该待审核图片是否合规；
若判断待审核图片为合规图片，则将合规图片上传至素材库；
若判断待审核图片为不合规图片，则对该待审核图片进行人工修改。
本发明实施例的第二方面涉及的图片审核系统还包括生成模块440，生成模块440利用不同合规图片生成合成图片，并将该合成图片上传至所述素材库。
可以理解的是，上述本发明实施例的第一方面涉及的图片审核方法及其变化例均可由该第二方面涉及的图片审核系统来执行。在执行第一方面涉及的图片审核方法时，图片审核系统是一种实时服务系统，能够随时对商家上传的待审核图片进行审核。而在执行第一方面涉及的图片审核方法的变化例时，图片审核系统是一种离线服务系统，仅在人工工作时进行服务，对历史存留数据中的图片进行审核。
本发明的实施例具有如下有益效果：通过在多任务图片审核模型中引入根据各任务与图片属性的关系而设定的初始权重，并在模型的训练过程中根据加权后的多任务损失函数迭代初始权重，以获得各任务损失函数的图片审核用权重，从而实现权重的自适应调整，由于图片属性与任务的难度相关，因此，通过利用该图片审核用权重对各任务的损失函数进行加权求和来得到总损失函数，能够调整难易程度不同的任务的损失函数在总损失函数中所占的比例，从而在训练模型时平衡不同任务的训练效果，进而在应用模型时平衡不同任务的判断效果，提高图片审核的准确性。
并且，利用一个第二方面涉及的图片审核系统即可实现本发明实施例的第一方面涉及的图片审核方法及其变化例，因此能够实现系统复用，节省系统资源。
图5示出了可以应用本发明实施例的图片审核方法或图片审核系统的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络505和服务器505。网络505用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络505可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络505与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的图片审核方法一般由服务器505执行，相应地，图片审核系统一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括输入模块，将待审核图片输入到图片审核模型中；识别模块，利用所述图片审核模型识别所述待审核图片的属性；判断模块，根据所述图片审核模型的输出结果判断所述待审核图片是否合规；其中，所述图片审核模型的训练过程包括：根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，输入模块还可以被描述为“将待审核图片输入到图片审核模型中的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
将待审核图片输入到图片审核模型中；
利用所述图片审核模型识别所述待审核图片的属性；
根据所述图片审核模型的输出结果判断所述待审核图片是否合规；
其中，所述图片审核模型的训练过程包括：
根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。
本发明的实施例涉及的电子设备和可读存储介质的具有如下有益效果：通过在多任务图片审核模型中引入根据各任务与图片属性的关系而设定的初始权重，并在模型的训练过程中根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重，从而实现权重的自适应调整，由于图片属性与任务的难度相关，因此，通过利用该图片审核用权重对各任务的损失函数进行加权求和来得到总损失函数，能够调整难易程度不同的任务的损失函数在总损失函数中所占的比例，从而在训练模型时平衡不同任务的训练效果，进而在应用模型时平衡不同任务的判断效果，提高图片审核的准确性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种基于多任务学习的图片审核方法，其特征在于，包括：
将待审核图片输入到图片审核模型中；
利用所述图片审核模型识别所述待审核图片的属性；
根据所述图片审核模型的输出结果判断所述待审核图片是否合规；
其中，所述图片审核模型的训练过程包括：
根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。
2.根据权利要求1所述的图片审核方法，其特征在于，还包括：
若判断待审核图片为合规图片，则输出表示审核通过的信息，并将合规图片上传至素材库；
若判断待审核图片为不合规图片，则输出表示审核未通过的信息。
3.根据权利要求2所述的图片审核方法，其特征在于，
当判断待审核图片为不合规图片时，还输出表示违规类型的信息。
4.根据权利要求2所述的图片审核方法，其特征在于，还包括：
若无法判断待审核图片是否合规，则仅在发布端输出表示审核通过的信息，不上传至素材库。
5.根据权利要求2所述的图片审核方法，其特征在于，还包括：
若无法判断待审核图片是否合规，则人工判断该待审核图片是否合规；
若人工判断该待审核图片为合规图片，则将合规图片上传至素材库；
若人工判断该待审核图片为不合规图片，则对该待审核图片进行人工修改。
6.根据权利要求2或5所述的图片审核方法，其特征在于，还包括
利用不同合规图片生成合成图片，并将该合成图片上传至所述素材库。
7.一种基于多任务学习的图片审核系统，其特征在于，包括：
输入模块，将待审核图片输入到图片审核模型中；
识别模块，利用所述图片审核模型识别所述待审核图片的属性；
判断模块，根据所述图片审核模型的输出结果判断所述待审核图片是否合规；
其中，所述图片审核模型的训练过程包括：
根据各任务与图片属性的关系来设定所述图片审核模型中的各任务损失函数的初始权重；
输入多个训练图片，对所述训练图片的图片属性进行识别，并根据加权后的多任务损失函数迭代所述初始权重，以获得各任务损失函数的图片审核用权重。
8.一种基于多任务学习的图片审核电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202110043106.XA 2021-01-13 2021-01-13 图片审核方法、系统、电子设备及计算机可读介质 Pending CN113780321A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110043106.XA CN113780321A (zh) 2021-01-13 2021-01-13 图片审核方法、系统、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110043106.XA CN113780321A (zh) 2021-01-13 2021-01-13 图片审核方法、系统、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN113780321A true CN113780321A (zh) 2021-12-10

Family

ID=78835398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110043106.XA Pending CN113780321A (zh) 2021-01-13 2021-01-13 图片审核方法、系统、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN113780321A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131670A (zh) * 2022-09-02 2022-09-30 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备
CN116520987A (zh) * 2023-04-28 2023-08-01 中广电广播电影电视设计研究院有限公司 Vr内容问题检测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131670A (zh) * 2022-09-02 2022-09-30 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备
CN115131670B (zh) * 2022-09-02 2022-12-20 广州艾米生态人工智能农业有限公司 一种水稻图片智能审核方法、系统、装置及设备
CN116520987A (zh) * 2023-04-28 2023-08-01 中广电广播电影电视设计研究院有限公司 Vr内容问题检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107330715B (zh) 选择图片广告素材的方法和装置
US11004123B2 (en) Method for trading goods on a computer network based on image processing for interest, emotion and affinity detection
CN110929799B (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
CN112016796B (zh) 综合风险评分请求处理方法、装置及电子设备
WO2021155691A1 (zh) 用户画像生成方法、装置、存储介质及设备
CN114036398B (zh) 内容推荐和排序模型训练方法、装置、设备以及存储介质
CN112801132B (zh) 一种图像处理方法和装置
CN113780321A (zh) 图片审核方法、系统、电子设备及计算机可读介质
CN106202089B (zh) 一种确定图片质量和网页展示的方法及设备
CN112231592A (zh) 基于图的网络社团发现方法、装置、设备以及存储介质
CN113011210B (zh) 视频处理方法和装置
CN110245684B (zh) 数据处理方法、电子设备和介质
CN112801053B (zh) 视频数据处理方法、装置
CN113343133B (zh) 显示页面生成方法、相关装置及计算机程序产品
CN110930103A (zh) 服务单审核方法及系统、介质和计算机系统
CN114780847A (zh) 一种对象信息处理、信息推送方法、装置和系统
CN113159877A (zh) 数据处理方法、装置、系统、计算机可读存储介质
CN112348615A (zh) 用于审核信息的方法和装置
CN112926834B (zh) 工业app质量评价方法、装置、设备及介质
CN116956204A (zh) 多任务模型的网络结构确定方法、数据预测方法及装置
CN114092106A (zh) 一种信息虚假程度的识别方法和装置
CN115146657A (zh) 模型训练方法、装置、存储介质、客户端、服务器和系统
CN116708298A (zh) 流量控制方法、装置、计算机设备及存储介质
CN113705594A (zh) 一种识别图像的方法和装置
CN116228317A (zh) 一种行业分类方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination