CN110781633A - 基于深度学习模型的图文设计质量检测方法、装置及系统 - Google Patents

基于深度学习模型的图文设计质量检测方法、装置及系统 Download PDF

Info

Publication number
CN110781633A
CN110781633A CN201911046872.0A CN201911046872A CN110781633A CN 110781633 A CN110781633 A CN 110781633A CN 201911046872 A CN201911046872 A CN 201911046872A CN 110781633 A CN110781633 A CN 110781633A
Authority
CN
China
Prior art keywords
model
evaluation
design
evaluation model
output value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911046872.0A
Other languages
English (en)
Inventor
胡浩
佟博
梁容铭
苏旭
杨超龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201911046872.0A priority Critical patent/CN110781633A/zh
Publication of CN110781633A publication Critical patent/CN110781633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了基于深度学习模型的图文设计质量检测方法、装置及系统，方法包括：接收图文设计；将图文设计依次放入若干个预设的评价模型中，评价模型基于深度学习网络构建；获取每一个评价模型的输出值；若每个评价模型的输出值均为预设值，则输出为优质设计；若存在输出值不为预设值的评价模型，则输出为劣质设计，并输出对应的评价模型及其输出值。上述方法将图文设计放入评价模型中，并根据输出结果判断图文设计是否存在缺陷，若存在，则输出此缺陷。上述方法不仅对图文设计的优劣进行评判，还把通过评价反应出来的具体的质量问题，即具体哪个指标不够好需要完善及时地反馈出来给设计师，大大缩减了人工成本和时间成本。

Description

基于深度学习模型的图文设计质量检测方法、装置及系统
技术领域
本申请涉及图文设计技术领域，尤其涉及一种基于深度学习模型的图文设计质量检测方法、装置及系统。
背景技术
图文设计是现代平面设计的重要组成部分，现有技术是通过人眼来判断图文设计的质量，无法得到一个较为客观的评价分数，而且目前也没有一种图文设计质量的评价方法，能够精准并且快速的对一张图片进行评价。
发明内容
本申请实施例提供了一种基于深度学习模型的图文设计质量检测方法、装置及系统，解决无法准确且快速的对图文质量进行评价的问题。
有鉴于此，本申请第一方面提供了一种基于深度学习模型的图文设计质量检测方法，所述方法包括：
接收图文设计；
将所述图文设计依次放入若干个预设的评价模型中，所述评价模型基于深度学习网络构建；
分别获取每一个所述评价模型的输出值；
若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计；
若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值。
可选地，所述将所述图文设计依次放入若干个预设的评价模型中之后，所述分别获取每一个所述评价模型的输出值之前，还包括：
若所述评价模型的得分达到对应的预设阈值，则将所述评价模型的输出值设定为预设值；
若所述评价模型的得分未达到对应的所述预设阈值，则将所述评价模型的输出值设定为预设值以外的值。
可选地，所述评价模型包括若干个硬规则评价模型和一个主观评价模型；
所述若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值具体包括：
若每一个所述硬规则评价模型的输出值均为预设值，所述主观评价模型的输出值不为所述预设值，则将所述图文设计输出进行人工复查；
若存在输出值不为所述预设值的硬规则评价模型，则输出检测结果为劣质设计，并输出对应的所述硬规则评价模型及其输出值。
可选地，所述若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值之后，还包括：
接收修改后的图文设计，返回所述将所述图文设计依次放入若干个预设的评价模型中，直到输出检测结果为优质设计。
可选地，所述硬规则评价模型包括元素完整性模型、尺寸合理性模型、布局合理性模型、颜色协调性模型中的一个或多个。
本申请第二方面提供一种基于深度学习模型的图文设计质量检测装置，包括：
接收单元，用于接收图文设计；
评价单元，用于将所述图文设计依次放入若干个预设的评价模型中，所述评价模型基于深度学习网络构建；
获取单元，用于分别获取每一个所述评价模型的输出值；
第一输出单元，用于若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计；
第二输出单元，用于若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值。
可选地，还包括：
第一设定单元，用于若所述评价模型的得分达到对应的预设阈值，则将所述评价模型的输出值设定为预设值；
第二设定单元，若所述评价模型的得分未达到对应的所述预设阈值，则将所述评价模型的输出值设定为预设值以外的值。
可选地，所述评价模型包括若干个硬规则评价模型和一个主观评价模型；
所述第二输出单元具体包括：
第一子单元，用于若每一个所述硬规则评价模型的输出值均为预设值，所述主观评价模型的输出值不为所述预设值，则将所述图文设计输出进行人工复查；
第二子单元，用于若存在输出值不为所述预设值的硬规则评价模型，则输出检测结果为劣质设计，并输出对应的所述硬规则评价模型及其输出值。
本申请第三方面提供一种基于深度学习模型的图文设计质量检测系统，包括评价模型和如上述第二方面所述的基于深度学习模型的图文设计质量检测装置；
所述评价模型包括若干个硬规则评价模型和一个主观评价模型。
优选地，所述硬规则评价模型包括元素完整性模型、尺寸合理性模型、布局合理性模型、颜色协调性模型中的一个或多个。
以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种基于深度学习模型的图文设计质量检测方法，包括接收图文设计；将图文设计依次放入若干个预设的评价模型中，评价模型基于深度学习网络构建；分别获取每一个评价模型的输出值；若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计；若存在输出值不为预设值的评价模型，则输出检测结果为劣质设计，并输出对应的评价模型及其输出值。
本申请实施例所提供的基于深度学习模型的图文设计质量检测方法，将图文设计放入评价模型中进行打分，并根据得分结果判断图文设计是否存在缺陷，若存在，则输出此缺陷。上述方法不仅对图文设计的优劣进行评判，还把通过评价反应出来的具体的质量问题，即具体哪个指标不够好需要完善及时地反馈出来给设计师，大大缩减了人工成本和时间成本。
附图说明
图1为本申请实施例中基于深度学习模型的图文设计质量检测方法的方法流程图；
图2为本申请实施例中基于深度学习模型的图文设计质量检测方法的一种实现方式的示意图；
图3为本申请实施例中基于深度学习模型的图文设计质量检测方法的另一种实现方式的示意图；
图4为本申请实施例中基于深度学习模型的图文设计质量检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请第一方面提供了一种基于深度学习模型的图文设计质量检测方法。
为了便于理解，请参阅图1，图1为本申请实施例中基于深度学习模型的图文设计质量检测方法的方法流程图，包括：
101、接收图文设计。
需要说明的是，本申请所说的图文设计是指包含图像和文字内容的平面设计，本步骤中输入的图片格式为psd、pdf、jpg、png等常见格式。
102、将图文设计依次放入若干个预设的评价模型中，评价模型基于深度学习网络构建。
可以理解的是，需要判断图文设计的优劣，首先需要制定一个评价标准，即建立评价模型。由于深度学习网络是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。基于深度学习网络构建的评价模型，能够帮助用户快速的判断图文设计中的缺陷。
103、分别获取每一个评价模型的输出值。
接收的图文设计会并行的放置于若干个评价模型中，因此每一个评价模型会输出一个输出值。需要说明的是，判断图文设计是否符合设计要求，即判断评价模型的输出是否为合格。在计算机语言中，通常用“0”表示不合格，“1”表示合格，当然也可直接输出“不合格”/“合格”、“否”/“是”等输出值。优选的采用“0”和“1”表示。
104、若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计。
由于在图文设计中，只有符合要求和不符合要求两类，因此，当输出值为“1”时表示合格时，即预设值为“1”只有当每一个评价模型的输出值均为1，表示该图文设计的每一个方面均符合要求，此图文设计才是符合要求的优质设计。
105、若存在输出值不为预设值的评价模型，则输出检测结果为劣质设计，并输出对应的评价模型及其输出值。
当存在不符合要求的评价模型，则表示图文设计是存在缺陷的，即为劣质设计。因此只要存在评价模型的输出值不为预设值“1”(即输出“0”)，则输出检测结果为劣质设计，同时输出不符合要求的评价模型及其输出值，就可以根据输出了解该图文设计为劣质设计的理由。
本申请实施例所提供的基于深度学习模型的图文设计质量检测方法，将图文设计放入基于深度学习网络构建的评价模型中获取输出值，并根据输出值判断图文设计是否存在缺陷，若存在，则输出此缺陷。上述方法不仅对图文设计的优劣进行评判，还把通过评价反应出来的具体的质量问题，即具体哪个指标不够好需要完善及时地反馈出来给设计师，大大缩减了人工成本和时间成本。
以下为上述实施例的进一步描述。
在步骤102和103之间，还包括：
1061，若评价模型的得分达到对应的预设阈值，则将评价模型的输出值设定为预设值；
1062若评价模型的得分未达到对应的预设阈值，则将评价模型的输出值设定为预设值以外的值。
需要理解的是，将图文设计输入到评价模型中，评价模型会对图文设计进行一个评价，得到一个得分。给每个评价模型分别设置一个对应的预设阈值，如果得分达到该评价模型的预设阈值，那么作为检测结果，输出的输出值就为预设值，代表优质设计；如果得分没有达到该评价模型的预设阈值，那么作为检测结果的输出值为预设值以外的值，可以是，代表劣质设计。
例如：将评价模型的得分进行归一化显示，即得分为0到1之间的数(包括0和1)。需要说明的是，此时的归一化是指将100％设置为满分，例如用户设置的满分为100，那么当模型的评分为80分时，实际上得分是80％，也就是0.8，得分还是0到1之间；设置预设阈值为60分(60％)，当模型的实际得分达到60％时，此评价模型的输出值就为“1”，未达到，输出“0”(或者直接输出得分)。
评价模型具体包括若干个硬规则评价模型和一个主观评价模型。
硬规则评价模型包括元素完整性模型、尺寸合理性模型、布局合理性模型、颜色协调性模型中的一个或多个。
元素完整性模型，即判断该图文设计中是否存在元素缺失。元素指代将图文设计中的内容进行切片化，依据切片内容划分为“图形1”、“图形2”…“图形n”、“文字1”、“文字2”…“文字n”等文字和图像类元素。元素缺失，指代图文设计中的重要的、一定要在设计中明确写出的重要信息元素被遗漏的情况；元素完整，则指代在该设计中所有重要信息元素完整无缺失的情况。
尺寸合理性模型，即判断该图文设计的尺寸或各个元素的尺寸是否处于合理范围之内。尺寸失衡指代各个元素的尺寸的大小处于合理范围之外，而合理范围在不同的设计之间并无明确定义或阈值，主要根据实际要求通过设计师人工筛选训练集由网络自己训练集学习。
布局合理性模型，即判断该图文设计中的多种元素之间的布局是否合理，具体包括：(1)元素间的不合理重叠，例如“文字1”元素和“文字2”元素发生重叠并因此而造成获取信息困难等问题；(2)元素不合理摆放，例如，对于单一元素来说，有些图像或文字元素应该摆放在画布边缘的位置。对于整体来说，合理、好看的图文设计应该满足整体内容布局的均衡和协调，不应该存在大面积的不合理留白或过多元素的局部堆积。
颜色协调性模型，即判断该图文设计中是否存在颜色搭配不合理的情况，具体为：(1)颜色明暗，比如文字的颜色过暗，影响信息的凸显和传递；(2)饱和度，比如有些图文元素的颜色饱和度过高，影响审美和人眼观看的舒适度等；(3)对比度、色调，比如图形与背景或者文字与背景之间的颜色对比度不高、颜色相近会导致对比不明显难以区分。判断是否存在上述情况可以根据图文设计中各元素颜色的RGB值对比得出。
本申请只提出了上述4种模型的判断标准，用户可以根据需要继续构建其他属性的评价模型例如对齐、重叠、留白面积、视觉平衡等，并根据输入图片是否有该属性的缺陷而将设计分为在该属性下的优质表现和劣质表现。
主观评价模型具体为基于深度卷积神经网络的图像美学评价模型。深度卷积神经网络在图像美学评价方面展现有良好的性能，为解决图像美学评价问题的主流方法，例如AVA数据库，CUHKPQ数据库的公开和使用等。
深度卷积神经网络在图像美学评价方面且通常分为三个基本步骤：(1)依据美学标准，收集图像数据集，根据专家知识将该数据集分为美学质量“高”和“低”两个子集；(2)设计多种图像低层与高层特征，并在图像数据集上提取这些特征；(3)利用深度学习算法根据提取的特征与人工分类结果训练分类器。
本申请实施例中，主观评价模型指代一个通过44321张图片训练的Resnet50网络，训练集被多个设计师标记为好看和不好看两类。分类依据完全依赖于设计师的主观感受。在设计师分类完成后，选取被半数及以上设计师认可的图文设计为好看，其余图文设计为不好看。包括但不限于Resnet50，其他可以达到良好分类效果的网络依旧可以支持本申请提出的方法并获得可观结果，例如VGG，GoogLeNet，AlexNet等
如表1所示。
表1评价模型的分类和得分的含义
Figure BDA0002254350260000071
Figure BDA0002254350260000081
表1中对的“0”和“1”指代根据分类标准，n个模型均会对输入图片进行二分类，分类为“1”和“0”，其中所有“1”类均为对图文设计在该项分类标准下的优质表现，“0”为对设计在该项分类标准下的劣质表现。在n+1个模型中，“0”和“1”则抽象的整体来表示一个图文设计给人的感受是“不好看”或者“好看”。
在将评价模型分为若干个硬规则评价模型和一个主观评价模型后，步骤105具体为：
1051、若每一个硬规则评价模型的输出值均为预设值，主观评价模型的输出值不为预设值，则将图文设计输出进行人工复查。
将图文设计并行的输入上述n+1个模型中，在模型1至模型n中可以通过网络辨别出输入图片是否产生了违背当前网络分类依据的问题。但是，除此之外，考虑到有限n个模型来针对图文设计的n个重点要素，若设计产生了上述n点之外的设计失败而影响设计的效果，则会产生不可预知的检测误差，因此，在模型1至模型n之外再引入模型n+1模型，结合图文设计质量检测这一本身抽象性较强的工作特性，通过一个泛化性较强的网络来增加整体模型的通用性。
1052、若存在输出值不为预设值的硬规则评价模型，则输出检测结果为劣质设计，并输出对应的的硬规则评价模型及其输出值。
如图2所示，节点含义为：节点
Figure BDA0002254350260000082
表示模型1—模型n的输出节点，其输出值对应于表-1的相应列，节点
Figure BDA0002254350260000083
对应于表-1的输出；节点
Figure BDA0002254350260000084
为模型n+1的输出节点，节点
Figure BDA0002254350260000085
和节点
Figure BDA0002254350260000086
的输出对于表-2中的相应列。
表-2的输出为由节点
Figure BDA0002254350260000087
取“与”运算后的输出结果，即
Figure BDA0002254350260000088
节点的值。模型n+1的输出为
Figure BDA0002254350260000089
节点的值。对
Figure BDA00022543502600000810
和
Figure BDA00022543502600000811
两个节点再次取“与”运算，即当节点和
Figure BDA00022543502600000813
节点均为“1”时，输出结果为“优质设计”，同时进行进一步的布局分析；当
Figure BDA00022543502600000814
节点为“0”、
Figure BDA00022543502600000815
节点为“0”或“1”时，表示已经在检测体系中发现了设计的某一缺陷，即输出为“劣质设计”，并反馈劣质原因(即输出对应的硬规则评价模型及其输出值)；当节点为“1”、
Figure BDA0002254350260000092
节点为“0”时，表示设计有缺陷，但是不在模型1到模型n所包含的范围之内，因此，这种情况下需要人为介入来检查设计的缺陷来源。
“布局分析”指经过表-2后所获取的结果中
Figure BDA0002254350260000093
节点和
Figure BDA0002254350260000094
节点都为“1”时，对于此设计的进一步细化质量检测。
上述实施例所提供的基于深度学习模型的图文设计质量检测方法基于串联深度学习模型，在考虑常规硬性评价指标的同时，也兼顾了人们主观印象对于好坏评价的影响，即可以达成对图文设计进行主、客观的综合评价。在智能生成领域，生成结果往往是批量生产且品质参差不齐的。但是在展示设计成果时，人们都希望把优质、无纰漏的成果展现在用户面前。本实施例可以通过对成品进行全面综合评价，再根据评价结果进行筛选，从而达到“对优质成果进行输出；对劣质成果进行舍弃”的目的。另外，在输出优质设计后，可以再利用各模型得分对筛选出的优质成果进行布局分析，分析结果可以直观地提供给用户作为参考或者提供给设计师作为反馈。
在上述步骤105之后，还包括：
107、接收修改后的图文设计，返回将图文设计依次放入若干个预设的评价模型中，直到输出检测结果为优质设计。
可以理解的是，当检测出图文设计为劣质设计，且输出了劣质原因(输出其输出值不是预设值的评价模型)后，用户可以根据输出结果对图文设计的缺陷进行修改。将修改后的图文设计重新提交，返回步骤102再次进行检测，直到输出优质设计。
当然，除了一次性将所有评价模型均进行打分后直接输出，还可以对评价模型划分权重，例如，如图3所示：
1.输入一定格式的平面设计的文件，如psd、pdf、jpg/png等。
2.将输入的文件分别经过“模型_1～模型_n”和“模型_n+1”两条支路。“模型_1～模型_n”为支路①；“模型_n+1”为支路②。其中：
(1)“模型_1～模型_n”分别是关于“元素缺失与否”、“尺寸失衡与否”、“布局乱序与否”及“颜色协调与否”等n项评价指标的二分类器。分类标签“0”或“1”根据模型不同，分别代表该模型所对应规则的“正面评价”或“负面评价”，详情如下表2：
表2
分类结果 0 1
模型_1 元素缺失 元素完整
模型_2 尺寸失衡 尺寸合理
模型_3 布局乱序 布局合理
模型_4 颜色不协调 颜色协调
… … …
模型_n 规则n的负面评价 规则n的正面评价
作为支路①的“模型_1～模型_n”这n个二分类器主要是通过卷积神经网络对数据集进行特征提取学习分类。如表-1可见，对于每项评价指标所对应的分类器，当分类结果为“1”时，代表该项评价指标的评价为“好”；当分类结果为“0”时，代表该项评价指标的评价为“坏”。
在设计成果依次通向“模型_1～模型_n”的支路①时，如果设计成果在“模型_1”的结果为“1”，那么允许设计成果通向下一个模型；如果设计结果在“模型_1”的分类结果为“0”，那么禁止设计结果通往下一个模型，并把分类结果“0”作为支路①的最终结果。依照上述规则，以此类推……详情见表3：
表3
(2)作为支路②的“模型_n+1”是关于人为主观地对图文设计进行评定“好看与否”的二分类器。“模型_n+1”是由设计师们根据主观印象对一定数量的数据集进行评价“好看”与“不好看”，并把这个经过评价的数据集作为训练集训练出来的二分类器。如表4所示，当分类结果为“1”时，代表该项评价指标的评价为“好看”；当分类结果为“0”时，代表该项评价指标的评价为“不好看”。“模型_n+1”的分类结果作为支路②的最终结果。
表4
分类结果 0 1
模型_n+1 不好看 好看
3.支路①和支路②的最终结果分别代表的含义如5：
表5
Figure BDA0002254350260000111
综合支路①和支路②的最终结果，根据不同的检测结果执行下一步操作，如表6：
表6
Figure BDA0002254350260000112
4.对输出的优质成果根据硬规则评价体系进行布局分析。其中，硬规则主要包括但不限于“对齐”、“重叠”、“留白面积”、“视觉平衡”、“元素尺寸”等等几项评价指标。
本申请第二方面提供了一种基于深度学习模型的图文设计质量检测装置
请参阅图4，图4为本申请实施例所提供的基于深度学习模型的图文设计质量检测装置结构示意图，包括：
接收单元201，用于接收图文设计；
评价单元202，用于将图文设计依次放入若干个预设的评价模型中，评价模型基于深度学习网络构建；
获取单元203，用于获取得到每一个评价模型的输出值；
第一输出单元204，用于若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计；
第二输出单元205，用于若存在输出值不为预设值的评价模型，则输出检测结果为劣质设计，并输出对应的评价模型及其输出值。
优选的，还包括：
第一设定单元2061，用于若评价模型的得分达到对应的预设阈值，则将评价模型的输出值设定为预设值；
第二设定单元2062，若评价模型的得分未达到对应的预设阈值，则将评价模型的输出值设定为预设值以外的值。
优选的，评价模型包括若干个硬规则评价模型和一个主观评价模型。
第二输出单元205具体包括：
第一子单元2051，用于若每一个硬规则评价模型的输出值均为预设值，主观评价模型的输出值不为预设值，则将图文设计输出进行人工复查；
第二子单元2052，用于若存在输出值不为预设值的评价模型，则输出检测结果为劣质设计，并输出对应的硬规则评价模型及其输出值。
本申请第三方面提供了一种基于深度学习模型的图文设计质量检测系统，包括评价模型和如上述第二方面所提供的基于深度学习模型的图文设计质量检测装置，评价模型包括若干个硬规则评价模型和一个主观评价模型。
优选的，硬规则评价模型包括元素完整性模型、尺寸合理性模型、布局合理性模型、颜色协调性模型中的一个或多个。
优选的，主观评价模型为基于深度卷积神经网络的图像美学评价模型。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.基于深度学习模型的图文设计质量检测方法，其特征在于，包括：
接收图文设计；
将所述图文设计依次放入若干个预设的评价模型中，所述评价模型基于深度学习网络构建；
分别获取每一个所述评价模型的输出值；
若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计；
若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值。
2.根据权利要求1所述的基于深度学习模型的图文设计质量检测方法，其特征在于，所述将所述图文设计依次放入若干个预设的评价模型中之后，所述分别获取每一个所述评价模型的输出值之前，还包括：
若所述评价模型的得分达到对应的预设阈值，则将所述评价模型的输出值设定为预设值；
若所述评价模型的得分未达到对应的所述预设阈值，则将所述评价模型的输出值设定为预设值以外的值。
3.根据权利要求1所述的基于深度学习模型的图文设计质量检测方法，其特征在于，所述评价模型包括若干个硬规则评价模型和一个主观评价模型；
所述若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值具体包括：
若每一个所述硬规则评价模型的输出值均为预设值，所述主观评价模型的输出值不为所述预设值，则将所述图文设计输出进行人工复查；
若存在输出值不为所述预设值的硬规则评价模型，则输出检测结果为劣质设计，并输出对应的所述硬规则评价模型及其输出值。
4.根据权利要求1所述的基于深度学习模型的图文设计质量检测方法，其特征在于，所述若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值之后，还包括：
接收修改后的图文设计，返回所述将所述图文设计依次放入若干个预设的评价模型中，直到输出检测结果为优质设计。
5.根据权利要求3所述的基于深度学习模型的图文设计质量检测方法，其特征在于，所述硬规则评价模型包括元素完整性模型、尺寸合理性模型、布局合理性模型、颜色协调性模型中的一个或多个。
6.基于深度学习模型的图文设计质量检测装置，其特征在于，包括：
接收单元，用于接收图文设计；
评价单元，用于将所述图文设计依次放入若干个预设的评价模型中，所述评价模型基于深度学习网络构建；
获取单元，用于分别获取每一个所述评价模型的输出值；
第一输出单元，用于若每一个评价模型的输出值均为预设值，则输出检测结果为优质设计；
第二输出单元，用于若存在输出值不为所述预设值的评价模型，则输出检测结果为劣质设计，并输出对应的所述评价模型及其输出值。
7.根据权利要求6所述的基于深度学习模型的图文设计质量检测装置，其特征在于，还包括：
第一设定单元，用于若所述评价模型的得分达到对应的预设阈值，则将所述评价模型的输出值设定为预设值；
第二设定单元，若所述评价模型的得分未达到对应的所述预设阈值，则将所述评价模型的输出值设定为预设值以外的值。
8.根据权利要求6所述的基于深度学习模型的图文设计质量检测装置，其特征在于，所述评价模型包括若干个硬规则评价模型和一个主观评价模型；
所述第二输出单元具体包括：
第一子单元，用于若每一个所述硬规则评价模型的输出值均为预设值，所述主观评价模型的输出值不为所述预设值，则将所述图文设计输出进行人工复查；
第二子单元，用于若存在输出值不为所述预设值的硬规则评价模型，则输出检测结果为劣质设计，并输出对应的所述硬规则评价模型及其输出值。
9.基于深度学习模型的图文设计质量检测系统，其特征在于，包括评价模型和如权利要求6至8任一项所述的基于深度学习模型的图文设计质量检测装置；
所述评价模型包括若干个硬规则评价模型和一个主观评价模型。
10.根据权利要求9所述的基于深度学习模型的图文设计质量检测系统，其特征在于，所述硬规则评价模型包括元素完整性模型、尺寸合理性模型、布局合理性模型、颜色协调性模型中的一个或多个。
CN201911046872.0A 2019-10-30 2019-10-30 基于深度学习模型的图文设计质量检测方法、装置及系统 Pending CN110781633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046872.0A CN110781633A (zh) 2019-10-30 2019-10-30 基于深度学习模型的图文设计质量检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046872.0A CN110781633A (zh) 2019-10-30 2019-10-30 基于深度学习模型的图文设计质量检测方法、装置及系统

Publications (1)

Publication Number Publication Date
CN110781633A true CN110781633A (zh) 2020-02-11

Family

ID=69387887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046872.0A Pending CN110781633A (zh) 2019-10-30 2019-10-30 基于深度学习模型的图文设计质量检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110781633A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739617A (zh) * 2020-06-15 2020-10-02 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN112287898A (zh) * 2020-11-26 2021-01-29 深源恒际科技有限公司 一种图像的文本检测质量评价方法及系统
WO2023168811A1 (zh) * 2022-03-09 2023-09-14 平安科技（深圳）有限公司 一种基于多专家的图文模型生成方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151588A (ja) * 2016-02-23 2017-08-31 日本電信電話株式会社 画像評価学習装置、画像評価装置、画像検索装置、画像評価学習方法、画像評価方法、画像検索方法、およびプログラム
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
CN107796414A (zh) * 2017-10-20 2018-03-13 武汉大学 一种基于街景图美学评分的最美路径导航方法和系统
CN108615231A (zh) * 2018-03-22 2018-10-02 浙江科技学院 一种基于神经网络学习融合的全参考图像质量客观评价方法
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109993803A (zh) * 2019-02-25 2019-07-09 复旦大学 城市色调的智能分析与评价方法
CN110176050A (zh) * 2019-05-30 2019-08-27 清华大学深圳研究生院 文本生成图像的美学优化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017151588A (ja) * 2016-02-23 2017-08-31 日本電信電話株式会社 画像評価学習装置、画像評価装置、画像検索装置、画像評価学習方法、画像評価方法、画像検索方法、およびプログラム
CN107610123A (zh) * 2017-10-11 2018-01-19 中共中央办公厅电子科技学院 一种基于深度卷积神经网络的图像美学质量评价方法
CN107796414A (zh) * 2017-10-20 2018-03-13 武汉大学 一种基于街景图美学评分的最美路径导航方法和系统
CN108615231A (zh) * 2018-03-22 2018-10-02 浙江科技学院 一种基于神经网络学习融合的全参考图像质量客观评价方法
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109993803A (zh) * 2019-02-25 2019-07-09 复旦大学 城市色调的智能分析与评价方法
CN110176050A (zh) * 2019-05-30 2019-08-27 清华大学深圳研究生院 文本生成图像的美学优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘迪等: "基于深度学习和人眼视觉系统的遥感图像质量评价", 《激光与光电子学进展》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739617A (zh) * 2020-06-15 2020-10-02 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN111986106A (zh) * 2020-07-30 2020-11-24 南京大学 一种基于神经网络的高动态图像重建方法
CN111986106B (zh) * 2020-07-30 2023-10-13 南京大学 一种基于神经网络的高动态图像重建方法
CN112287898A (zh) * 2020-11-26 2021-01-29 深源恒际科技有限公司 一种图像的文本检测质量评价方法及系统
CN112287898B (zh) * 2020-11-26 2024-07-05 深源恒际科技有限公司 一种图像的文本检测质量评价方法及系统
WO2023168811A1 (zh) * 2022-03-09 2023-09-14 平安科技（深圳）有限公司 一种基于多专家的图文模型生成方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110781633A (zh) 基于深度学习模型的图文设计质量检测方法、装置及系统
Qu et al. Keeping multiple views consistent: Constraints, validations, and exceptions in visualization authoring
CN104318562B (zh) 一种用于确定互联网图像的质量的方法和装置
CN104102723B (zh) 搜索内容提供方法和搜索引擎
US9886669B2 (en) Interactive visualization of machine-learning performance
CN109101469A (zh) 从数字化文档提取可搜索的信息
US10957086B1 (en) Visual and digital content optimization
CN111008278A (zh) 内容推荐方法及装置
DE102018005611A1 (de) Automatische Paarbildung von Fonts unter Verwendung des asymmetrischen Metriklernens
CN109299344A (zh) 排序模型的生成方法、搜索结果的排序方法、装置及设备
Adami 2 Aesthetics in Digital Texts beyond Writing: A Social Semiotic Multimodal Framework
KR20090010945A (ko) 광고 생성 시스템, 구성 특징-선택 가이드라인 생성 시스템, 및 컴퓨터 판독가능 매체
CN108492294B (zh) 一种图像色彩和谐程度的评估方法及装置
CA2773198A1 (en) Displaying relationships between electronically stored information to provide classification suggestions via injection
CN110427819A (zh) 一种识别图像中ppt边框的方法及相关设备
CN106649849A (zh) 文本信息库建立方法和装置、以及搜索方法、装置和系统
CN108959331A (zh) 运用设备学习框架的方法、装置及计算机程序
CN108182232A (zh) 基于电子书的人物展示方法、电子设备及计算机存储介质
JP2008084151A (ja) 情報表示装置および情報表示方法
CN106445977A (zh) 图片推送方法及装置
CN106910195A (zh) 一种网页页面布局监测方法及装置
CN110706064A (zh) 菜品推荐信息的生成方法、装置、设备及存储介质
CN113191407A (zh) 一种基于代价敏感的学生经济状况等级分类方法
Kobayashi et al. Aesthetic design based on the analysis of questionnaire results using deep learning techniques
CN104581379A (zh) 视频预览图的选取方法及选取装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211

RJ01 Rejection of invention patent application after publication