CN111340782A - 一种图像打标方法、装置及系统 - Google Patents

一种图像打标方法、装置及系统 Download PDF

Info

Publication number
CN111340782A
CN111340782A CN202010119865.5A CN202010119865A CN111340782A CN 111340782 A CN111340782 A CN 111340782A CN 202010119865 A CN202010119865 A CN 202010119865A CN 111340782 A CN111340782 A CN 111340782A
Authority
CN
China
Prior art keywords
label
color
image
target
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010119865.5A
Other languages
English (en)
Other versions
CN111340782B (zh
Inventor
王孝阳
杨现
张裕顺
柏权
郑必垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Cloud Computing Co Ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010119865.5A priority Critical patent/CN111340782B/zh
Publication of CN111340782A publication Critical patent/CN111340782A/zh
Application granted granted Critical
Publication of CN111340782B publication Critical patent/CN111340782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像打标方法、装置及系统，其中方法包括：对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色以及所述待打标图像中的目标对象的位置；根据所述主色以及预设的配色规则确定标签配色；根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；利用所述目标标签对所述待打标图像进行打标。相比于现有技术，本申请解决了手工合成打标操作繁琐的问题，只需输入待打标图像即可自动匹配多张合适的标签进行打标，提高了打标效率。

Description

一种图像打标方法、装置及系统
技术领域
本申请涉及图像处理领域，特别是涉及一种图像打标方法、装置及系统。
背景技术
近年来，随着互联网技术的高速发展和生活水平的提高，网上购物越来越为人们喜欢。每逢大促活动、店铺商品搞促销，为了能够将活动信息快速的传递给消费者，提高商品的转化率和点击率，店家们会根据商品特性给自家店铺商品上打上一些促销标签，比如家电类的行业爆款、居家百搭，服装类的抖音同款、可盐可甜诸如此类的修饰语。
目前这些促销标签往往需要店家自己去设计和制作，首先需要根据商品图设计标签的大小、颜色，之后将设计好的标签与商品图在合适的位置拼合。这一方式均由人一步步完成，效率低，尤其在不同的促销节点，促销标签的样式和文案内容都需要重新更换，需要浪费大量人力。且因很多时候因为店家专业性不够，导致商品的图片视觉效果差。
当然在其他领域同样存在着给图像打标效率低，效果差的问题。
发明内容
本申请提供了一种图像打标方法、装置及系统，以解决图像打标效率低，效果差的问题。
本申请提供了如下方案：
一方面公开了一种图像打标方法，所述方法包括：
对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色以及所述待打标图像中的目标对象的位置；
根据所述主色以及预设的配色规则确定标签配色；
根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；
利用所述目标标签对所述待打标图像进行打标。
优选的，所述对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色包括：
检测得到所述待打标图像中的图像主体区域以及背景区域；
提取所述图像主体区域的主色作为所述待打标图像的主体主色，并提取所述背景区域的主色作为所述背景主色。
优选的，所述待打标图像中的目标对象包括图像的主体和图像中的logo。
优选的，所述标签库中的标签为PSD画布格式，所述标签至少包括标签层和透明商品层；
所述PSD画布的尺寸与所述待打标图像的尺寸相同，所述标签的位置为所述标签层在所述PSD画布中的位置。
优选的，
所述根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签包括：
根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，通过损失函数计算标签库中每一标签的损失值；所述损失值cost通过如下公式计算得到：
cost＝λ1*IOU+λ2*(H_diff/360)+a
其中，IOU是标签库中的每一标签与图像的主体的交集占图像主体区域的比例，取值范围是[0，1]；H_diff是标签库中的每一标签的颜色与标签配色C的相对色调距离；λ1和λ2为预设的惩罚系数；所述a在满足预设条件时为非零预设常数，在不满足所述预设条件时为0；
按照损失值从小到大的顺序，确定前预设数量的标签为目标标签；
所述预设条件为：：
当标签库中的一所述标签遮盖了logo，或标签库中的一所述标签的颜色与其覆盖的所述待打标图像中的区域的颜色相同。
优选的，
计算所述目标标签的颜色与标签配色之间的色调距离；
判断所述色调距离是否超过预设阈值；
对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新。
优选的，将所述标签配色与预设阈值之间的颜色划分为至少三个等级；
计算每个等级对应的所述目标标签的个数；
所述对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新包括：
按照与所述标签颜色的色调距离由近到远的顺序选择对应等级的颜色对超过所述色调距离的目标标签的颜色进行颜色更新。
优选的，所述对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新包括：
若存在对应的所述目标标签个数为0的等级，则首先对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述目标标签个数为0的等级对应的颜色进行颜色更新并更新该等级对应的所述目标标签个数；
之后按照与所述标签颜色的色调距离由近到远的顺序选择对应等级的颜色对超过所述色调距离的目标标签的颜色进行颜色更新。
本申请另一方面还提供一种图像打标装置，所述装置包括：
主色提取单元，用于对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色；
位置检测单元，用于对待打标图像进行处理，确定所述待打标图像中的目标对象的位置；
配色单元，用于根据所述主色以及预设的配色规则确定标签配色；
目标标签确定单元，用于根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；
图像打标单元，用于利用所述目标标签对所述待打标图像进行打标。
本申请再一方面还提供一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如上所述的操作。
根据本申请提供的具体实施例，本申请公开了以下技术效果：
本申请对待打标图像的主色以及图像中重要对象的位置进行确定，并基于此确定用于打标的标签的配色和位置，从预设的标签库中选择配色和位置符合打标要求的标签作为目标标签进行打标。解决了手工合成打标操作繁琐的问题，只需输入待打标图像即可自动匹配多张合适的标签进行打标，提高了打标效率。而且依赖配色规则和位置匹配，实现了标签颜色与图像颜色的匹配，并避免了标签覆盖图像重要区域的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的方法流程图；
图2是本申请实施例提供的图像主体识别示意图；
图3是本申请实施例提供的图像打标示意图；
图4是本申请实施例提供的装置结构图；
图5是本申请实施例提供的计算机系统架构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
如背景技术所述，现有的图像打标都是商户手动一步步选择标签，进行配色并调整标签位置进行的，效率低，效果差。
为此本申请申请人创造性想到从已有的标签中自动选择合适的标签进行打标。
为此我们首先需要创建一个标签库。为方便理解，本申请以下将以给商品主图打促销标签为例进行说明。
创建促销标签库:该标签库里存储了大量的各种样式的促销标签图片。这个标签库根据不同的促销节点可以进行更新。促销标签的样式包括且不限于圆形标签、方形标签以及长标签等。丰富的标签设计给后续选择标签提供了充足的空间。
但自动打标还有两个问题需要解决，一是标签在颜色上需要与商品主图搭配协调，因此需要确定标签的颜色以实现与打标图像颜色的和谐。二是标签在原则上应当尽量避免遮盖图像的重要区域如商品主体和logo。因此需要确定标签的打标位置。
为此，本申请建立了一套标签配色规则，在已知商品主体颜色和主图背景颜色情况下，可以计算出与之搭配的标签配色。同时本申请还建立了位置检测规则，可以检测出图像中商品主体和logo的位置，以基于此选择合适位置的标签，尽量避免标签遮盖图像的重要区域。
标签库中的标签可以为PSD画布格式，标签至少包括标签层和透明商品层，PSD画布、透明商品层的尺寸大小均与待打标图像的尺寸大小一致，而标签层在PSD画布的位置是固定的，因此当标签打在图像上时，标签的位置也就是固定的。为了找到匹配的目标标签，本申请在确定图像中商品主体和logo的位置后会从标签库中寻找标签层不遮盖商品主体和logo的标签。
可见本申请中，要从标签库中选取目标标签取决于两个方面，一个方面是标签与商品主图等的位置关系，具体可以用标签与商品主体的交集占商品主体区域的比例来量化。另一个方面是标签颜色与计算出来的搭配的标签颜色的关系，具体可以用标签颜色与计算出的标签配色的相对色调距离量化。
为结合上述两方面进行选择，本申请通过设计损失函数来计算所有标签的损失值，按照损失值从小到大的顺序，选择最优的标签确定为目标标签，当然目标标签的数量可设，可以为一个或多个。只需按照排序选择出前预设数量matchsize个的标签作为目标标签即可。
损失函数可以为如下公式，通过损失函数计算标签库中每一标签的损失值cost：
cost＝λ1*IOU+λ2*(H_diff/360)+a
其中，IOU是标签与商品主体的交集占商品主体区域的比例，取值范围是[0，1]且该值越小越好；H_diff是标签库中的标签的颜色与计算出的匹配的标签颜色C的相对色调距离，除以360归一化到[0，1]，且该值越小越好。计算公式如下
H_diff＝min(360-abs(Label_HSV[0]-C_HSV[0]),abs(Label_HSV[0]-C_HSV[0]))
HSV为一种颜色空间，即色相(Hue)、饱和度(Saturation)、明度(Value)。色调值此处表示为C_HSV[0]。标签的主色表示为Label_HSV[0]，计算出的匹配的标签颜色C的颜色表示是C_HSV[0]。
优选实施例中，当计算得到的H_diff小于20时，可令H_diff等于0带入上述损失函数中。
λ1和λ2都是惩罚系数，由于希望标签尽量不覆盖商品主体而标签颜色可以通过颜色迁移转换到目标色，所以设计惩罚系数λ1＞λ2，在发明中，λ1＝1.5，λ2＝1.2。
a是用来决策两种特殊情况：标签遮盖了logo位置，或者标签颜色与覆盖区域的颜色同色，这两种情况满足之一即将标签从目标标签的候选中删除。为此我们设一个a，在满足上边情况时，给a附一个非零常数值，使得损失值的结果较大，进而排除此类标签。由于前两项的和最大是2.7，所以正常情况下a＝0，当两类特殊情况发生时，a＝10，增加此类标签的损失。
标签库中的标签数量是有限的，极端情况下，很难保证筛选出的目标标签的颜色与计算出的标签配色相同或接近，如果前预设数量的标签中有标签的颜色与计算出的标签配色之间色调距离太大，该标签就不适合作为目标标签使用。为了避免这种情况，本申请会先设置好色调距离的预设阈值，对超过色调距离的目标标签的颜色进行颜色更新，使目标标签的颜色与标签配色之间的色调距离在预设阈值内。
在对目标标签的颜色进行颜色更新时，为了尽可能保证目标标签颜色的丰富性，本申请将目标标签配色与预设阈值之间的颜色划分为至少三个等级，并将等级对应的颜色分配给需要更新颜色的目标标签作为目标标签的新颜色。
如下为一种更新目标标签颜色的具体流程：
为了保证前matchsize个的目标标签的颜色都在匹配出的颜色C的±20°范围内，需要更新不满足条件的标签颜色，利用颜色迁移技术将此标签颜色迁移到这个新颜色上。具体实施步骤如下：
步骤1：以10°为间隔将C±20°内的所有颜色划分为5类，分别是[C+20°，C+10°，C，C-10°，C-20°]，然后按照与C的色调距离从近到远的顺序，调整为Color_Class＝[C，C+10°，C-10°，C+20°，C-20°]，每个类别的延伸角度是±5°,比如[C-5,C+5]范围内的颜色归为C类，[C+5，C+15]范围内的颜色属于C+10类，以此类推。
步骤2：计算筛选的标签颜色与C的色调距离H_diff，该H_diff是带有方向信息的，如果H_diff大于0，表示标签颜色在C的顺时针方向的左侧，反之在C的顺时针方向的右侧，标签的主色表示为Label_HSV[0]，C的颜色表示是C_HSV[0]，那么相关计算公式如下：
h_diff＝Label_HSV[0]-C_HSV[0]
if h_diff<-180:h_diff＝h_diff％360
if h_diff>180:h_diff＝-((C_HSV[0]-Label_HSV[0])％360)
步骤3：对于matchsize个标签，根据H_diff计算出不在[-20，20]范围内的标签中有多少个，记为N，并记录下它们的序号；同样根据H_diff统计出属于那5类的标签有多少个，按照与Color_Class一致的顺序记下属于每一类的个数Colornum；
步骤4：更新标签颜色，如果N等于0，说明所有标签的颜色都在C的±20°范围内，不需要更新；如果N等于matchsize，所有标签的颜色都需要更新，遍历matchsize个标签，按照与标签颜色C的色调距离从近到远的顺序，依次将5类颜色作为它们新的颜色进行更新；如果N小于matchsize，说明部分标签的颜色需要更新，遍历需要更新的标签序号时，先判断Colornum是否有0存在，如果有0存在，先将其对应的颜色赋值给需要更新的标签，并更新Colornum，当Colornum中没有0时，按照与标签颜色C的色调距离从近到远的顺序，依次读取5类颜色作为它们新的颜色。这样的处理保证标签颜色的丰富性。比如经统计发现N＝4，且C类等级的Colornum为0，其余等级的Colornum不为0。则首先将其中一个超出阈值的目标标签颜色更新为C类等级的颜色。此时N＝3，且C类等级的Colornum为1。之后将剩余超出阈值的其中目标标签颜色更新为与标签颜色C的色调距离最近的颜色，以此类推，直至所有超出阈值的目标标签颜色更新为阈值范围内的颜色。
之后利用颜色迁移技术将标签迁移到此目标色上，这样最后确定所有目标标签的标签的颜色都在C的±20°范围内。最后将此标签与商品主图进行合成得到matchsize张打标图。
综上所述，本申请的实施例如下：
实施例1
如图1所示，一种图像打标方法，所述方法包括：
S11、对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色以及所述待打标图像中的目标对象的位置；
本申请中可先利用显著性检测方法和阈值分割相结合等方法来识别图像主体和背景部分，进而提取图像的主体主色、背景主色以及待打标图像中的目标对象如图像主体、logo等的位置。
首先利用显著性检测方法和阈值分割相结合的方法来识别图像主体和背景部分：
步骤1：准备数据集，使用最大的显著性检测数据集DUTS数据集，共有数万张各场景下的图片；
步骤2：使用DUTS数据集训练显著性检测模型PoolNet，该模型的整体网络结构类似于FPN结构和U-Net结构，区别在于decode部分引入了两个模块GGM(Global GuidanceModule，全局引导模块)和FAM(Feature Aggregation Module，特征整合模块)，以ResNet-50为网络主干，训练epoch为24；
步骤3：PoolNet训练完成后，对本申请的商品图片进行测试，输出显著性检测结果。
由于DUTS数据集中没有白底图片参与训练，导致训练好的模型对白底图片的检测效果相对较差，尤其是商品颜色与背景颜色相似时，商品主体很难被识别出来。为了解决这些badcase，本申请使用了传统的阈值分割法处理白底图。
步骤4：先将商品图像转换为灰度图，设置阈值为值253进行阈值化处理得到二值图像binary，为了避免白色商品的干扰，考虑到一般商品位于图像中间位置，所以将width*height的图像中心区域赋值为0：
binary[int(1/4*height):int(3/4*height)，int(1/4*width):int(3/4*width)]＝0
然后再计算白色像素占整个图像的比例ratio，当ratio大于阈值th＝1/3时，该图像即为白底图，然后对二值图像binary进行反转，白底背景的像素值为0，其他元素的像素值为1。
步骤5：将此二值图像与显著性检测的结果求和得到新的掩膜mask，用此mask区分图像主体和背景。如图2所示，即为一种图像主体、背景的识别结果图。
提取所述图像主体区域的主色作为所述待打标图像的主体主色，并提取所述背景区域的主色作为所述背景主色。
区分出图像主体和背景部分后，便可以提取图像主体区域的主色作为待打标图像的主体主色，提取所述背景区域的主色作为背景主色，确定了图像的主体主色与位置、背景主色。
待打标图像中重要的区域为图像的主体和图像中的logo，标签不得遮盖或遮盖大部分图像的主体和logo，本申请中待打标图像中的目标对象即可包括图像的主体和图像中的logo。
上述提取主色过程已经识别了图像主体位置，进而对图像logo进行确定：
步骤1：准备数据集，首先构造了大量如几万张含有logo的商品主图数据集，在logo相应位置标注矩形框并标注标签为“logo”。在对透明logo标注时，标注的矩形框紧贴logo主体部分，标注含有白色或其它颜色背景的logo时，标注的矩形框紧贴颜色边框。标注完毕后，将数据集按照90％与10％的比例分为训练集和验证集。
步骤2：采用标注好的数据集训练Yolov3网络，优化器采用Adam，同时采用数据增强的方式减少模型过拟合的风险，优化的目的是减少检测框回归的误差以及分类的误差。
可选地，在模型训练完毕后，可对验证集中的检测结果进行统计与分析，找出检测效果较差的样本，包含漏检的样本和误检的样本，然后标注这些样本扩充训练集，在上一次训练完毕的模型上迭代训练，优化模型的检测效果。
步骤3：Yolov3检测网络训练完毕后，对商品图像进行logo检测，输出logo的坐标[x1,y1,x2,y2]，(x1,y1)是外接框的左上角，(x2,y2)是外接框的右下角。
通过上述过程即完成了图像主体主色、背景主色、图像主体以及logo的位置识别。
S12、根据所述主色以及预设的配色规则确定标签配色；
预设的配色规则可如下：
本申请在HSV颜色空间下进行研究，色调H的取值范围是0°-360°，饱和度S和明度V的取值范围是0-1。定义主图背景色为A，商品主体色为B，标签背景色为C；
1、若B色调在以A色调为原点(0°)距离180°-360°范围内，则C色调顺时针取距离A色调90°的颜色；
2、若B色调在以A色调为原点(0°)距离0°-180°范围内，则C色调逆时针取距离A色调90°的颜色；
3、标签颜色的有效范围是C±20°，即颜色在该范围内的标签都可以接受。
明度、饱和度对比原则：
1、C饱和度＝A饱和度+50％(饱和度最高100％)；
2、若A明度＝0-59％，则C明度＝80％；若A明度＝60％-69％，则C明度＝90％；若A明度＝70％-100％，则C明度＝100％；
3、若C色调＝25-70°，C明度＝100％；
4、若A为白底或黑底，C色调取B色调顺时针方向90°±20的颜色，C明度、饱和度遵循规则1、2、3；
白色/黑色标签推荐准则：
若A明度＝0-30％，可使用白色系标签，若A明度＝70-100％，可使用黑色系标签。
通过上述过程即计算得到了匹配的标签配色。
S13、根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；
该步骤为从预先建立的标签库中选择目标标签。通过配色规则确定标签配色后，根据计算出的标签配色从标签库中找到相应配色的标签，如计算出的标签配色为黄色，则从标签库中找颜色为黄色系的标签，所述目标对象为图像的主体和图像中的logo，为了避免标签遮盖住图像主体和logo，则根据目标对象的位置从标签库中找到不会遮挡目标对象的标签。
考虑到颜色以及位置的平衡，本申请利用了损失函数的方式，具体包括：根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，通过损失函数计算标签库中每一标签的损失值；按照损失值从小到大的顺序，确定前预设数量的标签为目标标签。
有关损失函数部分可参见上文相关部分描述。
S14、利用所述目标标签对所述待打标图像进行打标。
所述标签库中的标签为PSD画布格式，所述标签至少包括标签层和透明商品层；
PSD画布、透明商品层的尺寸大小与待打标图像的尺寸大小一致(800*800)，而标签层在PSD画布的位置是固定的，在确定待打标图像中图像的主体和logo的位置后，从标签库中选取不会遮挡主体和logo的标签层所在的标签。如待打标图像中主体和logo位于图像的左下方，就会从标签库中选取标签层位于透明商品层右上方、左上方和右下方的标签，从而避免标签层遮盖住图像中主体和logo。如图3所示，即为利用确定的目标标签(4个)为商品图打标后的结果示意图。
由于标签遮盖目标对象或标签的颜色与其覆盖区域颜色同色，会极大影响图像的观感，视觉效果差，因此在从标签库中寻找目标标签时，会排除造成上述两种情况的标签，将所述标签作为非目标标签。
如前所述，目标标签的颜色可能并不满足要求即按照损失函数筛选出的目标标签的颜色可能并不都在标签配色的有效范围内，为此需要计算所述目标标签的颜色与标签配色之间的色调距离；判断所述色调距离是否超过预设阈值；对所述色调距离超过预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新。关于标签颜色的更新可以参照前文相关部分的描述。
有一种情况需要特别说明，上述描述中说明了标签库中的标签以PSD格式存储，存储的标签至少包括标签层和透明商品层。该前提下，每一个标签库中的标签都有一个确定的位置。但在其他可能的情况中，标签库中的标签可以是一个不包括透明商品层等层的标签，此时标签是一个单独的存在，无法确定其与图像主体以及logo等的位置关系。此时我们认为每一个标签具有位于图像主体以及logo所在的图像内的任何可能位置。我们只需根据标签本身的大小以及图像主体以及logo的位置确定标签相对图像主体以及logo的其中一个最佳位置并以该位置作为计算损失函数的基础即可。该情况仍没有超出本申请的保护范围之外。
确定目标标签后对待打标图像进行打标处理，实现从已有的标签中自动选择合适的标签进行打标，解决了手工合成打标操作繁琐的问题，只需输入待打标图像即可自动匹配多张合适的标签进行打标，提高了打标效率。
实施例2
对应上述方法，本申请实施例2提供一种图像打标装置，如图2所示所述装置包括：
主色提取单元21，用于对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色；
为了使标签颜色与待打标图像的主体主色和背景主色看起来搭配和谐，首先需要确定待打标图像的主体主色、背景主色，再选择合适的标签颜色，使打标后的图像更加美观。
位置检测单元22，用于对待打标图像进行处理，确定所述待打标图像中的目标对象的位置；
待打标图像中重要的区域为图像的主体和图像中的logo，为了避免标签遮盖住图像的主体和logo，因此需要确定待打标图像中图像的主体和logo的位置，在确定好上述位置后，才能根据上述位置从标签库中找到合适的目标标签。
配色单元23，用于根据所述主色以及预设的配色规则确定标签配色；
本申请预设有配色规则，确定好图像的主体主色和背景主色后，根据配色规则计算出标签配色，使标签配色能够与图像的主体主色和背景主色相搭配。
目标标签确定单元24，用于根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；
在标签配色和目标对象位置确定的情况下，目标标签确定单元24通过损失函数计算标签库中每一标签的损失值进而确定目标标签；有关损失函数的部分见上文描述
图像打标单元25，用于利用所述目标标签对所述待打标图像进行打标。
实施例3
对应上述方法和装置，本申请实施例3提供一种计算机系统，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行上述方法中的操作。
其中，图5示例性的展示出了计算机系统的架构，具体可以包括处理器1510，视频显示适配器1511，磁盘驱动器1512，输入/输出接口1513，网络接口1514，以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520之间可以通过通信总线1530进行通信连接。
其中，处理器1510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521，用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1523，数据存储管理系统1524，以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1520中，并由处理器1510来调用执行。
输入/输出接口1513用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1530包括一通路，在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，与存储器1520)之间传输信息。
另外，该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息，以用于进行条件判断，等等。
需要说明的是，尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514，存储器1520，总线1530等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，云服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本申请所提供的方法、装置及系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像打标方法，其特征在于，所述方法包括：
对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色以及所述待打标图像中的目标对象的位置；
根据所述主体主色、所述背景主色以及预设的配色规则确定标签配色；
根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；
利用所述目标标签对所述待打标图像进行打标。
2.如权利要求1所述的方法，其特征在于，所述对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色包括：
检测得到所述待打标图像中的图像主体区域以及背景区域；
提取所述图像主体区域的主色作为所述待打标图像的主体主色，并提取所述背景区域的主色作为所述背景主色。
3.如权利要求1所述的方法，其特征在于，所述待打标图像中的目标对象包括图像的主体和图像中的logo。
4.如权利要求1所述的方法，其特征在于，所述标签库中的标签为PSD画布格式，所述标签至少包括标签层和透明商品层；
所述PSD画布的尺寸与所述待打标图像的尺寸相同，所述标签的位置为所述标签层在所述PSD画布中的位置。
5.如权利要求4所述的方法，其特征在于，
所述根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签包括：
根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，通过损失函数计算标签库中每一标签的损失值；所述损失值cost通过如下公式计算得到：
cost＝λ1*IOU+λ2*(H_diff/360)+a
其中，IOU是标签库中的每一标签与图像的主体的交集占图像主体区域的比例，取值范围是[0，1]；H_diff是标签库中的每一标签的颜色与标签配色C的相对色调距离；λ1和λ2为预设的惩罚系数；所述a在满足预设条件时为非零预设常数，在不满足所述预设条件时为0；
按照损失值从小到大的顺序，确定前预设数量的标签为目标标签；
所述预设条件为：当标签库中的一所述标签遮盖了所述logo，或标签库中的一所述标签的颜色与其覆盖的所述待打标图像中的区域的颜色相同。
6.如权利要求5所述的方法，其特征在于，
计算所述目标标签的颜色与标签配色之间的色调距离；
判断所述色调距离是否超过预设阈值；
对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新。
7.如权利要求6所述的方法，其特征在于，将所述标签配色与预设阈值之间的颜色划分为至少三个等级；
计算每个等级对应的所述目标标签的个数；
所述对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新包括：
按照与所述标签颜色的色调距离由近到远的顺序选择对应等级的颜色对超过所述色调距离的目标标签的颜色进行颜色更新。
8.如权利要求7所述的方法，其特征在于，所述对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述标签配色的色调距离在所述阈值以内的颜色进行颜色更新包括：
若存在对应的所述目标标签个数为0的等级，则首先对所述色调距离超过所述预设阈值的目标标签的颜色按照与所述目标标签个数为0的等级对应的颜色进行颜色更新并更新该等级对应的所述目标标签个数；
之后按照与所述标签颜色的色调距离由近到远的顺序选择对应等级的颜色对超过所述色调距离的目标标签的颜色进行颜色更新。
9.一种图像打标装置，其特征在于，所述装置包括：
主色提取单元，用于对待打标图像进行处理，确定所述待打标图像的主体主色、背景主色；
位置检测单元，用于对待打标图像进行处理，确定所述待打标图像中的目标对象的位置；
配色单元，用于根据所述主色以及预设的配色规则确定标签配色；
目标标签确定单元，用于根据所述标签配色与标签库中每一标签的颜色的关系、所述标签库中每一标签的位置与所述目标对象的位置的关系，从标签库中确定匹配的目标标签；
图像打标单元，用于利用所述目标标签对所述待打标图像进行打标。
10.一种计算机系统，其特征在于，包括：
一个或多个处理器；以及
与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如权利要求1-8任一项所述的操作。
CN202010119865.5A 2020-02-26 2020-02-26 一种图像打标方法、装置及系统 Active CN111340782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010119865.5A CN111340782B (zh) 2020-02-26 2020-02-26 一种图像打标方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119865.5A CN111340782B (zh) 2020-02-26 2020-02-26 一种图像打标方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111340782A true CN111340782A (zh) 2020-06-26
CN111340782B CN111340782B (zh) 2022-12-16

Family

ID=71183701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119865.5A Active CN111340782B (zh) 2020-02-26 2020-02-26 一种图像打标方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111340782B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561930A (zh) * 2020-12-10 2021-03-26 武汉光庭信息技术股份有限公司 一种对视频流中目标进行实时加框的系统及方法
CN112732954A (zh) * 2020-12-31 2021-04-30 莱茵技术-商检（宁波）有限公司 一种智能贴标方法及系统
CN112732968A (zh) * 2021-01-12 2021-04-30 特赞（上海）信息科技有限公司 案例素材图像检索方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182503A1 (en) * 2010-01-25 2011-07-28 Apple Inc. Image Preprocessing
CN105679180A (zh) * 2014-11-18 2016-06-15 北京世纪云联科技发展有限公司 防伪标签以及制作方法、识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182503A1 (en) * 2010-01-25 2011-07-28 Apple Inc. Image Preprocessing
CN105679180A (zh) * 2014-11-18 2016-06-15 北京世纪云联科技发展有限公司 防伪标签以及制作方法、识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A. LOPEZ 等: "Narrow-FSK optical packet labeling scheme for optical ethernet networks", 《IEEE PHOTONICS TECHNOLOGY LETTERS》 *
许太: "机器视觉在激光打标中的应用研究", 《全国硕士学位论文全文库（信息科技辑）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561930A (zh) * 2020-12-10 2021-03-26 武汉光庭信息技术股份有限公司 一种对视频流中目标进行实时加框的系统及方法
CN112732954A (zh) * 2020-12-31 2021-04-30 莱茵技术-商检（宁波）有限公司 一种智能贴标方法及系统
CN112732968A (zh) * 2021-01-12 2021-04-30 特赞（上海）信息科技有限公司 案例素材图像检索方法、装置、设备和存储介质
CN112732968B (zh) * 2021-01-12 2021-08-31 特赞（上海）信息科技有限公司 案例素材图像检索方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111340782B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN111340782B (zh) 一种图像打标方法、装置及系统
US10521567B2 (en) Digital image processing for element removal and/or replacement
CN110246011B (zh) 可解释时尚服装个性化推荐方法
CN109165645A (zh) 一种图像处理方法、装置以及相关设备
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
US20170213072A1 (en) System and method for providing an interactive shopping experience via webcam
US10339642B2 (en) Digital image processing through use of an image repository
JP6529686B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210072880A1 (en) Method and electronic device for generating at least one data item from screenshot
US11842378B2 (en) Systems and methods for product identification using image analysis and trained neural network
CN112330383A (zh) 用于基于可视元素的物品推荐的设备及方法
CN111738252B (zh) 图像中的文本行检测方法、装置及计算机系统
US20200372560A1 (en) Method for exploring and recommending matching products across categories
CN111222530A (zh) 一种细粒度图像分类方法、系统、装置和存储介质
CN111522979A (zh) 图片排序推荐方法、装置、电子设备、存储介质
US20210117987A1 (en) Fraud estimation system, fraud estimation method and program
CN111598600A (zh) 多媒体资讯推送方法及系统、终端设备
KR20100125878A (ko) 오브젝트이미지 추출을 통한 광고 시스템 및 그 방법
JP4629280B2 (ja) 知識発見支援装置および支援方法
KR102688027B1 (ko) 미술품 거래 관련 데이터 처리 방법
CN113298912B (zh) 商品图片的处理方法、装置和服务器
CN110942056A (zh) 服饰关键点定位方法、装置、电子设备及介质
US11494553B2 (en) Document creation assistance apparatus and non-transitory computer readable medium
KR20210111117A (ko) 업로드된 미디어로부터 추출된 이미지 기반의 상품 거래 시스템
CN112365324A (zh) 适用于电商平台的商品图片检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant