CN110097603B - 一种时尚图像主色调解析方法 - Google Patents
一种时尚图像主色调解析方法 Download PDFInfo
- Publication number
- CN110097603B CN110097603B CN201910375048.3A CN201910375048A CN110097603B CN 110097603 B CN110097603 B CN 110097603B CN 201910375048 A CN201910375048 A CN 201910375048A CN 110097603 B CN110097603 B CN 110097603B
- Authority
- CN
- China
- Prior art keywords
- fashion
- image
- clothing
- analysis
- dominant hue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000013135 deep learning Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000009394 selective breeding Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种时尚图像主色调解析方法,其特征在于,包括如下步骤:S1、深度学习时尚服饰检测框架的构建;S2、目标检测损失函数的设计;S3、时尚服饰前景目标区域的提取预处理;S4、时尚服饰候选区域的主色调解析操作。其优点表现在:鲁棒性强、精确度高、目标定位准确,背景干扰因素低,自动化程度高,能够有效提高主色调解析的精确率。
Description
技术领域
本发明涉及计算机视觉识别技术领域,具体地说,是一种时尚图像主色调 解析方法。
背景技术
时尚服饰的风格一直以来都是时尚领域重点关注的话题,而作为风格表现 形式的主要色调自然成为了行业关注的焦点,主色调为服饰的选款及搭配提供 参考事实依据,这也意味着主色调的准确获取成为了一项具有实用价值的研究 对象。
主色调主要是指某件时尚单品所包含的主要几种色调,主色调的提取解析 广泛应用于电商、街拍以及时尚领域,不仅可以为设计师提供色彩设计,也可 以用于图像相似类别搜索、分类以及识别。由于时尚品牌多样,款式风格各异, 单纯的采用人工方式去采集和分析当前流行的主色调,势必存在分析不准确并 且非常耗时耗力。为了让色彩信息在数据事实层面得到较为精准的反馈,因此有必要建立一套自动化的主色调提取方法。主色调的提取主要运用视觉图像处 理技术和深度学习技术,对整个时尚图片库进行单品或者单品牌进行提取解析 的工作。
目前已有的对图片进行主色调分析的算法大致分为以下几类:
1.运用颜色量化法:因为彩色图像一般采用RGB色彩模式,每个像素由 RGB三个颜色分量组成,每个分量由8位表示,红绿蓝三原色组合共有1677 万(256*256*256)万种颜色,如果将RGB看作是三维空间中的三个坐标轴, 则可以得到一个色彩分布立体图。其中一种量化法中位切分算法的原理很简单 直接,将图像颜色看作是色彩空间中的长方体,从初始整个图像作为一个长方 体开始,将RGB中最长的一边从颜色统计的中位数一切为二,使得到的两个 长方体所包含的像素数量相同,重复上述步骤,直到最终切分得到长方体的数量等于主题颜色数量为止。另一种量化法八叉树算法将颜色成分转换成二进制 之后,较低位(八叉树中位置较深层)数值将被压缩进较高位(八叉树中较浅 层)并逐渐进行合并。
2.运用聚类算法:主要多采用Kmeans聚类算法,KMeans算法的原理较为 简洁:将图像中每个像素点的信息归为k个类别,使得每个类别中的每个数据 样本,距离该类别的中心距离最小,最终获取的类别中心分别为图像的几个主 色调,但是这种方法存在的弊端在于无法提前预知图像色彩的复杂度,一旦复 杂度较高,而归类类别k设定较小,则会稀释主色调在所有颜色中的权重及分布状况,无法满足特定的提取和分析。
图像的主要前景的定位是实现时尚图像主要颜色提取的重要环节,也是实 现色彩分析的先决条件,然而基于以上几种现有的方法的主色调提取方法存在 目标定位不准确,背景干扰因素较大等原因,不太适合准确的主色调解析。
中国专利文献:CN201810982554.4,申请日2018.08.27,专利名称为:一 种基于图像识别和知识图谱的时尚领域文本生成方法。公开了一种基于图像识 别和知识图谱的时尚领域文本生成方法,步骤S1、采用深度学习的方法,对 基本的图片视频数据进行基础信息的提取,并对针对所有的时尚的基础信息进 行分解和整理,训练深度学习的算法,对图像基础信息进行提取;步骤S2、 预先准备时尚领域的知识图谱,对市面上的流行元素进行定义,将基础信息和 流行信息相关联;步骤S3、将上述的基本信息和推理的高阶抽象标签作为搜 索关键字,在已有的时尚领域专业文章库中搜索相似文本,按照相似度排序, 生成摘要文字。
上述专利文献的一种基于图像识别和知识图谱的时尚领域文本生成方法, 能够解决在时尚领域中需要撰写大量和图片文字相关性非常大的领域专业文 稿的问题,提供时尚编辑文字素材,以激发时尚编辑的灵感,提高时尚撰稿效 率。但是关于一种鲁棒性强、精确度高、目标定位准确,背景干扰因素低,自 动化更优的适合准确的主色调解析的一种时尚图像主色调解析方法目前则没有相关的报道。
综上所述,继续一种鲁棒性强、精确度高、目标定位准确,背景干扰因素 低,自动化更优的适合准确的主色调解析的一种时尚图像主色调解析方法。
发明内容
本发明的目的是针对现有技术中的不足,提供一种鲁棒性强、精确度高、 目标定位准确,背景干扰因素低,自动化更优的适合准确的主色调解析的一种 时尚图像主色调解析方法。
为实现上述目的,本发明采取的技术方案是:
一种时尚图像主色调解析方法,其特征在于,包括如下步骤:
S1、深度学习时尚服饰检测框架的构建;
S2、目标检测损失函数的设计;
S3、时尚服饰前景目标区域的提取预处理;
S4、时尚服饰候选区域的主色调解析操作。
作为一种优选的技术方案,所述步骤S1包括:
S11、深度学习时尚服饰检测框架包括服饰特征提取、检测框的预测以及 包围框的回归,三个模块分别对应卷积神经网络中的卷积计算、前向传播输出 和误差反向传播;卷积计算是一个滤波的过程,可以将网络学习参数逐渐收敛 从而提取感兴趣的目标特征;前向传播是卷积神经网络特征提取金字塔的传递,将低层的纹理和轮廓信息逐层抽象表达;训练过程中每一次的训练都是对 目标结果的收敛过程,包围框的回归是目标输出过程中对二维位置信息的逐步 收敛;
S12、本实施例采用生层建议窗框形式,通过多层卷积计算和池化操作, 从底层到高层逐渐的缩减特征层大小,并且将预测方式直接作用于特征图,每 张图生成300个建议窗口,预测每一个特征单元的所属类归属;
S13、在每一个特征图中,构建多个预测框,预检测框映射到卷积神经网 络的最后一层卷积特征层上,通过池化层使每个感兴趣区域生成固定尺寸的特 征图。
作为一种优选的技术方案,所述步骤S2具体包括如下步骤:
S21、在预测阶段,为了去除相关度不高且重叠率较大的默认框,常按照 匹配分数从高到低排序,利用非极大值抑制的方法,搜索局部极大值,抑制非 极大值;在用于时尚服饰图像识别检测过程中,本实施例采用随机梯度下降算 法和端到端的检测模型,首先利用大数据集上的预训练模型权重对服饰的训练图像进行模型训练,得到目标检测模型,然后利用训练性能好的推理模型进行 时尚服饰的检测测试,得到检测结果。
作为一种优选的技术方案,所述步骤S3具体包括如下步骤:
S31、经过时尚服饰的位置区域提取之后,表明该区域内大概率事件为服饰前景,根据抠图原理:对于一幅图像I,可表示为前景F和背景B在因子α 作用下的加权和:
I=αF+(1-α)B,α∈[0,1]
S32、对于S31中的式子,其中I为已知量,而α、F、B均为未知量,要 解决这样一个病态的方程必须附加一定的约束条件,恰好在深度学习检测模型 的辅助之下,找到了属于背景B的某些归属像素区域,同样的,感兴趣区域的 前景F部分也在标注框内,进一步明确了下一步的工作是重点突破α值的确定;
S33、在深度学习检测模型的帮助下检测到的时尚服饰区域,该区域内可 能存在多种噪声,为了降低噪声对抠图精度的影响,本实施例采用双边滤波方 式将噪声滤除,使得该区域内的边缘信息更加明确突出。
作为一种优选的技术方案,所述步骤S4具体包括如下步骤:
S41、为了确保候选区域的主色调在人眼范围内可以明确的分辨,避免解 析过程的精确度低问题,本实施例将图像的主色调人为的归纳为59种常见时 尚色系,根据像素间的欧式距离判别候选区域的色调归类,在时尚单品提取解析中,遍历候选区域,以便得到最终的主色调排序,根据排序的结果,计算每 一种色调所占的比例,将主要的几种靠前色调作为服饰的主色调;
S42、同样的,对于时尚单品牌的主色调解析,可以将该品牌的所有图像 输入深度学习检测模型并做抠图预处理,融合所有的图像像素归类信息,根据 排序结果选取相应的品牌主色调;
S43、在S41和S42中,采用人为的选取常见色系,类似于聚类的方式, 只不过将类别特定感兴趣的选取,是为特定服饰需求所满足的规则,但是这种 规则在一定程度上并不具备通用性,为了降低这种不通用性的影响;本实施例 在以上主色调计算的过程中加入了普适性的主色调计算方式,将全局图像的所 有像素点色调信息枚举出来,并根据较小的距离阈值做相邻合并处理,突出小部分的色调信息与59种色调做加权和的计算,均衡化解析结果。
作为一种优选的技术方案,所述步骤一中构建含有11层卷积层、11层池 化层和6层特征提取层;每一层特征提取层预测300个候选框,在训练阶段候 选框中的正负样本保持在1:3维持正常训练,在测试阶段设置0.6的重叠联合 比,并以非极大值抑制算法减小大量多余的预测候选框。
作为一种优选的技术方案,所述步骤一中在根据训练模型获得识别到的时 尚服饰图像区域之后,还包括:
对获取的服饰区域采用双边滤波算法进行噪声滤除和边缘信息加强;
将时尚服饰矩形区域采用抠图算法进行不规则边缘提取并做背景透明化 处理。
作为一种优选的技术方案,所述步骤二中图像的抠图具体步骤为:将框内 的图像部分设置为前景,框外的部分设置为背景,并根据该区域的设定进行双 边滤波突出边缘,保持降噪平滑的效果。
作为一种优选的技术方案,将抠图之后的不规则化图像进行遍历,在遍历 过程中忽略透明环境的区域,并将非透明区域的色调信息映射到59种常见色 调类别中,每一类色调的所占比例作为主色调的参考依据。
作为一种优选的技术方案,所述步骤在获得抠图不规则图像候选区域之 后,统计色调包括:
采用枚举方式统计不规则图像内的色调信息,根据欧式距离较小的阈值判 别合并相邻的像素色调信息,尽可能避免来自59种常见色系类别较大距离的 不确定因素导致的色调解析存在人为误差;并且将该种方法统计的结果和59 种归类统计的直方图做加权方式处理,综合排序结果作为最终的主色调解析依 据。
本发明优点在于:
1、本发明根据不同的主色调解析需求主要分为单品主色调提取和单品牌 主色调提取,其中单品主色调提取为根据某张时尚服饰图像进行主色调的提 取,提取范围主要在于单张图像,不需要进行品牌的归类和筛选,而单品牌的 主色调提取主要需要将某个品牌的时尚服饰进行筛选和分类,进行全局情况下的解析,并且按照用户的需求将主色调提取的类别进行选择和限定。
2、本发明主要部署在存储有时尚数据库的服务器中,通过启动筛选程序, 在单品解析情况下将时尚图片数据库中的每一张图片送入本实施例,然后根据 事先定义的解析规则进行自动化提取解析,解析的过程中应该尽量的减少人为 干预,避免解析过程中存在的人为因素导致的精度降低,最后采用统计原理将色调信息排序归类;本实施例代替传统人工的主色调分析方式,大大的降低了 人工色调分析过程的枯燥和繁琐,同时在时间和成本上做到极致的压缩,并且 在真实数据统计的加持下,解析速度远超人工模式。
3、为了测试本发明的提取解析效果,在实验中通过对时尚单品图片的解 析,将其主色调的RGB值提取出来,并做排序处理,由于RGB在判别准确度上却反直观的感受,因此在实施例中增加了将RGB值可视化处理,将排序的 RGB值打印在白色面板中,方便人为的校验解析的准确度;大量实验结果表 明,利用本实施例的方案进行主色调提取解析可以很好的排除背景冗余的干扰 因素影响,证明了本实施例的有效性;相关的结果也表明,采用视觉处理技术 和人工智能的方法在技术层面的可行性以及摆脱了人工甄别的束缚,为用户提供了很大的便利,也减小了投入的时间成本,具有重要的现实意义。
附图说明
附图1为本发明实施例的技术方案流程图。
附图2为时尚服饰图像特征提取模型。
附图3为抠图原理图。
附图4为本发明实施例中的详细流程图。
具体实施方式
本发明的设计来源于服饰推荐应用领域,核心价值在于帮助设计师及买家 用户获取时尚单品或时尚品牌的主色调,这些主色调可以为以上特定人群提供 流行色彩参考和建议,如果采用人工的识别获取方法则费时费力的同时仍旧无 法满足量化主色调比例等需求;近年来,随着人工智能的发展和流行,人们逐 渐采用深度学习的方法辅助解决生产中遇到的各类技术问题,本发明即采用深度学习检测技术解决前景定位问题;为了准确解析图像中的主色调,需要建立 一套鲁棒性较强、自动化程度较高的提取方法,然而目前在时尚图像主色调提 取方面依然存在以下几个重要的挑战:
1.时尚单品颜色层次丰富:在时尚图像数据库中掺杂有各类色彩丰富的单 品图像,这类图像很难从肉眼判定主色调,只能通过统计方法判定所占比例;
2.时尚图像来源广泛:时尚单品图像的提取前提在于将非时尚图像的相关 图像进行排除过滤,然而很多时尚图像来源于街拍,网店等,非相关性因素将 导致主色调的偏移,不利于主色调的解析,所以如何将不相关的图像进行过滤 筛选成为了一道难题;
3.时尚图片背景复杂各异:由于时尚图像来源广泛性的特点导致的多数图 像背景复杂,在颜色提取主体无法明确的情况下贸然直接提取主色调导致的结 果是受背景干扰因素的影响,无法准确的表达主体色彩信息,更致命的情况是 甚至将重复冗余的背景色作为主色调进行解析反馈,完全背离了用户的需求和本设计的宗旨;
4.根据第三部分对目前市面上的主色调提取方法进行分析,目前已有的主 色调提取解析方法并不能很好地解决这些问题,为了解决这一类问题,需要建 立一套鲁棒性更强、精确度更高以及自动化更优的主色调解析方案;本发明旨 在基于时尚图片数据库采用深度学习的方案建立一套自动化的主色调解析方法。
本发明为了解决定位、提取、解析时尚单品的主色调问题,实现对当前时 尚风格元素的设计和把握,具体实现技术方案如下:
1.以各类风格和款式的时尚单品作为训练数据集,采用大数据集下预训练 模型作为本实施例的初始化权值模型,然后针对本实施例的目标任务对提取主 体服饰进行训练,生成本实施例的服饰定位检测推理模型;
2.根据步骤1中的生成的检测推理模型进行单品服饰区域定位,并将该区 域截取出来;
3.根据步骤2中截图的前景感兴趣区域,对该区域内的图像做双边滤波处 理,滤除噪声的同时增加服饰的边缘信息,然后再进行边缘检测,获取到服饰 的边缘轮廓信息,以便进一步做抠图处理,将环境和背景因素进行预处理排除, 并将背景透明化,方便后期对感兴趣提取区域的色调统计分析;
4.最后,根据前期检测定位的矩形结果以及边缘检测的不规则轮廓信息, 对时尚服饰的抠图图像进行直方图颜色色域统计分析,有效提高主色调解析的 精确率;
由于常规的主色调分析方法是在时尚单品服饰的全局意义上的提取解析, 缺乏对无关冗余背景的鲁棒性,导致主色调的准确度有所降低,色域有所偏移。 因此本实施例采用深度学习和智能抠图作为辅助,除去背景干扰的因素,提高 主色调的解析精度;为了使用本实施例来提取时尚服饰的主色调,下面将使用 具体的方法详细阐述本实施例的工作流程。
实施例1
本实施例提供了一种基于深度学习的目标前景的定位实现,包括以下主要 步骤:
S1、深度学习时尚服饰检测框架的构建:
S11、深度学习时尚服饰检测框架包括服饰特征提取、检测框的预测以及 包围框的回归,三个模块分别对应卷积神经网络中的卷积计算、前向传播输出 和误差反向传播;卷积计算是一个滤波的过程,可以将网络学习参数逐渐收敛 从而提取感兴趣的目标特征;前向传播是卷积神经网络特征提取金字塔的传递,将低层的纹理和轮廓信息逐层抽象表达;训练过程中每一次的训练都是对 目标结果的收敛过程,包围框的回归是目标输出过程中对二维位置信息的逐步 收敛;
S12、本实施例采用生层建议窗框形式,通过多层卷积计算和池化操作, 从底层到高层逐渐的缩减特征层大小,并且将预测方式直接作用于特征图,每 张图生成300个建议窗口,预测每一个特征单元的所属类归属;
S13、在每一个特征图中,构建多个预测框,预检测框映射到卷积神经网 络的最后一层卷积特征层上,通过池化层使每个感兴趣区域生成固定尺寸的特 征图;
S2、目标检测损失函数的设计:
本实施例中利用Softmax Loss(探测分类概率)和Smooth L1Loss(探测边 框回归)对分类概率和边框回归联合训练;
S21、在预测阶段,为了去除相关度不高且重叠率较大的默认框,常按照 匹配分数从高到低排序,利用非极大值抑制的方法,搜索局部极大值,抑制非 极大值。在用于时尚服饰图像识别检测过程中,本实施例采用随机梯度下降算 法和端到端的检测模型,首先利用大数据集上的预训练模型权重对服饰的训练图像进行模型训练,得到目标检测模型,然后利用训练性能好的推理模型进行 时尚服饰的检测测试,得到检测结果;
S3、时尚服饰前景目标区域的提取预处理:
时尚服饰图像经过检测框之后,检测模型会对图片全局区域进行特征多层 次的提取预测,一旦检测到服饰的候选区域则画出标注框,表明标注框内可能 存在相关标注服饰,并给出高于人为设定阈值的置信度;
S31、经过时尚服饰的位置区域提取之后,表明该区域内大概率事件为服 饰前景,根据抠图原理:对于一幅图像I,可表示为前景F和背景B在因子α 作用下的加权和;
I=αF+(1-α)B,α∈[0,1]
S32、对于S31中的式子,其中I为已知量,而α、F、B均为未知量,要 解决这样一个病态的方程必须附加一定的约束条件,恰好在深度学习检测模型 的辅助之下,找到了属于背景B的某些归属像素区域,同样的,感兴趣区域的 前景F部分也在标注框内,进一步明确了下一步的工作是重点突破α值的确定;
S33、在深度学习检测模型的帮助下检测到的时尚服饰区域,该区域内可 能存在多种噪声,为了降低噪声对抠图精度的影响,本实施例采用双边滤波方 式将噪声滤除,使得该区域内的边缘信息更加明确突出;
S4、时尚服饰候选区域的主色调解析操作:经过以上的区域检测和前景抠 图的预处理之下,服饰区域已经不规则的选定出来,可以极大的避免复杂单一 背景色调对服饰区域的色调产生影响;
S41、为了确保候选区域的主色调在人眼范围内可以明确的分辨,避免解 析过程的精确度低问题,本实施例将图像的主色调人为的归纳为59种常见时 尚色系,根据像素间的欧式距离判别候选区域的色调归类,在时尚单品提取解析中,遍历候选区域,以便得到最终的主色调排序,根据排序的结果,计算每 一种色调所占的比例,将主要的几种靠前色调作为服饰的主色调;
S42、同样的,对于时尚单品牌的主色调解析,可以将该品牌的所有图像 输入深度学习检测模型并做抠图预处理,融合所有的图像像素归类信息,根据 排序结果选取相应的品牌主色调;
S43、在S41和S42中,采用人为的选取常见色系,类似于聚类的方式, 只不过将类别特定感兴趣的选取,是为特定服饰需求所满足的规则,但是这种 规则在一定程度上并不具备通用性,为了降低这种不通用性的影响;本实施例 在以上主色调计算的过程中加入了普适性的主色调计算方式,将全局图像的所 有像素点色调信息枚举出来,并根据较小的距离阈值做相邻合并处理,突出小 部分的色调信息与59种色调做加权和的计算,均衡化解析结果。
本发明一旦投入应用,可以实现以下技术效果:
本实施例根据不同的主色调解析需求主要分为单品主色调提取和单品牌 主色调提取,其中单品主色调提取为根据某张时尚服饰图像进行主色调的提 取,提取范围主要在于单张图像,不需要进行品牌的归类和筛选,而单品牌的 主色调提取主要需要将某个品牌的时尚服饰进行筛选和分类,进行全局情况下 的解析,并且按照用户的需求将主色调提取的类别进行选择和限定;
本实施例主要部署在存储有时尚数据库的服务器中,通过启动筛选程序, 在单品解析情况下将时尚图片数据库中的每一张图片送入本实施例,然后根据 事先定义的解析规则进行自动化提取解析,解析的过程中应该尽量的减少人为 干预,避免解析过程中存在的人为因素导致的精度降低,最后采用统计原理将 色调信息排序归类;本实施例代替传统人工的主色调分析方式,大大的降低了人工色调分析过程的枯燥和繁琐,同时在时间和成本上做到极致的压缩,并且 在真实数据统计的加持下,解析速度远超人工模式;
为了测试本实施例的提取解析效果,在实验中通过对时尚单品图片的解 析,将其主色调的RGB值提取出来,并做排序处理,由于RGB在判别准确度 上却反直观的感受,因此在实施例中增加了将RGB值可视化处理,将排序的RGB值打印在白色面板中,方便人为的校验解析的准确度;大量实验结果表 明,利用本实施例的方案进行主色调提取解析可以很好的排除背景冗余的干扰 因素影响,证明了本实施例的有效性;相关的结果也表明,采用视觉处理技术 和人工智能的方法在技术层面的可行性以及摆脱了人工甄别的束缚,为用户提供了很大的便利,也减小了投入的时间成本,具有重要的现实意义。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通 技术人员,在不脱离本发明方法的前提下,还可以做出若干改进和补充,这些 改进和补充也应视为本发明的保护范围。
Claims (7)
1.一种时尚图像主色调解析方法,其特征在于,包括如下步骤:
S1、深度学习时尚服饰检测框架的构建;
S2、目标检测损失函数的设计;
S3、时尚服饰前景目标区域的提取预处理;
S4、时尚服饰候选区域的主色调解析操作;
所述步骤S4包括:
S41、为了确保候选区域的主色调在人眼范围内可以明确的分辨,避免解析过程的精确度低问题,将图像的主色调人为的归纳为59种常见时尚色系,根据像素间的欧式距离判别候选区域的色调归类,在时尚单品提取解析中,遍历候选区域,以便得到最终的主色调排序,根据排序的结果,计算每一种色调所占的比例,将几种所占比例靠前的色调作为服饰的主色调;
S42、同样的,对于时尚单品牌的主色调解析,可以将该品牌的所有图像输入深度学习检测模型并做抠图预处理,融合所有的图像像素归类信息,根据排序结果选取相应的品牌主色调;
S43、在S41和S42中,采用人为的选取常见色系,类似于聚类的方式,
在特定感兴趣类别的选取上,是为了满足特定服饰的需求而制定的规则,但是这种规则在一定程度上并不具备通用性,为了降低这种不通用性的影响;在以上主色调计算的过程中加入了普适性的主色调计算方式,将全局图像的所有像素点色调信息枚举出来,并根据小的距离阈值做相邻合并处理,突出小部分的色调信息与59种色调做加权和的计算,均衡化解析结果。
2.根据权利要求1所述的一种时尚图像主色调解析方法,其特征在于,所述步骤S1包括:
S11、深度学习时尚服饰检测框架包括服饰特征提取、检测框的预测以及包围框的回归,三个模块分别对应卷积神经网络中的卷积计算、前向传播输出和误差反向传播;卷积计算是一个滤波的过程,可以将网络学习参数逐渐收敛从而提取感兴趣的目标特征;前向传播是卷积神经网络特征提取金字塔的传递,将低层的纹理和轮廓信息逐层抽象表达;训练过程中每一次的训练都是对目标结果的收敛过程,包围框的回归是目标输出过程中对二维位置信息的逐步收敛;
S12、采用生层建议窗框形式,通过多层卷积计算和池化操作,从底层到高层逐渐的缩减特征层大小,并且将预测方式直接作用于特征图,每张图生成300个建议窗口,预测每一个特征单元的所属类归属;
S13、在每一个特征图中,构建多个预测框,预检测框映射到卷积神经网络的最后一层卷积特征层上,通过池化层使每个感兴趣区域生成固定尺寸的特征图。
3.根据权利要求1所述的一种时尚图像主色调解析方法,其特征在于,所述步骤S2包括:
S21、在预测阶段,为了去除相关度不高且重叠率较大的默认框,常按照匹配分数从高到低排序,利用非极大值抑制的方法,搜索局部极大值,抑制非极大值;在用于时尚服饰图像识别检测过程中,采用随机梯度下降算法和端到端的检测模型,首先利用大数据集上的预训练模型权重对服饰的训练图像进行模型训练,得到目标检测模型,然后利用训练性能好的推理模型进行时尚服饰的检测测试,得到检测结果。
4.根据权利要求1所述的一种时尚图像主色调解析方法,其特征在于,所述步骤S3包括:
S31、经过时尚服饰的位置区域提取之后,表明该区域内为服饰前景,根据抠图原理:对于一幅图像I,可表示为前景F和背景B在因子α作用下的加权和:
I=αF+(1-α)B,α∈[0,1]
S32、对于S31中的式子,其中I为已知量,而α、F、B均为未知量,要解决这样一个病态的方程必须附加一定的约束条件,恰好在深度学习检测模型的辅助之下,找到了属于背景B的归属像素区域,同样的,感兴趣区域的前景F部分也在标注框内,进一步明确了下一步的工作是重点突破α值的确定;
S33、在深度学习检测模型的帮助下检测到的时尚服饰区域,该区域内存在多种噪声,为了降低噪声对抠图精度的影响,采用双边滤波方式将噪声滤除,使得该区域内的边缘信息更加明确突出。
5.根据权利要求1所述的方法,其特征在于,步骤S1中构建含有11层卷积层、11层池化层和6层特征提取层,每一层特征提取层预测300个候选框,在训练阶段候选框中的正负样本保持在1:3维持正常训练,在测试阶段设置0.6的重叠联合比,并以非极大值抑制算法减小大量多余的预测候选框。
6.根据权利要求1所述的方法,其特征在于,步骤S42中图像的抠图具体步骤为:将框内的图像部分设置为前景,框外的部分设置为背景,并根据该区域的设定进行双边滤波突出边缘,保持降噪平滑的效果。
7.根据权利要求6所述的方法,其特征在于,将抠图之后的不规则化图像进行遍历,在遍历过程中忽略透明环境的区域,并将非透明区域的色调信息映射到59种常见色调类别中,每一类色调的所占比例作为主色调的参考依据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910375048.3A CN110097603B (zh) | 2019-05-07 | 2019-05-07 | 一种时尚图像主色调解析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910375048.3A CN110097603B (zh) | 2019-05-07 | 2019-05-07 | 一种时尚图像主色调解析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110097603A CN110097603A (zh) | 2019-08-06 |
CN110097603B true CN110097603B (zh) | 2023-08-08 |
Family
ID=67447130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910375048.3A Active CN110097603B (zh) | 2019-05-07 | 2019-05-07 | 一种时尚图像主色调解析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110097603B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160476A (zh) * | 2019-12-31 | 2020-05-15 | 佛山喀视科技有限公司 | 一种生成色差检测模型、瓷砖分色方法及装置 |
CN111524198B (zh) * | 2020-04-14 | 2024-04-09 | 广东三维家信息科技有限公司 | 图像主色调识别方法、装置、计算机设备和存储介质 |
CN113382276A (zh) * | 2021-06-09 | 2021-09-10 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种图片处理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215091A (zh) * | 2018-08-02 | 2019-01-15 | 浙江理工大学 | 一种基于图表示的服装流行色彩自动提取方法 |
CN109241808A (zh) * | 2018-08-27 | 2019-01-18 | 上海宝尊电子商务有限公司 | 一种时尚图像中二维码自动筛选方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11080918B2 (en) * | 2016-05-25 | 2021-08-03 | Metail Limited | Method and system for predicting garment attributes using deep learning |
-
2019
- 2019-05-07 CN CN201910375048.3A patent/CN110097603B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215091A (zh) * | 2018-08-02 | 2019-01-15 | 浙江理工大学 | 一种基于图表示的服装流行色彩自动提取方法 |
CN109241808A (zh) * | 2018-08-27 | 2019-01-18 | 上海宝尊电子商务有限公司 | 一种时尚图像中二维码自动筛选方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110097603A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109801256B (zh) | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 | |
CN108898137B (zh) | 一种基于深度神经网络的自然图像字符识别方法及系统 | |
CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
Macé et al. | A system to detect rooms in architectural floor plan images | |
CN110033007B (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
WO2019140767A1 (zh) | 安检识别系统及其控制方法 | |
CN109508664B (zh) | 一种基于深度学习的菜品识别计价方法 | |
CN110097603B (zh) | 一种时尚图像主色调解析方法 | |
CN108416314B (zh) | 图片重要人脸检测方法 | |
US9626585B2 (en) | Composition modeling for photo retrieval through geometric image segmentation | |
CN110008962B (zh) | 基于注意力机制的弱监督语义分割方法 | |
CN110807434A (zh) | 一种基于人体解析粗细粒度结合的行人重识别系统及方法 | |
CN105243356B (zh) | 一种建立行人检测模型的方法及装置及行人检测方法 | |
CN108648211A (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
CN107622280B (zh) | 基于场景分类的模块化处方式图像显著性检测方法 | |
CN110413825B (zh) | 面向时尚电商的街拍推荐系统 | |
CN110929746A (zh) | 一种基于深度神经网络的电子卷宗标题定位提取与分类方法 | |
CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
CN115294377A (zh) | 一种道路裂缝的识别系统及方法 | |
CN113989683A (zh) | 一种综合同步轨道序列光学影像时空信息的船舶检测方法 | |
CN111275694A (zh) | 一种注意力机制引导的递进式划分人体解析模型及方法 | |
CN110688512A (zh) | 基于ptgan区域差距与深度神经网络的行人图像搜索算法 | |
CN117829243A (zh) | 模型训练方法、目标检测方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |