CN109191255B - 一种基于无监督特征点检测的商品对齐方法 - Google Patents

一种基于无监督特征点检测的商品对齐方法 Download PDF

Info

Publication number
CN109191255B
CN109191255B CN201811027439.8A CN201811027439A CN109191255B CN 109191255 B CN109191255 B CN 109191255B CN 201811027439 A CN201811027439 A CN 201811027439A CN 109191255 B CN109191255 B CN 109191255B
Authority
CN
China
Prior art keywords
feature point
detection
commodity
data
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811027439.8A
Other languages
English (en)
Other versions
CN109191255A (zh
Inventor
康乐
潘嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201811027439.8A priority Critical patent/CN109191255B/zh
Publication of CN109191255A publication Critical patent/CN109191255A/zh
Application granted granted Critical
Publication of CN109191255B publication Critical patent/CN109191255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能的技术领域，更具体地，涉及一种基于无监督特征点检测的商品对齐方法。一种基于无监督特征点检测的商品对齐方法，其中，包括以下步骤：S1.特征点检测训练数据准备；S2.检测框模型训练；S3.特征点检测；S4.根据特征点坐标进行仿射变换对齐。本发明经过特征点检测对齐之后用在商品后续的识别网络上，相较于没做对齐直接识别准确率会明显更高，因为网络对于正向的物体比倾斜的物体更容易识别；对于现有的有监督特征点对齐，这个方法能节省标注成本。

Description

一种基于无监督特征点检测的商品对齐方法
技术领域
本发明涉及人工智能的技术领域，更具体地，涉及一种基于无监督特征点检测的商品对齐方法。
背景技术
目前没有商品没有一个统一的对齐方法，大部分相关任务都是没有做对齐的，现有的对齐方法也都是有监督先标出特征点，但是人工标注的特征点对于不同的商品是不鲁棒的，而且人工标注的成本是很高的。因此如果能无监督自适应找到能对抗旋转的商品结构特征点,用在商品领域是很有意义的。
现有技术是：1、现有的商品特征点检测都是用带标注的数据预先训练好特征点检测模型，再对商品图片的特征点进行预测，对齐。2、大部分商品识别任务是没有对商品做对齐的。
现有技术的缺点是：1、训练需要大量带标注的图片数据，物体结构的人工标注或设计对于大多数对象类别来说这个成本是很大的。2、目前的商品识别任务由于标注成本高，商品结构复杂，是没有做对齐的，对于识别准确率有一定的影响。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于无监督特征点检测的商品对齐方法，在实际场景中我们是需要识别有旋转角度的商品的，但是由于标注这样的数据成本很高，就没有做对齐，目前都是通过增加训练集的数据，增加训练数据的多样性来保证识别正确率，然而有倾斜角度的商品识别准确率是远不如正向商品的识别准确率的。通过稳定的特征点对齐商品再进行识别就很有意义。能提高商品识别的准确率。
本发明的技术方案是：一种基于无监督特征点检测的商品对齐方法，其中，包括以下步骤：
S1.特征点检测训练数据准备；
S2.检测框模型训练；
S3.特征点检测；
S4.根据特征点坐标进行仿射变换对齐。
现有的一些商品有监督特征点检测特征点方法需要人工标注特征点的信息，成本很高，本方法可以用无监督的形式对商品的特征点进行建模；现有的一些商品识别系统对于商品是没有做对齐的，通过本方法做了对齐之后能提升识别准确率。
本发明保护一套基于图像检测的商品对齐技术，用无监督检测特征点的方法，对其他角度的商品数据做对齐，便于进行后续商品识别等操作。之前是用有监督人工标注特征点对齐或者没有做对齐技术。
与现有技术相比，有益效果是：本发明经过特征点检测对齐之后用在商品后续的识别网络上，相较于没做对齐直接识别准确率会明显更高，因为网络对于正向的物体比倾斜的物体更容易识别；对于现有的有监督特征点对齐，这个方法能节省标注成本。
附图说明
图1是本发明整体流程示意图。
图2是本发明R-FCN网络结构示意图。
图3是本发明特征点检测网络结构示意图。
图4是本发明模板关键点示意图。
图5是本发明仿射变换示意图。
图6是本发明对齐示意图。
图7是本发明特征点检测效果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
如图1所示，一种基于无监督特征点检测的商品对齐方法，其中，包括以下步骤：
S1.特征点检测训练数据准备；
S2.检测框模型训练；
S3.特征点检测；
S4.根据特征点坐标进行仿射变换对齐。
所述的步骤S1中，
网络爬虫获取目标商品原始数据；在京东淘宝商品评论用户晒照里爬取图片；
数据清洗，对爬取的图片进行数据清洗，挑选数据质量高的图片；
数据增广，对获得的数据通过网络生成各个方向的图片数据，目的是为了让后面的检测网络学习到各个方向上商品的物理结构。
如图2所示，步骤S2中，
选用R-FCN检测框架来训练检测模型：检测模型训练数据是带标注的3000张商品数据，设置ancor参数，检测框大小参数AN_SCALE＝[2，4，8，16，32]，检测框长宽比例AN_RATIO＝[0.5，1，2]，输入图像大小600x800，学习率0.001，使用NVIDIA 1080T显卡训练，训练最大迭代次数30000次。
如图3所示，特征点获取的方法主要采用了一篇论文里的方法，论文发表在2018cvpr，它主要是用在对齐之后的人脸图像上。这是主体的网络架构，采用的是hourglass网络，左上角是进行特征点检测，为得到有效的特征点，提出了几个约束。
所述的步骤S3中，包括
S31.特征点编码：特征点检测器，每一个特征点都有其对应的特征点检测器；Hourglass
获得原始检测分数图得到R：
R＝hourglassl(I；θl)∈Rg W×H×(K+1)；
S32.softmax归一化成概率：因为这个原始分数是无界的，用softmax归一化成概率，得到检测置信度图D，Dk就是D的第K个channel，是weight map，Dk(u,v)是第k个channel中坐标为(u，v)的值；
Figure GDA0003525456250000031
S33.加权平均坐标作为第k个特征点的位置(Xk，Yk)，这个公式可以实现梯度反传：可以实现从下游神经网络通过特征点坐标向后传播梯度；因为Dk在实际中很少出现完全集中在单个像素中，或者完全均匀分布这种情况；
Figure GDA0003525456250000032
为了让得到的特征点有效，提出了几个软约束：
(1)第一个浓度约束：简而言之就是使landmark尽可能地突出出来。计算两个坐标轴上坐标的方差，设计如图示loss是为了使方差尽可能小。det.u是沿着x轴的方差，det.v是沿着y轴的方差。这个损失就是各向同性高斯分布(每个分量的方差相同)的熵的指数。更低的熵值意味着peak处更多的分布，也就是使landmark尽可能地突出出来。
Figure GDA0003525456250000033
(2)第二个分离约束：由于刚开始训练时候的输入的是random distribution，故可能导致加权的landmark的平均坐标聚集在中心周围，可能会导致separation效果不好，因此而落入local optima，故设计了该loss。将不同channel间的坐标做差值，使得不同landmark尽可能不重叠，理想情况下，自动编码器训练目标可以自动检测得到K个特征点在不同局部区域分布，从而可以重建整个图像。
Figure GDA0003525456250000034
(3)第三个等变约束，就是某一个landmard在另一个image中变换坐标时应该仍能够很好地定位，应的视觉语义仍然存在于变换后的图像中。g(，)是一个坐标转换，将(Xk，Yk)映射到g(Xk‘，Yk’)最理想的就是二者相等。作者用随机参数的薄板样条函数(TPS)来模拟g。我们使用随机平移，旋转和缩放来确定TPS
Figure GDA0003525456250000035
如图4-7所示，所述的步骤S4中，将正向监测到的特征点作为模板的特征点坐标，利用其他角度检测到的特征点和模板的特征点，计算仿射矩阵H；然后利用H，直接计算得到对齐后的图像。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于无监督特征点检测的商品对齐方法，其特征在于，包括以下步骤：
S1.特征点检测训练数据准备；
S2.检测框模型训练；
S3.特征点检测；
S31.特征点编码：特征点检测器，每一个特征点都有其对应的特征点检测器；Hourglass
获得原始检测分数图得到R：
R＝hourglassl(I；θl)∈Rg W×H×( K+1)；
S32.softmax归一化成概率：因为这个原始分数是无界的，用softmax归一化成概率，得到检测置信度图D，Dk就是D的第K个channel，是weight map，Dk(u,v)是第k个channel中坐标为(u，v)的值；
Figure FDA0003525456240000011
S33.加权平均坐标作为第k个特征点的位置(Xk，Yk)，这个公式可以实现梯度反传：可以实现从下游神经网络通过特征点坐标向后传播梯度；因为Dk在实际中很少出现完全集中在单个像素中，或者完全均匀分布这种情况；
Figure FDA0003525456240000012
S4.根据特征点坐标进行仿射变换对齐。
2.根据权利要求1所述的一种基于无监督特征点检测的商品对齐方法，其特征在于：所述的步骤S1中，
网络爬虫获取目标商品原始数据；
数据清洗，对爬取的图片进行数据清洗，挑选数据质量高的图片；
数据增广，对获得的数据通过网络生成各个方向的图片数据，目的是为了让后面的检测网络学习到各个方向上商品的物理结构。
3.根据权利要求1所述的一种基于无监督特征点检测的商品对齐方法，其特征在于：所述的步骤S2中，
选用R-FCN检测框架来训练检测模型：检测模型训练数据是带标注的3000张商品数据，设置ancor参数，检测框大小参数AN_SCALE＝[2，4，8，16，32]，检测框长宽比例AN_RATIO＝[0.5，1，2]，输入图像大小600x800，学习率0.001，使用NVIDIA 1080T显卡训练，训练最大迭代次数30000次。
4.根据权利要求1所述的一种基于无监督特征点检测的商品对齐方法，其特征在于：所述的步骤S4中，将正向监测到的特征点作为模板的特征点坐标，利用其他角度检测到的特征点和模板的特征点，计算仿射矩阵H；然后利用H，直接计算得到对齐后的图像。
CN201811027439.8A 2018-09-04 2018-09-04 一种基于无监督特征点检测的商品对齐方法 Active CN109191255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811027439.8A CN109191255B (zh) 2018-09-04 2018-09-04 一种基于无监督特征点检测的商品对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811027439.8A CN109191255B (zh) 2018-09-04 2018-09-04 一种基于无监督特征点检测的商品对齐方法

Publications (2)

Publication Number Publication Date
CN109191255A CN109191255A (zh) 2019-01-11
CN109191255B true CN109191255B (zh) 2022-04-15

Family

ID=64914476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811027439.8A Active CN109191255B (zh) 2018-09-04 2018-09-04 一种基于无监督特征点检测的商品对齐方法

Country Status (1)

Country Link
CN (1) CN109191255B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728237B (zh) * 2019-10-12 2022-06-07 创新奇智(成都)科技有限公司 不使用预先标定框的商品检测方法
EP4085427A2 (en) * 2020-02-06 2022-11-09 Apple Inc. Neural rendering
US11967015B2 (en) 2020-02-06 2024-04-23 Apple Inc. Neural rendering
CN111538707A (zh) * 2020-04-29 2020-08-14 济南浪潮高新科技投资发展有限公司 一种用于区块链存储的商品指纹特征压缩的方法
CN112613446B (zh) * 2020-12-29 2023-03-31 贝壳技术有限公司 一种人脸对齐的方法、装置、电子设备及存储介质
CN113095333B (zh) * 2021-02-25 2022-08-05 北京邮电大学 无监督特征点检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2634749A2 (en) * 2012-03-02 2013-09-04 Sony Corporation Automatic image alignment
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN107463945A (zh) * 2017-07-12 2017-12-12 浙江大学 一种基于深度匹配网络的商品种类识别方法
CN107644227A (zh) * 2017-05-18 2018-01-30 南京财经大学 一种用于商品图像搜索的融合多视角的仿射不变描述子
CN108229490A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN108305146A (zh) * 2018-01-30 2018-07-20 杨太立 一种基于图像识别的发型推荐方法及系统
CN108345654A (zh) * 2018-01-23 2018-07-31 南京邮电大学 一种基于半监督阶梯网络的图像哈希检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323374A1 (en) * 2016-05-06 2017-11-09 Seok Hyun Park Augmented reality image analysis methods for the virtual fashion items worn

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2634749A2 (en) * 2012-03-02 2013-09-04 Sony Corporation Automatic image alignment
CN106355188A (zh) * 2015-07-13 2017-01-25 阿里巴巴集团控股有限公司 图像检测方法及装置
CN108229490A (zh) * 2017-02-23 2018-06-29 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN107644227A (zh) * 2017-05-18 2018-01-30 南京财经大学 一种用于商品图像搜索的融合多视角的仿射不变描述子
CN107463945A (zh) * 2017-07-12 2017-12-12 浙江大学 一种基于深度匹配网络的商品种类识别方法
CN108345654A (zh) * 2018-01-23 2018-07-31 南京邮电大学 一种基于半监督阶梯网络的图像哈希检索方法
CN108305146A (zh) * 2018-01-30 2018-07-20 杨太立 一种基于图像识别的发型推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"位图映射法在长话流量流向分析中的应用";潘嵘等;《计算机应用研究》;20050210(第2期);第170-172页 *

Also Published As

Publication number Publication date
CN109191255A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109191255B (zh) 一种基于无监督特征点检测的商品对齐方法
Niu et al. Unsupervised saliency detection of rail surface defects using stereoscopic images
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
WO2021142902A1 (zh) 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN108764048B (zh) 人脸关键点检测方法及装置
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN108830171B (zh) 一种基于深度学习的智能物流仓库引导线视觉检测方法
CN109800648A (zh) 基于人脸关键点校正的人脸检测识别方法及装置
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN104463249B (zh) 一种基于弱监督学习框架的遥感图像机场检测方法
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
CN106909902A (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN104077596A (zh) 一种无标志物跟踪注册方法
CN113947714B (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN103729620B (zh) 一种基于多视角贝叶斯网络的多视角行人检测方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN109919007A (zh) 一种生成红外图像标注信息的方法
CN110751077A (zh) 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法
CN103810500A (zh) 一种基于有监督学习概率主题模型的地点图像识别方法
CN110223310A (zh) 一种基于深度学习的线结构光中心线和箱体边缘检测方法
Liu et al. D-CenterNet: An anchor-free detector with knowledge distillation for industrial defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant