CN109145911A - 一种街拍照片目标人物提取方法 - Google Patents

Abstract

本专利申请属于计算机视觉和模式识别领域，具体实现了一种针对于街拍照片的目标人物提取的方法，该目标提取方法包含以下步骤：s1、输入一张街景照片，首先使用Region Proposal Network(RPN)产生候选区域。s2、利用fast rcnn的卷积层提取出这幅图像的整体特征，得到图像中每个候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正。s3、得到每个候选区域的特征图后，对每个候选区域进行预测，得到其类别以及区域包围盒。s4、并对每一个候选区域使用设计的FCN框架预测候选区域每个像素点所属类别最终得到图像实例分割结果。s5、利用分割结果得到的掩模矩阵以及人工交互提取出目标人物的单独图像。方法的有益效果是：利用现有的计算机视觉技术方便人们快捷的从街景照片中得到目标人物的单一图像进行服装检索，不用再麻烦的人工截取。

Description

一种街拍照片目标人物提取方法

技术领域

本发明属于计算机图形与图像处理领域，涉及一种街拍照片的目标人物提取方法。

背景技术

如今随着网络购物的发展，跨域的服装检索已成为网络购物的一个重要方面，跨域的服装检索是指从日常街拍的衣服照片检索出网络商城的对应的同样的衣服商品。如淘宝京东等网络购物平台的拍摄服装照片并检索对应商品的功能。但是在对服装进行检索时，现有的方法都是针对单个目标进行检索，而在日常生活中我们往往不能方便的单一拍摄自己喜欢的衣服的照片，即在街拍照片中往往有许多非感兴趣人物和服装。现在的跨域服装检索技术多是针对单一的人物图像进行服装分析和检索，从而极大的限制了服装检索的便利性。

因此，有必要设计一个从街拍照片中提取目标任务的方法，能够方便的从照片中的很多人物中提取出目标人物的单一图像，从而解决现今所面临的问题。

发明内容

针对现有方法存在的不足之处，本方法的目的在于提出一种从街拍照片中提取出感兴趣目标人物的单一图像的方法，其采用如下方案：

基于一种街拍照片目标人物提取的方法，其采用如下方案：

基于一种街拍照片目标人物提取的方法，包括如下的步骤：

s1、输入一张街景照片，首先使用Region ProposalNetwork(RPN)产生候选区域。

s2、利用fastrcnn的卷积层提取出这幅图像的整体特征，得到图像中每个候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正。

s3、得到每个候选区域的特征图后，对每个候选区域进行预测，得到其类别以及区域包围盒。

s4、并对每一个候选区域使用设计的FCN框架预测候选区域每个像素点所属类别最终得到图像实例分割结果。

s5、利用分割结果得到的掩模矩阵以及人工交互提取出目标人物的单独图像

2、根据权利要求1所述的针对街拍照片的目标人物提取方法，其特征在于，所述步骤s1中，对于街景图像的提取候选区域处理操作进一步包括：

s11、从基础网络提取的街景图像的第五卷积层特征进入RPN后分为两个分支，其中一个分支进行针对特征图的每一个位置预测，另一分支预测该包围盒所框定的区域属于前景和背景的概率。

s12、利用非极大值抑制，生成一系列的候选区域

3、根据权利要求2所述的针对街拍照片的目标人物提取方法，其特征在于，所述步骤s2进一步包括：

s21、利用卷积层的输出作为图像的整体特征。

s22、根据提取得到的候选区域的位置与大小得到每一个候选区域的特征。

4、根据权利要求3所述的针对街拍照片的目标人物提取方法，其特征在于，所述步骤s3进一步包括：

s31、利用训练好的神经网络，对所有的候选区域进行处理，这样筛选出正确的候选区域以及对应的包围盒。

s32、利用神经网络的分类结果，可以得到每一个包围盒所圈定的对象的类别。

5、根据权利要求4所述的针对街拍照片的目标人物提取方法，其特征在于我们只选取包围盒类别为人物的包围盒进行图像分割，利用全连接卷积神经网络对候选框中的物体进行实例分割得到最终的人物的掩模矩阵。

6、根据权利要求4以及5针对街拍照片的目标人物提取方法，我们根据得到的不同物体的类别以及类别为人物的掩模矩阵，利用简单的人工交互，即可提取出目标人物的单独图像，便于下一步的服装检索。其特征在于，所述步骤s5进一步包括：

s51、我们首先在输入的街景照片原图像中进行简单的交互选取，我们选定的方法是在目标人物部分双击。

s52、我们保存双击所得到的点的坐标，利用得到的掩模矩阵，我们判断出需要提取的目标人物的关键位置。

s53、我们利用关键位置的掩模矩阵对图像进行处理，进行简单的图像截取处理，得到掩模矩阵对应的图像原值，并生成单一的目标人物图像。

本发明具有如下优点：

本发明从计算机视觉的方法出发，目的在于从包含很多物体的街景照片中方便快捷的提取出人们真正想进行检索出商品的目标对象。我们仔细研究了当前各大网络购物平台的以图搜图技术，发现在服装检索的时候，我们输入的图像必须是只包含了想要的服装的单一的照片，但是在日常生活中，我们往往看到别人穿着自己喜欢的衣服的时候无法去单独要求对方停下来让自己拍照，因此大部分人选择距离较远的拍摄一张街景照片，这样的照片不仅包含自己中意的服装，还包含有很多别的行人。我们就需要自己在手机上或者利用电脑对图片进行截取，这样费时费力，很不方便，我们的发明就是从这一点出发，利用现有的计算机视觉技术方便人们快捷的从街景照片中得到目标人物的单一图像，不用再麻烦的人工截取。

附图说明

图1为本发明中街拍照片目标人物提取方法流程图；

图2为街景照片分割图；

图3为目标人物图像提取效果图；

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

结合图1，图2和图3结合所示，对于街拍照片进行目标人物提取的方法包括如下步骤：

s1、输入一张街景照片，首先使用Region Proposal Network(RPN)产生候选区域。

s2、利用fast rcnn的卷积层提取出这幅图像的整体特征，得到图像中每个候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正。

s3、得到每个候选区域的特征图后，对每个候选区域进行预测，得到其类别以及区域包围盒。

s4、并对每一个候选区域使用设计的FCN框架预测候选区域每个像素点所属类别最终得到图像实例分割结果。

s5、利用分割结果得到的掩模矩阵以及人工交互提取出目标人物的单独图像

本发明对于街拍照片进行目标人物提取的方法流程图如图1所示。再执行到s4的时候我们可以得到对于街景照片中属于人物的分割图像，下一步我们进行人工简单交互方式选取目标人物所在位置，经过s5的掩模处理之后，我们就可以得到目标人物的单独图像以便进行下一步的服装检索。

Claims (6)

1.针对街拍照片的目标人物提取方法，其特征在于，包括以下步骤：

s1、输入一张街景照片，首先使用Region Proposal Network(RPN)产生候选区域。

s2、利用fast rcnn的卷积层提取出这幅图像的整体特征，得到图像中每个候选区域的特征图，对每一个候选区域使用ROIAlign进行像素校正。

s3、得到每个候选区域的特征图后，对每个候选区域进行预测，得到其类别以及区域包围盒。

s4、并对每一个候选区域使用设计的FCN框架预测候选区域每个像素点所属类别最终得到图像实例分割结果。

s5、利用分割结果得到的掩模矩阵以及人工交互提取出目标人物的单独图像。

2.根据权利要求1所述的针对街拍照片的目标人物提取方法，其特征在于，所述步骤s1中，对于街景图像的提取候选区域处理操作进一步包括：

s11、从基础网络提取的街景图像的第五卷积层特征进入RPN后分为两个分支，其中一个分支进行针对特征图的每一个位置预测，另一分支预测该包围盒所框定的区域属于前景和背景的概率。

s12、利用非极大值抑制，生成一系列的候选区域。

3.根据权利要求2所述的针对街拍照片的目标人物提取方法，其特征在于，所述步骤s2进一步包括：

s21、利用卷积层的输出作为图像的整体特征。

s22、根据提取得到的候选区域的位置与大小得到每一个候选区域的特征。

4.根据权利要求3所述的针对街拍照片的目标人物提取方法，其特征在于，所述步骤s3进一步包括：

s31、利用训练好的神经网络，对所有的候选区域进行处理，这样筛选出正确的候选区域以及对应的包围盒。

s32、利用神经网络的分类结果，可以得到每一个包围盒所圈定的对象的类别。

5.根据权利要求4所述的针对街拍照片的目标人物提取方法，其特征在于我们只选取包围盒类别为人物的包围盒进行图像分割，利用全连接卷积神经网络对候选框中的物体进行实例分割得到最终的人物的掩模矩阵。

6.根据权利要求4以及5针对街拍照片的目标人物提取方法，我们根据得到的不同物体的类别以及类别为人物的掩模矩阵，利用简单的人工交互，即可提取出目标人物的单独图像，便于下一步的服装检索。其特征在于，所述步骤s5进一步包括：

s51、我们首先在输入的街景照片原图像中进行简单的交互选取，我们选定的方法是在目标人物部分双击。

s52、我们保存双击所得到的点的坐标，利用得到的掩模矩阵，我们判断出需要提取的目标人物的关键位置。

s53、我们利用关键位置的掩模矩阵对图像进行处理，进行简单的图像截取处理，得到掩模矩阵对应的图像原值，并生成单一的目标人物图像。