CN110826566B - 一种基于深度学习的目标切片提取方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的目标切片提取方法，该方法包括：基于原始图像确定待提取的目标，针对目标搭建深度卷积神经网络并进行训练；将原始图像输入训练好的深度卷积神经网络，通过深度卷积神经网络对含背景的原始图像进行像素级目标背景分离，实现目标分割；根据分离背景得到的目标图像和切片预定尺寸，获取目标切片图像并调整其尺寸；判断调整后的目标切片图像是否存在缺失像素，如存在，则计算缺失尺寸并进行相应的缺失填充，得到最终的目标切片。该方法实现了目标自动检索、像素分割，支持批量制备目标切片，保证目标切片提取过程中不会被随意裁剪、缩放的同时，实现目标切片提取的智能化、高效化。

Description

一种基于深度学习的目标切片提取方法

技术领域

本发明涉及目标识别技术领域，尤其涉及一种基于深度学习的目标切片提取方法、计算机设备及计算机可读存储介质。

背景技术

在目标识别技术领域，目标切片是构建目标数据库、目标特征库的基础，是目标分类、识别应用以及深度学习技术研究必不可少的数据资源。近年来，各科研机构、高校及互联网企业对于目标特征、目标识别等内容研究的需求不断扩大，目标数据库、目标特征库的建立与扩充以及深度学习技术的发展迫在眉睫，对于目标切片的需求量也越来越大，且通常会对于切片的尺寸规格、背景提出不同的特定要求。因此，快速将采集的原始数据处理为有效的目标切片，将有助于推动目标数据库、目标特征库的建立，以及目标分类、识别技术和深度学习技术的研究发展。

目前，具有特殊要求目标切片的提取主要通过操作人借助Photoshop等软件手动完成，工作量大，需投入大量的人力、财力，且提取效率低，耗费时间长，同时由于操作人经验差异，提取的目标切片质量无法得到保障。

发明内容

本发明的目的是针对上述至少一部分问题，提供了一种目标切片提取方法，保证目标切片制备过程中不会被随意裁剪、缩放以免破坏其特征信息，实现智能化、高效率提取目标切片。

为了实现上述目的，本发明提供了一种基于深度学习的目标切片提取方法，包括如下步骤：

S1、基于原始图像确定待提取的目标，针对目标搭建深度卷积神经网络并进行训练；

S2、将原始图像输入训练好的深度卷积神经网络，通过深度卷积神经网络对含背景的原始图像进行像素级目标背景分离，实现目标分割；

S3、根据分离背景得到的目标图像和切片预定尺寸，获取目标切片图像并调整其尺寸；

S4、判断调整后的目标切片图像是否存在缺失像素，如存在，则计算缺失尺寸并进行相应的缺失填充，得到最终的目标切片。

优选地，所述步骤S2中，对含背景的原始图像进行像素级目标背景分离后，将目标图像背景区域填充为纯色，获得纯净背景的目标图像。

优选地，所述步骤S3中，获取目标切片图像并调整其尺寸时，将分割得到的目标区域图像作为目标切片图像，或将分离背景得到的目标图像作为目标切片图像。

优选地，所述步骤S3中，将分割得到的目标区域图像作为目标切片图像并调整其尺寸包括：

根据分离背景得到的目标图像进行目标区域切割和边缘尺寸判识，确定目标最小外接矩形框尺寸；

比对目标最小外接矩形框尺寸与切片预定尺寸；

若目标最小外接矩形框尺寸超出切片预定尺寸，则计算其与切片预定尺寸的比值以确定压缩比，并基于该压缩比对切割得到的目标区域图像进行压缩。

优选地，所述步骤S3中，将分离背景得到的目标图像作为目标切片图像并调整其尺寸时，根据原始图像宽高比，等比压缩分离背景得到的目标图像至其宽、高尺寸均小于等于切片预定尺寸。

优选地，所述步骤S4中，计算缺失尺寸并进行相应的缺失填充时，若调整后的目标切片图像宽度、高度缺失尺寸为偶数，采用对侧等尺度填充；若调整后的目标切片图像缺失尺寸为奇数，令其中一侧多出一像素尺度后，再两侧等尺度填充。

优选地，所述步骤S4中，若目标切片图像缺失尺寸为奇数：

当宽度缺失尺寸为奇数时，缺失填充令右侧边缘较左侧边缘多一个像素尺度；当高度缺失尺寸为奇数时，缺失填充令下侧边缘较上侧边缘多一个像素尺度。

优选地，所述步骤S1包括：

基于原始图像确定待提取的目标，针对该目标收集相对应的目标图像，制备深度卷积神经网络的训练数据集；

进行深度学习环境配置和深度卷积神经网络搭建；

设置深度神经网络训练参数并进行模型训练。

本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本发明的上述技术方案具有如下优点：本发明提出了一种基于深度学习的目标切片提取方法，首先基于原始图像进行深度卷积神经网络训练；接着通过训练好的网络将目标从含背景的图像或大切片中分割出来；然后进行目标切片图像背景设定、尺寸等比例调整及缺失填充；最终获得符合要求的目标切片。该方法支持批量制备目标切片，可自定义目标切片大小、背景和格式等，保证目标切片提取过程中不会被随意裁剪、缩放等，以免破坏其特征信息，还可以实现目标切片提取的智能化、高效化，以满足深度学习训练及目标特征库建立对大量目标切片的需求。

附图说明

图1是本发明实施例中基于深度学习的目标切片提取方法流程图；

图2是本发明实施例中搭建的深度卷积神经网络分割目标示意图；

图3(a)是本发明实施例中模式一对应的目标图像尺寸判定及调整机制示意图；

图3(b)是本发明实施例中模式二对应的目标图像尺寸判定及调整机制示意图；

图4是本发明实施例中缺失像素填充机制示意图；

图5是本发明实施例中两种模式下目标切片制备效果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供的一种基于深度学习的目标切片提取方法，包括如下步骤：

S1、基于原始图像确定待提取的目标，针对目标搭建深度卷积神经网络并进行训练。

此步骤中，待提取目标切片的原始图像可以是采集设备直接获取的采集图像，也可以是由采集图像经初步分割得到的大尺寸切片，不限图像尺寸和格式。

优选地，步骤S1包括：首先，根据原始图像确定需要分割的目标，针对该目标收集相对应的目标图像，制备深度卷积神经网络的训练数据集。目标图像数量(即训练数据集样本)多少可由实际情况确定，图像数量越多，相对应地，训练后神经网络的分割目标的分割效果也会更好。然后，进行深度学习环境配置和深度卷积神经网络搭建。最后，设置神经网络训练参数，如迭代次数、学习率等参数，并进行深度卷积神经网络分割模型训练，模型训练耗时与训练参数设置及环境配置性能相关。

特别地，步骤S1中，搭建深度卷积神经网络并进行训练时，可以进行单一目标种类训练，也可进行多目标多类型训练，具有一次训练可永久使用特点。此外，可以根据目标类型的增加，进行网络增量训练，同时也可以随时进行网络模型的更新升级，在此不再进一步限定具体可采用的深度卷积神经网络结构。在一个优选的实施方式中，可采用如图2所示的深度卷积神经网络结构，共有卷积层(CONV)16层，进行3次最大池化(maxpool)操作，以目标为汽车为例，如图2所示，通过训练后的神经网络可将汽车目标由含背景的图像中分割出来。

S2、将原始图像输入训练好的深度卷积神经网络，通过深度卷积神经网络对含背景的原始图像进行像素级目标背景分离，实现目标分割。

此步骤中，将含有背景和目标的原始图像输入训练后的深度卷积神经网络，通过训练好的神经网络将目标从含背景的图像或大尺寸切片的背景中分割提取出来，并进行目标轮廓计算、判断，消除背景干扰。利用神经网络可实现目标自动检索、像素分割，确保目标的完整性，不破坏目标的特征信息。

提取目标时，使用者可以根据实际需要，自定义提取的目标图像的背景、格式。优选地，步骤S2中，对含背景的原始图像进行像素级目标背景分离后，将目标图像中目标之外的背景区域填充为纯色，从而获得纯净背景的目标图像。进一步优选地，默认设置背景区域填充为黑色，目标图像格式为.jpg，便于后续处理。此步骤中目标分割得到的纯净背景目标图像未经缩放或拉伸、变形，与步骤S1中输入的原始图像等大。

S3、根据分离背景得到的目标图像和切片预定尺寸，获取目标切片图像并调整其尺寸。

优选地，步骤S3中获取目标切片图像并调整其尺寸时，根据实际需要可采用两种不同的模式：模式一、以目标为基准进行操作，将(自目标图像中)分割得到的目标区域图像作为目标切片图像进行调整，或模式二、以原始图像为基准进行操作，将分离背景得到的目标图像直接作为目标切片图像进行调整。其中，对于以目标为基准进行操作的模式一，该方案多用于建立模型数据库、用于制备匹配模板等研究与工作，本发明将首先进行目标区域切割及边缘尺寸判识，并通过目标尺寸与切片预定尺寸进行比对，在以目标为核心基础上，对目标图像进行尺寸等比调整。对于以原始图像为基准进行操作的模式二，该方案多用于深度学习方法进行目标分类或网络设计、模式创新验证的数据集制备，本发明将分割目标后的图像对标预定切片尺寸要求直接进行尺度调整。

进一步地，步骤S3中，以目标为基准进行操作，将分割得到的目标区域图像作为目标切片图像并调整其尺寸时，包括如下步骤：

首先，根据步骤S2中分离背景得到的目标图像进行目标区域切割和边缘尺寸判识，确定目标最小外接矩形框尺寸。此步骤将与原始图像等大的纯净背景目标图像切割至目标最小外接矩形框尺寸，得到目标区域图像。

请参阅图3(a)，图3(a)为本发明实施例中模式一对应的目标图像尺寸判定及调整机制示意图。然后，比对目标最小外接矩形框尺寸，即切割得到的目标区域图像尺寸(宽W、高H)与切片预定尺寸(宽SizeW、高SizeH)的大小关系。根据比对结果，可划分为四类情况，即：目标区域宽度、高度均大于预定尺寸(W＞SizeW，H＞SizeH)，目标区域宽度大于预定尺寸、高度小于等于预定尺寸(W＞SizeW，H≤SizeH)，目标区域高度大于预定尺寸、宽度小于等于预定尺寸(W≤SizeW，H＞SizeH)，目标区域宽度、高度均小于等于预定尺寸(W≤SizeW，H≤SizeH)。

最后，若目标最小外接矩形框尺寸超出切片预定尺寸，即针对上述(除W≤SizeW，H≤SizeH之外的)前三种情况，则计算目标最小外接矩形框尺寸与切片预定尺寸的比值以确定压缩比，计算时以目标区域的宽度W与切片预定宽度宽SizeW、目标区域的高度H与切片预定高度SizeH之中比值较大者为压缩比，并基于该压缩比对切割得到的目标区域图像进行压缩，使其初步符合切片预定尺寸要求，即不超出切片预定尺寸，满足W≤SizeW，H≤SizeH，压缩过程中保持目标区域的宽高比不发生变化，确保目标不发生变形。此部分及图3(a)中，宽度W、高度H表示调整前的目标切片图像尺寸，即切割得到的目标区域图像尺寸，也即目标最小外接矩形框尺寸中的宽度、高度。

本发明所提供的方法中，切片预定尺寸可根据具体情况设定，进一步地，目标区域于切片中的占比大小也可由使用者根据需要进行自定义，但为防止目标畸变或非真实填充，优选目标区域只压缩不扩放。

请参阅图3(b)，图3(b)为本发明实施例中模式二对应的目标图像尺寸判定及调整机制示意图。进一步地，步骤S3中，以原始图像为基准进行操作，将分离背景得到的目标图像作为目标切片图像并调整其尺寸时，根据原始图像宽高比，将分离背景得到的目标图像(与原始图像等大)对标预定切片尺寸要求直接进行尺度等比调整，等比压缩分离背景得到的目标图像至其符合切片预定尺寸，即压缩目标图像使其宽度W、高度H尺寸均小于等于切片预定尺寸(W≤SizeW，H≤SizeH)。该方式可在不损伤原始图像高宽比，保证目标区域不会发生畸变的情况下，使得切片尺寸符合预定要求。此部分及图3(b)中，宽度W、高度H表示调整前的目标切片图像尺寸，即分离背景得到的目标图像尺寸，也即原始图像的宽度、高度。

S4、判断调整后的目标切片图像是否存在缺失像素，如存在，则计算缺失尺寸并进行相应的缺失填充，得到最终的目标切片。

步骤S3中获得的目标切片在一定程度上满足切片预定尺寸要求，但在一些情况下，由于防止目标畸变而进行了图像压缩，或目标区域较小等，可能会使得到的目标切片图像不足切片预定尺寸，即出现目标切片图像高度和/或宽度小于切片预定尺寸的现象。对于目标切片图像不足切片预定尺寸的情况，即认为目标切片图像存在缺失像素。

本发明对此进行了缺失填充机制研究，并做出如下填充方案：

如图4所示，步骤S4中计算缺失尺寸并进行相应的缺失填充时，经过步骤S3调整后的目标切片图像宽度W、高度H相较于预定切片尺寸(SizeW、SizeH)初始状态可分为四种，其中只有W＝SizeW、H＝SizeH的情况不需要进行缺失填充(此部分及图4中，宽度W、高度H表示步骤S3调整后的目标切片图像尺寸)。

根据可能出现的不同状况进行填充分流，提出相应的填充方案，如图4所示，对于经过步骤S3调整后的目标切片图像宽度W、高度H相较于预定切片尺寸缺失尺寸为偶数时，则采用对侧等尺度填充，即宽度缺失尺寸(SizeW-W)为偶数像素时，采取对(经步骤S3调整后的)目标切片图像左、右对侧边缘等尺度填充，填充尺度包括针对宽度的paddingW＝SizeW-W，目标切片图像左侧边缘、右侧边缘均填充paddingW/2，补齐宽度缺失尺寸；高度缺失尺寸(SizeH-H)为偶数像素时，采取目标切片图像上、下对侧边缘等尺度填充，填充尺度包括针对高度的paddingH＝SizeH-H，目标切片图像上侧边缘、下侧边缘均填充paddingH/2，补齐高度缺失尺寸。

对于经过步骤S3调整后的目标切片图像宽度W、高度H相较于预定切片尺寸(SizeW、SizeH)缺失尺寸为奇数时，则令其中一侧多出一像素尺度后，再两侧等尺度填充，即宽度缺失尺寸(SizeW-W)为奇数时，左侧边缘较右侧边缘多一个像素尺度填充，或右侧边缘较左侧边缘多一个像素尺度填充，优选后者，如图4所示，目标切片图像左侧边缘填充(paddingW-1)/2、右侧边缘填充(paddingW+1)/2，补齐宽度缺失尺寸；高度缺失尺寸(SizeH-H)为奇数时，上侧边缘较下侧边缘多一个像素尺度填充，或下侧边缘较上侧边缘多一个像素尺度填充，优选后者，如图4所示，目标切片图像上侧边缘填充(paddingH-1)/2、下侧边缘填充(paddingH+1)/2，补齐高度缺失尺寸。上述缺失填充机制能够使得最终目标切片满足预定图像尺寸要求，并使得到的目标图像于最终得到的目标切片中尽量居中，便于目标切片的应用，如二次提取、裁决等。

在一个具体的实施方式中，以汽车目标为例，采用本发明所提供的方法进行了实际提取目标切片操作，目标切片制备整体实现流程及实现效果图如图5所示，原始图像是尺寸为500×312的含背景图像，利用深度神经网络实现目标自动检索、像素分割，得到大小500×312的纯净背景汽车图像，再根据上述两种不同模式，分别制备出300×300的目标切片。本发明所提供的该方法在目标切片提取中，整体过程顺利流畅，可以实现目标切片的有效、准确制备，且模式一、模式二对应目标区域在最终的目标切片中占比有所不同，使用者可根据需要自定义切片大小、背景和格式等，使目标切片的制备更加智能化、高效化。

综上所述，①本发明所提供的基于深度学习的目标切片提取方法利用深度卷积网络进行目标的自动分割提取，减免了人工手动从大量图像数据中进行目标的检索、裁剪，节省人力。②该方法进行了目标尺度判定、图像尺度调整、填充等程序设计，在保证目标质量的情况下实现目标切片自动制备，避免人工借助截图软件进行手动裁剪、尺度调整，同时也避免因人工拉拖、缩放导致目标几何形状变化失去研究价值。③该方法可进行基于目标为主(模式一)和原始图像为主(模式二)的不同方案的目标切片制备，以满足实际应用和科研工作中对切片数据的不同需求。④该方法可实现切片批量制备且可满足用户自定义需求，整体提高了切片制备的智能化和工作效率。

特别地，在本发明一些优选的实施方式中，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式中所述的基于深度学习的目标切片提取方法的步骤。

在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中所述的基于深度学习的目标切片提取方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程，在此不再重复说明。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于深度学习的目标切片提取方法，其特征在于，该方法包括如下步骤：

S1、基于原始图像确定待提取的目标，针对目标搭建深度卷积神经网络并进行训练；

S2、将原始图像输入训练好的深度卷积神经网络，通过深度卷积神经网络对含背景的原始图像进行像素级目标背景分离，实现目标分割；

S3、根据分离背景得到的目标图像和切片预定尺寸，获取目标切片图像并调整其尺寸；

S4、判断调整后的目标切片图像是否存在缺失像素，如存在，则计算缺失尺寸并进行相应的缺失填充，得到最终的目标切片；

其中，所述步骤S3中，获取目标切片图像并调整其尺寸时，将分割得到的目标区域图像作为目标切片图像，或将分离背景得到的目标图像作为目标切片图像；

将分割得到的目标区域图像作为目标切片图像并调整其尺寸包括：

根据分离背景得到的目标图像进行目标区域切割和边缘尺寸判识，确定目标最小外接矩形框尺寸；

比对目标最小外接矩形框尺寸与切片预定尺寸；

若目标最小外接矩形框尺寸超出切片预定尺寸，则计算其与切片预定尺寸的比值以确定压缩比，并基于该压缩比对切割得到的目标区域图像进行压缩；

将分离背景得到的目标图像作为目标切片图像并调整其尺寸时，根据原始图像宽高比，等比压缩分离背景得到的目标图像至其宽、高尺寸均小于等于切片预定尺寸。

2.根据权利要求1所述的方法，其特征在于：所述步骤S2中，对含背景的原始图像进行像素级目标背景分离后，将目标图像背景区域填充为纯色，获得纯净背景的目标图像。

3.根据权利要求1所述的方法，其特征在于：所述步骤S4中，计算缺失尺寸并进行相应的缺失填充时，若调整后的目标切片图像宽度、高度缺失尺寸为偶数，采用对侧等尺度填充；若调整后的目标切片图像缺失尺寸为奇数，令其中一侧多出一像素尺度后，再两侧等尺度填充。

4.根据权利要求3所述的方法，其特征在于，所述步骤S4中，若目标切片图像缺失尺寸为奇数：

当宽度缺失尺寸为奇数时，缺失填充令右侧边缘较左侧边缘多一个像素尺度；当高度缺失尺寸为奇数时，缺失填充令下侧边缘较上侧边缘多一个像素尺度。

5.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

基于原始图像确定待提取的目标，针对该目标收集相对应的目标图像，制备深度卷积神经网络的训练数据集；

进行深度学习环境配置和深度卷积神经网络搭建；

设置深度神经网络训练参数并进行模型训练。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

Images