CN109815977B - 大批量制作机器学习样本剪裁标记一体化方法 - Google Patents

Abstract

本发明公开了一种大批量制作机器学习样本剪裁标记一体化方法，包括以下步骤：(1)对于尺度大于500Kb而不能直接进行标记的原始图片，使用人机交互界面对原始图片进行剪裁操作，形成多张能直接进行标记的样本图片；(2)对步骤一得到的多个样本图片进行标记，每张样本图片均具有标记框；(3)保存每张样本图片的标记框的位置和大小，并生成xml文件。能方便快捷的进行原始样本的剪裁并调整样本尺度的工作，当原始图片中含有多个可训练的机器样本目标时可全部裁剪并规范化样本命名和尺度大小；在裁剪完成后训练样本的基础上，可直接进行训练目标的标记工作，鼠标和键盘的有效配合能极大提高标记效率，快速完成机器学习样本的制作。

Description

大批量制作机器学习样本剪裁标记一体化方法

技术领域

本发明方法涉及机器学习所需标签样本的制作方法，尤其涉及大批量需要人工标记的较为方便的样本标记制作方法。

背景技术

样本制作作为机器学习和深度学习技术的前期准备工作，具有耗时耗力但对机器学习训练后的模型影响极大的特点。尤其在现在的大数据时代，大批量的数据如何规整化整理成机器学习框架直接使用的样本更加困难，因数据量的大幅提高，每一份样本制作流程中微小的优化就可能节省大量的时间。因此合理使用键盘鼠标，优化样本制作的基本流程成为关键问题。

一般机器学习框架所需要的图像类样本，是大小合理、包含所训练目标的图片和记载该图片中训练目标位置和大小信息的文本文件。样本的合理尺度约为100kb左右，记载标记信息的文本文件多为xml类型，然而原始图片数据因来源不同而没有统一的规格，有一部分的原始图片数据尺寸较大，不能直接进行样本的标记，需进行裁剪。大部分机器学习应用者在实际制作样本时只能根据自己的需求临时编写工具，因其临时工具功能的有限性可能导致原始数据不能有效利用，并且费时费力。如果有完善的样本制作工具直接使用，会大大提高样本制作的效率。

现有技术中至少存在以下缺点和不足：

(1)当处理尺寸较大的图片时，大部分人直接进行切割，损害了部分可制作成样本的数据。

(2)大部分自己编写的工具操作较为繁琐，易引起误操作，不能合理利用鼠标键盘，耗时费力。

发明内容

针对现有技术，本发明提供了一种更加易用的大批量制作机器学习样本剪裁标记一体化方法，该方法利用Qt框架编写软件，以支持完整的样本制作，适用于不同的原始图片数据，更加高效的利用鼠标键盘，达到快速制作大批量样本的目的。

为了解决上述技术问题，本发明提出的一种大批量制作机器学习样本剪裁标记一体化方法，包括以下步骤：

步骤一、对于尺度大于500Kb而不能直接进行标记的原始图片，使用人机交互界面对原始图片进行剪裁操作，形成多张能直接进行标记的样本图片；

步骤二、对步骤一得到的多个样本图片进行标记，每张样本图片均具有标记框；

步骤三、保存每张样本图片的标记框的位置和大小，并生成xml文件。

进一步讲，本发明所述的大批量制作机器学习样本剪裁标记一体化方法，其中，步骤一包括以下步骤：

步骤1-1、读取原始图片信息，获得该原始图片数据的大小，分配能容纳该原始图片的内存，读入QImage类型的原始图片数据，并保存在内存中；

步骤1-2、将内存中QImage类型的数据转化为QPixmap类型的数据，并在可缩放的QScrollArea组件中显示，利用Qt框架中的事件过滤器机制进行滚轮函数的重新定义，使图片随滚轮的滚动以鼠标位置为中心进行缩放；

步骤1-3、当找到符合满足机器学习样本要求的原始图片位置后，响应键盘的空格信号，由QRubberband派生类生成半透明的子窗口，用来显示要裁剪的位置，并在子窗口的四角放置可更改窗口大小的QSizeGrip组件，利用鼠标进行快速调整窗口大小；

重写子窗口的鼠标消息响应虚函数，使得在原始图片范围内自由拖拽子窗口位置而不影响主窗口中的原始图片；在子窗口中放置用于显示此窗口大小的QLabel，用于提示样本图片的大小是否符合能直接进行标记的图片；

步骤1-4、利用鼠标右击信号来保存当前框选的图片，当框选的图片尺度大小不满足能直接进行标记的样本图片数据尺度时，利用QImage的图片压缩功能进行质量调节，使样本图片达到直接进行标记的图片的尺度要求；

步骤1-5、裁剪的样本图片被保存时，第一张被裁剪的图片需要指定保存的位置和名称，名称为罗马数字；保存完成后清除选框并开始新的裁剪选框循环直到此图片不再有符合标准的裁剪位置。

步骤二包括以下步骤：

步骤2-1、用QFileDialog模块下的getExistingDirectory函数来获取用户已经剪裁好的样本图片所存放的路径；扫描所有的样本图片并生成图片列表显示在文件列表区；读入自定义类别文件，明确标记选框的类型；

步骤2-2、载入工作准备完毕后，打开图片进行缩放适应当前窗口的大小，准备对图片进行标记工作，利用setMouseTracking函数打开对鼠标移动信号的追踪功能，实时获取鼠标位置，并生成十字交叉辅助虚线，在标记时依据虚线位置使标记选框的大小覆盖待标记目标；

步骤2-3、重载鼠标响应函数，在十字交叉线的辅助下获取鼠标两次点击的位置作为选框的左上角和右下角，显示出标记选框；此选框和步骤1-2中生成的裁剪选框功能相同，利用Qsizegrip组件和鼠标响应虚函数在图片尺寸下调节大小和位置；

当一张标记图片有多个相同类型的待标记目标，重写鼠标右击响应信号，在已标记框下右击即可复制当前标记框，追踪鼠标移动轨迹并跟随，放置到预期的位置后再次鼠标左击即可完成标记，其间，鼠标滚轮可调节标记选框的大小；重复操作完成多个同类型的目标标记工作；

步骤2-4、选框结束后显示类别列表对话框，设为模态对话框，在选择一种类别后隐藏，同时保留选框在图片上不消失，并且在选框列表中添加此选框；

步骤2-5、重复步骤2-2到2-4，直到当前图片无可标记对象，此时，切换到下一张待标记图片，切换前进行步骤三中保存xml文件操作；

步骤2-6、当鼠标移动到选框列表上的某一列时，在图片上高亮显示此列对应的标记选框，并使用setFocus函数设置当前焦点和raise函数在多个标记选框重叠的情况下把当前选框置顶；利用Qt的信号与槽机制，把选框列表项的双击信号和选框类别窗口显示函数连接起来，如此可在选类别时误点击的情况下提供修改类别的功能。

步骤三包括以下步骤：

步骤3-1、在切换到另一张图片或者点击保存按钮时触发保存xml文件的函数；如果窗口中并没有标记框则跳过保存工作直接进入下一张图片的标记；

步骤3-2、生成含有此图片信息的文件头，包括：图片的名称、尺寸大小、图像深度；利用xml模块中的createElement函数创建新的节点元素，标明节点名称，对每个节点利用createTextNode函数追加子节点保存相应的信息；

步骤3-3、把当前图片标记框的位置信息映射到真实图片的位置和大小，每一个标记选框对应一个节点元素，节点元素下追加选框的类型信息和位置大小信息；其中，位置大小信息包含选框的左上角坐标和右下角坐标；

步骤3-4、所有信息输入完成后，利用QFile模块将要保存的文件流信息保存为xml文件到当前图片文件夹，文件名与图片的名称保持一致；当再次打开此图片时也同时读入标记选框的信息并将其转换为选框显示在图片上。

与现有技术相比，本发明的有益效果是：

(1)本方法能够方便快捷的进行原始样本的剪裁并调整样本尺度的工作，当原始样本图片中含有多个可训练的机器样本目标时可全部裁剪并规范化样本命名和尺度大小，适合大批量的原始样本图片处理工作。

(2)本方法在裁剪完成后训练样本的基础上，可直接进行训练目标的标记工作，鼠标和键盘的有效配合能极大提高标记效率，快速完成机器学习样本的制作。生成通用的xml文件记录标记结果，可直接进行机器学习训练使用。

附图说明

图1是本发明方法中进行图片裁剪的流程图；

图2是本发明方法中图片标记及保存标记框信息到xml文件的流程；

图3为本发明提供的不能直接进行机器训练的原始图片的全局图。此图片大小为99.1MB，其中，包含多个可剪裁的标记图片，但不能直接被利用。

图4为本发明提供的剪裁时的效果图，其中含有白色圆柱状的油桶为需要剪裁的图片位置，半透明的选框覆盖区域即为裁剪区域，左上角的数字为此框的长和宽像素数。

图5为本发明提供的已裁剪完成的图片，此图片包含训练所需的油桶目标，大小为68.0KB，在进行标记工作后可直接被机器读取训练。

图6为本发明提供的软件的准备标记状态，可以看到图中以鼠标为中心的十字交叉辅助线，可以帮助定位标记框的位置。

图7为本发明提供的标记框完成时选择类别的状态，双击choose模态对话框，完成类别选定。

图8为本发明提供的标记图片工作完成状态，图中有多个已被标记的目标，右侧类别中列出了当前图片的标记框和此文件夹中的待标记图片列表。

图9为本发明提供的标记完成后生成的通用的xml文件，记录了图片信息和标记框的位置大小信息。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明提出的一种大批量制作机器学习样本剪裁标记一体化方法，包括以下步骤：

步骤一、对于尺度大于500Kb而不能直接进行标记的原始图片，使用人机交互界面对原始图片进行剪裁操作，形成多张能直接进行标记的样本图片；

步骤二、对步骤一得到的多个样本图片进行标记，每张样本图片均具有标记框；

步骤三、保存每张样本图片的标记框的位置和大小，并生成xml文件。

如图1所示，对于尺度大于500Kb而不能直接进行标记的原始图片，使用本发明方法采用人机交互界面对原始图片进行剪裁操作，形成多张能直接进行标记的样本图片；图片剪裁流程如下：

(1)获得需要的路径信息

使用getOpenFileName函数获得一张图片路径，或者使用getExistingDirectory函数获得文件夹路径，软件自动扫描文件夹下的jpg格式图片，并显示在界面的文件列表中，可点击列表切换图片。

(2)分配图片所需的内存空间

未裁剪的原始图片尺度一般比较大，如果图片尺度在200M以上读入时可能出现内存分配失败的情况(视电脑性能而定)。多数原始图片尺度在100MB之下，可成功分配内存。QImage作为Qt框架下存储图片数据的类，会完全解析载入的图片保存到内存中，可进行像素级别的操作，使后续裁剪选框更精准。

(3)打开图片失败

当图片尺度过大造成读入内存失败时，提示“图片过大，打开失败”的窗口消息，此时，需要将尺度过大的图片进行强制裁剪为多张较小尺度的图片后才能继续使用。

(4)将内存中的图片数据显示在屏幕上

需要将图片转换为QPixmap类进行显示，QPixmap是Qt框架中专门进行图片显示的类，针对不同的硬件设备进行优化，可以更好的适配不同的机器，显示效率更高，效果更好。如图3所示，图片尺度较大，但是可以流畅的缩放移动操作并实时显示。

(5)注册鼠标滚轮事件过滤器

由于待剪裁的图片尺度过大，浏览时经常需要滚轮缩放和鼠标拖拽来进行图片查看，因此需要滚动窗口QScrollArea类，但Qt的滚动窗口会监听鼠标的滚轮来上下移动窗口，导致不能正确进行图片缩放操作。因此需要注册鼠标滚轮事件过滤器来进行事件的筛选，筛选出滚轮事件并跳出滚动窗口的事件循环，劫持鼠标滚轮响应消息，重定义鼠标滚轮的事件函数来达到操作图片随滚轮上下滚动而进行缩放的操作。

(6)交互式缩放

当进行图片的放大操作时，需要显示的细节变多，所占的内存也会变大，缩放到电脑所能承受的最大内存时便不能进行显示，此时需要判断其显示大小，当电脑可利用内存达到最大时停止放大图片，达到合理利用内存的目的。图片以鼠标为中心进行大小的缩放，可快速定位需要裁剪的目标。

(7)图片切换

在选择了图片文件夹的情况下可以使用已设定好的快捷键A及D来进行待剪裁图片的快速切换。

(8)跳出裁剪选框

实现定义的快捷保存键响应函数，按键后跳出以鼠标位置为中心的裁剪选框。此选框为继承自QRubberband类的子窗口，窗口大小为300-500像素点之间的随机数，如此保证裁剪后的图片大小不一，可直接进行训练，不必进行图像变换操作。重写鼠标响应函数并在选框的四角添加可更改窗口大小的QSizeGrip组件达到鼠标调整其大小和位置的功能。如图4所示，窗口中半透明的裁剪选框可自由移动并调整大小，可以轻松覆盖需要裁剪的图像部分并直观的查看裁剪框大小。

(9)鼠标右击保存裁剪框选的图片

当存在裁剪框时，裁剪框会劫持鼠标右击响应消息，鼠标右击后会计算出裁剪框的位置信息，并将其传递给主窗口，主窗口会将位置信息映射到原始图片的尺寸上，并按照此位置信息保存裁剪框覆盖的图片，由于保存的图片为原始图片信息，占用空间较大，进行小幅度的压缩，使其大小在80K～130K之间，便于下一步的训练使用。保存的图片如图5所示，此样本图片可直接进行标记工作。

(10)跳出保存对话框来保存裁剪框选的图片

保存裁剪后的图片的文件名是按照数字依次增长的，因此，第一张裁剪的图片需要指定文件名，默认为000001。按保存快捷键P即可跳出保存对话框，此对话框可修改文件名和文件保存路径。

图2示出了对上述得到的多个样本图片进行标记，使得每张样本图片均具有标记框；保存每张样本图片的标记框的位置和大小后生成xml文件的流程。

(1)打开待标记图片

使用getOpenFileName函数获得一张图片路径，使用getExistingDirectory函数获得文件夹路径，软件自动扫描文件夹下的jpg格式图片，并显示在界面的文件列表中，可点击列表切换图片。图片保持长宽比平铺显示在软件界面的QLabel组件中，打开的图片已被裁剪，尺度合适，不需进行缩放操作。

(2)监听键盘响应消息

在显示图片在屏幕后，主窗口监听键盘事件，等待用户操作。此时可以使用设定的A、D快捷键进行待标记图片的切换，当切换图片时如果当前图片已有选框将自动保存xml选框信息，当打开的图片有同文件名的xml文件，将根据xml文件中含有的标记框信息生成标记框显示在图片上。设定W快捷键画标记框准备工作。

(3)标记选框的生成

当画框准备快捷键W按下后利用setMouseTracking函数跟随并获取鼠标位置，并在鼠标的位置处画X轴，Y轴平行的辅助虚线，并跟随鼠标位置移动。鼠标在图片上点击一次跳出继承自QRubberband类的标记选框，一角固定，另一角跟随鼠标移动，当再次点击鼠标左键时固定选框并添加到选框列表中，鼠标右键取消选框。重写标记框鼠标响应函数并在选框的四角添加可更改窗口大小的QSizeGrip组件达到鼠标调整其大小和位置的功能。点击删除键X删除选框并将其在选框列表中移除，如图6所示，图中半透明的标记框为已完成的标记对象，图中两条黑色虚线为标记辅助线，可方便对齐标记目标。

(4)选择标记框的类型

完成标记选框后跳出框类型选择子窗口，此窗口继承自QDialog类，读入软件根目录下的配置文本信息来确定所需要的标记选框类型并添加到此窗口中QListwidget组件中，双击列表可确定选框的类型。配置文本信息可按实际需求更改。已完成的标记框指针会保存在全局变量QVector内，方便之后的调用和信息的更改。框类型选择子窗口如图7所示。

(5)保存标记框信息到xml文件

当保存键S按下并且当前窗口有未保存的标记选框时调用Qt的xml模块根据标记选框的信息生成xml文件。xml文件保存当前图片的原始信息，包括文件名、图片大小和图像的深度，还有当前图片中所有标记选框在原图的位置信息(左上角和右下角坐标)，保存在图片的文件夹下，名称和图片名保持一致，方便查找。当再次打开此图片时读入xml文件，生成此文件中的标记框，此xml文件可直接供训练模型使用。如图9中所示的即为保存标记选框位置信息后生成的xml文件，机器学习训练时便可直接读取此文件。

(6)对标记框列表的操作

当前图片的所有标记框都会显示在右侧的QListwidget标记框列表中，在此列表中可对标记框进行更改类型、选中、删除操作。重写列表中鼠标消息响应函数，鼠标滑过设置标记框焦点，鼠标单击选中标记框，鼠标双击修改标记框类型，按下删除快捷键X删除此标记框。标记框列表中每一项对应QVector中的每一个标记框指针，因此，对界面中标记框列表操作等价与对标记框本身进行操作，如图8所示，右侧的标记框列表中包含了图中所有标记框，可进行浏览删除和修改类型操作。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种大批量制作机器学习样本剪裁标记一体化方法，包括以下步骤：

步骤一、对于尺度大于500Kb而不能直接进行标记的原始图片，使用人机交互界面对原始图片进行剪裁操作，形成多张能直接进行标记的样本图片；

步骤二、对步骤一得到的多个样本图片进行标记，每张样本图片均具有标记框；

步骤三、保存每张样本图片的标记框的位置和大小，并生成xml文件；

其特征在于，

步骤一包括以下步骤：

步骤1-1、读取原始图片信息，获得该原始图片数据的大小，分配能容纳该原始图片的内存，读入QImage类型的原始图片数据，并保存在内存中；

步骤1-2、将内存中QImage类型的数据转化为QPixmap类型的数据，并在可缩放的QScrollArea组件中显示，利用Qt框架中的事件过滤器机制进行滚轮函数的重新定义，使图片随滚轮的滚动以鼠标位置为中心进行缩放；

步骤1-3、当找到符合满足机器学习样本要求的原始图片位置后，响应键盘的空格信号，由QRubberband派生类生成半透明的子窗口，用来显示要裁剪的位置，并在子窗口的四角放置可更改窗口大小的QSizeGrip组件，利用鼠标进行快速调整窗口大小；

重写子窗口的鼠标消息响应虚函数，使得在原始图片范围内自由拖拽子窗口位置而不影响主窗口中的原始图片；在子窗口中放置用于显示此窗口大小的QLabel，用于提示样本图片的大小是否符合能直接进行标记的图片；

步骤1-4、利用鼠标右击信号来保存当前框选的图片，当框选的图片尺度大小不满足能直接进行标记的样本图片数据尺度时，利用QImage的图片压缩功能进行质量调节，使样本图片达到直接进行标记的图片的尺度要求；

步骤1-5、裁剪的样本图片被保存时，第一张被裁剪的样本图片需要指定保存的位置和名称，名称为罗马数字；保存完成后清除选框并开始新的裁剪选框循环直到此图片不再有符合标准的裁剪位置；

步骤二包括以下步骤：

步骤2-1、用QFileDialog模块下的getExistingDirectory函数来获取用户已经剪裁好的样本图片所存放的路径；扫描所有的样本图片并生成图片列表显示在文件列表区；读入自定义类别文件，明确标记选框的类型；

步骤2-2、载入工作准备完毕后，打开图片进行缩放适应当前窗口的大小，准备对图片进行标记工作，利用setMouseTracking函数打开对鼠标移动信号的追踪功能，实时获取鼠标位置，并生成十字交叉辅助虚线，在标记时依据虚线位置使标记选框的大小覆盖待标记目标；

步骤2-3、重载鼠标响应函数，在十字交叉线的辅助下获取鼠标两次点击的位置作为选框的左上角和右下角，显示出标记选框；此选框和步骤1-2中生成的裁剪选框功能相同，利用Qsizegrip组件和鼠标响应虚函数调节标记选框的大小和位置；

当一张待标记图片有多个相同类型的待标记目标，重写鼠标右击响应信号，在已标记框下右击即可复制当前标记框，追踪鼠标移动轨迹并跟随，放置到预期的位置后再次鼠标左击即可完成标记，其间，鼠标滚轮可调节标记选框的大小；重复操作完成多个同类型的目标标记工作；

步骤2-4、选框结束后显示类别列表对话框，设为模态对话框，在选择一种类别后隐藏，同时保留选框在图片上不消失，并且在选框列表中添加此选框；

步骤2-5、重复步骤2-2到2-4，直到当前图片无可标记对象，此时，切换到下一张待标记图片，切换前进行步骤三中保存xml文件操作；

步骤2-6、当鼠标移动到选框列表上的某一列时，在图片上高亮显示此列对应的标记选框，并使用setFocus函数设置当前焦点和raise函数在多个标记选框重叠的情况下把当前选框置顶；利用Qt的信号与槽机制，把选框列表项的双击信号和选框类别窗口显示函数连接起来，如此可在选类别时误点击的情况下提供修改类别的功能；

步骤三包括以下步骤：

步骤3-1、在切换到另一张图片或者点击保存按钮时触发保存xml文件的函数；如果窗口中并没有标记框则跳过保存工作直接进入下一张图片的标记；

步骤3-2、生成含有此图片信息的文件头，包括：图片的名称、尺寸大小、图像深度；利用xml模块中的createElement函数创建新的节点元素，标明节点名称，对每个节点利用createTextNode函数追加子节点保存相应的信息；

步骤3-3、把当前图片标记框的位置信息映射到真实图片的位置和大小，每一个标记选框对应一个节点元素，节点元素下追加选框的类型信息和位置大小信息；其中，位置大小信息包含选框的左上角坐标和右下角坐标；

步骤3-4、所有信息输入完成后，利用QFile模块将要保存的文件流信息保存为xml文件到当前图片文件夹，文件名与图片的名称保持一致；当再次打开此图片时也同时读入标记选框的信息并将其转换为选框显示在图片上。

Images