CN108550177A - 一种可标记图片并将标记结果用于深度学习训练的软件 - Google Patents

Abstract

本发明公布了一种基于MATLAB的图像标记软件，在具体实现的时候有七个模块可以供选择，分别是图片打开模块、圆或椭圆标记模块、多边形标记模块、导入模块、顺序标记模块、新图层模块、深度学习训练文件生成模块。MATLAB Runtime是一组独立的共享库，可用于在未安装MATLAB的计算机上执行编译后的MATLAB应用程序或组件，利用它可以在不安装MATLAB的PC上面运行MATLAB编译的.EXE文件，可以完成两种标记。一、椭圆或圆的标记，可以在用点确定了椭圆或圆的长短轴之后通过拖动其长短轴端点，来改变椭圆或圆的大小及椭圆倾斜方向；二、多边形的标记，在用点标记出多边形的边界点之后，可以拖动多边形的边界点来改变多边形的大小和形状。

Description

一种可标记图片并将标记结果用于深度学习训练的软件

技术领域

本发明涉及图像处理以及深度学习中全卷积神经网络领域

背景技术

1.在有关深度学习全卷积神经网络领域，由于全卷积神经网络需要大量的标记好的图片并将其转化为.mat格式的文件来训练模型，如果这些图片之间有一定的相似性，那么上一张图片标记的坐标信息也可以用于下一张图片。这种情形下，就需要一种可以储存上一张图片标记的坐标信息并且具有标记功能的工具。

2.在有关生物领域，采用全卷积神经网络训练的那些图片，都是有关细胞以及组织的，但是组织是有各种形状的，可以用多边形标注。细胞是椭圆形状的，可以用椭圆形标注，所以在标注的时候，工具需要同时具有椭圆以及多边形的标记功能。

3.在有关无人驾驶车领域，需要标记的图片是由各种几何形状(例如圆形、椭圆、多边形)组合而成可以使用该软件分别标记出其对应区域的图形，最终形成全卷积神经网络训练所需要的.mat文件。

4.在遥感领域，需要标记的图片是各种山川河流的地形图像，可以使用该软件利用多边形模块标记出不规则的山川、河流的地形图像，最终形成全卷积神经网络训练所需要的.mat 文件。

5.在人类需要进行全卷积神经网络训练的任何领域，以上标记模块(圆或椭圆、多边形)，均可以标记出符合人类要求的全卷积神经网络训练所需要的.mat文件。

还有很多需要标记的领域这里不详述。

发明内容

本发明目的在于提供一个可以精确地标记圆或椭圆或多边形的标记平台，并且可以将标记完的图片转化为全卷积神经网络可以直接训练的.mat文件。

为实现以上内容本发明提供以下模块：

图片打开模块：用于打开(.JPG.PNG.GIF等图片格式)的文件；

圆或椭圆标记模块：用于在打开的图片上寻找并标记出圆或椭圆图形，并根据图片中圆或椭圆的形状自动修改椭圆的长短半轴长度以及椭圆的倾斜方向(当长轴及短轴的长度调整至相同时即为圆形)，同时可以存储所标记或修改后椭圆或圆的边界坐标；

多边形标记模块：用于在打开的图片上寻找并标记出多边形，并根据图片中多边形的形状自动修改多边形每个边缘点的位置进而修改其形状，同时可以储存所标记或修改后的多边形的边界坐标；

导入模块：用于将所有标记出来的图形(圆、椭圆或多边形)重新导入；

顺序标记模块：用于将导入的坐标文件在图片中所形成的圆或椭圆或多边形的图形按照标记的先后顺序(或名字中的数字)在其旁边写上1、2、3.......，方便标注者认清每个坐标文件生成的图形在图片中的位置；

新图层模块：用于当之前所标记的图形妨碍下一次标记时，将之前标记的所有图形去除；

深度学习训练文件生成模块：用于当图片完全标记完成之后，将图片生成可以用于深度学习训练的.mat文件；

使用方法

为了更清楚、有效地说明本发明实施例的技术方案，将实施例中所需要使用的附图作简单介绍，不言自明的是，说明书附图中的附图仅仅是本发明的实施例，对于本领域中的普通技术人员来讲，无需付出创造性劳动的前提下，可以根据这些附图了解其使用方法。

标注步骤如下

1.打开OPEN按钮弹出对话框选择图片所在位置打开图片；

2.点击START按钮开始标注出三个点，确定出长短轴以及中心点的位置，其中长轴长度是依靠距离较远的两点算出其距离，以及两点中点即为中心点。短轴即为三点中剩下一点与中点之间的距离；

3.点击RESIZE可以生成椭圆并重新调整长轴、短轴的长度以及位置，调节各个点位置的同时可以调节长短轴的倾斜方向；

4.点击OK存储下标记出的椭圆的边界位置坐标为一个.mat文件并将.mat文件按照本张图片标记的顺序命名为图片名+s(多边形)/r(椭圆)+标记顺序；

5.当标记多边形时，点击START按钮开始标注出多边形的边缘点，然后点击RESHAPE键出现多边形，调节多边形边缘点的位置，即可调节多边形的形状以及位置；

6.当多边形的形状以及位置固定的时候，可以点击STORE键储存多边形的边界坐标信息为一.mat文件；

7.当标记了过多的图形的时候，图像会变得不清晰或者需要对比原图的时候可以按下 NEW PICTURE键，当前图层会显示为未做任何标记的原图；

8.当本图的图像信息与前一张图的图像信息相似的时候可以将上一张图中标记的坐标信息拷贝至D盘中名为FJ的文件夹内然后点击LOAD按钮，就可以将上一张图片标记的坐标信息导入本图；

9.当上一张图片标记的坐标信息导入本图的时候导入后的标记坐标可能与本图信息有部分不一样所以需要删除某些标记的坐标信息并且再重新标注，按照上面的命名规则，当点击MARK的时候每个标注出的圆或椭圆或多边形图形的周围都会显示标注图形的坐标所在文件名字中的数字，按照一一对应关系，删除D盘fj文件夹中相应坐标文件就会在图片中删除那些圆或椭圆或多边形的标注图形；

10.当一张图片被标记完成时点击COLORMAP就会在D盘中COLORMAP文件夹中形成该标记图片的.mat标记文件；

11.当打开的图片较暗或者有某个部位看不清晰的时候可以调节最下面的进度条来调节亮度，进度条越朝下拉图片亮度越亮；

本发明的创新点

现在流行的对FCN标记的软件是LABELME，但是用该软件进行标注的缺点是第一、只有多边形标注功能；第二、前一张标注出的坐标的信息不能导入后一张，导致每张都要重新标注，因此非常耗时；第三、LABELME由于是多边形标注需要标注很多点然后去调整。本软件的有益效果或创新点为，第一、由于增加了更多的几何图形例如椭圆或圆，因此更多的几何图形带来了对更多领域的适用性(例如细胞或组织以及山川河流的标记)；第二、引入椭圆标注，只需标注三个点再进行微调即可，大大提升了用户的方便程度；第三、本软件可以导入之前标记的图形的坐标信息，当遇到相似图片时，仅仅需要删除不合适的图形标注，不需完全重新标注。因此不仅在数量上可以比原来的标注效率提升数十倍，而且在标注精确度上面也比LABELME提升很多，在质和量上面都有很大的提升；第四、除了原来经常需要标注很多点再进行调整的多边形标注之外，还增加了只需标注三个点然后微调的圆或椭圆标注，因此用户体验程度也有很大提升；为了更清楚、有效地说明本发明实施例的技术方案，将实施例中所需要使用的附图作简单介绍，不言自明的是，说明书附图中的附图是本发明的实施例，对于本领域中的普通技术人员来讲，无需付出创造性劳动的前提下，还可以根据这些附图联想到本发明的其他实施方式，这些方式都将落入本发明的保护范围。

附图说明

1.图1是本发明提供的软件标记流程示意图；

2.图2是本发明提供的软件总体原理示意图；

3.图3是本发明提供的软件关于椭圆图形标记部分的原理示意图；

4.图4是本发明提供的软件关于多边形图形标记部分的原理示意图；

5.图5是本发明提供的软件关于将标记结果生成.mat格式文件部分的原理示意图；

6.图6是本发明提供的软件关于标记相似图片部分的原理示意图；

7.图7是本发明提供的软件总体结构示意图。

Claims (8)

1.一种可标记图片并将标记结果用于深度学习训练的软件，其特征在于，包括：

1)图片打开模块：用于打开(.JPG.PNG.GIF等图片格式)的文件；

2)圆或椭圆标记模块：用于在打开的图片上寻找并标记出圆或椭圆图形，并根据图片中圆或椭圆的形状自动修改椭圆的长短半轴长度以及椭圆的倾斜方向(当长轴及短轴的长度调整至相同时即为圆形)，同时可以存储所标记或修改后椭圆或圆的边界坐标；

3)多边形标记模块：用于在打开的图片上寻找并标记出多边形，并根据图片中多边形的形状自动修改多边形每个边缘点的位置进而修改其形状，同时可以储存所标记或修改后的多边形的边界坐标；

4)导入模块：用于将所有标记出来的图形(圆、椭圆或多边形)重新导入；

5)顺序标记模块：用于将导入的坐标文件在图片中所形成的圆或椭圆或多边形的图形按照标记的先后顺序(或名字中的数字)在其旁边写上1、2、3.......，方便标注者认清每个坐标文件生成的图形在图片中的位置；

6)新图层模块：用于当之前所标记的图形妨碍下一次标记时，将之前标记的所有图形去除；

7)深度学习训练文件生成模块：用于当图片完全标记完成之后，将图片生成可以用于深度学习训练的.mat文件。

2.如权利要求1所述的一种可标记图片并将标记结果用于深度学习训练的软件，其特征在于可以根据需要对图片进行标记，并生成深度学习可以直接使用的.mat文件。

3.如权利要求1所述的一种可标记图片并将标记结果用于深度学习训练的软件中的圆或椭圆标记模块，其特征在于，包括

1)开始模块：负责记录标记者标记下的关于圆或椭圆半长轴以及短轴的端点的坐标；

2)调整模块：负者将标记者标记的三点(关于长短轴)形成圆或椭圆，并调整半长轴、半短轴的长度以及椭圆的倾斜方位；

3)存储模块：负责将标记并调整好的椭圆图形的坐标记录下来，形成储存标记后椭圆图形边界坐标的.mat文件。

4.如权利要求1所述的一种可标记图片并将标记结果用于深度学习训练的软件中的多边形标记模块，其特征在于，包括

1)开始模块：负责记录标记者标记下的多边形每个边缘点的位置坐标；

2)调整模块：负者连接起标记者标记的多边形的每个边缘点并形成封闭的多边形以及调整多边形每个边缘点的位置以达到调节多边形形状的目的；

3)存储模块：负责将经过标记并调整好的多边形的边界坐标记录下来形成储存多边形边界坐标的.mat文件。

5.如权利要求3和4所述的存储模块，其特征在于，将标记的圆或椭圆或多边形图形边界的所有点的坐标记录下来，形成.mat文件自动在D盘创建文件夹(如果已有则不创建)，并将.mat文件按照本张图片标记的顺序命名为图片名+s(多边形)或r(椭圆)+标记顺序。

6.如权利要求1中所述的一种可标记图片并将标记结果用于深度学习训练的软件中的顺序标记模块，其特征在于，当上一张图片中的图形信息相似于下一张图片的图形信息时，可以导入在上一张图片中标记的图形信息的标记进入下一张图片。当有的图形的标记和下一张图片中待标记的图形相同，而有的标记不同时，需要在储存坐标的文件夹中删除不同的标记的坐标文件。然而每个标记的坐标文件的名字中都有其命名顺序，标记模块就可以让这些命名顺序出现在每个标记的旁边并展示在图片中，然后根据标记与图形的契合度，以及标记旁边命名的顺序数字，对应坐标文件夹中每个坐标文件名字中的数字，就可以删除图片中对应标记。

7.如权利要求1所述的一种可标记图片并将标记结果用于深度学习训练的软件中的新图层模块，其特征在于，当标记太多导致图片中某个图形看不清时，可以去除掉那些标记，展示一张没有标记的原图。

8.如权利要求1所述的一种可标记图片并将标记结果用于深度学习训练的软件中的深度学习训练文件生成模块，其特征在于，因为在使用深度学习中的图像语义分割(使用全卷积神经网络)进行训练时，需要.mat文件，本模块将标注后的图形文件生成.mat文件。