CN111415364B - 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种计算机视觉中图像分割样本的转换方法和系统，该方法包括：获取第一图像样本集；对所述第一图像样本集中的目标图像进行轮廓检测，生成所述目标图像的轮廓检测结果；按照预设格式对所述轮廓检测结果进行数据处理，生成第二图像样本集。本发明的技术方案为相关领域学者提供一种省时、省力的语义分割样本快速转化为实例分割样本的智能工具，还提高了检测目标图像的精准性，从而能够获得高质量的实例分割样本集。

Description

一种计算机视觉中图像分割样本的转换方法、系统及存储 介质

技术领域

本发明涉及计算机视觉领域，尤其涉及一种计算机视觉中图像分割样本的转换方法、系统及存储介质。

背景技术

计算机视觉处理技术是一门研究如何使机器“看”的计算机处理技术，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。实例分割(Instancesegmentation)将场景图像分割成多个区域，每个区域对应一个对象，并且判断该区域的类别。实例分割是一种最接近人类真实视觉感受的计算机视觉任务。对于如遥感、医学等领域，仅有部分公开的语义分割样本集，却缺少大量公开的实例分割样本集，一些学者只能自制实例分割样本集以满足科研需求。这种方法不仅费时耗力，而且数据难以共享。

因此，需要一种能够解决上述问题的方法和系统。

发明内容

为了解决现有技术中的上述问题，提出了一种计算机视觉中图像分割样本转换方法和系统。

根据本发明的一个方面，提供了一种计算机视觉中图像分割样本转换方法，所述方法包括：

获取第一图像样本集；

对所述第一图像样本集中的目标图像进行轮廓检测，生成所述目标图像的轮廓检测结果；

按照预设格式对所述轮廓检测结果进行数据处理，生成第二图像样本集。

其中，所述第一图像样本集为以下任意一种：携带标注信息的图像、语义分割样本数据中的训练集、语义分割样本数据中的验证集，所述第二图像样本集为实例分割样本数据。

其中，所述对所述第一图像样本集进行轮廓检测，生成轮廓检测结果包括：

对所述第一图像样本集进行图像预处理，生成二值图像数据；

基于所述二值图像数据，提取至少一个目标图像的外边界点；

基于所述外边界点确定所述目标图像的外轮廓和所述外轮廓的面积信息；

确定所述外轮廓的左上角坐标和所述外轮廓的右下角坐标，基于所述左上角坐标和所述右下角坐标计算所述目标图像的宽度值及所述目标图像的高度值；

获取所述外轮廓对应的有效外边界点的坐标信息、所述左上角坐标、所述宽度值、所述高度值和所述面积信息记为轮廓检测结果。

其中，所述基于所述外边界点确定所述目标图像的外轮廓包括：

基于所述外边界点确定有效外边界点，所述有效外边界点构成所述外轮廓。

其中，所述基于所述外边界点确定所述目标图像的外轮廓之后，还包括：

去除不需要的分裂目标图像。

根据本发明的另一方面，还提供了一种计算机视觉中图像分割样本转换系统，所述系统包括：

获取模块：获取第一图像样本集；

检测模块：对所述第一图像样本集中的目标图像进行轮廓检测，生成所述目标图像的轮廓检测结果；

生成模块：按照预设格式对所述轮廓检测结果进行数据处理，生成第二图像样本集。

其中，所述检测模块：还用于对所述第一图像样本集进行图像预处理，生成二值图像数据；基于所述二值图像数据，提取至少一个目标图像的外边界点；用于基于所述外边界点确定所述目标图像的外轮廓和面积信息；确定所述外轮廓的左上角坐标和所述外轮廓的右下角坐标，基于所述左上角坐标和所述右下角坐标计算所述目标图像的宽度值及所述目标图像的高度值；获取所述外轮廓对应的有效外边界点的坐标信息、所述左上角坐标、所述宽度值、所述高度值和所述面积信息记为轮廓检测结果。

其中，所述检测模块：还用于基于所述外边界点确定有效外边界点，所述有效外边界点构成所述外轮廓。

其中，所述检测模块：还用于去除不需要的分裂目标图像。

根据本发明的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明中的计算机视觉中图像分割样本转换方法和系统，实现了由语义分割样本向实例分割样本的快速转换，为相关领域学者提供一种省时、省力的语义分割样本快速转化为实例分割样本的智能工具，推动相关技术的进步，并且本发明的技术方案还提高了检测目标图像的精准性，从而获得了高质量的实例分割样本集。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的计算机视觉中图像分割样本转换方法的流程图；

图2示例性示出了分裂目标图像的分布情况；

图3是根据本发明的计算机视觉中图像分割样本转换系统的模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明实施例提供了一种计算机视觉中图像分割样本转换方法，如图1所示，该方法包括：

步骤101，获取第一图像样本集；

步骤102，对第一图像样本集中的目标图像进行轮廓检测，生成目标图像的轮廓检测结果；

步骤103，按照预设格式对轮廓检测结果进行数据处理，生成第二图像样本集。

在该实施例中，步骤101中的第一图像样本集是计算机视觉处理技术的图像处理技术所针对的图像数据，该图像数据可以为遥感影像数据、医学影像数据。可以为针对目前所公开的语义分割样本集多而实例分割样本集少的现象，本申请基于现有公开的语义分割样本集中寻求一种转换方法，更加快速便捷的将语义分割样本转化为实例分割样本。第一图像样本集具体可以是以下任意一种：携带标注信息的图像、语义分割样本数据中的训练集、语义分割样本数据中的验证集，第二图像样本集为实例分割样本数据。

为了能够获取的图像信息中的目标图像的轮廓，对第一图像样本集中的每个第一图像样本进行轮廓检测，具体来说，步骤102中对第一图像样本集进行轮廓检测，生成轮廓检测结果包括：对第一图像样本集进行图像预处理，生成二值图像数据；基于二值图像数据，提取至少一个目标图像的外边界点；基于外边界点确定目标图像的外轮廓和面积信息；确定外轮廓的左上角坐标和外轮廓的右下角坐标，基于左上角坐标和右下角坐标目标图像的宽度值及目标图像的高度值；获取外轮廓对应的有效外边界点的坐标信息、左上角坐标、宽度值、高度值和面积信息记为轮廓检测结果，以第一文件格式记录轮廓检测结果，第一文件格式可以为txt文件格式。

轮廓检测在人类视觉和计算机视觉中均起着重要的作用。在本实施例中可以引入了一种能够检测轮廓的算法，具体可以为Suzuki轮廓跟踪算法通过顺序找出边缘点来对目标图像的边界轮廓进行跟踪检测的，目标图像为第一图像样本集中受重视或者感兴趣的“目标”或“前景”(其他部分则称为“背景”)。为了识别和分析目标图像，需要将这些区域从整副图像的数据中分离并提取出来。例如：以武汉大学高分辨率遥感航空建筑物语义分割数据库为基础数据，本实施例中假设第一图像样本集为语义分割样本数据中的训练集，目标图像为建筑物。该训练集由两部分组成，一部分是按照预设尺寸(如512*512)大小进行分割后的遥感影像图；另一部分是与影像图对应的标注图。首先对输入的图像数据做预处理，在该实施例中的遥感影像图和标注图假设均为TIF数据，由于TIF格式数据占用的空间过大，所以先将TIF数据转为JPG格式图像，然后对转换后的JPG格式图像转化灰度图像，计算将灰度图像转化为二值图像所需的阈值，将灰度图像转化为二值图像数据；将该二值图像数据输入到Suzuki轮廓跟踪算法以分析和识别建筑物，提取每个建筑物的外边界点，获取到的每个建筑物所有的外边界点的坐标信息，记为{(xi,yi)}，基于外边界点来确定每个建筑物的外轮廓，依据格林公式可以计算每个建筑物的面积，获取每个建筑物的外轮廓的左上角坐标和右下角坐标，例如某个建筑物的外轮廓的左上角坐标为(min_x，min_y)，外轮廓的右下角坐标为(max_x，max_y)，并按照建筑物的外轮廓的宽width＝max_x-min_x，建筑物的外轮廓的高height＝max_y-min_y得到建筑物的外轮廓的宽和建筑物的外轮廓的高，获取每个建筑物的有效外边界点的坐标信息，将该坐标信息可存入自定义命名的txt文本文档中，将每个建筑物的外轮廓的左上角坐标及宽、高和该建筑物的面积可存入另一个自定义命名的txt文本文档中，则将有效外边界点的坐标信息、左上角坐标、宽度值、高度值和面积信息记为轮廓检测结果。

下面给出了Suzuki轮廓跟踪算法的部分伪代码：

进一步地，在该实施例中，基于外边界点确定目标图像的外轮廓包括：基于外边界点确定有效外边界点，有效外边界点构成外轮廓。为了能够使用最少的外边界点来确定目标图像的外轮廓，需要实现轮廓近似，从而在检测出的外边界点中筛选出构成目标图像的外轮廓的有效边界点。

具体来说，可以采用teh-ChinI chain近似算法和/或道格拉斯-普克算法确定外轮廓的有效外边界点的算法,具体地，可以采用teh-ChinI chain近似算法对每个目标图像的外轮廓进行近似后，再使用道格拉斯-普克算法(Douglas-Peucker)通过迭代的方式逐渐消除离现外轮廓较远的点，实现用更少的点来确定目标图像的外轮廓。最少的外边界点所确定的外轮廓所对应的外边界点为有效边界点。

下面给出了teh-ChinI chain近似算法的部分伪代码：

下面给出了道格拉斯-普克线化简算法的部分伪代码：

为了提高目标图像的检测精度，进一步检测存在异常的目标图像并去除，在该实施例中，基于外边界点确定目标图像的外轮廓之后，还包括：去除不需要的分裂目标图像，不需要的分裂目标图像包括：分裂目标图像的像素点小于预设阈值和分裂目标图像的边界点满足去除条件。

具体来说，从一整幅图像中切割而来的遥感影像图，由于过分割会产生两幅图连接处被分割开的目标图像，该目标图像称为分裂目标图像，例如：在整幅图像中的建筑物A，因切割被分为了两个部分建筑物A1和部分建筑物A2，由于边界处的被分裂的建筑物可能仅有几个像素点，会导致建筑物的外轮廓检测模糊，从而导致检测精度下降，所以需要去除，即分裂目标图像的像素点小于预设阈值，例如预设阈值为3，若部分建筑物A1仅有1个或者2个像素点构成，则去除；进一步，还需要判断像素点大于预设阈值的分割后的目标图像是否满足去除条件，其中，去除条件是根据分裂目标图像的边界点所处的位置进行判断，若满足，则去除分裂目标图像，分裂目标图像的边界点为分裂目标图像的上边界点、下边界点、左边界点和右边界点，例如部分建筑物A1满足去除条件，则去除；若不满足，则保留分裂目标图像部分，例如部分建筑物A2不满足去除条件，则保留。具体地，假设待检测的目标图像的最小尺寸为W*H(W代表最小目标图像的宽，H代表最小目标图像的高)，则可以设置一个阈值参数margin≈min(W，H)/(2*resolution)，其中，resolution为影像分辨率，此处约等号采用四舍五入制，例如上述以武汉大学高分辨率遥感航空建筑物语义分割数据库的数据，其影像分辨率为0.075m，图像数据分割尺寸为512*512，则图像数据的上边界值为0，下边界值为512，左边界值为0，右边界值为512。假设最小建筑物尺寸设置为W*H＝1m*1m，则margin经计算约为7。图2示例性展示了分裂目标图像的分布情况，图中的建筑物A-H均为分裂目标图像(位于两幅图连接处的目标图像)，以分裂建筑物B为例，分裂建筑物B的外轮廓的有效边界点集合记为{(x1，y1)，(x2，y2)…(xn，yn)}，则该外轮廓的左边界值为Xmin＝min(x1，x2，…，xn)，外轮廓的上边界值为Ymin＝min(y1，y2，…，yn)，外轮廓的右边界值为Xmax＝max(x1，x2，…，xn)，外轮廓的下边界值为Ymax＝max(y1，y2，…，yn)，则分裂目标图像的去除条件设置为以下的任意一种：Xmin+margin>512；Ymin+margin>512；Xmax-margin<0；Ymax-margin<0，当满足去除条件时，则去除该分裂目标图像。

图像数据的边界值根据图像数据分割的尺寸设定，假设图像数据分割的尺寸为ww*hh(ww代表最小目标图像的宽，hh代表最小目标图像的高)则图像数据的边界值的左、右边界值分别为0，ww；上、下边界值分别为0，hh；则分裂目标图像的去除条件设置为以下的任意一种：Xmin+margin>ww；Ymin+margin>hh；Xmax-margin<0；Ymax-margin<0，当满足去除条件时，则去除该分裂目标图像。

在该实施例中，在步骤103中具体按照COCO(common object in context)数据集的格式读取以第一格式文件记录的轮廓检测结果，并通过移除指定字符、指定分隔符对字符串进行切片，获取所需信息，将获取的信息写入第二格式文件中以生成实例分割样本集，第二格式文件可以为json格式文件。

coco实例分割数据集标注格式中含有的内容如下:

本发明的实施例还提供了一种计算机视觉中图像分割样本转换系统的模块图，如图3所示，该系统包括：

获取模块301：获取第一图像样本集；

检测模块302：对第一图像样本集中的目标图像进行轮廓检测，生成目标图像的轮廓检测结果；

生成模块303：按照预设格式对轮廓检测结果进行数据处理，生成第二图像样本集。

检测模块302：还用于对第一图像样本集进行图像预处理，生成二值图像数据；基于二值图像数据，提取至少一个目标图像的外边界点；用于基于外边界点确定目标图像的外轮廓和面积信息；确定外轮廓的左上角坐标和外轮廓的右下角坐标，基于左上角坐标和右下角坐标计算目标图像的宽度值及目标图像的高度值；获取外轮廓对应的有效外边界点的坐标信息、左上角坐标、宽度值、高度值和面积信息记为轮廓检测结果。

检测模块302：还用于基于外边界点确定有效外边界点，有效外边界点构成外轮廓。

检测模块302：还用于去除不需要的分裂目标图像。

本发明的计算机视觉中图像分割样本转换方法和系统，实现了由语义分割样本向实例分割样本的快速转换，为相关领域学者提供一种省时、省力的语义分割样本快速转化为实例分割样本的智能工具，推动相关技术的进步，并且本发明的技术方案还提高了检测目标图像的精准性，从而获得了高质量的实例分割样本集。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (3)

1.一种计算机视觉中图像分割样本的转换方法，其特征在于，所述方法包括：

获取第一图像样本集，所述第一图像样本集为以下任意一种：语义分割样本数据中的携带标注信息的图像、语义分割样本数据中的训练集、语义分割样本数据中的验证集；

对所述第一图像样本集中的目标图像进行轮廓检测，生成所述目标图像的轮廓检测结果；

按照预设格式对所述轮廓检测结果进行数据处理，生成第二图像样本集，所述第二图像样本集为实例分割样本数据；

所述对所述第一图像样本集中的目标图像进行轮廓检测，生成所述目标图像的轮廓检测结果，包括：

对所述第一图像样本集进行图像预处理，生成二值图像数据；

基于所述二值图像数据，提取至少一个目标图像的外边界点；

基于所述外边界点确定所述目标图像的外轮廓和所述外轮廓的面积信息；

确定所述外轮廓的左上角坐标和所述外轮廓的右下角坐标，基于所述左上角坐标和所述右下角坐标计算所述目标图像的宽度值及所述目标图像的高度值；

获取所述外轮廓对应的有效外边界点的坐标信息、所述左上角坐标、所述宽度值、所述高度值和所述面积信息记为轮廓检测结果；

所述基于所述外边界点确定所述目标图像的外轮廓包括：

基于所述外边界点确定所述有效外边界点，所述有效外边界点为最少的所述外边界点所确定的所述目标图像的外轮廓所对应的所述外边界点，所述有效外边界点构成所述外轮廓；

所述基于所述外边界点确定所述目标图像的外轮廓之后，还包括：

去除不需要的分裂目标图像；

所述去除不需要的分裂目标图像，包括：

去除小于预设阈值的像素点，以及去除大于预设阈值且边界点位置满足去除条件的像素点，所述边界点为所述分裂目标图像的上边界点、下边界点、左边界点和右边界点。

2.一种计算机视觉中图像分割样本的转换系统，其特征在于，所述系统包括：

获取模块：获取第一图像样本集，所述第一图像样本集为语义分割样本数据中的携带标注信息的图像、语义分割样本数据中的训练集或语义分割样本数据中的验证集；

检测模块：对所述第一图像样本集中的目标图像进行轮廓检测，生成所述目标图像的轮廓检测结果；

生成模块：按照预设格式对所述轮廓检测结果进行数据处理，生成第二图像样本集，所述第二图像样本集为实例分割样本数据；

所述检测模块：还用于对所述第一图像样本集进行图像预处理，生成二值图像数据；基于所述二值图像数据，提取至少一个目标图像的外边界点；用于基于所述外边界点确定所述目标图像的外轮廓和所述外轮廓面积信息；确定所述外轮廓的左上角坐标和所述外轮廓的右下角坐标，基于所述左上角坐标和所述右下角坐标计算所述目标图像的宽度值及所述目标图像的高度值；获取所述外轮廓对应的有效外边界点的坐标信息、所述左上角坐标、所述宽度值、所述高度值和所述面积信息记为轮廓检测结果；

所述检测模块：还用于基于所述外边界点确定所述有效外边界点，所述有效外边界点为最少的所述外边界点所确定的所述目标图像的外轮廓所对应的所述外边界点，所述有效外边界点构成所述外轮廓；

所述检测模块：还用于去除不需要的分裂目标图像；

所述检测模块：还用于去除小于预设阈值的像素点，以及去除大于预设阈值且边界点位置满足去除条件的像素点，所述边界点为所述分裂目标图像的上边界点、下边界点、左边界点和右边界点。

3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1中所述方法的步骤。