CN114332148B

CN114332148B - 用于线框图的未闭合线段的检测方法及装置

Info

Publication number: CN114332148B
Application number: CN202111528012.8A
Authority: CN
Inventors: 唐际宇; 徐舒畅
Original assignee: Chengdu Lexin Shengwen Technology Co ltd
Current assignee: Chengdu Lexin Shengwen Technology Co ltd
Priority date: 2021-12-14
Filing date: 2021-12-14
Publication date: 2023-04-07
Anticipated expiration: 2041-12-14
Also published as: CN114332148A

Abstract

本发明提供一种用于线框图的未闭合线段的检测方法及装置，通过对输入图像进行二值化处理；对二值化处理后的图像进行骨架提取，得到骨架图；从所述骨架图中检测出符合第一条件的候选点，组成候选点集合；从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点。本发明通过机器代替人工能够实现主动查找出线框图中所有未闭合曲线的目的，从而很好地节省了人工成本，也不需要再依靠人工费时费力的查找，以及避免了由于人工检查久了眼睛容易疲劳而出现误查漏查等情况。

Description

用于线框图的未闭合线段的检测方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种用于线框图的未闭合线段的检测方法、装置、计算机设备和存储介质。

背景技术

填色游戏是一种广受年轻用户喜爱的休闲类小游戏。在填色游戏中，商家为用户提供可填色的线框图以及配色方案。线框图中每个闭合的区域，都将被用户填上不同的颜色。用户完成每个闭合区域的填色后，线框图将成为一幅色彩鲜艳的艺术图像，让用户获得成就感。如果线框图中某条线不闭合，将导致本来色彩不同的区域被填上相同的颜色，严重影响填色效果。一般此类艺术图像分辨率较高，大多高于2000*2000，而不闭合区域非常小，断开的线头很难查找。依靠人工查找则费时费力，而且检查久了眼睛容易疲劳，可能无法察觉所有存在的未闭合曲线。

因此，亟需一种能够自动查找线框图中未闭合曲线的检测方法及装置。

发明内容

本发明实施例提供一种用于线框图的未闭合线段的检测方法、装置、计算机设备和存储介质，用以解决由于线框图图像分辨率较高，不闭合区域非常小导致依靠人工来查找未闭合曲线费时费力效率极低的技术问题。

为了实现上述目的，本发明实施例的第一方面，提供一种用于线框图的未闭合线段的检测方法，包括：

对输入图像进行二值化处理；

对二值化处理后的图像进行骨架提取，得到骨架图；

从所述骨架图中检测出符合第一条件的候选点，组成候选点集合；

从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点。

可选地，在第一方面的一种可能实现方式中，所述对输入图像进行二值化处理，包括：

所述输入图像为黑白图像时，采用固定阈值的方式进行二值化处理；

所述输入图像为彩色图像时，将所述彩色图像划分多个子块区域，对每个子块区域采用大津法进行二值化处理。

可选地，在第一方面的一种可能实现方式中，所述从所述骨架图中检测出符合第一条件的候选点，包括：

计算线段上每个像素点的八连通区域的非零像素点个数；

若所述非零像素点个数为1时，则初步判断该像素点所在线段为未闭合曲线，将该像素点记为可能出现未闭合曲线的候选点。

可选地，在第一方面的一种可能实现方式中，所述从所述候选点集合中筛选出符合第二条件的候选点，包括：

以每个候选点为中心建立矩形区域，并对所述矩形区域进行多次膨胀操作；

比较膨胀操作前后闭合区域的个数，如果闭合区域个数未增加，则判断该候选点为线段终点，将该候选点进行去除；如果闭合区域个数增加，则判断该候选点所在线段为未闭合线段。

如果两个候选点之间的距离小于或者等于预设距离时，则将其中任意一个候选点进行去除。

如果多个候选点位于同一区域，且该区域面积小于预设面积，则将位于该区域内的所有候选点进行去除。

本发明实施例的第二方面，提供一种用于线框图的未闭合线段的检测装置，包括：

二值化处理模块，用于对输入图像进行二值化处理；

骨架提取模块，用于对二值化处理后的图像进行骨架提取，得到骨架图；

检测模块，用于从所述骨架图中检测出符合第一条件的候选点，组成候选点集合；

筛选模块，用于从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点检测所述骨架图中可能出现未闭合曲线的候选点。

可选地，在第二方面的一种可能实现方式中，所述筛选模块，包括：

处理单元，用于以每个候选点为中心建立矩形区域，并对所述矩形区域进行多次膨胀操作；

比较单元，用于比较膨胀操作前后闭合区域的个数，如果闭合区域个数未增加，则判断该候选点为线段终点，将该候选点进行去除；如果闭合区域个数增加，则判断该候选点所在线段为未闭合线段。

可选地，在第二方面的一种可能实现方式中，所述二值化处理模块，包括：

第一处理模块，用于所述输入图像为黑白图像时，采用固定阈值的方式进行二值化处理；

第二处理模块，用于所述输入图像为彩色图像时，将所述彩色图像划分多个子块区域，对每个子块区域采用大津法进行二值化处理。

可选地，在第二方面的一种可能实现方式中，所述检测模块，包括：

计算单元，用于计算线段上每个像素点的八连通区域的非零像素点个数；

判断单元，用于若所述非零像素点个数为1时，则初步判断该像素点所在线段为未闭合曲线，将该像素点记为可能出现未闭合曲线的候选点。

可选地，在第二方面的一种可能实现方式中，所述筛选模块还用执行以下步骤，包括：

本发明实施例的第三方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。

本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法的步骤。

本发明提供的用于线框图的未闭合线段的检测方法、装置、计算机设备和存储介质，通过对输入图像进行二值化处理；对二值化处理后的图像进行骨架提取，得到骨架图；从所述骨架图中检测出符合第一条件的候选点，组成候选点集合；从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点。本发明通过机器代替人工能够实现主动查找出线框图中所有未闭合曲线的目的，从而很好地节省了人工成本，也不需要再依靠人工费时费力的查找，以及避免了由于人工检查久了眼睛容易疲劳而出现误查漏查等情况。

附图说明

图1为用于线框图的未闭合线段的检测方法的第一种实施方式的流程图；

图2为二值化图像以及对应的骨架图；

图3为八连通区域的示意图；

图4为伪候选点的去除流程图；

图5为孤立点区域的示意图；

图6为曲线终点的示意图；

图7、8为膨胀操作示意图；

图9为膨胀操作前后闭合区域个数变化的示意图；

图10为线段中间断开后形成两个未闭合线段端点的示意图；

图11为用于线框图的未闭合线段的检测装置的第一种实施方式的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B

相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供一种用于线框图的未闭合线段的检测方法，如图1所示其流程图，包括：

步骤S110、对输入图像进行二值化处理。在本步骤中，所述二值化处理就是将图像上的像素点的灰度值设置为0或255，灰度值0：黑，灰度值255：白，也就是将整个图像呈现出只有黑和白两个视觉效果。由于本申请主要是用于对填色游戏中线框图的未闭合线段进行识别的，而填色游戏的线框图包括黑白和彩色两种类型，它们需要分别采用不同的二值化处理方法。对于黑白线框图，可以直接采用固定阈值T的方式进行二值化，即：预先设定一个阈值，将灰度值大于阈值的像素群被置为255，小于阈值的像素群被置为0；或者将灰度值大于阈值的像素群被置为0，小于阈值的像素群被置为255。而对于彩色线框图，由于线框图中有些色彩比较浅，上色后的线框图会造成边界不明显的问题，对于色彩比较浅的区域，阈值可能要更低；对于色彩较为亮的区域，阈值要更高；不同区域的阈值无法统一因此彩色线框图采用固定阈值的方法进行二值化处理效果不佳。为此，需要将彩色线框图划分成N*N个子块区域，具体子块数量可根据实际场景需求进行设定，并对每个子块区域采用大津法进行二值化处理，生成每个子块的彩色图像的二值化图像，最后将每个子块的图像统一组成整个彩色线框的二值图像，记为BinaryImg。

步骤S120、对二值化处理后的图像进行骨架提取，得到骨架图。

在步骤S120中，在对输入的线框图进行二值化处理后，需要将处理得到的二值化图像进行骨架提取，从而得到骨架图SkeletonImg。在骨架提取的过程中需要将二值化图像的线框图中的每条线段的宽度都设置为1个像素。具体如图2所示，左图是二值化处理后的二值化图像，右图是由该二值化图像进行骨架提取得到的骨架图。

步骤S130、从所述骨架图中检测出符合第一条件的候选点，组成候选点集合。

在该步骤中，需要从骨架图中检测出可能是未闭合曲线的候选点。在该检测过程中，主要涉及两部分：其一，计算骨架图中每条线段上的每个像素点的八连通区域或者八邻域的非零像素点个数，记为N(p)；所述八连通区域或者八邻域，是指每个像素点对应位置的上、下、左、右、左上、左下、右上、右下，是指像素所处位置的紧邻位置和斜向相邻的位置，共8个方向，所以称为八连通区域或者八邻域，具体如图3所示。其二，如果该像素点的非零像素点个数为1，则说明该像素点的八邻域范围内只存在一个像素点(正常一条线段上的所有像素点的8邻域范围内都有2个像素点，线段首尾端点除外)，也就是说该像素点所在的线段可能是未闭合曲线。在得到整个骨架图中可能是未闭合曲线的所有候选点后，将其组成候选点集合，记为CandiSet。

步骤S140、从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点。

在步骤S140中，由于步骤S130中初步检测出的候选点集合中并不是所有候选点都能对应着未闭合曲线，因此需要去除候选点集合中的伪候选点，最终形成仅包含未闭合曲线端点的候选点集合(像素点集合)，记为RealSet。去除候选点集合中的伪候选点的步骤具体如图4所示；

步骤1：排除孤立点的干扰，即“如果多个候选点位于同一区域，且该区域面积小于预设面积，则将位于该区域内的所有候选点进行去除”。

在该步骤中，该孤立点代表着孤立的小区域，而这些孤立的小区域并非只有一个像素，而可能是2、3个像素或者多个像素构成的非常小的区域。由于候选点集合中有的个别候选点(像素点)本身是由原图中的小实心圆退化形成的，而并非是未闭合的曲线，因此需要将其从候选点集合中去除。在去除时，需要判断这些候选点是否都位于同一个区域范围内，并且该区域的面积应该小于设定的预设面积，例如将预设面积设定为10，也就是说如果候选点集合中的多个候选点位于同一区域，且该区域面积小于10则代表这些候选点是近似孤立的点，而并不是未闭合曲线的像素点，将其从候选点集合中去除。如图5所示，左图是二值化线框图，右图为对应的骨架图，可以看出：左图中鱼的眼睛是一个实心圆，右图鱼的眼睛是由实心圆在二值化和细线化处理后退化成一个面积极小的孤立的点区域，而该点区域包含了多个候选点(像素点)，但这些候选点并不是未闭合曲线的像素点，因此需要将该点从候选点集合中去除。

步骤2：去除曲线终点，即“以每个候选点为中心建立矩形区域，并对所述矩形区域进行多次膨胀操作；比较膨胀操作前后闭合区域的个数，如果闭合区域个数未增加，则判断该候选点为线段终点，将该候选点进行去除；如果闭合区域个数增加，则判断该候选点所在线段为未闭合线段”。

在该步骤中，在二值化线框图经过细线化处理，即“将二值化线框图中每条线的宽度都统一为1个像素”后，有些闭合区域的末端会细线化变成曲线的终点，如图6中叶子或者花的尾端闭合区域会细线化成曲线的终点，而这些终点位置的像素点所在的线段也并不是非闭合曲线，因此需要将这些终点位置的像素点从候选点集合中去除。在去除曲线终点的过程中，需要先针对候选点集合中的每个像素点为中心设定一个矩形区域，例如设定一个s*s大小的矩形区域，其区域大小不做限定，以满足场景需求为准。然后对该矩形区域进行多次膨胀操作，膨胀操作是计算机图像处理中的一种技术，一般膨胀是基于二值化图进行的，在本申请中一般需要进行2-3次膨胀操作)。具体膨胀操作如图7和图8所示，图7的1是原图(二值化图)，2-5是膨胀多次的结果图，膨胀操作是指：对于每个白色的点，基于结构核将其周围的n个连通区域都变白；膨胀效果就是把原始目标变大。膨胀的范围就要看结构核大小了，结构核一般是3*3或者5*5，以奇数为主。在本申请中采用了5*5，大致相当于原图左右“胖”了2个像素。在进行多个膨胀操作后，需要比较膨胀操作前后闭合区域的个数，如果闭合区域个数未增加，则认为该像素点是曲线终点，将其从候选点集合中移除；如果闭合区域个数增加，则说明该像素点非常有可能是未闭合曲线的端点。具体膨胀后闭合区域个数的变化如图9所示，如果一条线段是直线，由设计师不小心设计导致未闭合，那么这个线段断开处的两个端点是非常靠近的，因此在以每个像素点为中心设定矩形区域，并对该区域进行膨胀操作后，两个端点就会连在一起，从而闭合区域也就会增加，也就是说该像素点是有可能是未闭合曲线的端点；相反，如果如果某个像素点的矩形区域在进行膨胀操作后，没有与其他像素点连接在一起，闭合区域也没有增加，可以判定该像素点是线段的终点。

步骤2：去除重复点，即“如果两个候选点之间的距离小于或者等于预设距离时，则将其中任意一个候选点进行去除”。

在该步骤中，考虑到如果未闭合曲线是从线段中间断开的，那么将会在断开处留有两个端点，而这两个端点(候选点)都代表着同一条未闭合曲线，因此需要将符合上述要求的重复候选点进行去重。具体去重操作结合图10进行说明：线段从中间断开后会形成两个未闭合曲线的端点，那么应该检测候选点集合中每两个候选点(像素点)的之间的距离是否小于或者等于5个像素，如果小于则删除两个候选点像素点中的任意一个候选点。

另外，本发明中所涉及到的去除候选点集合中伪候选点的三个步骤是具备先后顺序的，需要先排除孤立点区域，然后检测是否为线段终点，最后去除重复点。因为上述三个去伪操作如果顺序改变，还是会出现伪候选点，例如：先去除重复点，后排除孤立点区域的干扰，会出现“去除重复点时会检测每两个候选点之间的距离是否小于预设距离，而孤立点区域中存在的多个候选点中两两之间的距离都小于预设距离，则会将孤立点区域中的部分像素点(候选点)进行去除，而并非孤立点区域的所有候选点被去除”的问题。

在一个实施例中，所述方法还包括，以可视化的方式显示候选点集合中每个候选点(像素点)的位置信息。

在该步骤中，通过上述筛选步骤去除了候选点集合中的伪候选点，即:孤立点区域、经过细线化处理后的闭合区域的末端会变成曲线的终点，以及如果未闭合曲线是从线段中间断开会出现两个端点(候选点)都代表着同一条未闭合曲线的干扰。最后得到的候选点集合中每个候选点都且仅能代表一条未闭合曲线，即集合中有多少个候选点，就对应有多少条未闭合曲线。通过可视化的方式可以让用户很清楚地看出哪些位置出现了未闭合曲线，节省了人力成本，也能检测出人力无法察觉到的细微未闭合曲线。

本发明提供的用于线框图的未闭合线段的检测方法，通过对输入图像进行二值化处理；对二值化处理后的图像进行骨架提取，得到骨架图；从所述骨架图中检测出符合第一条件的候选点，组成候选点集合；从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点。本发明通过机器代替人工能够实现主动查找出线框图中所有未闭合曲线的目的，从而很好地节省了人工成本，也不需要再依靠人工费时费力的查找，以及避免了由于人工检查久了眼睛容易疲劳而出现误查漏查等情况。

本发明的实施例还提供一种用于线框图的未闭合线段的检测装置，如图11所示，包括：

二值化处理模块，用于对输入图像进行二值化处理；

在一个实施例中，所述筛选模块，包括：

在一个实施例中，所述二值化处理模块，包括：

在一个实施例中，所述检测模块，包括：

在一个实施例中，所述筛选模块还用执行以下步骤，包括：

本发明提供的用于线框图的未闭合线段的检测方法和装置，通过对输入图像进行二值化处理；对二值化处理后的图像进行骨架提取，得到骨架图；从所述骨架图中检测出符合第一条件的候选点，组成候选点集合；从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点。本发明通过机器代替人工能够实现主动查找出线框图中所有未闭合曲线的目的，从而很好地节省了人工成本，也不需要再依靠人工费时费力的查找，以及避免了由于人工检查久了眼睛容易疲劳而出现误查漏查等情况。

其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

在上述终端或者服务器的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，DSP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种用于线框图的未闭合线段的检测方法，其特征在于，包括：

对输入图像进行二值化处理；

对二值化处理后的图像进行骨架提取，得到骨架图；

从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点；

所述从所述候选点集合中筛选出符合第二条件的候选点，包括：

步骤1：如果多个候选点位于同一区域，且该区域面积小于预设面积，则将位于该区域内的所有候选点进行去除；

步骤2：以每个候选点为中心建立矩形区域，并对所述矩形区域进行多次膨胀操作；比较膨胀操作前后闭合区域的个数，如果闭合区域个数未增加，则判断该候选点为线段终点，将该候选点进行去除；如果闭合区域个数增加，则判断该候选点所在线段为未闭合线段；

步骤3：如果两个候选点之间的距离小于或者等于预设距离时，则将其中任意一个候选点进行去除。

2.根据权利要求1所述的用于线框图的未闭合线段的检测方法，其特征在于，所述对输入图像进行二值化处理，包括：

3.根据权利要求1所述的用于线框图的未闭合线段的检测方法，其特征在于，所述从所述骨架图中检测出符合第一条件的候选点，包括：

计算线段上每个像素点的八连通区域的非零像素点个数；

4.一种用于线框图的未闭合线段的检测装置，其特征在于，所述装置包括：

二值化处理模块，用于对输入图像进行二值化处理；

筛选模块，用于从所述候选点集合中筛选出符合第二条件的候选点，作为目标候选点检测所述骨架图中可能出现未闭合曲线的候选点；

所述筛选模块，用于如果多个候选点位于同一区域，且该区域面积小于预设面积，则将位于该区域内的所有候选点进行去除；以每个候选点为中心建立矩形区域，并对所述矩形区域进行多次膨胀操作；比较膨胀操作前后闭合区域的个数，如果闭合区域个数未增加，则判断该候选点为线段终点，将该候选点进行去除；如果闭合区域个数增加，则判断该候选点所在线段为未闭合线段；如果两个候选点之间的距离小于或者等于预设距离时，则将其中任意一个候选点进行去除。

5.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任意一项所述的方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任意一项所述的方法的步骤。