CN109886301A - 一种图像特征排布判断方法及其系统、终端设备 - Google Patents

Abstract

本发明涉及一种图像特征排布判断方法及其系统、终端设备，其中，所述图像特征排布判断方法及其系统采用图像语义分割算法，密集预测图片中每个像素从属的物体类别，并且进一步对获得像素级的结果进行处理，构建各类别区域的连接图，进一步对不同待处理图像中提取出的连接图的拓扑结构及各节点对应的分类进行判断，以对图像中特征排布进行判断。基于本发明所提供的方法和系统，可有效避免由于拍摄距离、角度、光照等等与语义无关的信息的干扰，从而可获得只与待处理图像中的物体排布的分类信息与位置信息相关的特征排布的判断结果。本发明所提供给终端设备可执行上述图像特征排布判断方法，以对不同的待处理图像进行准确的判重操作。

Description

一种图像特征排布判断方法及其系统、终端设备

【技术领域】

本发明涉及人工智能领域，其特别涉及一种图像特征排布判断方法及其系统、终端设备。

【背景技术】

随着人工智能的不断发展，对于图像处理的需求也越来越多。尤其是在无人零售领域中，基于图像而获知物体排布方式、物体数量及物体的种类越来越得到关注。目前要判断不同的图像是否相似，通常先使用特征提取器提取图像特征，然后计算特征间距离，如果特征件的距离小于一定距离，则可进一步判断不同的图像之间为相似。这种方法完全基于图片内容本身的相似程度，使得拍摄距离、角度、光照等与语义无关的信息均会对判断结果造成干扰，造成输出的判断结果并不能用于判断两张图片中的物体排布是否相同。

例如在一些应用场景中，当需要人工对大量的实物场景进行拍照以形成大批量的原始图像数据库时，如拍照者对同一实物场景通过变化拍摄距离、角度等方式重复拍照以获得多张图片，由于角度、距离或光照因素的影响，利用现有的判定方法则会将上述多张图片判定为不同的图像，而造成误判。因此，亟待提供一种快速且准确判断图像是否重复的技术方案。

【发明内容】

为解决现有技术难以快速且准确判断图像是否重复的技术问题，本发明提供一种图像特征排布判断方法及其系统、终端设备。

本发明为解决上述技术问题，提供如下的技术方案：一种图像特征排布判断方法，其包括如下的步骤：步骤S1，利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；步骤S2，逐一对不同待处理图像中具有相同分类信息的像素点，及对应像素点的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域的连接图；及步骤S3，对不同待处理图像的连接图之间的拓扑结构以及对应节点的分类信息进行判断并输出判断结果，并基于判断结果输出对应特征排布的判定结果。

优选地，在上述步骤S1中，所述图像语义分割模型包括像素级的决策树分类模型或全卷积神经网络模型中的任一种。

优选地，在上述步骤S2中，将具有相同分类信息的像素点结合其对应的位置信息构建成连通域具体包括以下步骤：步骤S21，选择一像素点，获知该像素点的分类信息及位置信息，构建一连通域；步骤S22，基于该像素点的位置信息，选择与该像素点相邻的任一新像素点，并基于新像素点与该像素点的分类信息，判定获得新像素点对应的连通域；及步骤23，基于获得的新像素点选择下一个像素点重复步骤S23的判断过程，直至遍历对应的待处理图像中所有像素点并获得对应连通域。

优选地，在上述步骤S2中将连通域作为节点构建对应各分类连通域的连接图具体包括以下步骤：步骤S24，将待处理图像的多个连通域处理为对应的节点，将不同节点之间连线，以构建获得节点之间的连接图。

优选地，在上述步骤S3具体包括以下步骤：步骤S31，判断不同待处理图像的连接图中节点的分类信息是否相同；若是，则进入步骤S32，若否，则进入步骤S33；步骤S32，判断对应的连接图中节点及连线所构成的拓扑结构是否相同；若是，则进入步骤S34，若否，则进入步骤S33；步骤S33，输出不同待处理图像的特征排布不相同的结果；及步骤S34，输出不同待处理图像具有相同特征排布的结果。

本发明为解决上述技术问题，提供又一的技术方案：一种图像特征排布判断系统，其包括：图像语义分割模块，配置为用于利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；连接图构建模块，配置为用于逐一对不同待处理图像中具有相同分类信息的像素点结合其对应的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域的连接图；及判定模块，配置为用于判断不同待处理图像的连接图之间是否同时满足拓扑结构相同以及对应节点的分类信息相同；并基于上述判断结果输出不同的图像排布判定结果。

优选地，上述连接图构建模块进一步包括：选取单元，用于选择一像素点，获知其分类信息及位置信息，构建一连通域；及新像素点判断单元，用于基于该像素点的位置信息，选择与该像素点相邻的任一新像素点，并基于新像素点与该像素点的分类信息，判定获得新像素点对应的连通域；基于获得的新像素点选择下一个像素点重复上述新像素点判断单元进行判断，直至遍历对应的待处理图像中所有像素点并获得对应连通域。

优选地，所述连接图构建模块还包括：连通域处理单元，用于将待处理图像的多个连通域处理为对应的节点，将不同节点之间连线，以构建获得节点之间的连接图。

优选地，所述判定模块进一步包括：分类判断单元，用于判断不用待处理图像的连接图中节点的分类信息是否相同；拓扑结构判断单元，用于判断对应的连接图中节点及连线所构成的拓扑结构是否相同；及判定结果输出单元，用于输出不同待处理图像的特征排布不相同的结果；或输出不同待处理图像具有相同特征排布的结果。

本发明为解决上述技术问题，提供又一的技术方案：一种终端设备，其包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行如上所述图像特征排布判断方法中的步骤。

与现有技术相比，本发明所提供的图像特征排布判断方法及其系统、终端设备具有如下的有益效果：

本发明所提供的图像特征排布判断方法及其系统采用图像语义分割算法，密集预测图片中每个像素从属的物体类别，并且进一步对获得像素级别的分类结果进行处理，构建各类别区域的连接图，进一步对不同待处理图像中提取出的连接图的拓扑结构及各节点对应的分类进行判断，从而实现对图像中的特征排布进行判断。基于本发明所提供的方法和系统，可有效避免由于拍摄距离、角度、光照等等与语义无关的信息的干扰，从而可获得只与待处理图像中的物体排布的分类信息与位置信息相关的特征排布的判断结果，并可基于物体的特征排布判断不同的待处理图像是否相同。

本发明所提供的图像特征排布判断方法及其系统，可适用于现有人工智能图像数据库的建立过程中，用于对待处理图像中的特征排布是否相同进行判断，从而可提高基于不同图像的判断而获得的物体排布信息的准确性，从而进一步提高图像数据库的准确度。

在本发明所提供的图像特征排布判断方法及其系统中，具有相同分类信息的像素点结合其对应的位置信息构建成连通域的过程，可具体为基于不同的位置信息选定一像素点并构建一连通域，选择与该像素点相邻的任一新像素点，并基于分类信息判断两个像素点是否可归为同一连通域，进一步可基于获得的新像素点选择下一个像素点并基于分类信息进行判断，直至遍历待处理图像中所有的像素点，并获得对应的连通域。基于上述的步骤，可基于像素点的分类构建出对应的连通域，这样的分类方式准确且快速，可满足所述图像特征排布判断需求。

在本发明所提供的图像特征排布判断方法及其系统中，进一步将连通域抽象处理为节点，而进一步对不同节点之间进行连线，从而可构建获得可反映节点之间相对位置的连接图。基于节点的设置，可进一步将物体特征以抽象化的连接图的方式展示，从而可将除物体的像素点的分类信息和为位置信息之外的其他信息排除，从而可提高所述物体排布判重的准确性。

进一步地，在本发明中进一步对不同待处理图像的连接图中的节点分类信息及由对应的节点、连线构成的连接图的拓扑结构是否相同进行判断，以输出不同待处理图像的特征排布为相同或为不相同的判断结果。基于拓扑结构是否相同的判断方法，可排除由于拍摄远近、角度或者光照而造成的不同待处理图像的连接图的平面形状、大小不一致的问题，从而可获得更为准确的不同待处理图像之间物体排布的判断结果。

本发明中所提供的终端设备包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行所述图像特征排布判断方法中的步骤。因此，所述终端设备也具有与上述图像特征排布判断方法相同的有益效果，在此不再赘述。

【附图说明】

图1是本发明第一实施例所提供的图像特征排布判断方法的步骤流程示意图。

图2A是图1中所示步骤S2的具体流程步骤示意图。

图2B是图2A中所示步骤S22的具体流程步骤示意图。

图3A是本发明的一个具体实施例的待处理图像A中选择初始像素点的示意图。

图3B是本发明的一个具体实施例的待处理图像B中选择初始像素点的示意图。

图3C是图3A中所示基于初始像素点获得的新像素点及其所属连通域类别的示意图。

图3D是图3B中所示基于初始像素点获得的新像素点及其所属连通域类别的示意图。

图3E是图3C中所示基于新像素点获得的又一新像素点及其所属连通域类别的示意图。

图3F是图3D中所示基于新像素点获得的又一新像素点及其所属连通域类别的示意图。

图3G是图3E中所示基于新像素点获得的又一新像素点及其所属连通域类别的示意图。

图3H是图3F中所示基于新像素点获得的又一新像素点及其所属连通域类别的示意图。

图4是图1中所示步骤S3的具体流程步骤示意图。

图5是本发明第二实施例所提供的图像特征排布判断系统的模块示意图。

图6是图5中所示连接图构建模块中所包括的具体功能模块的示意图。

图7是图5中所示判定模块中所包括的具体功能模块的示意图。

图8是本发明第三实施例所提供的终端设备的模块示意图。

附图标注说明：

A，待处理图像；O，初始像素点；O1、O2，像素点；11，笔记本；12，笔；13，橡皮擦；14，节点；15，连线；

20，图像特征排布判断系统；21，图像语义分割模块；22，连接图构建模块；221，选取单元；222，新像素点判断单元；223，连通域处理单元；23，判定模块；231，分类判断单元；232，拓扑结构判断单元；233，判定结果输出单元；

30，终端设备；31，存储单元；32，处理单元；33，输入部分；34，输出部分；35，通信部分。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明的第一实施例提供一图像特征排布判断方法，其包括如下的步骤：

步骤S1，利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；

步骤S2，逐一对不同待处理图像中具有相同分类信息的像素点，及对应像素点的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域(ConnectedComponent)的连接图；及

步骤S3，对不同待处理图像的连接图之间的拓扑结构以及对应节点的分类信息进行判断并输出判断结果，并基于判断结果输出对应特征排布的判定结果。

具体地，在上述的步骤S1中，所述图像语义分割模型包括像素级的决策树分类模型或全卷积神经网络模型(Fully Convolutional Network,FCN)中的任一种。

在本发明中，所述图像语义分割模型在处理图像时，可具体到像素级别，也就是说，该模型会将图像中每个像素分配到某个对象类别。在本发明中以全卷积神经网络模型为例做具体说明，在具体的应用过程中，将卷积神经网络中的全连接层替换为卷积层来输出一种空间域映射，从而将现存、周知的分类模型，如AlexNet模型，VGG模型，GoogleNet模型和ResNet模型等，转化为全连接的模型。这些映射用分数阶卷积(fractionally stridedconvoluti-ons，又称为反卷积)来产生像素级标签输出。基于此，可将卷积神经网络应用于端到端图像分割问题的训练，从而可实现对任意大小图像进行密集预测(densepredictions)，以对图片的每个像素点都做分类，并可同时获知对应像素点的位置信息。

在上述的步骤S2中，所述的连通域指在待处理图像中具有相同像素点分类信息且位置相邻的像素点组成的图像区域。可选地，在本发明一些具体的实施例中，如图2A中所示，在上述步骤S2中，将具有相同分类信息的像素点结合其对应的位置信息构建成连通域，具体包括以下步骤：

步骤S21，选择一像素点，获知该像素点的分类信息及位置信息，构建一连通域；

步骤S22，基于该像素点的位置信息，选择与该像素点相邻的任一新像素点，并基于新像素点与该像素点的分类信息，判定获得新像素点对应的连通域；及

步骤23，基于获得的新像素点选择下一个像素点重复步骤S22的判断过程直至遍历对应的待处理图像中所有像素点并获得对应连通域。

可选地，在本发明一些实施例中，在上述步骤S1中，在待处理图像中任意选择的第一个像素点可定位为所选用初始像素点。

进一步如图2B中所示，上述步骤S22可进一步细分为以下步骤：

步骤S221，基于该初始像素点的位置信息，选择与该像素点相邻的任一新像素点；

步骤S222，判断该新像素点的分类信息与初始像素点的分类信息是否相同；若是，进入步骤S223；若否，进入步骤S224；

步骤S223，判定新像素点与初始像素点为同一连通域；及

步骤S224，则判定新像素点为新的连通域。

为了进一步对上述步骤S2做说明，本发明提供两个待处理图像A及待处理图像B仅作为示例说明，不作为本发明的限定。其中，图3A、图3C、图3E及图3G对应于待处理图像A，而图3B、图3D、图3F及图3H对应于待处理图像B。待处理图像B中所示的物体相较于待处理图像A中所示的物体的角度为逆时针旋转90°，且其大小缩小。

请继续结合图2A及图3A-图3B，假设有待处理图像A及待处理图像B，其内均具有一笔记本11、一笔12及一橡皮擦13的物体特征。需要说明的是，此处所列的例子仅作为示例，不作为本发明的限定。

进一步如图3A中所示，选取待处理图像A及待处理图像B中的中心点作为初始像素点O。有关初始像素点O的选择可为随机选取或者基于人工经验选择。选定初始像素点O之后，此时，初始像素点O的分类信息和位置信息是已知的，该初始像素点O即代表一个连通域，假定其为第一连通域。如图3A中所示，第一连通域对应为笔记本的像素点区域。

又如图3B中所示，初始像素点O对应为橡皮擦的像素点区域，其属于第三连通域。

进一步地，如图3C-图3D中所示，从初始像素点O出发，向其左、右、上或下分别移动以检测，假设选择的像素点为O1，像素点O1的分类信息和位置信息也是已知的，因此，将初始像素点O与像素点O1的分类信息进行比较，若相同，则将像素点O1归为第一连通域，若不相同，则将像素点O1设定为第二连通域。其中，第一连通域与第二连通域为具有不同分类信息的连通域。

如比对图3A与图3C中所示，像素点O与像素点O1分别对应第一连通域与第二连通域，对应地，像素点O在笔记本的像素点区域中，也即，可认为笔记本的像素点区域相当于第一连通域，而像素点O1属于橡皮擦的像素点区域，也即，可认为橡皮擦的像素点区域相对于第二连通区域。

如比对图3B及图D中所示，对应地，像素点O在橡皮擦的像素点区域中，则可认为橡皮擦的像素点区域相当于第一连通域；而像素点O1属于笔的像素点区域，则可认为笔的像素点区域相对于第三连通区域。

请继续参阅图3E-图3F中所示，基于该像素点O1向其左、右、上或下分别移动以检测获得像素点O2，其中，像素点O2的分类信息和位置信息也是已知的，因此，将像素点O2与像素点O1的分类信息进行比较，若相同，则将像素点O2归为第二连通域，若不相同，则进一步将像素点O2与初始像素点O比较，若相同，则将像素点O2设定为第一连通域，若不同，则将像素点O2设定为第三连通域。其中，第一连通域、第二连通域及第三连通域分别为具有不同分类信息的连通域。

如图3E中所示，像素点O2在笔的像素点区域，其与第一连通域、第二连通域均不相同，也即，笔的像素点区域相当于第三连通域。

而又如图3F中所示，像素点O2在背景像素点区域中，也即，背景像素点区域相当于第四连通域。

依次类推，直至遍历对应的待处理图像中所有像素点并获得对应连通域。

进一步地，请结合图2及图3G及图3H，在上述步骤S2中还可将连通域作为节点构建对应各分类连通域的连接图具体包括以下步骤：

步骤S24，将待处理图像的多个连通域处理为对应的节点，将不同节点之间连线，以构建获得节点之间的连接图。具体地，所述节点的选择可采用同一的抽象处理标准，以节点表示连通域的位置，也即，节点只可以反映出不同连通域间的位置关系，而不考虑连通域的形状和大小。

如图3G及图3H中所示，将与笔记本的像素点区域、橡皮擦的像素点区域及笔的像素点区域对应的3个连通域进行抽象处理为节点14，并在节点14之间设置连线15，此时，节点14与连线15之间则构成了连接图，该连接图可对应具有拓扑结构。

在其他的具体实施例中，假设在待处理图像中具有四个特征物体(图未示)，则四个特征物体均可形成对应的四个节点(图未示)，并在节点之间设置连线(图未示)，此时，节点与连线之间则构成了连接图。

在获得连接图之后，则可进一步判断不同的待处理图像的连接图是否为拓扑同构，也即不同连接图对应的拓扑结构之间是否具有同构性。

结合图4及图3G-图3H中所示，在本发明的具体实施例中，在上述步骤S3还可具体包括以下步骤：

步骤S31，判断不同待处理图像的连接图中节点的分类信息是否相同；若是，则进入步骤S32，若否，则进入步骤S33；

步骤S32，进一步判断对应的连接图中节点及连线所构成的拓扑结构是否相同；若是，则进入步骤S34，若否，则进入步骤S33；步骤S33，输出不同待处理图像的特征排布不相同的结果；及

步骤S34，输出不同待处理图像具有相同特征排布的结果。

在本发明另一些具体实施例中，步骤S31中判断节点的分类信息是否相同及步骤S32中判断节点及连线所构成的拓扑结构是否相同的顺序可互换，或也可同时进行。只有在满足上述两个条件时，才会输出不同待处理图像的特征排布相同的结果。

由结合上述图3G及图3H中可以看出，例如先判断图3G-图3H中对应待处理图像A及待处理图像B的三个节点分别对应的是笔记本、笔和橡皮擦的分类，其获得连接图的拓扑结构需要结合组成连接图的节点具体特征分类，以进行具体的判断。

从图3G及图3H中可以看出，待处理图像A与待处理图像B中，连接图的大小和方向不一致，但是获得的连接图中对应各个节点的分类信息及其拓扑结构是相同的，因此，则判定待处理图像A与待处理图像B中物体特征排布是一致的。需要说明的是，上述连接图大小和方向不一致是因为拍摄方位、远近的不同而导致的。

本发明所提供的图像特征排布判断方法可同时对多个待处理图像的物体排布是否重复进行判断，其可避免由于拍摄距离、角度、光照等条件的不同，而造成对同一张图像进行重复处理的问题，其可特别适用于需要对物体的数量进行盘点。通过上述的图像特征排布判断方法可知道图像中物体对应的类别，还可知道物体之间的相对排布位置。

请参阅图5，本发明的第二实施例提供一图像特征排布判断系统20，所述图像特征排布判断系统20包括：

图像语义分割模块21，配置为用于利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；

连接图构建模块22，配置为用于逐一对不同待处理图像中具有相同分类信息的像素点，及对应像素点的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域的连接图；及

判定模块23，配置为用于判断不同待处理图像的连接图之间是否同时满足拓扑结构相同以及对应节点的分类信息相同；并基于上述判断结果输出不同的图像排布判定结果。

基于上述的图像语义分割模块21，采用图像语义分割算法，密集预测图像中每一个像素属于的物体类别，从而获得图像各区域所属类别。进一步地，在上述连接图构建模块22中，从上述图像分割结果构建区域连接图，以获得不受除物体类别与位置信息外影响的图像信息表达方式。所述判定模块23中，通过比较该连接图的同构性可进一步判断物体排布是否相同。本发明所提供的图像特征排布判断系统20相对于提取特征进行比较的方法，判断的运算量小且过程简单，能够应用于多种实际场景。

可选地，为了提高所述连接图构建的准确性，从而可更为准确的反映出物体的实际排布，如图6中所示，上述连接图构建模块22进一步包括：

选取单元221，用于选择一初始像素点定位为初始像素点，获知其分类信息及位置信息，构建一连通域；及

新像素点判断单元222，用于基于该像素点的位置信息，选择与该像素点相邻的任一新像素点，并基于新像素点与该像素点的分类信息，判定获得新像素点对应的连通域；基于获得的新像素点选择下一个像素点重复上述新像素点判断单元进行判断，直至遍历对应的待处理图像中所有像素点并获得对应连通域。

可选地，在一些具体的实施方式中，继续如图6中所示，所述连接图构建模块22还包括：

连通域处理单元223，用于将待处理图像的多个连通域处理为对应的节点，将不同节点之间连线，以构建获得节点之间的连接图。

可选地，在另一些具体的实施方式中，如图7中所示，所述判定模块23进一步包括：

分类判断单元231，用于判断不用待处理图像的连接图中节点的分类信息是否相同；及

拓扑结构判断单元232，用于判断对应的连接图中节点及连线所构成的拓扑结构是否相同。

判定结果输出单元233，用于输出不同待处理图像的特征排布不相同的结果；或输出不同待处理图像具有相同特征排布的结果。

其中，所述分类判断单元231与所述拓扑结构判断单元232可同时运行或两者互换运行。所述拓扑结构判断单元232只有在满足上述两个条件时，所述判定结果输出单元233才会基于所述拓扑结构判断单元232的判断结果输出不同待处理图像的特征排布相同的结果。

在本实施例中，上述有关所述图像语义分割模型、连通域、节点、连接图及拓扑结构的解释与上述第一实施例中所述的图像特征排布判断方法相同，在此不再赘述。

请参阅图8，本发明的第三实施例提供一用于实施上述图像关键区域检测方法的终端设备30，所述终端设备30包括存储单元31和处理单元32，所述存储单元31用于存储计算机程序，所述处理单元32用于通过所述存储单元31存储的计算机程序执行所述图像关键区域检测方法中的步骤。

所述终端设备30可以是硬件，也可以是软件。当终端设备为硬件时，可以是具有显示屏并且支持视频播放的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

所述存储单元31包括只读存储器(ROM)、随机访问存储器(RAM)及硬盘等的存储部分等，所述处理单元32可以根据存储在所述只读存储器(ROM)中的程序或者加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器(RAM)中，还存储有所述终端设备30操作所需的各种程序和数据。

如图8中所示，所述终端设备30还可包括键盘、鼠标等的输入部分33；所述终端设备30还可进一步包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分34；以及所述终端设备30可进一步包括诸如LAN卡、调制解调器等的网络接口卡的通信部分35。所述通信部分35经由诸如因特网的网络执行通信处理。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明所公开的实施例可包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分35从网络上被下载和安装。

在该计算机程序被所述处理单元32执行时，执行本申请的所述图像关键区域检测方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请中，计算机可读存储介质还可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可采用一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明的说明书附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括分割单元、连接图构建单元、以及判定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，分割单元还可以被描述为“对待处理图像进行像素级别的分类及标注。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：

利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；逐一对不同待处理图像中具有相同分类信息的像素点结合其对应的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域的连接图；及判断不同待处理图像的连接图之间是否同时满足拓扑结构相同以及对应节点的分类信息相同；并基于上述判断结果输出不同的图像排布判定结果。

与现有技术相比，本发明所提供的图像特征排布判断方法及其系统、终端设备具有如下的有益效果：

本发明所提供的图像特征排布判断方法及其系统采用图像语义分割算法，密集预测图片中每个像素从属的物体类别，并且进一步对获得像素级别的分类结果进行处理，构建各类别区域的连接图，进一步对不同待处理图像中提取出的连接图的拓扑结构及各节点对应的分类进行判断，从而实现对图像中的特征排布进行判断。基于本发明所提供的方法和系统，可有效避免由于拍摄距离、角度、光照等等与语义无关的信息的干扰，从而可获得只与待处理图像中的物体排布的分类信息与位置信息相关的特征排布的判断结果。

本发明所提供的图像特征排布判断方法及其系统，可适用于现有人工智能图像数据库的建立过程中，用于对待处理图像中的特征排布是否相同进行判断，从而可提高基于不同图像的判断而获得的物体排布信息的准确性，从而进一步提高图像数据库的准确度。

在本发明所提供的图像特征排布判断方法及其系统中，具有相同分类信息的像素点结合其对应的位置信息构建成连通域的过程，可具体为基于不同的位置信息选定一像素点并构建一连通域，选择与该像素点相邻的任一新像素点，并基于分类信息判断两个像素点是否可归为同一连通域，进一步可基于获得的新像素点选择下一个像素点并基于分类信息进行判断，直至遍历待处理图像中所有的像素点，并获得对应的连通域。基于上述的步骤，可基于像素点的分类构建出对应的连通域，这样的分类方式准确且快速，可满足所述图像特征排布判断需求。

在本发明所提供的图像特征排布判断方法及其系统中，进一步将连通域抽象处理为节点，而进一步对不同节点之间进行连线，从而可构建获得可反映节点之间相对位置的连接图。基于节点的设置，可进一步将物体特征以抽象化的连接图的方式展示，从而可将除物体的像素点的分类信息和位置信息之外的其他信息排除，以可提高所述物体排布判重的准确性。

进一步地，在本发明中进一步对不同待处理图像的连接图中的节点分类信息及由对应的节点、连线构成的连接图的拓扑结构是否相同进行判断，以输出不同待处理图像的特征排布为相同或为不相同的判断结果。基于拓扑结构是否相同的判断方法，可排除由于拍摄远近、角度或者光照而造成的不同待处理图像的连接图的平面形状、大小不一致的问题，从而可获得更为准确的不同待处理图像之间物体排布的判断结果。

本发明中所提供的终端设备包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行所述图像特征排布判断方法中的步骤。因此，所述终端设备也具有与上述图像特征排布判断方法相同的有益效果，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种图像特征排布判断方法，其特征在于：其包括如下的步骤：

步骤S1，利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；

步骤S2，逐一对不同待处理图像中具有相同分类信息的像素点，及对应像素点的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域的连接图；及

步骤S3，对不同待处理图像的连接图之间的拓扑结构以及对应节点的分类信息进行判断并输出判断结果，并基于判断结果输出对应特征排布的判定结果。

2.如权利要求1中所述图像特征排布判断方法，其特征在于：在上述步骤S1中，所述图像语义分割模型包括像素级的决策树分类模型或全卷积神经网络模型中的任一种。

3.如权利要求1中所述图像特征排布判断方法，其特征在于：在上述步骤S2中，将具有相同分类信息的像素点结合其对应的位置信息构建成连通域具体包括以下步骤：

步骤S21，选择一像素点，获知该像素点的分类信息及位置信息，构建一连通域；

步骤S22，基于该像素点的位置信息，选择与该像素点相邻的任一新像素点，并基于新像素点与该像素点的分类信息，判定获得新像素点对应的连通域；及

步骤23，基于获得的新像素点选择下一个像素点重复步骤S23的判断过程，直至遍历对应的待处理图像中所有像素点并获得对应连通域。

4.如权利要求3中所述图像特征排布判断方法，其特征在于：在上述步骤S2中将连通域作为节点构建对应各分类连通域的连接图具体包括以下步骤：

步骤S24，将待处理图像的多个连通域处理为对应的节点，将不同节点之间连线，以构建获得节点之间的连接图。

5.如权利要求4中所述图像特征排布判断方法，其特征在于：在上述步骤S3具体包括以下步骤：

步骤S31，判断不同待处理图像的连接图中节点的分类信息是否相同；若是，则进入步骤S32，若否，则进入步骤S33；

步骤S32，进一步判断对应的连接图中节点及连线所构成的拓扑结构是否相同；若是，则进入步骤S34，若否，则进入步骤S33；

步骤S33，输出不同待处理图像的特征排布不相同的结果；及

步骤S34，输出不同待处理图像具有相同特征排布的结果。

6.一种图像特征排布判断系统，其特征在于：其包括：

图像语义分割模块，配置为用于利用图像语义分割模型分别对至少两个待处理图像中所有像素点进行分类，并分别输出对应像素点的分类信息和位置信息；

连接图构建模块，配置为用于逐一对不同待处理图像中具有相同分类信息的像素点，及对应像素点的位置信息构建成连通域，将连通域作为节点构建对应各分类连通域的连接图；及

判定模块，配置为用于判断不同待处理图像的连接图之间是否同时满足拓扑结构相同以及对应节点的分类信息相同，并基于上述判断结果输出不同的图像排布判定结果。

7.如权利要求6中所述图像特征排布判断系统，其特征在于：上述连接图构建模块进一步包括：

选取单元，用于选择一像素点，获知其分类信息及位置信息，构建一连通域；及

新像素点判断单元，用于基于该像素点的位置信息，选择与该像素点相邻的任一新像素点，并基于新像素点与该像素点的分类信息，判定获得新像素点对应的连通域；基于获得的新像素点选择下一个像素点重复上述新像素点判断单元进行判断，直至遍历对应的待处理图像中所有像素点并获得对应连通域。

8.如权利要求6中所述图像特征排布判断系统，其特征在于：所述连接图构建模块还包括：

连通域处理单元，用于将待处理图像的多个连通域处理为对应的节点，将不同节点之间连线，以构建获得节点之间的连接图。

9.如权利要求8中所述图像特征排布判断系统，其特征在于：所述判定模块进一步包括：

分类判断单元，用于判断不用待处理图像的连接图中节点的分类信息是否相同；

拓扑结构判断单元，用于判断对应的连接图中节点及连线所构成的拓扑结构是否相同；及

判定结果输出单元，用于输出不同待处理图像的特征排布不相同的结果；或输出不同待处理图像具有相同特征排布的结果。

10.一种终端设备，其特征在于：所述终端设备包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行所述权利要求1-5中任一项所述图像特征排布判断方法中的步骤。