CN112800259B - 一种基于边缘闭合与共性检测的图像生成方法及系统 - Google Patents

Abstract

本发明公开一种基于边缘闭合与共性检测的图像生成方法及系统，所述方法包括：获取输入的文本，对文本进行文本要素筛选；将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果；从中筛选出多个有效图像，对各个图像进行边缘检测，得到边缘检测图像；采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；对图像中的所有实体按对应的封闭边缘进行裁剪操作，得到备选纯实体图像；通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数，将图像总数最多的类别中的图像作为对应文本要素的语义图像。本发明可基于文本生成符合常理、背景为透明或纯色的高质量、纯实体语义图像。

Description

一种基于边缘闭合与共性检测的图像生成方法及系统

技术领域

本发明属于文本-图像生成技术领域，具体涉及一种基于像素闭合与共性检测的图像语义分割方法及系统、设备、存储介质。

背景技术

在内容生产领域，高效生产IP决定了以IP生产为核心业务的企业竞争力。但由于IP生产是典型的创造型工作，近十年高速发展的深度学习技术并不能很好的适应“创造”的任务。深度学习在图像方面的应用，以机器视觉领域为主，而文字转静止图像任务是一类典型的信息量增加，要求神经网络具有创造能力的人工智能技术。其底层原理是利用含有卷积神经网络或循环神经网络或各种形式的生成式网络对图像的像素信息进行训练，生成神经网络模型，模型将参数化的经验保存在神经网络各个节点内，从而具有预测或是生成新的相同模式图像的能力。

机器视觉技术目前在图像的分类识别问题上发挥较好，但是在图像生成任务上离市场应用还有一段距离，主要问题表现在：1.在图像风格变换上严重依赖输入像素的训练，并且生成的图像具有较强原图像模式的风格；2.在纯图像生成上，生成分辨率较低图像有较好效果，但是对于标准分辨率和高分辨率图像生成的图像效果模糊，目前无还法进入市场应用领域；3.生成的图像有可能不符合人类日常视觉理解。

就目前而言，由各种生成式深度神经网络创造的图像还不能达到满足市场应用的技术能力，生成标清且符合物理规律的合理图像仍较为困难，且这类任务需要耗费大量的人工标定标签成本和训练成本。

而现存的基于语义-图像分割技术的语义图像生成方式依赖训练，训练样本需要大量的人工像素级图像标定工作，造成每一个样本的人工标定标签的的工作量都较普通深度学习更大，在应用领域难以付出如此规模的人力成本。现存的弱监督学习语义分割技术仍然部分依赖对图像进行人工像素级的染色标定。现存的无监督语义分割技术则是完全依赖生成仿真空间的生成实例，仿真实例与真实空间的各个要素并非同分布，因此也无法有效用于真实图片中要素的提取。

发明内容

有鉴于此，本发明提出了一种基于像素闭合与共性检测的图像图像生成方法及系统、设备、存储介质，用于解决现有文本-图像生成技术中人工标定和训练繁琐、无法根据文本生成合理的语义图像的问题。

本发明第一方面，公开一种基于边缘闭合与共性检测的图像生成方法，所述方法包括：

获取输入的文本，对文本进行文本要素筛选；

将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果；

对于同一文本要素对应的搜索结果，从中筛选出多个有效图像，对各个图像进行边缘检测，得到边缘检测图像；

设定动态扫描半径，基于动态扫描半径，采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；

对图像中的所有实体按对应的封闭边缘进行裁剪操作，将裁剪分割出的图像作为备选纯实体图像；

通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数，将图像总数最多的类别中的图像作为对应文本要素的语义图像。

优选的，所述对文本进行文本要素筛选具体为：

对输入的文本进行分词、去停用词处理，进行词性标注；

设定筛选文本要素的关键原则，筛选出满足所述关键原则的文本要素，所述关键原则包括：文本语义在现实场景中能够可视化，或者文本语义不可视但该语义伴随着其他可视化的实体同时出现在现实场景中。

优选的，所述采用最近邻的探测连接方式对图像中的实体进行边缘闭合操作，得到封闭边缘具体为：

分别对各个实体编号，为同一实体的边缘像素标记相同的像素ID；

提取边缘检测图像中一个连续边缘的端点作为基准点，以基准点为圆心、以设定的动态扫描半径向外迭代扫描搜索，每次迭代过程中均进行扫描区域的连接判定，筛选出另一个连续边缘上与基准点具有相同的像素ID的端点像素，对两个端点之间的间断像素点进行线性填充连接；当扫描区域内所有端点已连接且每次线性填充连接之后组成的连续边缘的弧线长度均大于填充连接之前的两个连续边缘的端点之间的最大直线距离时，结束本次扫描，完成一组边缘闭合操作；

重复以上边缘闭合操作，直到每个实体的边缘像素沿着实体轮廓围成一个封闭区域。

优选的，所述对两个端点之间的间断像素点进行线性填充连接具体为：

设以连续边缘i的某一基准端点 (x _i ,y _i )为圆心、以r _i 为半径向外搜索到的第一个满足搜索条件的端点为

，两者之间的距离为D _i ，当满足

且(x _i ,y _i )与

的像素ID相同的条件时，以坐标(x _i ,y _i )为起点，以向量

为方向，以D _i 为长度线性填充原本空缺的边缘像素。

优选的，所述动态扫描半径根据当前连续边缘的边缘长度和上一次边缘闭合操作填充的连接像素与之前已存在的边缘像素形成的孤立交叉点个数设定；

设r _i (t)表示边缘i第t次迭代扫描时的扫描半径，其动态变化过程如下：

其中，r _i (0)表示以处在边缘i上的基准点为圆心进行第一次扫描时的初始半径，函数s(l _i )是一个关于边缘i的长度l _i 的尺度函数，c ₀表示第一次扫描前设置的初始参数；c _t-1表示第t-1次扫描后进行端点连接操作时填充的连接像素与之前已存在的边缘像素形成的孤立交叉点个数，a、b为可调节系数。

优选的，所述每次迭代过程中均进行扫描区域的连接判定具体为：

当扫描区域无端点时，以半径最大值进行重新扫描，若扫描区域内仍无有效端点，则对系数a、b进行调节，或调节尺度函数的系数，以提高半径上限；

当扫描区域出现1个与基准点具有相同ID的另一个连续边缘的端点时，直接进行连接操作；

当扫描区域出现多个与基准点具有相同ID的另一个连续边缘的端点时，选择距离最近的端点进行连接操作或根据具体情况设置选取规则后进行连接操作。

优选的，所述无监督图像分类算法包括无监督的DCN网络、基于DCN网络的深度聚类算法、基于信息不变性的无监督聚类卷积神经网络IIC-CNN分类器。

本发明第二方面，公开一种基于边缘闭合与共性检测的图像生成系统，所述系统包括：

文本处理模块：获取输入的文本，对文本进行文本要素筛选；

图像搜索模块：将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果，对于同一文本要素对应的搜索结果，筛选出多个有效图像；

边缘闭合模块：对各个图像进行边缘检测，设定动态扫描半径，基于动态扫描半径，采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；

图像分割模块：对图像中的所有实体按对应的封闭边缘进行裁剪操作，将裁剪分割出的图像作为备选纯实体图像；

语义标定模块：通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数将图像总数最多的类别中的图像作为对应文本要素的语义图像。

本发明第三方面，提出一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；

其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。

本发明第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。本发明相对于现有技术具有以下有益效果：

1）本发明基于输入的文本进行文本要素筛选，对文本要素进行网络图片搜索，利用文本要素网络图片搜索结果具有相同共性特征的原理，结合语义-图像分割技术从网络图片搜索结果中识别出与文本要素相对应的纯背景实体图像，实现了由文本输入到语义图像要素的输出，不要需要繁琐的标定和训练即可基于文本生成符合常理、背景为透明或纯色的纯实体图像，且具有较高的图像质量；

2）本发明通过对网络图像进行边缘检测，设定动态扫描半径扫描不连续的边缘缺口，通过最近邻探测连接方式进行对边缘缺口进行边缘自动闭合；本发明的边缘自动闭合具有动态调节机制，可以随着封闭结果动态调节扫描半径，从而实施不同的封闭精度与填充粒度，使得封闭区域在算法后期能够逐渐趋近于更高的实体像素覆盖精度，避免出现不同缺口之间或者实体之间像素缠绕、粘连等不合理连接现象；本发明的边缘闭合不涉及求导等复杂运算，可降低计算复杂度，能够快速、批量线性处理，适用于大规模图像数据集的边缘闭合；

3）本发明通过无监督图像分类算法对备选纯实体图像进行分类，将图像总数最多的类别中的图像作为对应文本要素的语义图像，通过无监督学习实现了语义-图像分割，本发明不需要提前建立语义-图像索引库，不依赖人工标定标签的训练数据集，具有较强的泛化性，适用于几乎所有现实中可视的文本-图像要素；本发明在耗费较少系统运算资源的情况下生产出的图像或图形具有应用级的可识别性，符合人类日常视觉理解。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于边缘闭合与共性检测的图像生成方法的流程示意图；

图2为本发明边缘闭合操作的流程示意图；

图3为本发明基于边缘闭合与共性检测的图像生成系统结构示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本发明提出一种文本输入到语义图像要素输出的方法及系统、设备、存储介质，基于像素自动闭合技术与文本-图像要素语义共性检测机制，能够以文本要素作为输入，输出一个与输入文本语义对应、边缘已经像素级分割的图像实体素材，妙地实现无监督地图像实体语义分割，从而实现与文本对应的图像生成。

如图1所示，本发明提出一种基于边缘闭合与共性检测的图像生成方法，对输入文本进行文本处理，对文本搜索到的图像进行图像处理，最后进行无监督图像分类，输出与输入文本对应的语义图像。所述方法包括如下步骤：

S1、获取输入的文本，对文本进行文本要素筛选；

文本要素是指文本语义对应的能够以可视化方式展现的实体。通常这些实体可以以数字媒体的形式加以表现，例如图像文件中的“猫”，视频文件中的“汽车”。所述步骤S1具体包括如下分步骤：

S11、文本预处理步骤，对输入的文本进行分词、去停用词处理，进行词性标注；

对于输入的文本，首先需要进行文本实体要素分割，对英文文本按空格处逐词划分即可。对于中文文本，采用现有各类分词算法也可有效将句子拆分为词语，在拆分处进行划分即可。对拆分后文本选取合适的停用词词表去除停用词，留下适用于具体任务的纯要素的词语。停用词词表可以采用现存的各个语种的经典停用词（例如中文中的“的”，英文中的“the”，或者标点符号），亦可以根据具体任务，自行定义或修改停用词表。文本被分离成一系列不含停用词的单独的词汇，此时需要将词汇按照具体任务进行词性标注，词性标注的方式可以直接通过定制化的电子词典索引文件进行数据库式的标注，也可以采用词性标注算法进性结合上下文的词性分析标注。

S12、文本要素筛选步骤，设定筛选文本要素的关键原则，筛选出满足所述关键原则的文本要素；

中文或英文中可视化的实体以名词为主，适合成为语义要素的首选词性，但这并不限定名词是唯一成为语义要素的词性，在不同任务和语种中，可能出现多种复杂情况，但是在多数语种中名词是最具有成为要素条件的词性。根据具体词性并参照如下原则选择作为语义实体要素的词汇是本过程的一个特征。所述关键原则包括：文本语义在现实场景中能够可视化，例如“小猫”，“汽车”；或者文本语义不可视但该语义伴通常随着其他可视化的实体同时出现在现实场景中，例如“微风”不可视，但是通常伴随着树叶的飘动。

S13、文本要素的收集与归纳步骤，对分离出的作为要素的文本进行收集以进行备用，要素的搜集与归纳方式可根据具体任务来进行定义，例如直接将提取出的文本要素添加到数组中，亦可以将他们赋予索引归纳进字典或集合中。字典索引可以是该词语在文本中出现的次数，亦可以是位置信息等。

S2、将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果；

S3、对于同一文本要素对应的搜索结果，从中筛选出多个有效图像，对各个图像进行边缘检测，得到边缘检测图像；

从中筛选出多个有效图像的筛选条件为：搜索结果总数大于预设阈值且从中随机选取的图像具备共性特征。所述共性特征包括：1.图像包含表示与语义对应实体的像素排列；2.图像包含表示实体以外的伴随实体的像素排列。本发明对图像进行特征提取，以进行共性特征检测。

具体的，设定一个阈值α>0；

当图片搜索输出的结果数量大于等于α且随机选取的图片具备共性特征时认为该文本要素是有效的，称为标准文本要素；标准文本要素具有两个性质：1.每个词语要素在互联网中有大量的语义-图像搜索结果；2.同一词语要素的绝大多数对应图像搜索结果中都包含该词语语义的图像要素或相应特征。一个标准要素文本与其语义-图像搜索结果是一对多的关系，借助常用的搜索引擎以及合理的正则表达式搜索，一个标准要素文本可以搜索出海量的图片结果，并且结果中都包含该文本的图像要素，即图片具备共性特征。

若图片搜索输出的结果数量少于α时，认为该文本要素是无效的，需要人工处理。若该要素实体为新产生的事物，图像素材较少，则对该文本加上新实体标签，留作以后处理或进行排除。若该要素是由于文本要素提取不当造成，则返回步骤S11的停用词列表，进行停用修正。例如将词语“地方”作为输入，而该中文词汇并无对应现实实体。

若输出图像未通过共性特征检测，则判定要素词汇特征性不强，则对该文本加上无特征标签，留作以后处理或进行排除。

利用现存各类边缘检测算法对筛选出的有效图像进行边缘检测，提取出图像的边缘特征，分离出图像中实体的边缘像素。

S4、设定动态扫描半径，基于动态扫描半径，采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；

由于一张图片中可能包含多种实体，每个实体的边缘都是一种特征形式，通过边缘检测可以确定其中各个实体的边缘，但是这些边缘不一定是闭合的，这样就不能让算法在像素层面上严格的区分出实体像素在整幅画面中所占领的区域。

步骤S4具体包括如下分步骤：

S41、分离所有边缘像素，计算从图像中抽取出来的各个连续边缘的长度l _i ，分别对各个实体编号，为同一实体的边缘像素标记相同的像素ID；边缘长度l _i 可以通过几何距离计算，亦可以通过统计像素个数方式进行，此处的长度指的是对长度的一种度量，本发明中不做限定。

S42、提取边缘检测图像中一个连续边缘的端点作为基准点，以基准点为圆心、以设定的动态扫描半径为半径向外迭代扫描搜索，360度扫描周围出现的其他连续边缘的端点。

对边缘进行填充的目的是使边缘闭合，而当扫描半径大小不合适或图像边缘处于较为复杂的局部区域时，填充的边缘像素就会出现异常，其中包含：

1）填充后边缘像素出现交叉；

2）填充后边缘像素出现间断性重合；

3）填充后边缘像素出现扭曲缠绕现象。

边缘像素出现交叉这说明出现了一个以上的实体边缘，而边缘闭合操作都是针对单个实体而言的，所以当出现交叉点时，可以认为是异常连接。同理当边缘发生间断性重合时，说明边缘像素纠缠在一起，连接不合理。而当边缘像素扭曲缠绕时，则说明出现了更为严重对的填充不合理现象。虽然各种填充不合理现象在宏观上看表现各不相同，但是在局部像素层面会表现出相同的拓扑共性，即孤立且重合像素数量增多。孤立的重合像素数量增多说明重合像素不是以边缘局部相切的形式展现的，暗示连接发生错误的可能性增大。因此本发明的扫描半径设计成能够根据每轮探测具体情况调节探测范围的动态形式，以减少异常连接。

作为本发明的一个实施例，动态扫描半径可根据当前连续边缘的边缘长度和上一次边缘闭合操作填充的连接像素与之前已存在的边缘像素（包括之前已填充连接的像素）形成的孤立交叉点个数设定。

设r _i (t)表示边缘i第t次迭代扫描时的扫描半径，其动态变化过程如下：

其中，r _i (0)表示以处在边缘i上的基准点为圆心进行第一次扫描时的初始半径，函数s(l _i )是一个关于边缘i的长度l _i 的尺度函数，c ₀表示第一次扫描前设置的初始参数；c _t-1表示第t-1次扫描后进行端点连接操作时填充的连接像素与之前已存在的边缘像素形成的孤立交叉点个数，a、b为可调节系数。

S43、每次迭代过程中均进行扫描区域的连接判定，筛选出另一个连续边缘上与基准点具有相同的像素ID的端点像素，对两个端点之间的间断像素点进行线性填充连接；

所述每次迭代过程中均进行扫描区域的连接判定的具体过程为：

当扫描区域无端点时，以半径最大值进行重新扫描，若扫描区域内仍无有效端点，则对系数a、b进行调节，或调节尺度函数

的系数，以提高半径上限；

当扫描区域出现1个与基准点具有相同ID的另一个连续边缘的端点时，直接进行连接操作；

当扫描区域出现多个与基准点具有相同ID的另一个连续边缘的端点时，选择距离最近的端点进行连接操作或根据具体情况设置选取规则后进行连接操作。

所述对两个端点之间的间断像素点进行线性填充连接的具体过程为：设以连续边缘i的某一基准端点

为圆心、以r _i 为半径向外搜索到的第一个满足搜索条件的端点为

，两者之间的距离为

，当满足

且

与

的像素ID相同的条件时，以坐标

为起点，以向量

为方向，以

为长度线性填充原本空缺的边缘像素。

S44、当扫描区域内所有端点已连接且每次线性填充连接之后组成的连续边缘的弧线长度均大于填充连接之前的两个连续边缘的端点之间的最大直线距离时，结束本次扫描，完成一组边缘闭合操作；

S45、重复以上步骤S42~S44的边缘闭合操作，直到每个实体的边缘像素沿着实体轮廓大致围成一个封闭区域。上述过程是基于连续边缘的端点像素进行的线性连接操作，当图像有多个边缘实体时，可同时标记多个基准点，同时由各个基准点出发扫描周围区域进行并行式的现象连接操作，单个线性连接对计算资源的消耗较低，适用于大规模并行化处理。

上述边缘闭合方法只是本发明提出的自动闭合方法一个的实施例，不排除其他自动闭合的方法。本发明自动闭合操作唯一的特征是，用尽可能短且自然的像素组成的线段（直线或曲线）连接边缘的间断端点，使边缘成为一个覆盖实体像素且封闭的区域。边缘像素可能会出现多个缺口的现象，每一个缺口的一个端点都可以定位一个基准端点，本发明基于动态扫描半径，采取最近邻的探测方式，可以尽可能的保障缺口之间得到正确的像素填补，而不会出现某一缺口的端点像素连接到另一缺口的端点上。

本发明的边缘闭合方法具有动态调节机制，可以随着封闭结果动态调节，实施不同的封闭精度，与填充粒度，使得封闭区域在算法后期能够逐渐趋近于更高的实体像素覆盖精度。此外，本发明的边缘闭合方法不涉及求导等复杂运算，能够快速线性处理，适用于大规模图像数据集的边缘闭合。

S5、对图像中的所有实体按对应的封闭边缘进行裁剪操作，将裁剪分割出的图像保存作为备选纯实体图像。

由于实体图像已经按边缘分割，对图像中的实体按封闭边缘进行裁剪操作，即可抠出像素级的实体素材，图像为PNG等支持透明色的图像或图形文件，其中实体封闭区域内保留图像实体原像素分布，封闭区域之外背景像素统一变换为特定纯色。

S6、通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数，将图像总数最多的类别中的图像作为与文本要素对应的语义图像。

所述无监督图像分类算法包括无监督的DCN网络、基于DCN网络的深度聚类算法、基于信息不变性的无监督聚类卷积神经网络IIC-CNN分类器。

无监督图像分类算法是端对端的设计，可以实现图片的输入以及符合指定分类数的图像分类标签输出。在本发明中，无监督图像分类算法并未执行过去的典型图像分类任务，这是由于其输入的图像是备选纯实体图像，每一幅图只含有单个实体，并且背景是纯色无任何噪声，不会对算法造成任何干扰。因此由于对输入端的图像进行了严格控制，统一了输入端的图像范式，分类准确率得到较大幅的提升。实验结果显示在无监督的DCN网络上，以备选纯实体图像作为输入的图像分类已经能够达到92%以上的分类准确率。而基于DCN网络的深度聚类技术能进一步将无监督分类准确率提升到94%以上。在基于信息不变性的无监督聚类卷积神经网络IIC-CNN分类器上，这一准确率提升到98.7%以上，远远高于普通图像的分类准确率，完全适用于工业应用场景。

同时，在本发明网络图片搜索机制下，当分类数设置为2时可实现语义分类，即可分为：符合语义类与其他类。这是由于网络搜索出的图片都是与输入语义存在关联的，输入的图片样本中至少包含着一个符合文本语义的实体要素，而本步骤恰好是识别出这一个符合语义的图像实体，因此其他实体全部可归为其他类，与输入语义无关。

当分类数设置为大于2时，备选实体纯图像中必然存在对应于搜索文本语义的实体图像占比最大现象，这是因为基于文本要素实体搜索出的图像多数是与该语义存在关联的，包含着相应的图像实体的共同特性。这意味着上诉过程中具有特征共性最多的那一类别，或者说分类后样本数量多的那一类大概率对应着搜索文本，也即是输入语义。

在这个类别里的每一张实体纯图像都可以直接按输入语义进行标定，并且其分割任务完成，这样便形成了一张边缘按像素分割好，且语义标定完毕的图像实体素材。特别的，当替换背景纯色为透明色时，任何一个实体图像都可以直接作为图层素材应用到相关任务中，进行修改或直接使用。

这种机制确保了在原理层面，无监督图像分类算法都不用关注类别的语义标签是什么。因为通过前述过程，分类出的样本量更大的那一个类别大概率对应着输入语义。这种方法直接将语义分割问题转化为算法复杂度更小的且不需要预训练的边缘检测问题，有效的降低了计算复杂性。并且通过前述方法生成的实体纯图片又天然适合作为现存主流无监督图像分类算法的新的更加合适的输入形式，有效提高了分类准确率。

与所述方法实施例相对应，本发明还提出一种基于边缘闭合与共性检测的图像生成系统，请参阅图3，所述系统包括：

文本处理模块10：获取输入的文本，对文本进行文本要素筛选；

图像搜索模块20：将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果，对于同一文本要素对应的搜索结果，筛选出多个有效图像；

边缘闭合模块30：对各个图像进行边缘检测，设定动态扫描半径，基于动态扫描半径，采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；

图像分割模块40：对图像中的所有实体按对应的封闭边缘进行裁剪操作，将裁剪分割出的图像作为备选纯实体图像；

语义标定模块50：通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数将图像总数最多的类别中的图像作为对应文本要素的语义图像。

本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。

本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只议存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的衙要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘闭合与共性检测的图像生成方法，其特征在于，所述方法包括：

获取输入的文本，对文本进行文本要素筛选；所述文本要素是指文本语义对应的能够以可视化方式展现的实体；

将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果；

对于同一文本要素对应的搜索结果，从中筛选出多个有效图像，对各个图像进行边缘检测，得到边缘检测图像；所述从中筛选出多个有效图像的筛选条件为：搜索结果总数大于预设阈值且从中随机选取的图像具备共性特征；所述共性特征包括：

图像包含表示与语义对应实体的像素排列；

图像包含表示实体以外的伴随实体的像素排列；

设定动态扫描半径，基于动态扫描半径，采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；

对图像中的所有实体按对应的封闭边缘进行裁剪操作，将裁剪分割出的图像作为备选纯实体图像；

通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数，将图像总数最多的类别中的图像作为对应文本要素的语义图像。

2.根据权利要求1所述基于边缘闭合与共性检测的图像生成方法，其特征在于，所述对文本进行文本要素筛选具体为：

对输入的文本进行分词、去停用词处理，进行词性标注；

设定筛选文本要素的关键原则，筛选出满足所述关键原则的文本要素，所述关键原则包括：文本语义在现实场景中能够可视化，或者文本语义不可视但该语义伴随着其他可视化的实体同时出现在现实场景中。

3.根据权利要求1所述基于边缘闭合与共性检测的图像生成方法，其特征在于，所述采用最近邻的探测连接方式对图像中的实体进行边缘闭合操作，得到封闭边缘具体为：

分别对各个实体编号，为同一实体的边缘像素标记相同的像素ID；提取边缘检测图像中一个连续边缘的端点作为基准点，以基准点为圆心、以设定的动态扫描半径向外迭代扫描搜索，每次迭代过程中均进行扫描区域的连接判定，筛选出另一个连续边缘上与基准点具有相同的像素ID的端点像素，对两个端点之间的间断像素点进行线性填充连接；当最大扫描区域内所有端点已连接且每次线性填充连接之后组成的连续边缘的弧线长度均大于填充连接之前的两个连续边缘的端点之间的最大直线距离时，结束本次扫描，完成一组边缘闭合操作；

重复以上边缘闭合操作，直到每个实体的边缘像素沿着实体轮廓围成一个封闭区域。

4.根据权利要求3所述基于边缘闭合与共性检测的图像生成方法，其特征在于，所述对两个端点之间的间断像素点进行线性填充连接具体为：

设以连续边缘i的某一基准端点 (x _i ,y _i )为圆心、以r _i 为半径向外搜索到的第一个满足搜索条件的端点为

，两者之间的距离为D _i ，当满足

且(x _i ,y _i )与

的像素ID相同的条件时，以坐标(x _i ,y _i )为起点，以向量

为方向，以D _i 为长度线性填充原本空缺的边缘像素。

5.根据权利要求1所述基于边缘闭合与共性检测的图像生成方法，其特征在于，所述动态扫描半径根据当前连续边缘的边缘长度和上一次边缘闭合操作填充的连接像素与之前已存在的边缘像素形成的孤立交叉点个数设定；

设r _i (t)表示边缘i第t次迭代扫描时的扫描半径，其动态变化过程如下：

其中，r _i (0)表示以处在边缘i上的基准点为圆心进行第一次扫描时的初始半径，函数s(l _i )是一个关于边缘i的长度l _i 的尺度函数，c ₀表示第一次扫描前设置的初始参数；c _t-1表示第t-1次扫描后进行端点连接操作时填充的连接像素与之前已存在的边缘像素形成的孤立交叉点个数，a、b为可调节系数。

6.根据权利要求5所述基于边缘闭合与共性检测的图像生成方法，其特征在于，所述每次迭代过程中均进行扫描区域的连接判定具体为：

当扫描区域无端点时，以半径最大值进行重新扫描，若扫描区域内仍无有效端点，则对系数a、b进行调节，或调节尺度函数s(l _i )的系数，以提高半径上限；

当扫描区域出现1个与基准点具有相同ID的另一个连续边缘的端点时，直接进行连接操作；

当扫描区域出现多个与基准点具有相同ID的另一个连续边缘的端点时，选择距离最近的端点进行连接操作或根据具体情况设置选取规则后进行连接操作。

7.根据权利要求1所述基于边缘闭合与共性检测的图像生成方法，其特征在于，所述无监督图像分类算法包括无监督的DCN网络、基于DCN网络的深度聚类算法、基于信息不变性的无监督聚类卷积神经网络IIC-CNN分类器。

8.一种基于边缘闭合与共性检测的图像生成系统，其特征在于，所述系统包括：

文本处理模块：获取输入的文本，对文本进行文本要素筛选；所述文本要素是指文本语义对应的能够以可视化方式展现的实体；

图像搜索模块：将筛选出的文本要素分别输入图像搜索引擎，输出相应的图像搜索结果，对于同一文本要素对应的搜索结果，筛选出多个有效图像；所述筛选出多个有效图像的筛选条件为：搜索结果总数大于预设阈值且从中随机选取的图像具备共性特征；所述共性特征包括：

图像包含表示与语义对应实体的像素排列；

图像包含表示实体以外的伴随实体的像素排列；

边缘闭合模块：对各个图像进行边缘检测，设定动态扫描半径，基于动态扫描半径，采用最近邻探测连接的方式对边缘检测图像中的实体进行边缘闭合操作，得到具有封闭边缘的实体；

图像分割模块：对图像中的所有实体按对应的封闭边缘进行裁剪操作，将裁剪分割出的图像作为备选纯实体图像；

语义标定模块：通过无监督图像分类算法对备选纯实体图像进行分类，统计各个类别的图像总数，将图像总数最多的类别中的图像作为对应文本要素的语义图像。

9.一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；

其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1~7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现权利要求1~7任一项所述的方法。

Images