发明内容
发明人经过分析后发现,在相关技术的区域划分和分类方法中,高级路网只能划分粗粒度的区域;而低级路网形状不规则、覆盖不全面,因而无法对街区内的诸如住宅区和商场区域等不同区域进行精细划分;并且,路网划分不包含河流湖泊、铁路等信息,而这些信息在部分场景中是十分重要的。因此,相关技术无法精确地进行区域划分和分类。
而由于区域划分和分类的不精确,使得区域的功能分类也不准确,从而会影响交通预测、电子地图标注等后续处理过程的准确性。
本发明实施例所要解决的一个技术问题是:如何提高区域划分和分类的准确性。
根据本发明一些实施例的第一个方面,提供一种区域划分和分类方法,包括:根据待划分区域中的兴趣点,生成待划分区域中的基础单元、并确定基础单元的类别,每个基础单元中包括一个或多个兴趣点;对待划分区域的图像中基础单元以外的部分进行图像分割,以生成多个图像块;对通过图像分割生成的图像块和图像中基础单元对应的图像块进行聚类;根据聚类结果对待划分区域进行划分以生成子区域,并根据子区域中基础单元的类别确定子区域的类别。
在一些实施例中,生成待划分区域中的基础单元包括:根据交通信息对待划分区域进行分割,以生成地块,交通信息包括路网、水域、铁路、用户行驶轨迹中的至少一种;根据每个地块中的兴趣点,生成地块中的基础单元。
在一些实施例中,生成待划分区域中的基础单元包括:根据每个兴趣点的属性信息和位置信息对兴趣点进行聚类,生成多个兴趣点类簇;根据待划分区域中同一兴趣点类簇所占据的区域,生成基础单元。
在一些实施例中,根据待划分区域中同一兴趣点类簇所占据的区域,生成基础单元包括:为每个兴趣点类簇生成包括兴趣点类簇内所有兴趣点的区域,作为基础单元;如果基础单元与待划分区域中的建筑物区域存在交集,将建筑物区域合并到基础单元中。
在一些实施例中,确定基础单元的类别包括:根据兴趣点类簇内各个类别的兴趣点的占比与预设的类别映射关系,确定每个兴趣点类簇的类别;将兴趣点类簇的类别确定为兴趣点类簇所在的基础单元的类别。
在一些实施例中,确定基础单元的类别包括:根据兴趣点类簇内兴趣点的类别、兴趣点类簇在待划分区域中的位置以及兴趣点类簇在待划分区域的图像中的图像特征,对基础单元对应的兴趣点类簇进行聚类;将属于同一类簇的兴趣点类簇确定为同一类别,并确定相应的基础单元的类别。
在一些实施例中,对待划分区域的图像中基础单元以外的部分进行图像分割,以生成多个图像块包括:以待划分区域的图像中每个基础单元对应的像素作为种子信息,生成图像中基础单元以外的部分的超像素;以超像素作为最小分割单元,对图像进行图像分割,以生成多个图像块。
在一些实施例中,区域划分和分类方法还包括:将与基础单元不存在交集的建筑物区域在图像中的相应部分确定为超像素。
在一些实施例中,以超像素作为最小分割单元,采用图像分割算法W-Net算法对图像进行图像分割,以生成多个图像块。
在一些实施例中,以图像中基础单元对应的图像块作为初始的聚类中心、以基础单元的数量作为聚类的类别数,对通过图像分割生成的图像块和基础单元对应的图像块进行聚类。
在一些实施例中,根据通过图像分割生成的图像块和图像中基础单元对应的图像块的位置和图像特征,对图像块进行聚类。
根据本发明一些实施例的第二个方面,提供一种区域划分和分类装置,包括:基础单元确定模块,被配置为根据待划分区域中的兴趣点,生成待划分区域中的基础单元、并确定基础单元的类别,每个基础单元中包括一个或多个兴趣点;图像分割模块,被配置为对待划分区域的图像中基础单元以外的部分进行图像分割,以生成多个图像块;图像块聚类模块,被配置为对通过图像分割生成的图像块和图像中基础单元对应的图像块进行聚类;子区域确定模块,被配置为根据聚类结果对待划分区域进行划分以生成子区域,并根据子区域中基础单元的类别确定子区域的类别。
根据本发明一些实施例的第三个方面,提供一种区域划分和分类装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行前述任意一种区域划分和分类方法。
根据本发明一些实施例的第四个方面,提供一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现前述任意一种区域划分和分类方法。
上述发明中的一些实施例具有如下优点或有益效果:本发明基于兴趣点生成具有类别的基础单元,并依据图像特征对基础单元的图像块和其他图像块进行聚类,以通过图像特征将不具有类别的区域融合到基础单元的区域中,形成子区域。从而,可以精确地对区域进行划分,并能够准确地根据基础单元的类别确定子区域的类别。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1示出了根据本发明一些实施例的区域划分和分类方法的流程示意图。如图1所示,该实施例的区域划分和分类方法包括步骤S102~S108。
在步骤S102中,根据待划分区域中的兴趣点,生成待划分区域中的基础单元、并确定基础单元的类别,其中,每个基础单元中包括一个或多个兴趣点。
待划分区域例如可以为城市区域,可以以电子的地图、平面图、交通图、遥感图像等方式呈现。当待划分区域本身不为图像时,待划分区域可以具有与之匹配的图像,该图像例如为遥感图像、俯瞰图像等等。生成的基础单元的信息可以包括基础单元中的兴趣点信息以及基础单元在待划分区域中的位置信息。根据该位置信息,可以在待划分区域的图像中找到对应的基础单元的图像。
兴趣点是指地理信息系统中的建筑物、站点、商店、景点等等。兴趣点可以在一定程度上反映其所在区域的类别。例如,服装店聚集的区域往往是商业区。然而,兴趣点也并不能唯一缺点区域的类别,例如,出现餐馆的区域可能是商业区、也可能是学校区域。因此,本发明将兴趣点划分到多个基础单元中,并根据基础单元中多个兴趣点的类别共同决定基础单元的类别,以为后续的区域分类提供参考信息。
在一些实施例中,可以通过聚类来确定将哪些兴趣点划分到同一基础单元中。例如,根据每个兴趣点的属性信息和位置信息对兴趣点进行聚类,生成多个兴趣点类簇;根据待划分区域中同一兴趣点类簇所占据的区域,生成基础单元。从而,可以将位置相近、属性接近的兴趣点划分到同一个基础单元中。
除了兴趣点以外,基础单元中还可以包括与兴趣点所占据的区域临近的区域。后文将示例性地对基础单元的具体生成方式进行进一步描述。
在步骤S104中,对待划分区域的图像中基础单元以外的部分进行图像分割,以生成多个图像块。例如,在进行图像分割时,可以临时将图像中基础单元所在位置的像素值置为(0,0,0)。该步骤的图像分割过程是基于图像特征进行的,例如可以使用W-Net(W网络)算法。后文将示例性地对图像分割的具体方式进行进一步介绍。
在分割完成后,图像中每个基础单元所占据的部分也视为一个图像块。从而,图像中既包括具有类别属性的图像块,也有类别属性尚不明确、但是具有特定图像特征的图像块。
在步骤S106中,对通过图像分割生成的图像块和图像中基础单元对应的图像块进行聚类。
在一些实施例中,以图像中基础单元对应的图像块作为初始的聚类中心、以基础单元的数量作为聚类的类别数,对通过图像分割生成的图像块和基础单元对应的图像块进行聚类。
从而,可以尽量令子区域围绕各个基础单元生成。
在一些实施例中,根据通过图像分割生成的图像块和图像中基础单元对应的图像块的位置和图像特征,对图像块进行聚类。即,在聚类过程中,根据图像块的地理距离和图像特征距离计算各个聚类对象、即各个图像块到聚类中心的距离。地理距离可以是两个图像块的距离最近的两个像素点之间的距离。在计算图像特征距离时,可以利用图像的HOG(Histogram of Oriented Gradient,方向梯度直方图)、SIFT(Scale-Invariant FeatureTransform,尺度不变特征变换)、SURF(Speeded Up Robust Features,加速稳健特征)、FAST(Features from Accelerated Segment Test,加速分割检测特征)、BRIEF(BinaryRobust Independent Elementary Features,二进制鲁棒独立的基本特征)、ORB(OrientedFAST and Rotated BRIEF,FAST和BRIEF的结合)等特征,并使用特征匹配算法计算图像的相似度以作为图像特征距离。
从而,可以将位置相近、图像特征相似的图像块划分到同一类别中,形成子区域。
在步骤S108中,根据聚类结果对待划分区域进行划分以生成子区域,并根据子区域中基础单元的类别确定子区域的类别。
如果在聚类后,某一类簇中不包括任何基础单元,则可以将该子区域判定为新的类别,或者作为空地来处理,或者也可以将其划分到临近的其他子区域中等等。
通过上述实施例的方法,可以基于兴趣点生成具有类别的基础单元,并依据图像特征对基础单元的图像块和其他图像块进行聚类,以通过图像特征将不具有类别的区域融合到基础单元的区域中,形成子区域。从而,可以精确地对区域进行划分,并能够准确地根据基础单元的类别确定子区域的类别。
在划分生成子区域并获得子区域的类别后,可以生成具有子区域边界和子区域类别的电子地图,或者基于子区域的类别进行交通预测等等。
在一些实施例中,在生成基础单元之前,可以先进行粗粒度的划分。下面参考图2描述本发明基础单元生成方法的实施例。
图2示出了根据本发明一些实施例的基础单元生成方法的流程示意图。如图2所示,该实施例的基础单元生成方法包括步骤S202~S204。
在步骤S202中,根据交通信息对待划分区域进行分割,以生成地块,其中,交通信息包括路网、水域、铁路、用户行驶轨迹中的至少一种。出租车出行数据、快递员轨迹数据等信息可以对不全面的低级路网数据进行补充和修复。
在一些实施例中,如果交通信息较少,可以通过使用训练后的遥感图像语义分割模型预测待划分区域的图像中的道路、水域、铁路等交通信息。
在分割过程中,可以利用交通信息的矢量数据生成待划分区域的栅格化图像,并依次运用膨胀、骨架化、连通域标记、分水岭算法等图像处理技术,生成待划分区域的地块。
在步骤S204中,根据每个地块中的兴趣点,生成地块中的基础单元。
从而,生成的每个基础单元都位于通过交通信息划分的独立的地块中,使得区域划分结果更精确。
下面参考图3描述基础单元生成方法的实施例。
图3示出了根据本发明一些实施例的基础单元生成方法的流程示意图。如图3所示,该实施例的基础单元生成方法包括步骤S302~S306。
在步骤S302中,根据每个兴趣点的属性信息和位置信息对兴趣点进行聚类,生成多个兴趣点类簇。例如,可以使用兴趣点向量来表示兴趣点,并对兴趣点向量进行聚类。
在一些实施例中,属性信息包括兴趣点类别信息。类别可以是兴趣点本身的类别,例如饭店、景点、车站、教学楼;还可以是兴趣点所在区域的类别的概率。例如,某个饭店属于商场类别的概率是0.8、属于学校类别的概率是0.2,则可以将这些概率信息也体现在属性信息中。概率信息可以根据对已有数据的统计结果确定。
根据需要,本领域技术人员也可以根据兴趣点的其他信息进行聚类,这里不再赘述。
在步骤S304中,为每个兴趣点类簇生成包括兴趣点类簇内所有兴趣点的区域,作为基础单元。
在步骤S306中,如果基础单元与待划分区域中的建筑物区域存在交集,将建筑物区域合并到基础单元中。
例如,某个兴趣点类簇对应的初始的基础单元可以是包括该兴趣点类簇内所有兴趣点的最小多边形或其他图形,然后将与其由交集的建筑物的区域合并到基础单元。
通过上述实施例的方法,可以将与兴趣点类簇临近的区域也包括在基础单元内,使得基础单元的确定更加准确。
在生成基础单元后,可以根据基础单元中兴趣点的类别确定基础单元的类别。下面示例性地描述两类确定方法。
第一种确定方法应用于输出的类别名称明确的场景。
在一些实施例中,根据兴趣点类簇内各个类别的兴趣点的占比与预设的类别映射关系,确定每个兴趣点类簇的类别,并将兴趣点类簇的类别确定为兴趣点类簇所在的基础单元的类别。
在一些实施例中,根据占比最高的兴趣点的类别,确定兴趣点类簇的类别。例如,某个兴趣点类簇内写字楼占比最高,根据预设的对应关系,确定该兴趣点类簇为办公区类型。
在一些实施例中,根据兴趣点类簇内的兴趣点类别分布,确定兴趣点类簇的类别。例如,某个兴趣点类簇内兴趣点类别的分布如下:40%为服装店,40%为饭店,20%为甜品店。根据预设的对应关系,确定该兴趣点类簇为商业区类型。
第二种确定方法应用于输出的类别名称不明确的场景。这种场景仅明确哪些基础单元属于同一个类别,但是可以不给出类别的具体意义。分类结果可以通过字母或数字进行标识,例如类别A、类别B等等。
在一些实施例中,根据兴趣点类簇内兴趣点的类别、兴趣点类簇在待划分区域中的位置以及兴趣点类簇在待划分区域的图像中的图像特征,对基础单元对应的兴趣点类簇进行聚类;将属于同一类簇的兴趣点类簇确定为同一类别,并确定相应的基础单元的类别。这种方式是对兴趣点类簇再进行进一步的聚类,以将相似的兴趣点类簇划分到同一个类别中。
在一些实施例中,将距离小于阈值的同一类别的基础单元进行合并。例如,可以利用这两个基础单元的部分边界绘制包括这两个基础单元的最小凸多边形,以将凸多边形覆盖的区域作为新的基础单元。
在图像分割阶段,可以生成待划分区域的图像中的超像素,并以超像素作为最小分割单元进行分割。下面参考图4描述图像分割方法的实施例。
图4示出了根据本发明一些实施例的图像分割方法的流程示意图。如图4所示,该实施例的图像分割方法包括步骤S402~S404。
在步骤S402中,以待划分区域的图像中每个基础单元对应的像素作为种子信息,生成图像中基础单元以外的部分的超像素。具体的超像素生成算法可以参考现有技术中的描述,这里不再赘述。
超像素是由多个相邻且特征相近的像素构成的。在生成超像素的过程中,种子信息用于确定初始的聚类中心。
在一些实施例中,将与基础单元不存在交集的建筑物区域在图像中的相应部分确定为超像素,以将独立的建筑物也作为一个单元进行聚类。
在步骤S404中,以超像素作为最小分割单元,对图像进行图像分割,以生成多个图像块。即,一个超像素只出现在一个图像块中。
在进行图像分割时,可以使用图像分割算法,例如K聚类(K-Means)、混合高斯模型(Mixture of Gaussians)、均值漂移(Mean Shift)聚类算法、区域生长分割(SeededRegion Growing)算法、分水岭(Watershed)算法、基于图的区域融合(Graph Based RegionMerging)算法、归一化切割(Normalized Cut)算法、基于边的区域融合(Edge BasedRegion Merging)算法、主动轮廓模型(Mumford-Shah Model)、活动轮廓模型(SnakeModel)、图割(GraphCut)算法、随机游走(Random Walk)算法、利用卷积神经网络(Convolutional Neural Networks,简称:CNN)做非监督图像划分的算法、半监督的语义分割算法等等。
在一些实施例中,以超像素作为最小分割单元,采用W-Net算法对图像进行图像分割,以生成多个图像块。
W-Net基于两个前后相连的U-Net(U网络)进行非监督图像分割。U-Net是一种用于实现有监督的图像分割的深度神经网络结构。前一个U-Net对原始图像进行编码,输出图像的高维分割碎片;后一个U-Net进行解码,根据前一个U-Net的输出重构原始图像。W-Net通过交替最小化两个损失函数进行模型训练:第一个损失函数是原始图像与输出的重构图像间的最小均方误差;另一个损失函数是基于Normalized Cut的可微分版本,以在保证了图像分割生成的各部分区别最大化的同时、使得对图像的分割不会过细。
从而,可以基于这种非监督的图像分割算法生成图像块,将W-Net、NormalizedCut、聚类三种方式有机地结合起来,提高了区域划分的精确度。
下面参考图5描述本发明区域划分和分类装置的实施例。
图5示出了根据本发明一些实施例的区域划分和分类装置的结构示意图。如图5所示,该实施例的区域划分和分类装置50包括:基础单元确定模块510,被配置为根据待划分区域中的兴趣点,生成待划分区域中的基础单元、并确定基础单元的类别,其中,每个基础单元中包括一个或多个兴趣点;图像分割模块520,被配置为对待划分区域的图像中基础单元以外的部分进行图像分割,以生成多个图像块;图像块聚类模块530,被配置为对通过图像分割生成的图像块和图像中基础单元对应的图像块进行聚类;子区域确定模块540,被配置为根据聚类结果对待划分区域进行划分以生成子区域,并根据子区域中基础单元的类别确定子区域的类别。
在一些实施例中,基础单元确定模块510进一步被配置为根据交通信息对待划分区域进行分割,以生成地块,交通信息包括路网、水域、铁路、用户行驶轨迹中的至少一种;根据每个地块中的兴趣点,生成地块中的基础单元。
在一些实施例中,基础单元确定模块510进一步被配置为根据每个兴趣点的属性信息和位置信息对兴趣点进行聚类,生成多个兴趣点类簇;根据待划分区域中同一兴趣点类簇所占据的区域,生成基础单元。
在一些实施例中,基础单元确定模块510进一步被配置为为每个兴趣点类簇生成包括兴趣点类簇内所有兴趣点的区域,作为基础单元;如果基础单元与待划分区域中的建筑物区域存在交集,将建筑物区域合并到基础单元中。
在一些实施例中,基础单元确定模块510进一步被配置为根据兴趣点类簇内各个类别的兴趣点的占比与预设的类别映射关系,确定每个兴趣点类簇的类别;将兴趣点类簇的类别确定为兴趣点类簇所在的基础单元的类别。
在一些实施例中,基础单元确定模块510进一步被配置为根据兴趣点类簇内兴趣点的类别、兴趣点类簇在待划分区域中的位置以及兴趣点类簇在待划分区域的图像中的图像特征,对基础单元对应的兴趣点类簇进行聚类;将属于同一类簇的兴趣点类簇确定为同一类别,并确定相应的基础单元的类别。
在一些实施例中,图像分割模块520进一步被配置为以待划分区域的图像中每个基础单元对应的像素作为种子信息,生成图像中基础单元以外的部分的超像素;以超像素作为最小分割单元,对图像进行图像分割,以生成多个图像块。
在一些实施例中,与基础单元不存在交集的建筑物区域在图像中的相应部分为超像素。
在一些实施例中,图像分割模块520进一步被配置为以超像素作为最小分割单元,采用W-Net算法对图像进行图像分割,以生成多个图像块。
在一些实施例中,图像块聚类模块530进一步被配置为以图像中基础单元对应的图像块作为初始的聚类中心、以基础单元的数量作为聚类的类别数,对通过图像分割生成的图像块和基础单元对应的图像块进行聚类。
在一些实施例中,图像块聚类模块530进一步被配置为根据通过图像分割生成的图像块和图像中基础单元对应的图像块的位置和图像特征,对图像块进行聚类。
图6示出了根据本发明另一些实施例的区域划分和分类装置的结构示意图。如图6所示,该实施例的区域划分和分类装置60包括:存储器610以及耦接至该存储器610的处理器620,处理器620被配置为基于存储在存储器610中的指令,执行前述任意一个实施例中的区域划分和分类方法。
其中,存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图7示出了根据本发明又一些实施例的区域划分和分类装置的结构示意图。如图7所示,该实施例的区域划分和分类装置70包括:存储器710以及处理器720,还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730,740,750以及存储器710和处理器720之间例如可以通过总线760连接。其中,输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现前述任意一种区域划分和分类方法。
本领域内的技术人员应当明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。