CN112580641B - 图像特征的提取方法及装置、存储介质、电子设备 - Google Patents
图像特征的提取方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN112580641B CN112580641B CN202011322292.2A CN202011322292A CN112580641B CN 112580641 B CN112580641 B CN 112580641B CN 202011322292 A CN202011322292 A CN 202011322292A CN 112580641 B CN112580641 B CN 112580641B
- Authority
- CN
- China
- Prior art keywords
- super
- voxel
- scale
- original image
- voxels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000003709 image segmentation Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像特征的提取方法及装置、存储介质、电子设备，属于人工智能领域。其中，该方法包括：将原始图像切割为多个尺度的超体素；针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征。通过本发明，解决了相关技术中图像特征的区分度低的技术问题，提升了基于原始图像的图像分类，图像聚类、图像分割和目标检测等效果。
Description
技术领域
本发明涉及人工智能领域，具体而言，涉及一种图像特征的提取方法及装置、存储介质、电子设备。
背景技术
相关技术中，图像处理领域的技术不断更新和发展，在各类图像处理任务中，涌现出许多新的模型和方法。在每项任务中，特征的提取对于后面的效果提升起着举足轻重的作用。用于描述图像的基础特征有许多，如颜色特征中的颜色直方图、形状特征中的SI FT(尺度不变特征转换)、方向梯度直方图(Hi stogram of Or iented Grad ient,HOG)和HAAR(边缘特征，线性特征，中心特征和对角线特征，组合成的特征模板)等特征、纹理特征中的局部二值化模式(Loca l Bi nary Patter，LBP)和灰度共生矩阵特征、以及一些边缘特征。通过这些特征来描述图像，提取图像中的显著信息。
相关技术中的图像特征大致有颜色特征、纹理特征、形状特征和空间关系特征这几类，这些特征从不同的角度描述图像。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。最常用的提取方法是颜色直方图，统计一幅图像中各个色彩通道的灰度值信息，通过统计信息来描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中的比例，特别适用于描述那些难以自动分割的图像和不需要考虑空间位置的图像。纹理特征也是一种全局特征，描述了图像或图像区域所对应景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。同时具有旋转不变性，对噪声具有较强的抵抗能力。实际任务中常用一些随机模型法提取纹理特征，如马尔可夫随机场和Gibbs随机场模型法。形状特征一般包含轮廓特征和区域特征，前者主要针对物体的外边界，后者则关系到整个形状区域。实际中常用SI FT和HOG变换进行处理，S I FT实质上是在不同的尺度空间上查找关键点，并计算关键点的方向，作为一种特征向量。Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法。
相关技术提取的图像特征中，颜色空间作为一种全局特征，能够反映整幅图像的颜色空间分布，但是它无法描述图像中颜色的全局分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。纹理特征作为一种统计信息，当图像的分辨率变化时，所计算出来的纹理可能会有较大偏差，另外，由于有可能受到光照、反射情况的影响，从2D图像反映出来的纹理不一定是3D物体表面的真实纹理。形状特征也存在一些问题，其反映的目标信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种图像特征的提取方法及装置、存储介质、电子设备。
根据本申请实施例的一个方面，提供了一种图像特征的提取方法，包括：将原始图像切割为多个尺度的超体素；针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征。
进一步，将原始图像切割为多个尺度的超体素包括：基于迭代空间模糊聚类算法ISFC依次选择多个目标尺度的体素特征；针对每个目标尺度的体素特征，在所述原始图像中聚合与对应体素特征匹配的相似体素点，得到多个目标尺度的超体素。
进一步，针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征包括：针对每个尺度的超体素，计算超体素在原始维度的灰度直方图和局部二值化模式LBP特征；将所述灰度直方图和LBP特征分别压缩至第一目标维度和第二目标维度，并对所述灰度直方图和所述LBP特征进行归一化预处理。
进一步，基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征包括：针对所述原始图像中第一尺度的每个超体素pc1，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx，其中，所述第一尺度小于所述若干个第二尺度；拼接所述pc1和pbx的超体素特征，得到所述pc1的多尺度特征。
进一步，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx包括：针对每个第二尺度的第一超体素集合，在所述第一超体素集合中确定覆盖所述pc1的第二超体素集合；计算所述第二超体素集合中的每个超体素覆盖所述pc1的占比体积；在所述第二超体素集合中选择占比体积最大的一个作为覆盖所述pc1最多的超体素pbx。
进一步，在基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征之后，所述方法还包括：根据所述多尺度特征将所述原始图像分割为多个子图像。
进一步，根据所述多尺度特征将所述原始图像分割为多个子图像包括：基于所述多尺度特征的特征度将所述原始图像的超体素划分为第三超体素集合和第四超体素集合；按照所述第三超体素集合和所述第四超体素集合在所述原始图像上的覆盖区域将所述原始图像分割为第一子图像和第二子图像。
根据本申请实施例的另一个方面，还提供了一种图像特征的提取装置，包括：切割模块，用于将原始图像切割为多个尺度的超体素；计算模块，用于针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；融合模块，用于基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征。
进一步，所述切割模块包括：选择单元，用于基于迭代空间模糊聚类算法ISFC依次选择多个目标尺度的体素特征；聚合单元，用于针对每个目标尺度的体素特征，在所述原始图像中聚合与对应体素特征匹配的相似体素点，得到多个目标尺度的超体素。
进一步，所述计算模块包括：计算单元，用于针对每个尺度的超体素，计算超体素在原始维度的灰度直方图和局部二值化模式LBP特征；处理单元，用于将所述灰度直方图和LBP特征分别压缩至第一目标维度和第二目标维度，并对所述灰度直方图和所述LBP特征进行归一化预处理。
进一步，所述融合模块包括：选择单元，用于针对所述原始图像中第一尺度的每个超体素pc1，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx，其中，所述第一尺度小于所述若干个第二尺度；拼接单元，用于拼接所述pc1和pbx的超体素特征，得到所述pc1的多尺度特征。
进一步，所述选择单元包括：确定子单元，用于针对每个第二尺度的第一超体素集合，在所述第一超体素集合中确定覆盖所述pc1的第二超体素集合；计算子单元，用于计算所述第二超体素集合中的每个超体素覆盖所述pc1的占比体积；选择子单元，用于在所述第二超体素集合中选择占比体积最大的一个作为覆盖所述pc1最多的超体素pbx。
进一步，所述装置还包括：分割模块，用于在所述融合模块基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征之后，根据所述多尺度特征将所述原始图像分割为多个子图像。
进一步，所述分割模块包括：划分单元，用于基于所述多尺度特征的特征度将所述原始图像的超体素划分为第三超体素集合和第四超体素集合；分割单元，用于按照所述第三超体素集合和所述第四超体素集合在所述原始图像上的覆盖区域将所述原始图像分割为第一子图像和第二子图像。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，将原始图像切割为多个尺度的超体素，然后针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征，基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征，提供了基于超体素的多尺度特征提取方法，融合了不同尺度的特征信息，增加了超体素特征的丰富度，同一个中心点下不同尺度的超体素，能够提取到不同级别的特征，从而获取到基于超体素的多尺度特征，将不同尺度的特征进行融合，增加了超体素的特征维度，增强不同超体素的区分度，解决了相关技术中图像特征的区分度低的技术问题，提升了基于原始图像的图像分类，图像聚类、图像分割和目标检测等效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种服务器的硬件结构框图；
图2是根据本发明实施例的一种图像特征的提取方法的流程图；
图3是本发明实施例的一个图像特征的提取流程图；
图4是本发明实施例分割原始图像的示意图；
图5是根据本发明实施例的一种图像特征的提取装置的结构框图；
图6是实施本发明实施例的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在服务器、计算机、或者类似的运算装置中执行。以运行在服务器上为例，图1是本发明实施例的一种服务器的硬件结构框图。如图1所示，服务器10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储服务器程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像特征的提取方法对应的服务器程序，处理器102通过运行存储在存储器104内的服务器程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network I nterface Contro l l er，简称为N I C)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Rad i o Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像特征的提取方法，图2是根据本发明实施例的一种图像特征的提取方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，将原始图像切割为多个尺度的超体素；
可选的，原始图像可以是三维图像，二维图像等。本实施例的超体素是图像中具有相似颜色、纹理等特征的相邻体素点的集合，形状不规则，按照尺度，可以将同一原始图像切割为至少两个尺度的超体素集合。
步骤S204，针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；
在本实施例中，针对每个尺度的超体素分别计算超体素特征，分别得到每个尺度的超体素的超体素特征。
步骤S206，基于多个尺度的超体素特征融合得到原始图像的多尺度特征。
本实施例的多尺度特征是将不同尺寸单元中提取的特征按照一定规则进行融合后的单元特征，融合后，在原始图像的单元特征中包括多个尺度的超体素的超体素特征。
通过上述步骤，将原始图像切割为多个尺度的超体素，然后针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征，基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征，提供了基于超体素的多尺度特征提取方法，融合了不同尺度的特征信息，增加了超体素特征的丰富度，同一个中心点下不同尺度的超体素，能够提取到不同级别的特征，从而获取到基于超体素的多尺度特征，将不同尺度的特征进行融合，增加了超体素的特征维度，增强不同超体素的区分度，解决了相关技术中图像特征的区分度低的技术问题，提升了基于原始图像的图像分类，图像聚类、图像分割和目标检测等效果。
在本实施例的一个实施方式中，将原始图像切割为多个尺度的超体素包括：基于迭代空间模糊聚类算法ISFC依次选择多个目标尺度的体素特征；针对每个目标尺度的体素特征，在原始图像中聚合与对应体素特征匹配的相似体素点，得到多个目标尺度的超体素。
在本实施方式中，以三种尺度的特征融合为例进行说明，对原始的三维图像进行初始分割，生成一定目标数量的相似纹理、颜色等特征的相邻体素点集(超体素)，前后生成三种目标数量的超体素，即三种尺度的超体素，本实施例可以采用超体素生成算法是迭代空间模糊聚类算法(Iterative Spatial Fuzzy Clustering，ISFC)，通过选择合适的体素特征，根据相似度计算方式把相似度高的体素点聚集在一块，生产超体素。
在本实施例的一个实施方式中，针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征包括：针对每个尺度的超体素，计算超体素在原始维度的灰度直方图和局部二值化模式(Local Binary Patter，LBP)特征；将灰度直方图和LBP特征分别压缩至第一目标维度和第二目标维度，并对灰度直方图和LBP特征进行归一化预处理。
在一个示例中，计算超体素的灰度直方图、LBP特征，两种特征的原始维度均是256维，考虑到原始特征过于稀疏，因此将灰度直方图和LBP特征分别压缩至32维和16维。另一方面，为了减小异常点对超体素特征的影响，对灰度直方图和LBP特征进行归一化预处理。
在本实施例的一个实施方式中，基于多个尺度的超体素特征融合得到原始图像的多尺度特征包括：针对原始图像中第一尺度的每个超体素pc1，在若干个第二尺度的第一超体素集合中选择覆盖pc1最多的超体素pbx，其中，第一尺度小于若干个第二尺度；拼接pc1和pbx的超体素特征，得到pc1的多尺度特征。
可选的，第一尺度为多个尺度中的最小尺度，在一些示例中，也可以不以最小尺度的超体素为准，而以超体素的数量符合预定条件的尺度为基础融合原始图像的多尺度特征，例如，原始图像包括A、B、C三个尺度的超体素(A尺度＜B尺度＜C尺度)，分别为第一数量，第二数量，第三数量，其中第二数量在预定超体素数量的范围内，符合预定条件，除了上述实施方式，针对原始图像中超体素数量符合预定条件(B尺度)的每个超体素，在C尺度的第一超体素集合中选择覆盖pb1最多的超体素pcx；拼接pb1和pcx的超体素特征，得到pb1的多尺度特征。
在基于本实施方式的一个示例中，在若干个第二尺度的第一超体素集合中选择覆盖pc1最多的超体素pbx包括：针对每个第二尺度的第一超体素集合，在第一超体素集合中确定覆盖pc1的第二超体素集合；计算第二超体素集合中的每个超体素覆盖pc1的占比体积；在第二超体素集合中选择占比体积最大的一个作为覆盖pc1最多的超体素pbx。
在此以三种尺度为例进行说明，三种尺度从大到小依次为A、B、C。C尺度下的超体素pc1在B尺度下与多个超体素具有包含关系，即超体素pc1在B尺度下被多个超体素pb1，pb2，…，pbn覆盖，计算其与pc1包含的体积大小，选择占比最大的一个作为超体素pc1在B尺度下对应的超体素pbx，然后，以同样的方式计算pc1在A尺度下对应的超体素pay，最后，将三种尺度的超体素特征进行拼接pc1，pbx，pay作为超体素pc1的多尺度特征fc1。对C尺度下的每个超体素pci执行相同的处理。
图3是本发明实施例的一个图像特征的提取流程图，流程包括：
对原始三维图像进行初始分割，获取不同尺度的超体素；
计算不同尺度下的超体素特征，比如灰度直方图、LBP等特征，并进行适当的特征预处理；
计算小尺度超体素和大尺度超体素的包含关系，从而将不同尺度的超体素特征进行融合，获取超体素的多尺度特征。
在本实施例的一个应用场景中，在基于多个尺度的超体素特征融合得到原始图像的多尺度特征之后，还包括：根据多尺度特征将原始图像分割为多个子图像。
在基于上述应用场景的一个实例中，根据多尺度特征将原始图像分割为多个子图像包括：基于多尺度特征的特征度将原始图像的超体素划分为第三超体素集合和第四超体素集合；按照第三超体素集合和第四超体素集合在原始图像上的覆盖区域将原始图像分割为第一子图像和第二子图像。
可选的，第一子图像和第二子图像对应原始图像的前景和后景(背景)。本实施例不仅限于将原始图像的超体素划分为两个超体素集合，也可以划分为多个超体素集合，每个超体素集合的覆盖区域对应原始图像中的一个物体(如人物、风景、车辆等)。
图4是本发明实施例分割原始图像的示意图，通过提取原始图像中超体素的多尺度特征，根据多尺度特征的特征度对组成该原始图像的超体素集合进行划分，进而将原始图像分割为第一覆盖区域和第二覆盖区域，实现子图像的分割，提取原始图片中的飞机和背景。
本发明中的多尺度特征，以最小尺度的超体素为准，选择其他较大尺度中与该最小尺度的超体素对应的超体素，将其特征与最小尺度超体素的特征进行拼接，获取超体素的多尺度特征。如果基础特征是灰度直方图，则为多尺度灰度直方图特征，如果是LBP，则是多尺度LBP特征。超体素的灰度直方图具有丰富的基础特征信息，获取的多尺度特征能够有效的提高不同区域的超体素间的区分度。提供一种基于超体素的多尺度特征，融合了不同尺度的特征信息，增加了超体素特征的丰富度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种图像特征的提取装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种图像特征的提取装置的结构框图，如图5所示，该装置包括：切割模块50，计算模块52，融合模块54，其中，
切割模块50，用于将原始图像切割为多个尺度的超体素；
计算模块52，用于针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；
融合模块54，用于基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征。
可选的，所述切割模块包括：选择单元，用于基于迭代空间模糊聚类算法ISFC依次选择多个目标尺度的体素特征；聚合单元，用于针对每个目标尺度的体素特征，在所述原始图像中聚合与对应体素特征匹配的相似体素点，得到多个目标尺度的超体素。
可选的，所述计算模块包括：计算单元，用于针对每个尺度的超体素，计算超体素在原始维度的灰度直方图和局部二值化模式LBP特征；处理单元，用于将所述灰度直方图和LBP特征分别压缩至第一目标维度和第二目标维度，并对所述灰度直方图和所述LBP特征进行归一化预处理。
可选的，所述融合模块包括：选择单元，用于针对所述原始图像中第一尺度的每个超体素pc1，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx，其中，所述第一尺度小于所述若干个第二尺度；拼接单元，用于拼接所述pc1和pbx的超体素特征，得到所述pc1的多尺度特征。
可选的，所述选择单元包括：确定子单元，用于针对每个第二尺度的第一超体素集合，在所述第一超体素集合中确定覆盖所述pc1的第二超体素集合；计算子单元，用于计算所述第二超体素集合中的每个超体素覆盖所述pc1的占比体积；选择子单元，用于在所述第二超体素集合中选择占比体积最大的一个作为覆盖所述pc1最多的超体素pbx。
可选的，所述装置还包括：分割模块，用于在所述融合模块基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征之后，根据所述多尺度特征将所述原始图像分割为多个子图像。
可选的，所述分割模块包括：划分单元，用于基于所述多尺度特征的特征度将所述原始图像的超体素划分为第三超体素集合和第四超体素集合；分割单元，用于按照所述第三超体素集合和所述第四超体素集合在所述原始图像上的覆盖区域将所述原始图像分割为第一子图像和第二子图像。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，将原始图像切割为多个尺度的超体素；
S2，针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；
S3，基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-On ly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，将原始图像切割为多个尺度的超体素；
S2，针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；
S3，基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
图6是本发明实施例的一种电子设备的结构图，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信，存储器63，用于存放计算机程序；处理器61，用于执行存储器63上所存放的程序。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-On l y Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种图像特征的提取方法，其特征在于，包括：
将原始图像切割为多个尺度的超体素，其中，所述原始图像为三维图像；
针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；
基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征；
其中，基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征包括：针对所述原始图像中第一尺度的每个超体素pc1，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx，其中，所述第一尺度小于所述若干个第二尺度；拼接所述pc1和pbx的超体素特征，得到所述pc1的多尺度特征。
2.根据权利要求1所述的方法，其特征在于，将原始图像切割为多个尺度的超体素包括：
基于迭代空间模糊聚类算法ISFC依次选择多个目标尺度的体素特征；
针对每个目标尺度的体素特征，在所述原始图像中聚合与对应体素特征匹配的相似体素点，得到多个目标尺度的超体素。
3.根据权利要求1所述的方法，其特征在于，针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征包括：
针对每个尺度的超体素，计算超体素在原始维度的灰度直方图和局部二值化模式LBP特征；
将所述灰度直方图和LBP特征分别压缩至第一目标维度和第二目标维度，并对所述灰度直方图和所述LBP特征进行归一化预处理。
4.根据权利要求1所述的方法，其特征在于，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx包括：
针对每个第二尺度的第一超体素集合，在所述第一超体素集合中确定覆盖所述pc1的第二超体素集合；
计算所述第二超体素集合中的每个超体素覆盖所述pc1的占比体积；
在所述第二超体素集合中选择占比体积最大的一个作为覆盖所述pc1最多的超体素pbx。
5.根据权利要求1所述的方法，其特征在于，在基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征之后，所述方法还包括：
根据所述多尺度特征将所述原始图像分割为多个子图像。
6.根据权利要求5所述的方法，其特征在于，根据所述多尺度特征将所述原始图像分割为多个子图像包括：
基于所述多尺度特征的特征度将所述原始图像的超体素划分为第三超体素集合和第四超体素集合；
按照所述第三超体素集合和所述第四超体素集合在所述原始图像上的覆盖区域将所述原始图像分割为第一子图像和第二子图像。
7.一种图像特征的提取装置，其特征在于，包括：
切割模块，用于将原始图像切割为多个尺度的超体素，其中，所述原始图像为三维图像；
计算模块，用于针对每个尺度的超体素计算超体素特征，得到多个尺度的超体素特征；
融合模块，用于基于所述多个尺度的超体素特征融合得到所述原始图像的多尺度特征；
其中，所述融合模块包括：选择单元，用于针对所述原始图像中第一尺度的每个超体素pc1，在若干个第二尺度的第一超体素集合中选择覆盖所述pc1最多的超体素pbx，其中，所述第一尺度小于所述若干个第二尺度；拼接单元，用于拼接所述pc1和pbx的超体素特征，得到所述pc1的多尺度特征。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6中任一项所述的方法步骤。
9.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至6中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011322292.2A CN112580641B (zh) | 2020-11-23 | 2020-11-23 | 图像特征的提取方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011322292.2A CN112580641B (zh) | 2020-11-23 | 2020-11-23 | 图像特征的提取方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580641A CN112580641A (zh) | 2021-03-30 |
| CN112580641B true CN112580641B (zh) | 2024-06-04 |
Family
ID=75123165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011322292.2A Active CN112580641B (zh) | 2020-11-23 | 2020-11-23 | 图像特征的提取方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580641B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114416786A (zh) * | 2021-12-08 | 2022-04-29 | 阿里巴巴（中国）有限公司 | 流数据的处理方法、装置、存储介质及计算机设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997591A (zh) * | 2017-03-21 | 2017-08-01 | 南京理工大学 | 一种rgb‑d图像变尺度超体素分割方法 |
| CN108305279A (zh) * | 2017-12-27 | 2018-07-20 | 东南大学 | 一种迭代空间模糊聚类的大脑磁共振图像超体素生成方法 |
| CN109215049A (zh) * | 2018-07-18 | 2019-01-15 | 中国科学院自动化研究所 | 基于多尺度三维先验信息的屋顶分割方法、系统与设备 |
| CN109801293A (zh) * | 2019-01-08 | 2019-05-24 | 平安科技（深圳）有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
| CN110473206A (zh) * | 2019-07-24 | 2019-11-19 | 东南大学 | 一种基于超体素与测度学习的弥散张量图像分割方法 |
| CN110728685A (zh) * | 2019-09-20 | 2020-01-24 | 东南大学 | 一种基于对角体素的局部二值模式纹理算子的脑组织分割方法 |
| CN111444365A (zh) * | 2020-03-27 | 2020-07-24 | Oppo广东移动通信有限公司 | 图像分类方法、装置、电子设备及存储介质 |
| CN111709483A (zh) * | 2020-06-18 | 2020-09-25 | 山东财经大学 | 一种基于多特征的超像素聚类方法及设备 |
| CN111860208A (zh) * | 2020-06-29 | 2020-10-30 | 中山大学 | 基于超像素的遥感影像地物分类方法、系统、装置及介质 |
-
2020
- 2020-11-23 CN CN202011322292.2A patent/CN112580641B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106997591A (zh) * | 2017-03-21 | 2017-08-01 | 南京理工大学 | 一种rgb‑d图像变尺度超体素分割方法 |
| CN108305279A (zh) * | 2017-12-27 | 2018-07-20 | 东南大学 | 一种迭代空间模糊聚类的大脑磁共振图像超体素生成方法 |
| CN109215049A (zh) * | 2018-07-18 | 2019-01-15 | 中国科学院自动化研究所 | 基于多尺度三维先验信息的屋顶分割方法、系统与设备 |
| CN109801293A (zh) * | 2019-01-08 | 2019-05-24 | 平安科技（深圳）有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
| CN110473206A (zh) * | 2019-07-24 | 2019-11-19 | 东南大学 | 一种基于超体素与测度学习的弥散张量图像分割方法 |
| CN110728685A (zh) * | 2019-09-20 | 2020-01-24 | 东南大学 | 一种基于对角体素的局部二值模式纹理算子的脑组织分割方法 |
| CN111444365A (zh) * | 2020-03-27 | 2020-07-24 | Oppo广东移动通信有限公司 | 图像分类方法、装置、电子设备及存储介质 |
| CN111709483A (zh) * | 2020-06-18 | 2020-09-25 | 山东财经大学 | 一种基于多特征的超像素聚类方法及设备 |
| CN111860208A (zh) * | 2020-06-29 | 2020-10-30 | 中山大学 | 基于超像素的遥感影像地物分类方法、系统、装置及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580641A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108389251B (zh) | 基于融合多视角特征的投影全卷积网络三维模型分割方法 | |
| Kim et al. | A hierarchical image clustering cosegmentation framework | |
| Li et al. | SHREC’14 track: Extended large scale sketch-based 3D shape retrieval | |
| CN102004922B (zh) | 基于骨架特征的高分辨率遥感影像飞机提取方法 | |
| Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
| CN108710916B (zh) | 图片分类的方法及装置 | |
| JP2015506045A (ja) | 画像特徴の類似性に基づく画像索引作成 | |
| CN111046855A (zh) | 图片识别方法、识别模型训练方法、装置及电子装置 | |
| Teo et al. | Detection and segmentation of 2d curved reflection symmetric structures | |
| CN104182765A (zh) | 一种互联网图像驱动的三维模型最优视图自动选择方法 | |
| CN110197206B (zh) | 图像处理的方法及装置 | |
| Haines et al. | Recognising planes in a single image | |
| CN109685806B (zh) | 图像显著性检测方法及装置 | |
| CN109993753B (zh) | 遥感影像中城市功能区的分割方法及装置 | |
| EP3973507B1 (en) | Segmentation for holographic images | |
| CN114066718A (zh) | 一种图像风格迁移方法、装置、存储介质及终端 | |
| CN111178355A (zh) | 印章识别方法、装置和存储介质 | |
| Song et al. | Local-to-global mesh saliency | |
| CN105930497A (zh) | 基于图像边缘和线条特征的三维模型检索方法 | |
| CN111145196A (zh) | 图像分割方法、装置及服务器 | |
| CN112580641B (zh) | 图像特征的提取方法及装置、存储介质、电子设备 | |
| CN112884884A (zh) | 一种候选区域生成方法及系统 | |
| Álvarez et al. | Junction assisted 3d pose retrieval of untextured 3d models in monocular images | |
| CN112053439A (zh) | 图像中实例属性信息确定方法、装置、设备及存储介质 | |
| Ghiasi et al. | Fast semantic segmentation of aerial images based on color and texture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |