CN110309832A - 一种基于图像的物体分类方法、系统及电子设备 - Google Patents
一种基于图像的物体分类方法、系统及电子设备 Download PDFInfo
- Publication number
- CN110309832A CN110309832A CN201910534676.1A CN201910534676A CN110309832A CN 110309832 A CN110309832 A CN 110309832A CN 201910534676 A CN201910534676 A CN 201910534676A CN 110309832 A CN110309832 A CN 110309832A
- Authority
- CN
- China
- Prior art keywords
- sorted
- image
- feature
- classification
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005728 strengthening Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000000926 separation method Methods 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 17
- 238000011282 treatment Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 4
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 12
- 235000013361 beverage Nutrition 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于图像的物体分类方法，该方法通过获取具有至少一个待分类物体及背景的待测图像，将所述待测图像中的待分类物体与背景进行分离，在多尺度下提取所述待分类物体的至少一特征，将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像，将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图，对所述至少一个待分类物体的特征强化图进行分类，获得分类结果，使得所述待分类物体与背景分离，提高了后续步骤对待分类物体的分类效率，提高识别分类的准确度，同时，提高了对密集排列、可区分特征较小的物体的识别分类准确度和分类效率，减少了分类神经网络的训练量。
Description
【技术领域】
本发明涉及图像识别领域，特别涉及一种基于图像的物体分类方法、系统及电子设备。
【背景技术】
在图像识别领域，通常使用神经网络对图像内的物体进行识别分类。
但在现有的基于图像的物体分类方法中，对于图像内密集排布的物体，例如超市货柜中密集排列的商品，具有密集排列、不同细分类下商品可区分特征较小的特点，同时还存在对较小的商品识别困难的问题，现有的基于图像的物体分类方法很难识别上述物体，且识别分类的准确度较低。
【发明内容】
为了克服目前现有基于图像的物体分类准确度较低问题，本发明提供一种基于图像的物体分类方法。
本发明为解决上述技术问题，提供一技术方案如下：一种基于图像的物体分类方法，包括如下步骤:步骤S1：获取具有至少一个待分类物体及背景的待测图像；步骤S2：将所述待测图像中的待分类物体与背景进行分离；步骤S3：在多尺度下提取所述待分类物体的至少一特征；步骤S4：将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像；步骤S5：将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图；及步骤S6：对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。
优选地，步骤S2具体包括如下步骤：步骤S21：定位待分类物体所在的矩形框；步骤S22：定位所述矩形框内待分类物体的准确边界；及步骤S23：根据所述边界将待分类物体分离出待测图像。
优选地，在步骤S2之前还包括：步骤S20：改变所述至少一个待分类物体的尺寸并分别输入到至少两个特征提取器。
优选地，上述步骤S20具体包括如下步骤：步骤S201：将多个待分类物体缩放至预设大小；步骤S202：将缩放完成后的至少一个待分类物体组合形成一个批数据；及步骤S203：将所述批数据分别输入到至少两个特征提取器。
优选地，步骤S4具体包括步骤S41～S42：步骤S41：将提取到的多个特征进行上采样处理，使多个特征具有相同的分辨率；及步骤S42：将具有相同分辨率的多个特征进行通道叠加，以获得至少两张通道叠加图像。
优选地，步骤S6具体包括如下步骤：步骤S61：对所述特征强化图内的至少一个待分类物体的特征进行降维处理；及步骤S62：将降维后的至少一个待分类物体的特征输入至预设的分类模型，获得分类结果。
本发明还提供一种基于图像的物体分类系统，包括：图像获取单元，用于获取具有至少一个待分类物体及背景的待测图像；背景分离单元，用于将所述待测图像中的待分类物体与背景进行分离；特征提取单元，用于将至少两个特征提取器在多尺度下提取所述待分类物体的至少一特征；特征叠加单元，用于将每一所述特征提取器将所述至少一特征进行通道叠加，获得至少两张通道叠加图像；特征强化单元，用于将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图；及分类单元，用于对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。
优选地，还包括：图形缩放单元，用于改变所述至少一个待分类物体的尺寸并分别输入至至少两个特征提取器。
优选地，所述特征强化单元还包括：上采样模块，用于将所述至少两张通道叠加图像进行上采样处理，使所述至少两张通道叠加图像的分辨率相同；及外积运算模块，用于将分辨率相同的至少两张通道叠加图像根据矩阵外积运算进行组合，获得待分类物体的特征强化图。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的基于图像的物体分类方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的基于图像的物体分类方法。
与现有技术相比，本发明提供的一种基于图像的物体分类方法，具有以下优点：
1、通过将待测图像中待分类物体与背景进行分离，使得所述待分类物体与背景分离，提高了后续步骤对待分类物体的分类效率，提高识别分类的准确度。同时，在多尺度下提取所述待分类物体的至少一特征，将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像，将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图，对所述至少一个待分类物体的特征强化图进行分类，获得分类结果，提高了对密集排列、可区分特征较小的物体的识别分类准确度和分类效率，减少了分类神经网络的训练量。
2、通过将多个待分类物体缩放至预设大小，并将缩放完成后的至少一个待分类物体组合形成一个批数据，将所述批数据分别输入至第一特征提取器和第二特征提取器，使得获得的多个待分类物体进行整合，减少特征输入次数，提高了识别分类的效率。
3、将提取到的多个特征进行上采样处理，使多个特征具有相同的分辨率，并将具有相同分辨率的多个特征进行通道叠加，以获得至少两张通道叠加图像，增强了待分类物体中较小区别特征的语义信息，进而提高分类模型对待分类物体识别分类的准确度。
4、通过对所述特征强化图进行降维处理，减少了后续分类模型的计算量，提高了分类效率。
【附图说明】
图1a为本发明第一实施例提供的一种基于图像的物体分类方法的整体流程图。
图1b为本发明第一实施例提供的一种基于图像的物体分类方法中步骤S20的流程图。
图2a为本发明第一实施例提供的一种基于图像的物体分类方法的步骤S12的细节流程图。
图2b为本发明第一实施例提供的一种基于图像的物体分类方法的步骤S2中步骤S21的实施过程的示意图。
图2c为本发明第一实施例提供的一种基于图像的物体分类方法的步骤S2中步骤S22的实施过程的示意图。
图3为本发明第一实施例提供的一种基于图像的物体分类方法的步骤S20的细节流程图。
图4为本发明第一实施例提供的一种基于图像的物体分类方法的步骤S4的细节流程图。
图5为本发明第一实施例提供的一种基于图像的物体分类方法的步骤S6的细节流程图。
图6为本发明第二实施例提供的一种基于图像的物体分类系统的模块图。
图7为本发明第二实施例提供的一种基于图像的物体分类系统中背景分离单元的模块图。
图8为本发明第二实施例提供的一种基于图像的物体分类系统中特征叠加单元的模块图。
图9为本发明第三实施例提供的一种电子设备的模块图。
附图标记说明：
1、图像获取单元；2、背景分离单元；21、矩形框定位单元；22、边界定位单元；23、图像分离单元；3、特征提取单元；4、特征叠加单元；41、上采样单元；42、通道叠加单元；5、特征强化单元；6、分类单元；7、图像缩放单元；
10、存储器；20、处理器；
100、待测图像；200、第一饮料；300、第二饮料；400、矩形框。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请结合图1a，本发明第一实施例提供一种基于图像的物体分类方法，包括以下步骤：
步骤S1：获取具有至少一个待分类物体及背景的待测图像；
步骤S2：将所述待测图像中的待分类物体与背景进行分离。
可以理解，所述待测图像包括待分类物体所在的区域以及与待分类物体以外的背景区域，步骤S2中通过将待分类物体与背景进行分离，减少背景对识别分类的干扰，增加识别分类的效率和准确度。
步骤S3：在多尺度下提取所述待分类物体的至少一特征；
可以理解，所述不同尺度下的特征，即为对同种物体在不同尺度下所观察到的不同特征，尺度越小所能看到的待分类物体的细节特征就越多，也即可区别物体种类的特征就越多，但缺少待分类物体的整体特征；相反地，尺度越大所能看到的待分类物体的细节特征就越少，但可以看到待分类物体的整体特征。
步骤S4：将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像；
可以理解，进行通道叠加是针对多个特征进行的叠加操作，通过在不同尺度下获得的多张图像进行通道叠加，使得多个尺度的特征在同一图像上显示。
步骤S5：将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图。
可以理解，在步骤S5中，至少两张通道叠加图像为特征图(featuremap)，在图像的数字化处理中，每一特征图对应为一矩阵，所述矩阵外积运算也即将两个矩阵进行叉乘运算，以获得所述特征强化图对应的矩阵，使得上述步骤S4中获得的通道叠加图像的特征进行强化，以提高后续分类的可识别度，也即增加待分类物体的识别分类准确度。
步骤S6：对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。具体地，可基于待分类物体的特征实现分类。
请参阅图1b，可选地，在步骤S1与步骤S2之间还包括步骤S20：
步骤S20：改变所述至少一个待分类物体的尺寸并分别输入到至少两个特征提取器。
可以理解，所述特征提取器为通过训练获得的神经网络模型，该特征提取器可基于输入的图像在多个尺度上对所述图像内的物体进行特征提取。
所述特征提取器可以包括多个卷积层、上采样层及concat层，多个卷积层用于对对待分类物体进行多尺度特征提取，上采样层用于对多尺度下的多个特征进行放大处理，concat层用于将多个放大处理后的特征进行通道叠加。
可选地，所述至少两个特征提取器可以为多个相同的特征提取器，也可以为多个不同的特征提取器。当所述至少两个特征提取器可以为多个相同的特征提取器时，上述步骤S5获得的特征强化图内的待分类物体的细节特征得到强化；当所述至少两个特征提取器可以为多个不同的特征提取器时，上述步骤S5获得的特征强化图内的待分类物体具有多个不同的细节特征，也即增加了待分类物体上的多个不同的高语义特征，提高待分类物体的分类准确度。
请参阅图2a，步骤S2：将所述待测图像中的待分类物体与背景进行分离。步骤S2具体包括步骤S21～S23：
步骤S21：定位待分类物体所在的矩形框；
步骤S22：定位所述矩形框内待分类物体的准确边界；及
步骤S23：根据所述边界将待分类物体分离出待测图像。
可以理解，在步骤S21中，通过检测算法定位所述待分类物体的矩形框，并通过逻辑回归算法精确定位所述待分类物体的矩形框，该矩形框内包含了待分类物体的最大边界所在的矩形区域，如图2b中所示，以瓶装饮料为例，待测图像100中具有第一饮料200和第二饮料300，矩形框400分别精确定位第一饮料200和第二饮料300最大边界所在的矩形区域。
可以理解，常用的精确定位物体边界框的检测算法通常包括Faster R-CNN、Cascade R-CNN和Mask R-CNN，在此不再赘述。
在步骤S22中，通过定位待分类物体的准确边界，以区分步骤S21中形成的矩形框内的背景与将待分类物体，便于后续步骤S23中将背景与待分类物体分离。
可以理解，在步骤S22中，通过步骤S21中检测算法的预测对象掩膜(object mask)分支，针对矩形框内的待分类物体进行了边界预测，精确定位待分类物体的准确边界。如图2c中所示，在矩形框400中的第一饮料200和第二饮料300生成了边界a，边界a相对于原有图像的边界加粗显示(如图2c中的加粗边界)。
可以理解，步骤S21～S23仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S23。
请参阅图3，步骤S20：改变所述至少一个待分类物体的尺寸并分别输入到至少两个特征提取器。步骤S20具体包括步骤S201～S203：
步骤S201：将多个待分类物体缩放至预设大小；
步骤S202：将缩放完成后的至少一个待分类物体组合形成一个批数据；及
步骤S203：将所述批数据分别输入到至少两个特征提取器。
可以理解，在步骤S201中，所述预设大小为预先设置的图像尺寸，只有相同尺寸的图像才能为步骤S202中组合形成批数据。
在步骤S202中，所述批数据为批处理脚本(batch)，目前比较常见的批处理包含两类：DOS批处理和PS批处理。PS批处理是基于强大的图片编辑软件Photoshop进行的，用来批量处理图片的脚本；而DOS批处理则是基于DOS命令进行的，用来自动地批量地执行DOS命令以实现特定操作的脚本。在本实施例中，所述批数据为PS批处理。
可以理解，步骤S201～S203仅为该实施例的一种实施方式，其实施方式并不限定于步骤S201～S203。
请参阅图4，步骤S4：将多个特征进行通道叠加，以获得至少两张通道叠加图像。步骤S4具体包括步骤S41～S42：
步骤S41：将提取到的多个特征进行上采样处理，使多个特征具有相同的分辨率；及
步骤S42：将具有相同分辨率的多个特征进行通道叠加，以获得至少两张通道叠加图像。
可以理解，在步骤S41中，多个特征对应为多个待分类物体对应的特征图，其经过步骤S3中在多尺度下进行的特征提取获得的多个特征分辨率不相同，需要调整分辨率使得所述至少两张通道叠加图像的分辨率相同后才能进行通道叠加操作。
可以理解，在步骤S41中，所述上采样处理为对图像的上采样操作，具体地，上采样操作为对图像的插值算法，上采样的插值方法可以包括最邻近元法、双线性内插法或三次内插法的一种或多种，在本实施例中，所述上采样处理以双线性内插法为例，但不做为对本发明的限定。
可以理解，在步骤S42中，通过特征提取器中的concat层对多个通道对应的多个特征进行通道叠加操作，使得多个特征可叠加与一张图像上，例如，可通过DenseNet模型中的Concat层完成通道叠加操作。
请参阅图5，步骤S6：对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。步骤S6具体包括步骤S61～S62：
步骤S61：对所述特征强化图内的至少一个待分类物体的特征进行降维处理；及
步骤S62：将降维后的至少一个待分类物体的特征输入至预设的分类模型，获得分类结果。
可以理解，所述特征强化图经过上述融合后具有较大的维数，必须要经过降维处理才能输入至分类模型进行分类。
在步骤S61中，将所述特征强化图进行降维处理通过平均池化(mean-pooling)方式进行降维，计算图像区域的平均值作为该区域池化后的值。例如，一个图像区域有用的特征有可能在另一个区域同样适用。因此，为了描述大的图像，可以对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值来代表这个区域的特征，从而降低特征图的维度。
在步骤S62中，所述预设的分类模型为预先训练的分类模型，所述预设的分类模型可将输入的特征强化图内的待分类物体进行分类，获得最终的分类结果。
可以理解，步骤S61～S62仅为该实施例的一种实施方式，其实施方式并不限定于步骤S61～S62。
请参阅图6，本发明第二实施例还提供一种基于图像的物体分类系统。该基于图像的物体分类系统可以包括：
图像获取单元1，用于获取具有至少一个待分类物体及背景的待测图像；
背景分离单元2，用于将所述待测图像中的待分类物体与背景进行分离；
特征提取单元3，用于将至少两个特征提取器在多尺度下提取所述待分类物体的至少一特征；
特征叠加单元4，用于将每一所述特征提取器将所述至少一特征进行通道叠加，获得至少两张通道叠加图像；
特征强化单元5，用于将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图；及
分类单元6，用于对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。
请继续参阅图6，所述基于图像的物体分类系统还包括:
图形缩放单元7，用于改变所述至少一个待分类物体的尺寸并分别输入至至少两个特征提取器。
请参阅图7，所述背景分离单元2还包括：
矩形框定位单元21，定位待分类物体所在的矩形框；
边界定位单元22，定位所述矩形框内待分类物体的准确边界；及
图像分离单元23，根据所述边界将待分类物体分离出待测图像。
请参阅图8，所述特征叠加单元4还包括：
上采样单元41，用于将至少两张通道叠加图像进行上采样处理，使至少两张通道叠加图像的分辨率相同；及
通道叠加单元42，用于将具有相同分辨率的多个特征进行通道叠加，以获得至少两张通道叠加图像。
请参阅图9，本发明第三实施例提供一种用于实施上述基于图像的物体分类方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项基于图像的物体分类方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项基于图像的物体分类方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
具体地，所述电子设备为商店中商品的识别分类设备，特别是针对密集排列的多种类商品识别分类设备，例如具有密集排列的瓶装饮料的售货柜中，存在商标差异的商品，提高对密集排列的不同种类的商品识别分类效率。
与现有技术相比，本发明提供的一种基于图像的物体分类方法，具有以下优点：
1、通过将待测图像中待分类物体与背景进行分离，使得所述待分类物体与背景分离，提高了后续步骤对待分类物体的分类效率，提高识别分类的准确度。同时，在多尺度下提取所述待分类物体的至少一特征，将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像，将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图，对所述至少一个待分类物体的特征强化图进行分类，获得分类结果，提高了对密集排列、可区分特征较小的物体的识别分类准确度和分类效率，减少了分类神经网络的训练量。
2、通过将多个待分类物体缩放至预设大小，并将缩放完成后的至少一个待分类物体组合形成一个批数据，将所述批数据分别输入至第一特征提取器和第二特征提取器，使得获得的多个待分类物体进行整合，减少特征输入次数，提高了识别分类的效率。
3、将提取到的多个特征进行上采样处理，使多个特征具有相同的分辨率，并将具有相同分辨率的多个特征进行通道叠加，以获得至少两张通道叠加图像，增强了待分类物体中较小区别特征的语义信息，进而提高分类模型对待分类物体识别分类的准确度。
4、通过对所述特征强化图进行降维处理，减少了后续分类模型的计算量，提高了分类效率。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、背景分离单元、特征提取单元、特征叠加单元、特征强化单元以及分类单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，特征提取单元还可以被描述为“基于当前获得的待测图像，将所述待测图像中的待分类物体进行提取的单元”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取具有至少一个待分类物体及背景的待测图像，将所述待测图像中的待分类物体与背景进行分离，在多尺度下提取所上述待分类物体的至少一特征，将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像，将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图，对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种基于图像的物体分类方法，其特征在于，包括如下步骤:
步骤S1：获取具有至少一个待分类物体及背景的待测图像；
步骤S2：将所述待测图像中的待分类物体与背景进行分离；
步骤S3：在多尺度下提取所述待分类物体的至少一特征；
步骤S4：将所述至少一特征进行通道叠加，以获得至少两张通道叠加图像；
步骤S5：将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图；及
步骤S6：对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。
2.如权利要求1中所述基于图像的物体分类方法，其特征在于：步骤S2具体包括如下步骤：
步骤S21：定位待分类物体所在的矩形框；
步骤S22：定位所述矩形框内待分类物体的准确边界；及
步骤S23：根据所述边界将待分类物体分离出待测图像。
3.如权利要求1中所述基于图像的物体分类方法，其特征在于：在步骤S2之前还包括：
步骤S20：改变所述至少一个待分类物体的尺寸并分别输入到至少两个特征提取器。
4.如权利要求3中所述基于图像的物体分类方法，其特征在于：上述步骤S20具体包括如下步骤：
步骤S201：将多个待分类物体缩放至预设大小；
步骤S202：将缩放完成后的至少一个待分类物体组合形成一个批数据；及
步骤S203：将所述批数据分别输入到至少两个特征提取器。
5.如权利要求1中所述基于图像的物体分类方法，其特征在于：步骤S4具体包括步骤S41～S42：
步骤S41：将提取到的多个特征进行上采样处理，使多个特征具有相同的分辨率；及
步骤S42：将具有相同分辨率的多个特征进行通道叠加，以获得至少两张通道叠加图像。
6.如权利要求1中所述基于图像的物体分类方法，其特征在于：步骤S6具体包括如下步骤：
步骤S61：对所述特征强化图内的至少一个待分类物体的特征进行降维处理；及
步骤S62：将降维后的至少一个待分类物体的特征输入至预设的分类模型，获得分类结果。
7.一种基于图像的物体分类系统，其特征在于，包括：
图像获取单元，用于获取具有至少一个待分类物体及背景的待测图像；
背景分离单元，用于将所述待测图像中的待分类物体与背景进行分离；
特征提取单元，用于将至少两个特征提取器在多尺度下提取所述待分类物体的至少一特征；
特征叠加单元，用于将每一所述特征提取器将所述至少一特征进行通道叠加，获得至少两张通道叠加图像；
特征强化单元，用于将至少两张通道叠加图像通过矩阵外积运算进行组合，获得所述至少一个待分类物体的特征强化图；及
分类单元，用于对所述至少一个待分类物体的特征强化图进行分类，获得分类结果。
8.如权利要求7中所述基于图像的物体分类系统，其特征在于，还包括：
图形缩放单元，用于改变所述至少一个待分类物体的尺寸并分别输入至至少两个特征提取器。
9.如权利要求7中所述基于图像的物体分类系统，其特征在于，所述特征强化单元还包括：
上采样模块，用于将所述至少两张通道叠加图像进行上采样处理，使所述至少两张通道叠加图像的分辨率相同；及
外积运算模块，用于将分辨率相同的至少两张通道叠加图像根据矩阵外积运算进行组合，获得待分类物体的特征强化图。
10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的基于图像的物体分类方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的基于图像的物体分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910534676.1A CN110309832A (zh) | 2019-06-19 | 2019-06-19 | 一种基于图像的物体分类方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910534676.1A CN110309832A (zh) | 2019-06-19 | 2019-06-19 | 一种基于图像的物体分类方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110309832A true CN110309832A (zh) | 2019-10-08 |
Family
ID=68076167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910534676.1A Pending CN110309832A (zh) | 2019-06-19 | 2019-06-19 | 一种基于图像的物体分类方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309832A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807407A (zh) * | 2019-10-30 | 2020-02-18 | 东北大学 | 一种用于视频中高度近似动态目标的特征提取方法 |
| CN114169952A (zh) * | 2020-09-11 | 2022-03-11 | 京东方科技集团股份有限公司 | 一种商品推荐方法、服务器、购物车和购物系统 |
| WO2022066736A1 (en) * | 2020-09-23 | 2022-03-31 | Proscia Inc. | Critical component detection using deep learning and attention |
| US11423678B2 (en) | 2019-09-23 | 2022-08-23 | Proscia Inc. | Automated whole-slide image classification using deep learning |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577794A (zh) * | 2012-07-30 | 2014-02-12 | 联想(北京)有限公司 | 一种识别方法及电子设备 |
| CN103617413A (zh) * | 2013-11-07 | 2014-03-05 | 电子科技大学 | 一种在图像中识别物体的方法 |
| CN106127749A (zh) * | 2016-06-16 | 2016-11-16 | 华南理工大学 | 基于视觉注意机制的目标零件识别方法 |
| CN107403452A (zh) * | 2017-07-27 | 2017-11-28 | 深圳章鱼信息科技有限公司 | 基于抠图处理的物体识别方法及其装置 |
| CN109447990A (zh) * | 2018-10-22 | 2019-03-08 | 北京旷视科技有限公司 | 图像语义分割方法、装置、电子设备和计算机可读介质 |
| CN109741331A (zh) * | 2018-12-24 | 2019-05-10 | 北京航空航天大学 | 一种图像前景物体分割方法 |
-
2019
- 2019-06-19 CN CN201910534676.1A patent/CN110309832A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577794A (zh) * | 2012-07-30 | 2014-02-12 | 联想(北京)有限公司 | 一种识别方法及电子设备 |
| CN103617413A (zh) * | 2013-11-07 | 2014-03-05 | 电子科技大学 | 一种在图像中识别物体的方法 |
| CN106127749A (zh) * | 2016-06-16 | 2016-11-16 | 华南理工大学 | 基于视觉注意机制的目标零件识别方法 |
| CN107403452A (zh) * | 2017-07-27 | 2017-11-28 | 深圳章鱼信息科技有限公司 | 基于抠图处理的物体识别方法及其装置 |
| CN109447990A (zh) * | 2018-10-22 | 2019-03-08 | 北京旷视科技有限公司 | 图像语义分割方法、装置、电子设备和计算机可读介质 |
| CN109741331A (zh) * | 2018-12-24 | 2019-05-10 | 北京航空航天大学 | 一种图像前景物体分割方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423678B2 (en) | 2019-09-23 | 2022-08-23 | Proscia Inc. | Automated whole-slide image classification using deep learning |
| US11462032B2 (en) | 2019-09-23 | 2022-10-04 | Proscia Inc. | Stain normalization for automated whole-slide image classification |
| CN110807407A (zh) * | 2019-10-30 | 2020-02-18 | 东北大学 | 一种用于视频中高度近似动态目标的特征提取方法 |
| CN110807407B (zh) * | 2019-10-30 | 2023-04-18 | 东北大学 | 一种用于视频中高度近似动态目标的特征提取方法 |
| CN114169952A (zh) * | 2020-09-11 | 2022-03-11 | 京东方科技集团股份有限公司 | 一种商品推荐方法、服务器、购物车和购物系统 |
| WO2022066736A1 (en) * | 2020-09-23 | 2022-03-31 | Proscia Inc. | Critical component detection using deep learning and attention |
| AU2021349226B2 (en) * | 2020-09-23 | 2023-05-11 | Proscia Inc. | Critical component detection using deep learning and attention |
| AU2021349226C1 (en) * | 2020-09-23 | 2023-08-24 | Proscia Inc. | Critical component detection using deep learning and attention |
| US11861881B2 (en) | 2020-09-23 | 2024-01-02 | Proscia Inc. | Critical component detection using deep learning and attention |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309832A (zh) | 一种基于图像的物体分类方法、系统及电子设备 | |
| CN110689036B (zh) | 用于自动染色体分类的方法和系统 | |
| CN109344840B (zh) | 图像处理方法和装置、电子设备、存储介质、程序产品 | |
| Vig et al. | Large-scale optimization of hierarchical features for saliency prediction in natural images | |
| CN110399890A (zh) | 图像识别方法、装置、电子设备及可读存储介质 | |
| EP3933673A1 (en) | System and method to capture spatio-temporal representation for video reconstruction and analysis | |
| CN110348511A (zh) | 一种图片翻拍检测方法、系统及电子设备 | |
| CN108229344A (zh) | 图像处理方法和装置、电子设备、计算机程序和存储介质 | |
| CN110363224A (zh) | 一种基于图像的物体分类方法、系统及电子设备 | |
| Wang et al. | Leaf recognition based on elliptical half Gabor and maximum gap local line direction pattern | |
| CN109446893A (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN112434555B (zh) | 键值对区域识别方法、装置、存储介质和电子设备 | |
| CN106855883A (zh) | 基于视觉词袋模型的人脸图像检索方法 | |
| CN111126401A (zh) | 一种基于上下文信息的车牌字符识别方法 | |
| Traquair et al. | Deep learning for the detection of tabular information from electronic component datasheets | |
| CN104966109B (zh) | 医疗化验单图像分类方法及装置 | |
| CN109977963A (zh) | 图像处理方法、设备、装置以及计算机可读介质 | |
| CN111539341A (zh) | 目标定位方法、装置、电子设备和介质 | |
| Siddiqi | Fruit-classification model resilience under adversarial attack | |
| Wang et al. | Recognition of plate identification numbers using convolution neural network and character distribution rules | |
| CN110659631A (zh) | 车牌识别方法和终端设备 | |
| CN115393868B (zh) | 文本检测方法、装置、电子设备和存储介质 | |
| CN110245594A (zh) | 一种用于收银系统的商品识别方法 | |
| Sowmya et al. | Convolutional Neural Network (CNN) Fundamental Operational Survey | |
| CN109598206A (zh) | 动态手势识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191008 |
|
| RJ01 | Rejection of invention patent application after publication |