CN111191662B - 图像特征提取方法、装置、设备、介质及对象匹配方法 - Google Patents
图像特征提取方法、装置、设备、介质及对象匹配方法 Download PDFInfo
- Publication number
- CN111191662B CN111191662B CN201911416536.0A CN201911416536A CN111191662B CN 111191662 B CN111191662 B CN 111191662B CN 201911416536 A CN201911416536 A CN 201911416536A CN 111191662 B CN111191662 B CN 111191662B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- feature
- features
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 275
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000004927 fusion Effects 0.000 claims abstract description 140
- 238000001514 detection method Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 27
- 239000003086 colorant Substances 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 39
- 238000010586 diagram Methods 0.000 description 23
- 238000011176 pooling Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 229940095673 shampoo product Drugs 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施方式提供了一种图像特征提取方法、对象匹配方法、图像特征提取装置、对象匹配装置、电子设备以及计算机可读存储介质，涉及图像处理技术领域。该方法包括：对原始图像进行边缘提取，得到边缘图像；将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；对目标对象所在区域进行特征提取，得到全局特征和边缘特征；对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。可见，实施本公开实施例能够通过结合原始图像中目标对象的全局特征和边缘特征，提升提取到的目标对象的图像特征的准确性。
Description
技术领域
本公开的实施方式涉及图像处理技术领域，更具体地，本公开的实施方式涉及图像特征提取方法、对象匹配方法、图像特征提取装置、对象匹配装置、电子设备以及计算机可读存储介质。
背景技术
人脑可以对视网膜获取到的图像进行特征分析进而识别出该图像中的具体对象(如，人、物)，随着图像处理技术的不断发展，图像识别任务可以由计算机完成。计算机通过对图像的识别可以进一步对图像进行分类或者对图像进行剪切等，当应用于电商领域时，通过识别出图像中的商品，可以将其划分至所属的品类，便于人们根据不同的品类更快地定位到所需的商品。
在进行对象识别之前需要对图像进行特征提取操作，通常情况下，计算机提取图像中目标对象的图像特征的方式为：对图像进行卷积、池化等操作，进而提取图像中目标对象的特征点。但是，由于不同图像的复杂度通常是不同的，当图像中的目标对象与背景较为复杂、融合度较高时，使用上述方法提取到的目标对象的图像特征就会存在准确率不高的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此，不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
由此可见，相关技术中的图像特征提取方法在应用于针对性地对图像中目标对象进行特征提取时存在局限性，由于存在背景与目标对象融合度较高的情况，因此，提取到的图像特征存在不属于目标对象的可能性。具体地，在对复杂图像中的目标对象进行匹配或识别之前，若根据相关技术中的图像特征提取方法提取图像特征，通常会因为提取到的目标对象的图像特征不够准确，进而对后续的目标对象识别或目标对象匹配造成一定程度的影响。另外，由于提取到的目标对象的图像特征不够准确，也会降低对于目标对象识别或目标对象匹配的效率。基于上述问题，发明人进行了相应的思考，做出了有针对性的改进，提供了图像特征提取方法、对象匹配方法、图像特征提取装置、对象匹配装置、电子设备以及计算机可读存储介质。
根据本公开实施例的第一方面，公开了一种图像特征提取方法，包括：
对原始图像进行边缘提取，得到边缘图像；
将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；
对目标对象所在区域进行特征提取，得到全局特征和边缘特征；
对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
在一个实施例中，基于前述方案，对原始图像进行边缘提取，得到边缘图像，包括：
根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像。
在一个实施例中，基于前述方案，将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
在一个实施例中，基于前述方案，将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，并将特征提取结果进行加和，作为融合结果。
在一个实施例中，基于前述方案，通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，包括：
通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到原始图像和边缘图像分别对应的参考图像特征，作为特征提取结果；
以及，将特征提取结果进行加和，作为融合结果，包括：
将参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
在一个实施例中，基于前述方案，确定出原始图像中包括目标对象的区域，包括：
根据融合结果识别原始图像中目标对象对应的位置信息，并根据位置信息确定原始图像中包括目标对象的区域。
在一个实施例中，基于前述方案，对目标对象所在区域进行特征提取，得到全局特征和边缘特征，包括：
对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像；
通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征；
根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元；
对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
在一个实施例中，基于前述方案，通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征，包括：
通过特征提取网络中的边缘信息提取层提取目标图像的边缘信息，以使得包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征。
在一个实施例中，基于前述方案，对上述的全局特征和边缘特征进行特征融合，包括：
将全局特征和边缘特征进行连接，得到第一参考特征，第一参考特征的维度为全局特征和边缘特征的维度之和；
对第一参考特征进行降维特征转换，得到第二参考特征，作为目标对象对应的图像特征。
根据本公开实施例的第二方面，公开了一种对象匹配方法，其特征在于，包括：
对原始图像进行边缘提取，得到边缘图像；
将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；
对目标对象所在区域进行特征提取，得到全局特征和边缘特征；
对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征；
根据各目标对象分别对应的图像特征计算目标对象之间的相似度；
将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象。
在一个实施例中，基于前述方案，根据各目标对象分别对应的图像特征计算目标对象之间的相似度，包括：
根据各目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为两两目标对象的相似度。
根据本公开实施例的第三方面，公开了一种图像特征提取装置，其特征在于，包括：
边缘信息提取层，用于对原始图像进行边缘提取，得到边缘图像；
原始图像裁剪层，用于将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；
特征提取层，用于对目标对象所在区域进行特征提取，得到全局特征和边缘特征；
特征融合层，用于对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
在一个实施例中，基于前述方案，边缘信息提取层对原始图像进行边缘提取，得到边缘图像的方式具体可以为：
边缘信息提取层根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像。
在一个实施例中，基于前述方案，原始图像裁剪层将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果的方式具体可以为：
原始图像裁剪层通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
在一个实施例中，基于前述方案，原始图像裁剪层将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果的方式具体可以为：
原始图像裁剪层通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，并将特征提取结果进行加和，作为融合结果。
在一个实施例中，基于前述方案，原始图像裁剪层通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取的方式具体可以为：
原始图像裁剪层通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到原始图像和边缘图像分别对应的参考图像特征，作为特征提取结果；
以及，原始图像裁剪层将特征提取结果进行加和，作为融合结果的方式具体可以为：
原始图像裁剪层将参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
在一个实施例中，基于前述方案，原始图像裁剪层确定出原始图像中包括目标对象的区域的方式具体可以为：
原始图像裁剪层根据融合结果识别原始图像中目标对象对应的位置信息，并根据位置信息确定原始图像中包括目标对象的区域。
在一个实施例中，基于前述方案，特征提取层对目标对象所在区域进行特征提取，得到全局特征和边缘特征的方式具体可以为：
特征提取层对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像；
特征提取层通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征；
特征提取层根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元；
特征提取层对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
在一个实施例中，基于前述方案，特征提取层通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征的方式具体可以为：
特征提取层通过特征提取网络中的边缘信息提取层提取目标图像的边缘信息，以使得包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征。
在一个实施例中，基于前述方案，特征融合层对上述的全局特征和边缘特征进行特征融合的方式具体可以为：
特征融合层将全局特征和边缘特征进行连接，得到第一参考特征，第一参考特征的维度为全局特征和边缘特征的维度之和；
特征融合层对第一参考特征进行降维特征转换，得到第二参考特征，作为目标对象对应的图像特征。
根据本公开实施例的第四方面，公开了一种对象匹配装置，其特征在于，包括：
边缘图像提取模块，用于对原始图像进行边缘提取，得到边缘图像；
图像融合模块，用于将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；
特征提取模块，用于对目标对象所在区域进行特征提取，得到全局特征和边缘特征；
特征融合模块，用于对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征；
相似度计算模块，用于根据各目标对象分别对应的图像特征计算目标对象之间的相似度；
相似对象确定模块，用于将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象。
在一个实施例中，基于前述方案，相似度计算模块根据各目标对象分别对应的图像特征计算目标对象之间的相似度的方式具体可以为：
相似度计算模块根据各目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为两两目标对象的相似度。
根据本公开实施例的第五方面，公开了一种电子设备，包括：处理器；以及存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时实现如第一方面公开的图像特征提取方法和第二方面公开的对象匹配方法。
根据本公开实施例的第六方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当计算机可读指令被计算机的处理器执行时，使计算机执行根据本公开第一方面公开的图像特征提取方法和第二方面公开的对象匹配方法。
本公开实施例能够提取原始图像的边缘信息，进而得到与原始图像对应的边缘图像，其中，边缘图像用于突出表示原始图像中目标对象与背景的边界以及目标对象中的细节信息。进而，将全局图像信息和边缘图像信息进行融合能够确定出原始图像中包括目标对象的区域。进一步地，再提取目标对象所在区域的全局特征和边缘特征，将其进行融合，得到的就是目标对象的图像特征。相较现有技术，实施本公开的实施例一方面能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；另一方面，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示出的是根据本公开一示例实施方式的图像特征提取方法的流程示意图；
图2示出的是根据本公开一示例实施方式的原始图像与边缘图像的对比示意图；
图3示出的是根据本公开一示例实施方式的对象检测网络的架构示意图；
图4示出的是根据本公开一示例实施方式的对于目标对象所在区域对应的全局特征和边缘特征进行提取的流程示意图；
图5示出的是根据本公开一示例实施方式的特征提取网络用于进行边缘特征提取部分的架构示意图；
图6示出的是根据本公开一示例实施方式的特征提取网络的架构示意图；
图7示出的是根据本公开一示例实施方式的对象匹配方法的流程示意图；
图8示出的是根据本公开一示例实施方式的图像特征提取方法的应用模块示意图；
图9示出的是根据本公开另一示例实施方式的图像特征提取方法的流程示意图；
图10示出的是根据本公开一示例实施方式的图像特征提取装置的框图；
图11示出的是根据本公开一示例实施方式的对象匹配装置的结构框图；
图12示出的是根据本公开另一可选示例实施方式的图像特征提取装置的结构框图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本公开的实施方式，提出了一种图像特征提取方法、对象匹配方法、图像特征提取装置、对象匹配装置、电子设备以及计算机可读存储介质。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
发明概述
随着互联网电商业务的快速发展，在线购物逐渐成为了目前购物的主要方式，同时也催生了多种多样的在线购物平台。不同的用户所倾向使用的在线购物平台可能不同，而商家对于同一件商品可能是在多个在线购物平台同时售卖的，而不同的平台对应的售卖价格会随着其所在平台的促销活动进行一定程度上的浮动。如果能够实现多平台比价，则可以有利于商家或平台管理者对定价策略进行相应的调整，促进销售。通常情况下，是通过人工的方式进行商品匹配和价格比较，但是，随着电商业务的井喷式增长，商品的数量也呈指数爆炸增长，通过人力的方式满足实际需求的难度逐渐增大。
针对这一问题，申请人想到可以通过自然语言处理的方式对商品进行匹配，解析商品的标题或介绍性文字，提取其中的关键词，进而进行商品匹配。但是，商品的标题或介绍性文字通常是商家自定义的，这样就会存在介绍性文字对商品的介绍不够准确的问题，进而会影响商品匹配的准确度。
针对这一问题，申请人进一步想到，通过利用图像匹配技术可以提升商品匹配的准确度。因此，申请人设计了一种图像匹配方法，可以从图像的层面判断两个商品是否为同一商品；具体地，首先是检测图像中的商品位置，去除无效的背景信息，仅保留商品信息，进而，再对商品进行特征相似度计算，基于预设的阈值判断两个商品是否匹配。然而，在实际应用过程中，不同的商品形状各异且背景可能相对复杂，通过上述图像匹配方法可能还会存在商品匹配结果不准确的问题。
因此，申请人对上述图像匹配方法进行了相应的改进，设计了一种图像特征提取方法和对应的对象匹配方法。通过提取及利用商品图像的边缘信息，提升商品特征识别的准确性以及商品匹配的准确性。
应用场景总览
需要注意的是，下述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
本公开的实施例可以适用于对图像中商品、人物、动物以及植物等的特征提取，通过本公开的技术方案可以将图像中的边缘信息融合进图像的全局信息中，以裁剪出商品、人物、动物和/或植物等目标对象所属的区域，如，洗发产品所属的矩形区域。进而，可以针对目标对象所属的区域进行特征提取，相较于对目标对象所属图像的整体特征提取，能够一定程度上降低计算量，提升特征提取效率。并且，针对目标对象所属的区域进行的特征提取的结果中包括全局特征和边缘特征，通过全局特征和边缘特征的融合，可以提升目标对象的图像特征的提取准确性。可见，本申请通过一步以及进一步地提升图像特征的提取准确性，可以更进一步地提升后续对于商品识别以及商品匹配等的准确性。
示例性方法
下面结合上述的应用场景，参考图1～图9来描述根据本公开示例性实施方式的图像特征提取方法和对象匹配方法。
请参阅图1，图1示出的是根据本公开一示例实施方式的图像特征提取方法的流程示意图，该图像特征提取方法可以由服务器或终端设备来实现。
如图1所示，根据本公开的一个实施例的图像特征提取方法包括：
步骤S110：对原始图像进行边缘提取，得到边缘图像。
步骤S120：将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域。
步骤S130：对目标对象所在区域进行特征提取，得到全局特征和边缘特征。
步骤S140：对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
下面对这些步骤进行详细描述。
在步骤S110中，对原始图像进行边缘提取，得到边缘图像。
其中，原始图像可以理解为待特征提取的图像，原始图像可以为RGB图像(即，由红黄蓝三原色组成的图像)，原始图像的格式可以为jpg、jpeg、TIFF、PNG、BMP或PSD等，本公开实施例不作限定。原始图像中包括目标对象，目标对象的数量可以为一个或多个(即，至少两个)，当目标对象为多个时，多个目标对象的类型可以相同，也可以不同；目标对象可以为人物、动物、植物、物品等，本公开实施例不作限定。另外，边缘图像可以理解为用于突出表示原始图像中目标对象与背景之间边界以及目标对象轮廓的图像。原始图像与边缘图像中所包括的目标对象为相同目标对象，而目标对象在原始图像和边缘图像中的表现形式不同。
结合上述对于原始图像和边缘图像的解释限定，请参阅图2，图2示出的是根据本公开一示例实施方式的原始图像与边缘图像的对比示意图。图2包括图201和图202，图201可以对应上述的原始图像，图202可以对应上述的边缘图像。对图201进行边缘提取，可以得到图202，图202用于突出表示图201中目标对象与背景之间的边界以及目标对象中的细节信息；其中，目标对象为图2中的“洗发液”。此外，需要说明的是，图2仅为原始图像和边缘图像的示意性示出，在本公开的具体应用过程中，原始图像中的目标对象可以包括更多的细节，如，产品本体上印刷的宣传语。边缘图像中可以包括对于任一颜色突变区域的突出展示，如，通过线条框选高光区域以突出展示强光照射在产品上所形成的光照效果。
本公开实施例中，可选的，对原始图像进行边缘提取，得到边缘图像，包括：根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像。
具体地，将原始图像中一个小区域的像素进行加权平均后，可以成为边缘图像中的对应像素。原始图像的维度可以为H×W×3；其中，H表示的是原始图像的高度(如，600)，W表示的是原始图像的宽度(如，600)，3表示的是原始图像的三原色通道数。预设卷积核的尺寸可以为3*3，也可以为5*5，也可以为其他尺寸，本公开实施例不作限定。举例来说，若预设卷积核的尺寸为3*3，预设卷积核内每个单元的权重可以如下：
| -1 | -2 | -1 |
| -2 | 12 | -2 |
| -1 | -2 | -1 |
具体地，根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像的方式可以为：
将预设卷积核Sx与原始图像
进行卷积，得到/>
其中，/>
将预设卷积核Sx进行转置，得到转置后的卷积核Sy，并将Sy与
进行卷积，得到/>
其中，/>
通过对
和/>
的组合，得到原始图像对应的梯度向量/>
梯度方向θ以及梯度幅度/>
其中，/>
根据梯度向量
确定出原始图像对应的边缘图像，边缘图像中包括了用于表示灰度变化剧烈程度的图像频率。此外，需要说明的是，梯度幅度/>
变化较快的区域可以为边缘区域，梯度方向θ用于表示梯度变化方向，结合梯度方向θ和梯度幅度/>
能够确定出原始图像中目标对象的边缘。
由于原始图像的边缘和细节处的信息是原始图像中颜色变化比较快速的部分的信息(即，高频信息)，能够在一定程度上体现图像的特征。因此，实施该可选的实施方式，通过对于边缘图像的提取，便于确定原始图像中目标对象所属的区域，进而提升对于目标对象的图像特征的提取效率。
本公开实施例中，另一可选的，在步骤S110之前，上述方法还可以包括以下步骤：将输入的原始图像的尺寸归一化为目标尺寸(如，416*416)。
其中，将输入的原始图像的尺寸归一化为目标尺寸的方式可以为：若原始图像的尺寸大于目标尺寸，则根据目标尺寸对原始图像进行采样；或者，根据目标尺寸对原始图像进行裁剪。若原始图像的尺寸小于目标尺寸，则根据目标尺寸对原始图像进行像素补充，例如，在原始图像中添加n行像素和/或n列像素，添加后的原始图像为目标尺寸，n行和/或n列像素中各单位像素可以为0，举例来说，在原始图像中添加1行像素[0,0,0,0,0,0,0]；其中，n为正整数。
可见，实施该可选的实施方式，能够通过对输入的原始图像的尺寸进行归一化，即，统一原始图像的大小，进而提升图像特征的提取效率。
在步骤S120中，将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域。
其中，全局图像信息用于从整体上表征原始图像。边缘图像信息用于表征原始图像中目标对象的边缘和细节。融合结果可以表示为矩阵，对应目标对象的边缘和细节强化后的原始图像。
本公开实施例中，可选的，将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
其中，三原色为R(红色)、G(绿)、B(蓝)三种颜色，三原色通道为RGB通道。对象检测网络用于对原始图像中的目标对象所属区域进行检测，对象检测网络应用的算法可以为R-CNN、Fast R-CNN、Faster-RCNN、SSD或YOLO等目标检测算法，本公开实施例不作限定。另外，对象检测网络可以为YOLOv3模型。YOLO(You Only Look Once)是一种基于深度卷积神经网络的物体检测算法，YOLOv3模型是YOLO的第3个版本，以Darknet网络作为基础装置，通常是通过上采样和特征拼接的方法实现多种尺度的目标对象检测。其中，Darknet网络是一种深度学习框架。
此外，原始图像和边缘图像的维度均可以为H×W×3，全局图像信息可以包括通过R通道表示的原始图像、通过G通道表示的原始图像以及通过B通道表示的原始图像。同理，边缘图像信息可以包括通过R通道表示的边缘图像、通过G通道表示的边缘图像以及通过B通道表示的边缘图像。
进而可知，通过对全局图像信息和边缘图像信息的拼接，得到的拼接结果的维度可以为H×W×6，拼接结果可以包括：通过R通道表示的原始图像，通过G通道表示的原始图像和通过B通道表示的原始图像；以及，通过R通道表示的边缘图像，通过G通道表示的边缘图像和通过B通道表示的边缘图像。进而将拼接结果确定为融合结果。其中，通过R通道、G通道或B通道表示的原始图像均可以理解为由像素值组合而成的不同矩阵，对于原始图像来说，对应的矩阵可以为3个，即，对应于上述的3个通道。同理，对于边缘图像来说，对应的矩阵也可以为3个，即，对应于上述的3个通道。
可见，实施该可选的实施方式，能够通过对全局图像信息和边缘图像信息的融合，突出目标对象在原始图像中的表现力，以提升确定出的目标对象所属区域的准确率。
本公开实施例中，另一可选的，将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，并将特征提取结果进行加和，作为融合结果。
进一步地，通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，包括：
通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到原始图像和边缘图像分别对应的参考图像特征，作为特征提取结果；
以及，将特征提取结果进行加和，作为融合结果，包括：
将参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
其中，融合结果可以输出为图像，用于强化全局图像信息中的边缘图像信息。第一预设频次可以与第二预设频次相同也可以不同，本公开实施例不作限定。
请参阅图3，图3示出的是根据本公开一示例实施方式的对象检测网络的架构示意图。如图所示，该对象检测网络可以包括网络结构301、网络结构302、网络结构303、网络结构304、网络结构305、网络结构306、网络结构307、网络结构308、网络结构309、网络结构310以及网络结构311，且上述网络结构均包含1*1卷积层和3*3卷积层；1*1卷积层用于表示该卷积层对应的卷积核尺寸为1*1，3*3卷积层用于表示该卷积层对应的卷积核尺寸为3*3；其中，网络结构301、网络结构302、网络结构303、网络结构304、网络结构305、网络结构306、网络结构307、网络结构308、网络结构309、网络结构310以及网络结构311均可以循环执行，具体地，网络结构301的循环执行次数为1(在图中表示为×1)，网络结构302的循环执行次数为2(在图中表示为×2)，网络结构303的循环执行次数为3(在图中表示为×3)，网络结构304的循环执行次数为1(在图中表示为×1)，网络结构305的循环执行次数为2(在图中表示为×2)，网络结构306的循环执行次数为3(在图中表示为×3)，网络结构307的循环执行次数为3(在图中表示为×3)，网络结构308的循环执行次数为4(在图中表示为×4)，网络结构309的循环执行次数为2(在图中表示为×2)，网络结构310的循环执行次数为2(在图中表示为×2)，网络结构311的循环执行次数为2(在图中表示为×2)。另外，需要说明的是，上述的各网络结构的输出为此网络结构的输入与此网络结构中最后一个卷积层的输出的叠加。
具体地，可以将原始图像输入对象检测网络，以使得对象检测网络中的边缘信息提取层对原始图像进行边缘提取，得到边缘图像；其中，原始图像和边缘图像的尺寸均为416*416。在本公开实施例中，可以分别对原始图像和边缘图像进行特征提取，即，对应上述的通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取。
一方面，在用于进行原始图像特征提取的特征提取网络中，可以通过2个3*3卷积层依次对原始图像进行卷积，得到的卷积结果为208*208的特征图像，作为网络结构301的输入；通过循环执行1次网络结构301，实现对208*208的特征图像的卷积处理，再通过3*3卷积层对处理结果进行卷积，得到104*104的特征图像，作为网络结构302的输入；通过循环执行2次网络结构302，实现对104*104的特征图像的卷积处理，再通过3*3卷积层对处理结果进行卷积，得到52*52的特征图像，作为网络结构303的输入；通过循环执行3次网络结构303，实现对52*52的特征图像的卷积处理，得到原始图像对应的参考图像特征，作为全局图像信息的特征表达。
另一方面，在用于进行边缘图像特征提取的特征提取网络中，在边缘信息提取层对原始图像进行边缘提取，得到边缘图像之后，可以通过2个3*3卷积层依次对边缘图像进行卷积，得到的卷积结果为208*208的特征图像，作为网络结构304的输入；通过循环执行1次网络结构304，实现对208*208的特征图像的卷积处理，再通过3*3卷积层对处理结果进行卷积，得到104*104的特征图像，作为网络结构305的输入；通过循环执行2次网络结构305，实现对104*104的特征图像的卷积处理，再通过3*3卷积层对处理结果进行卷积，得到52*52的特征图像，作为网络结构306的输入；通过循环执行3次网络结构306，实现对52*52的特征图像的卷积处理，得到边缘图像对应的参考图像特征，作为边缘图像信息的特征表达。
根据上述一方面和另一方面的限定，可见，根据对象检测网络中并行的双路特征提取网络可以提取到与原始图像所包含的全局图像信息对应的参考图像特征以及边缘图像所包含的边缘图像信息对应的参考图像特征。进一步地，可以将全局图像信息和边缘图像信息分别对应的参考图像特征进行加和，并对加和结果进行第二预设频次(如，23次)的卷积，实现全局图像信息和边缘图像信息的特征融合，得到融合结果。具体地，可以通过3*3卷积层对加和结果进行卷积，得到的卷积结果为26*26的特征图像，作为网络结构307的输入；通过循环执行3次网络结构307，实现对26*26的特征图像的卷积处理，再通过3*3卷积层对处理结果进行卷积，得到13*13的特征图像，作为网络结构308的输入；通过循环执行4次网络结构308，实现对13*13的特征图像的卷积处理，再循环执行2次网络结构309，实现对网络结构308的卷积处理结果的进一步卷积，再通过2个1*1卷积层对网络结构309的卷积处理结果进行卷积并通过上采样层进行上采样，得到又一26*26的特征图像，将网络结构307的卷积处理结果与又一26*26的特征图像进行组合，作为网络结构310的输入；通过循环执行2次网络结构310，实现对又一26*26的特征图像的卷积处理，再通过2个1*1卷积层对处理结果进行卷积并通过上采样层进行上采样，得到又一52*52的特征图像；将上述的加和结果与又一52*52的特征图像进行组合，作为网络结构311的输入；通过循环执行2次网络结构311，实现对又一52*52的特征图像的卷积处理，再通过1*1卷积层、3*3卷积层和1*1卷积层依次对处理结果进行卷积，得到第三卷积结果。进而，对象预测网络中的第三预测层可以根据第三卷积结果预测原始图像中目标对象所属的第三区域。
另外，在实现对网络结构308的卷积处理结果的进一步卷积以及经过一个1*1卷积层的卷积处理之后，还可以对得到的处理结果依次进行3*3卷积层和1*1卷积层的卷积，得到第一卷积结果，对象预测网络中的第一预测层可以根据第一卷积结果预测原始图像中目标对象所属的第一区域。以及，在实现对网络结构310的卷积处理结果的进一步卷积以及经过一个1*1卷积层的卷积处理之后，还可以对得到的处理结果依次进行3*3卷积层和1*1卷积层的卷积，得到第二卷积结果，对象预测网络中的第二预测层可以根据第二卷积结果预测原始图像中目标对象所属的第二区域；第一卷积结果、第二卷积结果和第三卷积结果均为上述的融合结果。其中，第一区域、第二区域和第三区域可以为第二预测层、第二预测层和第二预测层分别对原始图像中目标对象所属的区域的预测。第一区域、第二区域和第三区域的尺寸可以相同也可以不同，第一区域、第二区域和第三区域对应的置信度可以相同也可以不同，置信度用于表征该区域的正确框选目标对象的程度。另外，第一区域、第二区域和第三区域中的“第一”、“第二”和“第三”用于表示区域类型，第一区域、第二区域和第三区域中任一类型区域均可以为一个或多个，第一区域、第二区域和第三区域之间可以存在交集也可以不存在交集，本公开实施例不作限定。
进一步地，可以通过预设置信度范围对第一区域、第二区域和第三区域进行筛选，将属于预设置信度范围的区域确定为包括目标对象的区域；或者，可以将第一区域、第二区域和第三区域中对应置信度最高的区域确定为包括目标对象的区域。
需要说明的是，第一预测层、第二预测层和第三预测层分别对应的是不同尺度的目标对象的预测，第一预测层、第二预测层和第三预测层预测的目标对象所述的区域大小可以不同也可以相同，本公开实施例不作限定。另外，第一预测层、第二预测层和第三预测层中至少一个预测层对应有效预测结果，其中，有效预测结果包括预测层预测的包括目标对象的区域，与之对应的无效预测结果可以为空。
可见，实施该可选的实施方式，能够将原始图像的边缘图像对应的边缘图像信息与全局图像信息进行特征融合，进而可以提升对于包括目标对象的区域的预测准确率。
本公开实施例中，又一可选的，确定出原始图像中包括目标对象的区域，包括：
根据融合结果识别原始图像中目标对象对应的位置信息，并根据位置信息确定原始图像中包括目标对象的区域。
其中，位置信息可以包括目标对象的中心坐标、轮廓坐标以及细节坐标等至少一种，本公开实施例不作限定。区域的形状可以为规则图形也可以为不规则图形，本公开实施例不作限定。区域的面积大于目标对象的面积。
另外，若将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果的方式为上述的：通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。那么，根据融合结果识别原始图像中目标对象对应的位置信息的方式可以为：通过另一对象检测网络的卷积层对融合结果进行卷积，并对卷积结果进行上采样，进而通过预测层预测原始图像中目标对象对应的位置信息；其中，另一对象检测网络的卷积层的输入通道为6，与融合结果对应的通道数相同。
另外，区域可以为多个，如，上述的第一区域、第二区域和第三区域。
进而，上述方法还可以包括以下步骤：
根据预设置信度范围对多个区域进行筛选，将属于预设置信度范围的区域确定为包括目标对象的区域；或者，
将多个区域中对应置信度最高的区域确定为包括目标对象的区域。
可见，实施该可选的实施方式，能够通过确定出包括目标对象的区域，为目标对象的图像特征提取提供便利，进而提升提取到的图像特征的准确性。
在步骤S130中，对目标对象所在区域进行特征提取，得到全局特征和边缘特征。
其中，全局特征用于在整体上表征目标对象，边缘特征用于突出在边缘和细节上表征目标对象。
本公开实施例中，可选的，请参见图4，图4示出的是根据本公开一示例实施方式的对于目标对象所在区域对应的全局特征和边缘特征进行提取的流程示意图。如图所示，对于目标对象所在区域对应的全局特征和边缘特征进行提取可以包括步骤S410～步骤S440，其中：
步骤S410：对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像。
步骤S420：通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征。
步骤S430：根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元。
步骤S440：对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
可见，实施该可选的实施方式，能够通过确定目标对象的全局特征和边缘特征，提升后续对于目标对象的特征提取的准确性，进而改善对于目标对象识别的准确率。
在步骤S410中，对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像。
其中，目标图像中包括目标对象，目标图像可以为一个或多个，本公开实施例不作限定。
在步骤S420中，通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征。
其中，目标对象对应的边缘特征用于突出展示目标对象的边缘和细节。第一残差网络可以为ResNet50。
其中，通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征，包括：
通过特征提取网络中的边缘信息提取层提取目标图像的边缘信息，以使得包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征。
其中，边缘信息的输出形式可以为图像。第一残差单元可以依次包含1*1卷积层、3*3卷积层和1*1卷积层。1*1卷积层、3*3卷积层和1*1卷积层可以依据连接的先后顺序依次对信息进行处理。
具体地，包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征的方式可以为：
对边缘信息进行卷积操作及最大池化操作，得到中间信息，通过多个残差单元提取中间信息对应的边缘特征，并对中间信息对应的边缘特征进行全局池化，得到目标对象对应的边缘特征。
请参阅图5，图5示出的是根据本公开一示例实施方式的特征提取网络用于进行边缘特征提取部分的架构示意图。如图5所示，本实施例中作为图像特征提取装置的特征提取网络用于进行边缘特征提取部分可以包括边缘信息提取层501、7*7卷积层502、最大池化层503、第一残差单元504、第一残差单元505、第一残差单元506、第一残差单元507、全局池化层508以及边缘特征509；其中，第一残差单元504、第一残差单元505、第一残差单元506和第一残差单元507均依次包含1*1卷积层、3*3卷积层和1*1卷积层；1*1卷积层用于表示该卷积层对应的卷积核尺寸为1*1，3*3卷积层用于表示该卷积层对应的卷积核尺寸为3*3；其中，第一残差单元504、第一残差单元505、第一残差单元506和第一残差单元507均可以循环执行。第一残差单元504的循环执行次数为3(在图中表示为×3)，第一残差单元505、第一残差单元506和第一残差单元507的循环执行次数均为4(在图中表示为×4)。另外，需要说明的是，上述的各第一残差单元的输出为此第一残差单元的输入与此第一残差单元中最后一个卷积层的输出的叠加。
具体地，可以将目标图像输入特征提取网络，通过特征提取网络中的边缘信息提取层501提取目标图像的边缘信息，并通过7*7卷积层502对边缘信息进行卷积，对卷积结果进行最大池化，得到中间信息并将中间信息作为第一残差单元504的输入；进而，可以通过循环执行3次第一残差单元504，进而循环执行4次第一残差单元505，进而循环执行4次第一残差单元506，以及循环执行4次第一残差单元507，实现对边缘信息的卷积处理，得到中间信息对应的边缘特征；其中，第一残差单元504的输出为第一残差单元505的输入，第一残差单元505的输出为第一残差单元506的输入，第一残差单元506的输出为第一残差单元507的输入。进一步地，可以对中间信息对应的边缘特征进行全局池化，得到目标对象对应的边缘特征509。
可见，实施该可选的实施方式，能够确定出目标对象对应的边缘特征，以便于目标对象的全局特征结合边缘特征提取到更为准确的目标对象的图像特征。
在步骤S430中，根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元。
其中，旁路结构用于连接特征提取网络中用于进行边缘特征提取的支路与用于进行全局特征提取的支路。全局信息的输出形式可以为图像。第二残差单元可以依次包含1*1卷积层、3*3卷积层和1*1卷积层。1*1卷积层、3*3卷积层和1*1卷积层可以依据连接的先后顺序依次对信息进行处理。
在步骤S440中，对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
其中，对已叠加边缘数据的第二残差单元的输出数据进行残差计算可以在特征提取时降低重要特征被遗漏的概率。
在步骤S140中，对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
其中，图像特征的输出形式可以为矩阵。
本公开实施例中，可选的，对上述的全局特征和边缘特征进行特征融合，包括：
将全局特征和边缘特征进行连接，得到第一参考特征，第一参考特征的维度为全局特征和边缘特征的维度之和；举例来说，若全局特征的维度为2048且边缘特征的维度为2048维，那么，第一参考特征的维度为4096wei2
对第一参考特征进行降维特征转换，得到第二参考特征，作为目标对象对应的图像特征。
请参阅图6，图6示出的是根据本公开一示例实施方式的特征提取网络的架构示意图。如图6所示，特征提取网络可以包括目标图像601、边缘信息提取层602、7*7卷积层603、最大池化层604、第一残差单元605、第一残差单元606、第一残差单元607、第一残差单元608、全局池化层609、边缘特征610、7*7卷积层611、最大池化层612、第二残差单元613、第二残差单元614、第二残差单元615、第二残差单元616、全局池化层617、边缘特征618、特征连接层619、第一参考特征620、特征融合层621以及第二参考特征622，第二参考特征622即为目标对象对应的图像特征；其中，第一残差单元605、第一残差单元606、第一残差单元607、第一残差单元608、第二残差单元613、第二残差单元614、第二残差单元615和第二残差单元616均依次包含1*1卷积层、3*3卷积层和1*1卷积层；1*1卷积层用于表示该卷积层对应的卷积核尺寸为1*1，3*3卷积层用于表示该卷积层对应的卷积核尺寸为3*3；其中，第一残差单元605、第一残差单元606、第一残差单元607、第一残差单元608、第二残差单元613、第二残差单元614、第二残差单元615和第二残差单元616均可以循环执行。第一残差单元607和第二残差单元613的循环执行次数为3(在图中表示为×3)，第一残差单元606、第一残差单元607、第一残差单元608、第二残差单元614、第二残差单元615和第二残差单元616的循环执行次数均为4(在图中表示为×4)。另外，需要说明的是，上述的各第一残差单元的输出为此第一残差单元的输入与此第一残差单元中最后一个卷积层的输出的叠加，上述的各第二残差单元的输出为此第二残差单元的输入与此第二残差单元中最后一个卷积层的输出的叠加。其中，特征连接层619和特征融合层621可以理解为不同功能的全连接层。
具体地，可以将目标图像601输入特征提取网络，通过特征提取网络中的边缘信息提取层602提取目标图像601的边缘信息，并通过7*7卷积层603对边缘信息进行卷积，对卷积结果进行最大池化，得到第一中间信息并将第一中间信息作为第一残差单元605的输入，其中，目标图像对应的维度可以为N×3×H×W，N为目标图像的数量；进而，可以通过循环执行3次第一残差单元605，进而循环执行4次第一残差单元606，进而循环执行4次第一残差单元607，以及循环执行4次第一残差单元608，实现对边缘信息的卷积处理，得到中间信息对应的边缘特征；其中，第一残差单元605的输出为第一残差单元606的输入，第一残差单元606的输出为第一残差单元607的输入，第一残差单元607的输出为第一残差单元608的输入。进一步地，可以对第一中间信息对应的边缘特征进行全局池化，得到目标对象对应的边缘特征610。
进一步地，可以通过7*7卷积层611对边缘信息进行卷积，对卷积结果进行最大池化，得到第二中间信息并将第二中间信息与第一残差单元605的输出进行拼接，作为第二残差单元613的输入，其中，第二中间信息的输出信息对应的维度可以为N×C1×H1×W1，第一残差单元605的输出对应的维度可以为N×C1×H1×W1，第二残差单元613的输入对应的维度可以为N×2C1×H1×W1，C1为卷积层中的卷积核数量；进而，可以通过循环执行3次第二残差单元613，进而循环执行4次第二残差单元614，进而循环执行4次第二残差单元615，以及循环执行4次第二残差单元616，实现对边缘信息的卷积处理，得到中间信息对应的边缘特征；其中，第二残差单元613的输出与第一残差单元606的输出的拼接结果为第二残差单元614的输入，第二残差单元614的输出与第一残差单元607的输出的拼接结果为第二残差单元615的输入，第二残差单元615的输出与第一残差单元608的输出的拼接结果为第二残差单元616的输入。进而，可以对第二中间信息对应的全局特征进行全局池化，得到目标对象对应的全局特征618。
进一步地，可以将全局特征618和边缘特征610进行连接，得到第一参考特征620，并通过特征融合层621对第一参考特征进行降维特征转换(也可以理解为将第一参考特征中的全局特征618和边缘特征610进行融合)，得到第二参考特征622，第二参考特征622可以作为目标对象对应的图像特征。
可见，实施该可选的实施方式，能够通过将目标对象的全局特征和边缘特征的融合，提升对于目标对象的图像特征的提取效率以及提取准确率。
可见，实施图1所示的图像特征提取方法，能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；以及，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
请参阅图7，图7示出的是根据本公开一示例实施方式的对象匹配方法的流程示意图，该对象匹配方法可以由服务器或终端设备来实现。
如图7所示，根据本公开的一个实施例的对象匹配方法包括：
步骤S710：对原始图像进行边缘提取，得到边缘图像。
步骤S720：将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域。
步骤S730：对目标对象所在的区域进行特征提取，得到全局特征和边缘特征。
步骤S740：对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
步骤S750：根据各目标对象分别对应的图像特征计算目标对象之间的相似度。
步骤S760：将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象。
其中，步骤S710～步骤S740与图1中的步骤S110～步骤S140相对应，关于步骤S710～步骤S740的具体实施方式请参阅图1对应的实施例，此处不在赘述。
本公开实施例中，可选的，根据各目标对象分别对应的图像特征计算目标对象之间的相似度，包括：根据各目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为两两目标对象的相似度。另外，根据各目标对象分别对应的图像特征计算目标对象之间的相似度的方式还可以为：根据各目标对象分别对应的图像特征计算两两目标对象之间的欧式距离，作为两两目标对象之间的相似度。其中，可以基于表达式
计算每两个目标对象之间的余弦距离，或者，可以基于表达式/>
计算两两目标对象之间的欧式距离；其中，A和B分别为两个目标对象的图像特征，图像特征可以通过向量进行表示。可见，通过对两个目标对象之间相似度的计算，能够便于判定两个目标对象是否相匹配，进而提升商品匹配、商品聚类等场景下的执行准确率。
进一步地，将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象的方式可以为：将余弦距离属于预设距离范围(如，[0,1])内的两个目标对象确定为相匹配的目标对象；或者，将欧式距离属于预设距离范围内的两个目标对象确定为相匹配的目标对象。举例来说，当本申请应用于商品匹配时，可以通过对用户输入的图像进行识别，确定出其中的商品特征，根据该商品特征与数据库中已有商品的特征之间的相似度识别出该商品。
可见，实施图7所示的对象匹配方法，能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；以及，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
请参阅图8，图8示出的是根据本公开一示例实施方式的图像特征提取方法的应用模块示意图。如图8所示，通过数据预处理模块801、融合边缘信息的主体检测模块802、融合边缘信息的特征提取模块803以及特征匹配模块804可以实现本公开的对象匹配方法。
其中，数据预处理模块801可以用于对原始图像进行边缘提取，进而得到边缘图像，并将原始图像和边缘图像作为融合边缘信息的主体检测模块802的输入，可以理解为，数据预处理模块801对原始图像进行了预处理，进而得到了原始图像对应的边缘图像；原始图像中包括全局图像信息，边缘图像中包括边缘图像信息，预处理过程除了边缘提取外还可以包括图像尺寸归一化等，本公开实施例不作限定。进而，融合边缘信息的主体检测模块802可以用于将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域，作为融合边缘信息的特征提取模块803的输入，这样可以提升确定出的区域的准确性，该区域中包括的目标对象也可以理解为是原始图像的主体内容块。进而，融合边缘信息的特征提取模块803可以对目标对象所在区域进行特征提取，得到全局特征和边缘特征，并对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征，作为特征匹配模块804的输入。进而，特征匹配模块804可以根据各目标对象分别对应的图像特征计算目标对象之间的相似度，并将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象，其中，各目标对象可以同属于一个原始图像，也可以不属于同一个原始图像，也可以部分属于同一个原始图像，本公开实施例不作限定。
可见，实施图8所示的应用模块示意图，能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；以及，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
请参阅图9，图9示出的是根据本公开另一示例实施方式的图像特征提取方法的流程示意图。如图9所示，另一示例实施方式的图像特征提取方法可以包括步骤S900～步骤S920，其中：
步骤S900：根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像。
步骤S902：通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
步骤S904：通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到原始图像和边缘图像分别对应的参考图像特征，作为特征提取结果。
步骤S906：将参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
步骤S908：根据融合结果识别原始图像中目标对象对应的位置信息，并根据位置信息确定原始图像中包括目标对象的区域。
步骤S910：对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像。
步骤S912：通过特征提取网络中的边缘信息提取层提取目标图像的边缘信息，以使得包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征。
步骤S914：根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元。
步骤S916：对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
步骤S918：将全局特征和边缘特征进行连接，得到第一参考特征，第一参考特征的维度为全局特征和边缘特征的维度之和。
步骤S920：对第一参考特征进行降维特征转换，得到第二参考特征，作为目标对象对应的图像特征。
其中，步骤S900～步骤S920与图1中的步骤S110～步骤S140及其具体实施方式相对应，关于步骤S900～步骤S920的限定和解释请参阅图1对应的实施例，此处不在赘述。
可见，实施图9所示的图像特征提取方法，能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；以及，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
示例性介质
在介绍了本公开示例性实施方式的方法之后，接下来，对本公开示例性实施方式的介质进行说明。
在一些可能的实施方式中，本公开的各个方面还可以实现为一种介质，其上存储有程序代码，当程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的图像特征提取方法中的步骤。
具体地，所述设备的处理器执行所述程序代码时用于实现如下步骤：对原始图像进行边缘提取，得到边缘图像；将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；对目标对象所在区域进行特征提取，得到全局特征和边缘特征；对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：对原始图像进行边缘提取，得到边缘图像，包括：根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像。
在本公开的一些实施方式中，将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，并将特征提取结果进行加和，作为融合结果。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时用于实现如下步骤：通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，包括：通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到原始图像和边缘图像分别对应的参考图像特征，作为特征提取结果；以及，将特征提取结果进行加和，作为融合结果，包括：将参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：确定出原始图像中包括目标对象的区域，包括：根据融合结果识别原始图像中目标对象对应的位置信息，并根据位置信息确定原始图像中包括目标对象的区域。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：对目标对象所在区域进行特征提取，得到全局特征和边缘特征，包括：对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像；通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征；根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元；对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征，包括：通过特征提取网络中的边缘信息提取层提取目标图像的边缘信息，以使得包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：对上述的全局特征和边缘特征进行特征融合，包括：将全局特征和边缘特征进行连接，得到第一参考特征，第一参考特征的维度为全局特征和边缘特征的维度之和；对第一参考特征进行降维特征转换，得到第二参考特征，作为目标对象对应的图像特征。
在另一些可能的实施方式中，本公开的各个方面还可以实现为一种介质，其上存储有程序代码，当程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的对象匹配方法中的步骤。
具体地，所述设备的处理器执行所述程序代码时用于实现如下步骤：对原始图像进行边缘提取，得到边缘图像；将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；对目标对象所在区域进行特征提取，得到全局特征和边缘特征；对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征；根据各目标对象分别对应的图像特征计算目标对象之间的相似度；将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象。
在本公开的一些实施方式中，所述设备的处理器执行所述程序代码时还用于实现如下步骤：根据各目标对象分别对应的图像特征计算目标对象之间的相似度，包括：根据各目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为两两目标对象的相似度。
需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、RF等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性装置
在介绍了本公开示例性实施方式的介质之后，接下来，参考图10对本公开示例性实施方式的图像特征提取装置进行说明。
请参阅图10，图10示出的是根据本公开一示例实施方式的图像特征提取装置的框图。如图10所示，本公开一示例实施方式的图像特征提取装置包括：边缘信息提取层1001、原始图像裁剪层1002、特征提取层1003以及特征融合层1004，其中：
边缘信息提取层1001，用于对原始图像进行边缘提取，得到边缘图像；
原始图像裁剪层1002，用于将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；
特征提取层1003，用于对目标对象所在区域进行特征提取，得到全局特征和边缘特征；
特征融合层1004，用于对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征。
可见，实施图10示出的图像特征提取装置，能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；以及，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
作为一种可选的实施方式，边缘信息提取层1001对原始图像进行边缘提取，得到边缘图像的方式具体可以为：
边缘信息提取层1001根据预设卷积核对原始图像进行梯度计算，以提取原始图像对应的边缘图像。
可见，实施该可选的实施方式，能够通过对输入的原始图像的尺寸进行归一化，即，统一原始图像的大小，进而提升图像特征的提取效率。
作为一种可选的实施方式，原始图像裁剪层1002将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果的方式具体可以为：
原始图像裁剪层1002通过对象检测网络将基于三原色的原始图像所包含的全局图像信息和基于三原色的边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
可见，实施该可选的实施方式，能够通过对全局图像信息和边缘图像信息的融合，突出目标对象在原始图像中的表现力，以提升确定出的目标对象所属区域的准确率。
作为一种可选的实施方式，原始图像裁剪层1002将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果的方式具体可以为：
原始图像裁剪层1002通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取，并将特征提取结果进行加和，作为融合结果。
进一步地，原始图像裁剪层1002通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息分别进行特征提取的方式具体可以为：
原始图像裁剪层1002通过对象检测网络中并行的双路特征提取网络同时对原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到原始图像和边缘图像分别对应的参考图像特征，作为特征提取结果；
以及，原始图像裁剪层1002将特征提取结果进行加和，作为融合结果的方式具体可以为：
原始图像裁剪层1002将参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
可见，实施该可选的实施方式，能够将原始图像的边缘图像对应的边缘图像信息与全局图像信息进行特征融合，进而可以提升对于包括目标对象的区域的预测准确率。
作为一种可选的实施方式，原始图像裁剪层1002确定出原始图像中包括目标对象的区域的方式具体可以为：
原始图像裁剪层1002根据融合结果识别原始图像中目标对象对应的位置信息，并根据位置信息确定原始图像中包括目标对象的区域。
可见，实施该可选的实施方式，能够通过确定出包括目标对象的区域，为目标对象的图像特征提取提供便利，进而提升提取到的图像特征的准确性。
作为一种可选的实施方式，特征提取层1003对目标对象所在区域进行特征提取，得到全局特征和边缘特征的方式具体可以为：
特征提取层1003对原始图像中包括目标对象的区域进行裁剪，得到区域对应的目标图像；
特征提取层1003通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征；
特征提取层1003根据旁路结构将第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，特征提取网络包括第二残差网络，第二残差网络包括至少一个第二残差单元；旁路结构用于连接第一残差单元和对应的第二残差单元；
特征提取层1003对已叠加边缘数据的第二残差单元的输出数据进行残差计算，以提取目标对象对应的全局特征。
可见，实施该可选的实施方式，能够通过确定目标对象的全局特征和边缘特征，提升后续对于目标对象的特征提取的准确性，进而改善对于目标对象识别的准确率。
作为一种可选的实施方式，特征提取层1003通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取目标图像对应的边缘特征的方式具体可以为：
特征提取层1003通过特征提取网络中的边缘信息提取层提取目标图像的边缘信息，以使得包括至少一个第一残差单元的第一残差网络根据边缘信息提取目标对象对应的边缘特征。
可见，实施该可选的实施方式，能够确定出目标对象对应的边缘特征，以便于目标对象的全局特征结合边缘特征提取到更为准确的目标对象的图像特征。
作为一种可选的实施方式，特征融合层1004对上述的全局特征和边缘特征进行特征融合的方式具体可以为：
特征融合层1004将全局特征和边缘特征进行连接，得到第一参考特征，第一参考特征的维度为全局特征和边缘特征的维度之和；
特征融合层1004对第一参考特征进行降维特征转换，得到第二参考特征，作为目标对象对应的图像特征。
可见，实施该可选的实施方式，能够通过将目标对象的全局特征和边缘特征的融合，提升对于目标对象的图像特征的提取效率以及提取准确率。
由于本公开的示例实施例的图像特征提取装置的各个功能模块与上述图像特征提取方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的图像特征提取方法的实施例。
应当注意，尽管在上文详细描述中提及了图像特征提取装置的若干网络层，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多网络层的特征和功能可以在一个网络层中具体化。反之，上文描述的一个网络层的特征和功能可以进一步划分为由多个网络层来具体化。
另外，参考图11对本公开示例性实施方式的对象匹配装置进行说明。
请参阅图11，图11示出的是根据本公开一示例实施方式的对象匹配装置的结构框图。如图11所示，本公开一示例实施方式的对象匹配装置包括：边缘图像提取模块1101、图像融合模块1102、特征提取模块1103、特征融合模块1104、相似度计算模块1105以及相似对象确定模块1106，其中：
边缘图像提取模块1101，用于对原始图像进行边缘提取，得到边缘图像；
图像融合模块1102，用于将原始图像所包含的全局图像信息和边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出原始图像中包括目标对象的区域；
特征提取模块1103，用于对目标对象所在区域进行特征提取，得到全局特征和边缘特征；
特征融合模块1104，用于对上述的全局特征和边缘特征进行特征融合，得到目标对象对应的图像特征；
相似度计算模块1105，用于根据各目标对象分别对应的图像特征计算目标对象之间的相似度；
相似对象确定模块1106，用于将相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象。
可见，实施图11所示的对象匹配装置，能够更快地确定出目标对象所在的区域，以提升对目标对象图像特征提取的准确性；以及，能够通过提升目标对象图像特征提取的准确性，进而提升在进行目标对象匹配或目标对象识别时的效率、准确率。
作为一种可选的实施方式，相似度计算模块1105根据各目标对象分别对应的图像特征计算目标对象之间的相似度的方式具体可以为：
相似度计算模块1105根据各目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为两两目标对象的相似度。
可见，实施该可选的实施方式，通过对两个目标对象之间相似度的计算，能够便于判定两个目标对象是否相匹配，进而提升商品匹配、商品聚类等场景下的执行准确率。
应当注意，尽管在上文详细描述中提及了对象匹配装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
示例性电子设备
在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，介绍根据本公开的另一示例性实施方式的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图12来描述根据本公开的又一可选示例实施方式的图像特征提取装置1200。图12显示的图像特征提取装置1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，图像特征提取装置1200以电子设备的形式表现。图像特征提取装置1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1210执行，使得所述处理单元1210执行本说明书上述示例性方法的描述部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1210可以执行如图1和图2中所示的各个步骤。
存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)12201和/或高速缓存存储单元12202，还可以进一步包括只读存储单元(ROM)12203。
存储单元1220还可以包括具有一组(至少一个)程序模块12205的程序/实用工具12204，这样的程序模块12205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
图像特征提取装置1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与图像特征提取装置1200交互的设备通信，和/或与使得该图像特征提取装置1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1250进行。并且，图像特征提取装置1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图12所示，网络适配器1260通过总线1230与图像特征提取装置1200的其它模块通信。应当明白，尽管图中未示出，可以结合图像特征提取装置1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所发明的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (20)
1.一种图像特征提取方法，其特征在于，包括：
对原始图像进行边缘提取，得到边缘图像；
将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出所述原始图像中包括目标对象的区域；
对所述区域进行特征提取，得到全局特征和边缘特征；
对所述全局特征和所述边缘特征进行特征融合，得到所述目标对象对应的图像特征；
其中，将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络中并行的双路特征提取网络同时对所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到所述原始图像和所述边缘图像分别对应的参考图像特征，作为特征提取结果；
将所述参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
2.根据权利要求1所述的方法，其特征在于，对原始图像进行边缘提取，得到边缘图像，包括：
根据预设卷积核对所述原始图像进行梯度计算，以提取所述原始图像对应的边缘图像。
3.根据权利要求1所述的方法，其特征在于，将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络将基于三原色的所述原始图像所包含的全局图像信息和基于所述三原色的所述边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
4.根据权利要求1所述的方法，其特征在于，确定出所述原始图像中包括目标对象的区域，包括：
根据所述融合结果识别所述原始图像中所述目标对象对应的位置信息，并根据所述位置信息确定所述原始图像中包括所述目标对象的区域。
5.根据权利要求1所述的方法，其特征在于，对所述区域进行特征提取，得到全局特征和边缘特征，包括：
对所述原始图像中包括所述目标对象的区域进行裁剪，得到所述区域对应的目标图像；
通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取所述目标图像对应的边缘特征；
根据旁路结构将所述第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，所述特征提取网络包括第二残差网络，所述第二残差网络包括至少一个所述第二残差单元；所述旁路结构用于连接所述第一残差单元和对应的所述第二残差单元；
对已叠加所述边缘数据的所述第二残差单元的输出数据进行残差计算，以提取所述目标对象对应的全局特征。
6.根据权利要求5所述的方法，其特征在于，通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取所述目标图像对应的边缘特征，包括：
通过所述特征提取网络中的边缘信息提取层提取所述目标图像的边缘信息，以使得包括至少一个所述第一残差单元的所述第一残差网络根据所述边缘信息提取所述目标对象对应的边缘特征。
7.根据权利要求5所述的方法，其特征在于，对所述全局特征和所述边缘特征进行特征融合，包括：
将所述全局特征和所述边缘特征进行连接，得到第一参考特征，所述第一参考特征的维度为所述全局特征和所述边缘特征的维度之和；
对所述第一参考特征进行降维特征转换，得到第二参考特征，作为所述目标对象对应的图像特征。
8.一种对象匹配方法，其特征在于，包括：
对原始图像进行边缘提取，得到边缘图像；
将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出所述原始图像中包括目标对象的区域；
对所述区域进行特征提取，得到全局特征和边缘特征；
对所述全局特征和所述边缘特征进行特征融合，得到所述目标对象对应的图像特征；
根据各所述目标对象分别对应的图像特征计算所述目标对象之间的相似度；
将所述相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象；
其中，将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络中并行的双路特征提取网络同时对所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到所述原始图像和所述边缘图像分别对应的参考图像特征，作为特征提取结果；
将所述参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
9.根据权利要求8所述的方法，其特征在于，根据各所述目标对象分别对应的图像特征计算所述目标对象之间的相似度，包括：
根据各所述目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为所述两两目标对象的相似度。
10.一种图像特征提取装置，其特征在于，包括：
边缘信息提取层，用于对原始图像进行边缘提取，得到边缘图像；
原始图像裁剪层，用于将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出所述原始图像中包括目标对象的区域；
特征提取层，用于对所述区域进行特征提取，得到全局特征和边缘特征；
特征融合层，用于对所述全局特征和所述边缘特征进行特征融合，得到所述目标对象对应的图像特征；
其中，所述原始图像裁剪层将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络中并行的双路特征提取网络同时对所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到所述原始图像和所述边缘图像分别对应的参考图像特征，作为特征提取结果；
将所述参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
11.根据权利要求10所述的装置，其特征在于，所述边缘信息提取层对原始图像进行边缘提取，得到边缘图像，包括：
所述边缘信息提取层根据预设卷积核对所述原始图像进行梯度计算，以提取所述原始图像对应的边缘图像。
12.根据权利要求10所述的装置，其特征在于，所述原始图像裁剪层将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
所述原始图像裁剪层通过对象检测网络将基于三原色的所述原始图像所包含的全局图像信息和基于所述三原色的所述边缘图像所包含的边缘图像信息在三原色通道上进行拼接，并将拼接结果确定为融合结果。
13.根据权利要求10所述的装置，其特征在于，所述原始图像裁剪层确定出所述原始图像中包括目标对象的区域，包括：
所述原始图像裁剪层根据所述融合结果识别所述原始图像中所述目标对象对应的位置信息，并根据所述位置信息确定所述原始图像中包括所述目标对象的区域。
14.根据权利要求10所述的装置，其特征在于，所述特征提取层对所述区域进行特征提取，得到全局特征和边缘特征，包括：
所述特征提取层对所述原始图像中包括所述目标对象的区域进行裁剪，得到所述区域对应的目标图像；
所述特征提取层通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取所述目标图像对应的边缘特征；
所述特征提取层根据旁路结构将所述第一残差单元的边缘数据依颜色通道叠加至对应的第二残差单元的输出数据中，作为下一个第二残差单元的输入数据；其中，所述特征提取网络包括第二残差网络，所述第二残差网络包括至少一个所述第二残差单元；所述旁路结构用于连接所述第一残差单元和对应的所述第二残差单元；
所述特征提取层对已叠加所述边缘数据的所述第二残差单元的输出数据进行残差计算，以提取所述目标对象对应的全局特征。
15.根据权利要求14所述的装置，其特征在于，所述特征提取层通过特征提取网络中包括至少一个第一残差单元的第一残差网络提取所述目标图像对应的边缘特征，包括：
所述特征提取层通过所述特征提取网络中的边缘信息提取层提取所述目标图像的边缘信息，以使得包括至少一个所述第一残差单元的所述第一残差网络根据所述边缘信息提取所述目标对象对应的边缘特征。
16.根据权利要求14所述的装置，其特征在于，所述特征融合层对所述全局特征和所述边缘特征进行特征融合，包括：
所述特征融合层将所述全局特征和所述边缘特征进行连接，得到第一参考特征，所述第一参考特征的维度为所述全局特征和所述边缘特征的维度之和；
所述特征融合层对所述第一参考特征进行降维特征转换，得到第二参考特征，作为所述目标对象对应的图像特征。
17.一种对象匹配装置，其特征在于，包括：
边缘图像提取模块，用于对原始图像进行边缘提取，得到边缘图像；
图像融合模块，用于将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，以确定出所述原始图像中包括目标对象的区域；
特征提取模块，用于对所述区域进行特征提取，得到全局特征和边缘特征；
特征融合模块，用于对所述全局特征和所述边缘特征进行特征融合，得到所述目标对象对应的图像特征；
相似度计算模块，用于根据各所述目标对象分别对应的图像特征计算所述目标对象之间的相似度；
相似对象确定模块，用于将所述相似度大于预设相似度阈值的目标对象确定为相匹配的目标对象；
其中，所述图像融合模块将所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行融合得到融合结果，包括：
通过对象检测网络中并行的双路特征提取网络同时对所述原始图像所包含的全局图像信息和所述边缘图像所包含的边缘图像信息进行第一预设频次的卷积，得到所述原始图像和所述边缘图像分别对应的参考图像特征，作为特征提取结果；
将所述参考图像特征进行加和，并对加和结果进行第二预设频次的卷积，得到融合结果。
18.根据权利要求17所述的装置，其特征在于，所述相似度计算模块根据各所述目标对象分别对应的图像特征计算所述目标对象之间的相似度，包括：
所述相似度计算模块根据各所述目标对象分别对应的图像特征计算两两目标对象之间的余弦距离，作为所述两两目标对象的相似度。
19.一种电子设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至7中任一项所述的图像特征提取方法以及权利要求8至9中任一项所述的对象匹配方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像特征提取方法以及权利要求8至9中任一项所述的对象匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911416536.0A CN111191662B (zh) | 2019-12-31 | 2019-12-31 | 图像特征提取方法、装置、设备、介质及对象匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911416536.0A CN111191662B (zh) | 2019-12-31 | 2019-12-31 | 图像特征提取方法、装置、设备、介质及对象匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191662A CN111191662A (zh) | 2020-05-22 |
| CN111191662B true CN111191662B (zh) | 2023-06-30 |
Family
ID=70709639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911416536.0A Active CN111191662B (zh) | 2019-12-31 | 2019-12-31 | 图像特征提取方法、装置、设备、介质及对象匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191662B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365515B (zh) * | 2020-10-30 | 2024-10-08 | 深圳点猫科技有限公司 | 一种基于密集感知网络的边缘检测方法、装置及设备 |
| CN112132164B (zh) * | 2020-11-20 | 2021-03-09 | 北京易真学思教育科技有限公司 | 目标检测方法、系统、计算机装置及存储介质 |
| CN112818161B (zh) * | 2021-02-24 | 2023-03-24 | 西安博达软件股份有限公司 | 基于深度学习的融媒体资源库缩略图识别原图的方法 |
| CN114170204B (zh) * | 2021-12-13 | 2024-06-21 | 国网重庆市电力公司电力科学研究院 | 一种图像计量定价方法 |
| CN114926480B (zh) * | 2022-05-30 | 2024-07-23 | 腾讯科技（深圳）有限公司 | 一种训练图像分割模型的方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870828A (zh) * | 2012-12-17 | 2014-06-18 | 富泰华工业（深圳）有限公司 | 图像相似度判断系统及方法 |
| CN103971116A (zh) * | 2014-04-24 | 2014-08-06 | 西北工业大学 | 基于Kinect的感兴趣区域检测方法 |
| CN108229302A (zh) * | 2017-11-10 | 2018-06-29 | 深圳市商汤科技有限公司 | 特征提取方法、装置、计算机程序、存储介质和电子设备 |
| CN110415258A (zh) * | 2019-07-29 | 2019-11-05 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-12-31 CN CN201911416536.0A patent/CN111191662B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870828A (zh) * | 2012-12-17 | 2014-06-18 | 富泰华工业（深圳）有限公司 | 图像相似度判断系统及方法 |
| CN103971116A (zh) * | 2014-04-24 | 2014-08-06 | 西北工业大学 | 基于Kinect的感兴趣区域检测方法 |
| CN108229302A (zh) * | 2017-11-10 | 2018-06-29 | 深圳市商汤科技有限公司 | 特征提取方法、装置、计算机程序、存储介质和电子设备 |
| CN110415258A (zh) * | 2019-07-29 | 2019-11-05 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191662A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191662B (zh) | 图像特征提取方法、装置、设备、介质及对象匹配方法 | |
| CN112381775B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN108549893B (zh) | 一种任意形状的场景文本端到端识别方法 | |
| US8798373B2 (en) | Image restoration system, image restoration method, and image restoration program | |
| CN111461039B (zh) | 基于多尺度特征融合的地标识别方法 | |
| WO2021217924A1 (zh) | 交通卡口车辆类型的识别方法、装置、设备及存储介质 | |
| Bhunia et al. | Text recognition in scene image and video frame using color channel selection | |
| CN113239227B (zh) | 图像数据结构化方法、装置、电子设备及计算机可读介质 | |
| CN111160096A (zh) | 禽蛋异常的识别方法、装置及系统、存储介质、电子装置 | |
| CN110490203A (zh) | 图像分割方法及装置、电子设备和计算机可读存储介质 | |
| CN115546640A (zh) | 遥感影像的云检测方法、装置、电子设备及存储介质 | |
| Li et al. | Gated auxiliary edge detection task for road extraction with weight-balanced loss | |
| US20230351558A1 (en) | Generating an inpainted image from a masked image using a patch-based encoder | |
| CN114429566A (zh) | 一种图像语义理解方法、装置、设备及存储介质 | |
| CN109255290B (zh) | 菜单识别方法、装置、电子设备及存储介质 | |
| CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 | |
| WO2024174726A1 (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
| CN113569600A (zh) | 物体重识别的方法、装置、电子设备及存储介质 | |
| CN116894820A (zh) | 一种色素性皮肤病分类检测方法、装置、设备及存储介质 | |
| Ghandour et al. | Building shadow detection based on multi-thresholding segmentation | |
| CN116188361A (zh) | 一种基于深度学习的铝型材表面缺陷分类方法及装置 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| Mahalakshmi et al. | Adaptive filter with type-2 fuzzy system and optimization-based kernel interpolation for satellite image denoising | |
| CN114332493A (zh) | 一种跨维度交互式显著检测模型及其检测方法 | |
| CN113901175A (zh) | 物品关系判别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |