CN112241740A - 一种特征提取方法及装置 - Google Patents
一种特征提取方法及装置 Download PDFInfo
- Publication number
- CN112241740A CN112241740A CN201910657271.7A CN201910657271A CN112241740A CN 112241740 A CN112241740 A CN 112241740A CN 201910657271 A CN201910657271 A CN 201910657271A CN 112241740 A CN112241740 A CN 112241740A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- processed
- preset
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 194
- 238000006243 chemical reaction Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 67
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000011176 pooling Methods 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供了一种特征提取方法及装置,涉及图像处理技术领域,其中,上述方法包括:获得待处理图像;将待处理图像输入预先训练的特征提取模型进行特征提取,得到待处理图像的预设尺寸的特征图像,具体的,在待处理图像的尺寸与预设尺寸不一致的情况下,基于预设尺寸对待处理图像进行缩放,得到缩放图像;通过卷积操作提取缩放图像的特征,得到第一特征图像;尺寸转换层,通过卷积操作对第一特征图像进行尺寸转换,得到尺寸与预设尺寸一致的第二特征图像,作为待处理图像的特征图像。应用本申请实施例提供的方案进行特征提取,能够减少所提取特征的损失。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种特征提取方法及装置。
背景技术
随着人工智能技术的快速发展,越来越多针对图像的应用基于神经网络模型实现。例如,上述针对图像的应用为人脸对比、人脸定点等等。为便于表述,也可以将上述应用所基于的神经网络模型称为应用网络模型。
具体应用中,上述应用网络模型的输入信息一般为图像的特征图像,且要求图像的特征图像为设定的尺寸。现有技术中对图像进行特征提取时,一般也基于神经网络模型实现,可以将这一模型称为特征提取模型。
为保证特征提取模型对图像进行特征提取得到的特征图像与上述设定的尺寸一致,一般要求特征提取模型的输入图像为尺寸相同的图像。另外,上述特征提取模型在对输入图像进行特征提取后,采用将特征映射到固定尺寸的网格、并基于网格进行池化的方式得到上述设定尺寸的特征图像。
虽然应用上述方式能够得到设定尺寸的特征图像,但是由于上述池化操作相当于对特征进行下采样,会导致特征损失,进而导致上述应用网络模型以上述特征图像为输入信息,进行应用处理时,结果不准确甚至是结果错误。
发明内容
本申请实施例的目的在于提供一种特征提取方法及装置,以减少所提取特征的损失。具体技术方案如下:
第一方面,本申请实施例提供了一种特征提取方法,所述方法包括:
获得待处理图像;
将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像,包括:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
本申请的一个实施例中,所述在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像,包括:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,选择第一比例和第二比例中的最小值,作为缩放比例,其中,所述第一比例为:所述预设尺寸中的预设宽度与所述待处理图像的宽度之间的比例,所述第二比例为:所述预设尺寸中的预设高度与所述待处理图像的高度之间的比例;
按照所述缩放比例对所述待处理图像进行等比例缩放,得到缩放图像。
本申请的一个实施例中,所述通过卷积操作提取所述缩放图像的特征,得到第一特征图像,包括:
通过步长为1的卷积核提取所述缩放图像的特征,得到与所述缩放图像尺寸一致的第一特征图像。
本申请的一个实施例中,所述通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,包括:
通过第一类卷积核对所述第一特征图像进行尺寸转换,得到高度与所述预设高度一致的尺寸转换图像,其中,所述第一类卷积核的尺寸为1*所述预设高度;
通过第二类卷积核对所述尺寸转换图像进行尺寸转换,得到宽度与所述预设宽度一致、且高度与所述预设高度一致的第二特征图像,其中,所述第二类卷积核的尺寸为:所述预设宽度*1。
本申请的一个实施例中,所述方法还包括:
在得到所述第二特征图像之后,对所述第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
本申请的一个实施例中,通过以下方式训练得到所述特征提取模型:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的第一初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为所述特征提取模型。
本申请的一个实施例中,通过以下方式训练得到所述特征提取模型:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:预先训练完毕、且用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为所述特征提取模型。
第二方面,本申请实施例提供了一种特征提取装置,所述装置包括:图像获得模块、特征提取模块和特征提取模型;
所述图像获得模块,用于获得待处理图像;
所述特征提取模块,用于将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述特征提取模块,包括:
图像缩放单元,用于在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
特征提取单元,用于通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
尺寸转换单元,用于通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
本申请的一个实施例中,所述图像缩放单元,具体用于:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,选择第一比例和第二比例中的最小值,作为缩放比例,其中,所述第一比例为:所述预设尺寸中的预设宽度与所述待处理图像的宽度之间的比例,所述第二比例为:所述预设尺寸中的预设高度与所述待处理图像的高度之间的比例;
按照所述缩放比例对所述待处理图像进行等比例缩放,得到缩放图像。
本申请的一个实施例中,所述特征提取单元,具体用于通过步长为1的卷积核提取所述缩放图像的特征,得到与所述缩放图像尺寸一致的第一特征图像。
本申请的一个实施例中,所述尺寸转换单元,具体用于:
通过第一类卷积核对所述第一特征图像进行尺寸转换,得到高度与所述预设高度一致的尺寸转换图像,其中,所述第一类卷积核的尺寸为1*所述预设高度;
通过第二类卷积核对所述尺寸转换图像进行尺寸转换,得到宽度与所述预设宽度一致、且高度与所述预设高度一致的第二特征图像,作为所述待处理图像的特征图像,其中,所述第二类卷积核的尺寸为:所述预设宽度*1。
本申请的一个实施例中,所述特征提取模块还包括:特征增强单元;
所述特征增强单元,用于对所述第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
本申请的一个实施例中,所述装置还包括:模型训练模块,用于训练得到所述特征提取模型;其中,
所述模型训练模块,具体用于:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的第一初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为所述特征提取模型。
本申请的一个实施例中,所述装置还包括:模型训练模块,用于训练得到所述特征提取模型;其中,
所述模型训练模块,具体用于:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:预先训练完毕、且用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为所述特征提取模型。
第三方面,本申请实施例提供了一种电子设备,所述电子设备包括:处理器、机器可读存储介质和系统总线,所述处理器和机器可读存储介质通过所述系统总线完成相互间的通信,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述机器可执行指令包括:获得指令和提取指令;
所述处理器被所述获得指令促使实现步骤:获得待处理图像;
所述处理器被所述提取指令促使实现步骤:将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述处理器被所述提取指令促使具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
第四方面,本申请实施例提供了一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令包括:获得指令和提取指令;
所述获得指令在被处理器调用和执行时,所述获得指令促使所述处理器实现步骤:获得待处理图像;
所述提取指令在被处理器调用和执行时,所述提取指令促使所述处理器实现步骤:将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述提取指令在被处理器调用和执行时,所述提取指令促使所述处理器具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
由以上可见,应用本申请实施例提供的方案进行特征提取时,是采用特征提取模型对待处理图像进行特征提取的。其中,对待处理图像进行缩放,得到缩放图像后,提取缩放图像的特征,得到第一特征图像,然后通过卷积操作对第一特征图像进行尺寸转换,得到尺寸与预设尺寸一致的第二特征图像,作为待处理图像的特征图像。由于第二特征图像是通过卷积操作得到的,不涉及对第一特征图像进行下采样的操作,所以,相对于现有技术中通过池化操作获得预设尺寸的特征图像而言,应用本申请实施例提供的方案能够减小所提取特征的损失。这样在对应用本申请实施例提供的方案提取的特征图像进行应用处理时,能够提高处理结果的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种特征提取方法的流程示意图;
图2为本申请实施例提供的一种特征提取模型的结构示意图;
图3为本申请实施例提供的另一种特征提取模型的结构示意图;
图4为本申请实施例提供的一种网络训练过程的框架示意图;
图5为本申请实施例提供的另一种网络训练过程的框架示意图;
图6为本申请实施例提供的一种特征提取装置的结构示意图;
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为解决现有技术中对图像进行特征提取时所提取特征损失的问题,本申请实施例提供了一种特征提取方法及装置。
本申请的一个实施例中,提供了一种特征提取方法,该方法包括:
获得待处理图像;
将待处理图像输入预先训练的特征提取模型进行特征提取,得到待处理图像的预设尺寸的特征图像;
其中,将待处理图像输入预先训练的特征提取模型进行特征提取,得到待处理图像的预设尺寸的特征图像,包括:
在待处理图像的尺寸与预设尺寸不一致的情况下,基于预设尺寸对待处理图像进行缩放,得到缩放图像;
通过卷积操作提取缩放图像的特征,得到第一特征图像;
通过卷积操作对第一特征图像进行尺寸转换,得到尺寸与预设尺寸一致的第二特征图像,作为待处理图像的特征图像。
由于第二特征图像是通过卷积操作得到的,不涉及对第一特征图像进行下采样的操作,所以,相对于现有技术中通过池化操作获得预设尺寸的特征图像而言,应用本实施例提供的方案能够减小所提取特征的损失。这样在对应用本实施例提供的方案提取的特征图像进行应用处理时,能够提高处理结果的准确性。
下面通过具体实施例对本申请实施例提供的特征提取方法进行详细说明。
参见图1,图1为本申请实施例提供的一种特征提取方法的流程示意图,该方法包括:
S101:获得待处理图像。
上述待处理图像的具体内容可以与后续使用特征图像的应用相关。
例如,上述应用为人脸比对时,上述待处理图像可以为人脸图像,该人脸图像可以是对原始图像进行人脸检测后,检测出的人脸区域对应的图像。
上述应用为车牌识别时,上述待处理图像可以为车牌图像。
S102:将待处理图像输入预先训练的特征提取模型进行特征提取,得到待处理图像的预设尺寸的特征图像。
也就是说,本实施例中对特征提取得到的特征图像的尺寸是存在要求的,期望得到的特征图像的尺寸为预设尺寸。
上述预设尺寸也可以与后续使用特征图像的应用相关。在上述应用通过神经网络模型实现的情况下,上述预设尺寸可以是由神经网络模型对输入信息的要求决定的。为了与上述前述特征提取模型相区分,可以将实现上述应用的神经网络模型称为应用网络模型。
由于上述预设尺寸是图像的尺寸,而图像是二维数据,因此,上述预设尺寸可以由预设宽度和预设高度两个因素来进行描述。
其中,预设宽度和预设高度可以是相等的,也可以是不相等的。
本申请的一个实施例中,由于图像中各个像素点之间是存在空间相关性的,也就是,相邻像素点之间的像素值具有相似性,因此,可以认为上述特征提取模型对图像进行特征提取时,对于图像中的每一像素点而言,是基于包含像素点的局部图像区域进行特征提取的。
下面对根据上述特征提取模型进行特征提取的过程进行说明。
具体的,将待处理图像输入预先训练的特征提取模型进行特征提取,得到待处理图像的预设尺寸的特征图像时,可以通过以下步骤1-步骤3实现。
步骤1:在待处理图像的尺寸与预设尺寸不一致的情况下,基于预设尺寸对待处理图像进行缩放,得到缩放图像。
本步骤中,对待处理图像所进行的操作是图像缩放操作,因此,从模型功能性角度来讲,可以认为上述特征提取模型具有图像缩放功能,进而可以认为上述特征提取模型具有图像缩放层。
上述图像缩放层,用于在待处理图像的尺寸与预设尺寸不一致的情况下,基于预设尺寸对待处理图像进行缩放,得到缩放图像。
步骤2:通过卷积操作提取缩放图像的特征,得到第一特征图像。
本步骤中,对上述缩放图像所进行的操作是特征提取操作,因此,从模型功能性角度来讲,可以认为上述特征提取模型具有特征提取功能,进而可以认为上述特征提取模型具有特征提取层。
上述特征提取层,用于通过卷积操作提取缩放图像的特征,得到第一特征图像。
步骤3:通过卷积操作对第一特征图像进行尺寸转换,得到尺寸与预设尺寸一致的第二特征图像,作为待处理图像的特征图像。
本步骤中,对上述第一特征图像所进行的操作是尺寸转换操作,因此,从模型功能性角度来讲,可以认为上述特征提取模型具有尺寸转换功能,进而可以认为上述特征提取模型具有尺寸转换层。
上述尺寸转换层,用于通过卷积操作对第一特征图像进行尺寸转换,得到尺寸与预设尺寸一致的第二特征图像,作为待处理图像的特征图像。
因此,综合以上可以认为上述特征提取模型包括:图像缩放层、特征提取层和尺寸转换层。
另外,基于上述描述可以得知,上述特征提取模型中图像缩放层可以接收模型外部输入的待处理图像,在对待处理图像进行缩放得到缩放图像后,将缩放图像传输至特征提取层。特征提取层对上述缩放图像进行特征提取,得到第一特征图像后,将第一特征图像传输至尺寸转换层。尺寸转换层对第一特征图像进行尺寸转换,得到尺寸为预设尺寸的第二特征图像。由于第二特征图像的尺寸为预设尺寸,与应用本实施例进行特征提取时期望得到的特征图像的尺寸一致,因此,可以将上述第二特征图像作为上述特征提取模型的输出图像。也就是,上述尺寸转换层生成了特征提取模型的输出信息。
也就是说,上述特征提取模型的结构可以参见图2,特征提取层分别与图像缩放层、尺寸转换层相连接。
本申请的一个实施例中,上述待处理图像的尺寸还有可能与预设尺寸一致,这种情况下,可以不执行上述步骤1,而是将待处理图像作为上述缩放图像,直接执行上述步骤2和步骤3。
也就是,在待处理图像的尺寸与预设尺寸一致的情况下,上述图像缩放层可以不对待处理图像进行缩放操作,而是直接将待处理图像作为上述缩放图像,然后由后面的特征提取层以及尺寸转换层依次对上述缩放图像进行处理,得到待处理图像的预设尺寸的特征图像。
由以上可见,应用本实施例提供的方案进行特征提取时,由于第二特征图像是通过卷积操作得到的,不涉及对第一特征图像进行下采样的操作,所以,相对于现有技术中通过池化操作获得预设尺寸的特征图像而言,应用本实施例提供的方案能够减小所提取特征的损失。这样在对应用本实施例提供的方案提取的特征图像进行应用处理时,能够提高处理结果的准确性。
下面针对特征提取模型中的各层分别进行说明。
一、图像缩放层
本申请的一个实施例中,上述图像缩放层在基于预设尺寸对待处理图像进行缩放,得到缩放图像时,也就是,上述步骤1中得到缩放图像时,可以选择第一比例和第二比例中的最小值,作为缩放比例,按照上述缩放比例对待处理图像进行等比例缩放,得到缩放图像。
其中,上述第一比例为:预设尺寸中的预设宽度与待处理图像的宽度之间的比例。上述第二比例为:预设尺寸中的预设高度与待处理图像的高度之间的比例。
在上述预设宽度和预设高度相等情况下,由于第一例和第二比例的分子是相同的,所以分母越大,比例的取值越小,鉴于此,在选择第一比例和第二比例中的最小值,作为缩放比例时,可以先不计算第一比例和第二比例的取值,而是选择待处理图像的宽度和高度中的最大值,然后将预设宽度、预设高度中的一者与所选择的最大值之间的比例作为缩放比例。
假设,预设宽度和预设高度均为L1,待处理图像的宽度为w,高度为h。
若w>h,则缩放比例=L1/w,缩放图像的宽度为L1,缩放图像的高度为(L1*h)/w。
若w<h,则缩放比例=L1/h,缩放图像的宽度为(L1*w)/h,缩放图像的高度为L1。
若w=h,则缩放图像的宽度和高度也相等,均为L1。
在上述预设宽度和预设高度不相等的情况下,选择第一比例和第二比例中的最小值,作为缩放比例时,可以先分别计算上述第一比例和第二比例,然后在上述第一比例和第二比例中选择最小值作为缩放比例。
假设,预设宽度为L2,预设高度为L3,待处理图像的宽度为w,高度为h。
则第一比例为L2/w,第二比例为L3/h。
若L2/w>L3/h,则缩放比例=L2/w,缩放图像的宽度为L2,缩放图像的高度为(L2*h)/w。
若L2/w<L3/h,则缩放比例=L3/h,缩放图像的宽度为(L3*w)/h,缩放图像的高度为L3。
若L2/w=L3/h,则缩放图像的宽度为L2,缩放图像的高度L3。
综合上述两种情况可见,这样可以在保证缩放图像的宽度与预设宽度相等、或者缩放图像的高度与预设高度相等的情况下,得到最小的缩放图像。
除此之外,对待处理图像进行等比例缩放,能够保证上述缩放图像相对于待处理图像而言不会产生形变。另外,以上述第一比例和第二比例中的最小值为缩放比例进行缩放,能够得到最小的缩放图像,使得后续进行特征提取的图像数据量最少,进而提高特征提取的速度。再者,在对待处理图像进行缩放时,按照比例进行缩放,而不对缩放图像的尺寸进行限定,能够保证不会在缩放图像中引入填充数据,从而能够有效减少后续得到的特征图像中因填充数据而引入的特征噪声。
图像缩放层除了可以采用上述方式对待处理图像进行缩放外,还可以采用其他方式对待处理图像进行缩放。例如,以上述第一比例和第二比例中的最大值作为缩放比例,对待处理图像进行缩放;以基于上述预设尺寸确定的比例为缩放比例,对待处理图像进行缩放等等。本申请仅仅以此为例进行说明,并不对缩放的具体方式进行限定。
二、特征提取层
具体的,上述特征提取层可以包括至少一个卷积层,每一卷积层中可以包括至少一个卷积核。
本申请的一个实施例中,上述特征提取层进行特征提取时,也就是上述步骤2进行特征提取时,可以通过步长为1的卷积核提取上述缩放图像的特征。由于卷积核的步长为1,因此,通过上述卷积核对上述缩放图像进行卷积操作后,得到的第一特征图像的尺寸与缩放图像的尺寸一致。
三、尺寸转换层
上述尺寸转换层是通过对第一特征图像进行卷积操作而实现尺寸转换,得到预设尺寸的特征图像的,因此,上述尺寸转换层中包括至少一个卷积核。
实施例一,上述尺寸转换层进行尺寸转换时,也就是上述步骤3进行尺寸转换时,可以通过第一类卷积核对第一特征图像进行尺寸转换,得到高度与上述预设高度一致的尺寸转换图像,然后通过第二类卷积核对上述尺寸转换图像进行尺寸转换,得到宽度与上述预设宽度一致、且高度与上述预设高度一致的第二特征图像。
也就是说,在上述尺寸转换层中,先通过第一类卷积核对第一特征图像进行卷积操作,得到尺寸转换图像,其中,尺寸转换图像的宽度等于第一特征图像的宽度,尺寸转换图像的高度为上述预设高度。然后通过第二类卷积核对尺寸转换图像进行卷积操作,得到第二特征图像,其中,第二特征图像的宽度等于上述预设宽度,第二特征图像的高度等于上述预设高度。
其中,上述第一类卷积核的尺寸为1*上述预设高度,上述第二类卷积核的尺寸为上述预设宽度*1。
具体的,上述尺寸转换层可以包含多个第一类卷积核,也可以包含多个第二类卷积核。
实施例二,上述尺寸转换层进行尺寸转换时,也就是上述步骤3进行尺寸转换时,还可以通过尺寸为预设宽度*预设高度的第三类卷积核对第一特征图像进行一次性卷积操作,将第一特征图像转换为尺寸为预设宽度*预设高度的第二特征图像。
下面以预设宽度和预设高度均等于L为例,对上述两种获得第二特征图像的方式的计算量进行说明。
假设,第一类卷积核的数量、第二类卷积核的数量以及第三类卷积核的数量均为filters_num。第一特征图像的尺寸为w*h。
上述实施例一的计算量为:
L*1*w*h*filters_num+1*L*w*h*filters_num
上述实施例二的计算量为:
L*L*w*h*filters_num
则对比可见,上述实施例一的计算量是实施例二的计算量的L/2。
本申请的另一个实施例中,在得到第二特征图像之后,还可以对第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
对特征图像进行卷积操作的结果具有更强的特征表征能力,因此,从模型功能性角度来讲,可以认为上述特征提取模型具有特征增强功能,进而可以认为上述特征提取模型具有特征增强层。
鉴于此,参见图3,提供了另一种特征提取模型的结构示意图。该特征提取模型还包括:特征增强层。
上述特征增强层,用于对第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
也就是说,上述特征增强层虽然还会对第二特征图像进行卷积操作,但是所得到图像的尺寸仍然保持与第二特征图像一致,而不会被改变。这样特征增强层得到的也是满足特征提取期望的特征图像。又由于再次对第二特征图像进行卷积操作,所得结果对上述待处理图像的特征而言,具有更强的表征性,也就是,上述第三特征图像比第二特征图像更加能够表征上述待处理图像。因此,这种情况下可以认为伤处特征增强层生成了特征提取模型的输出信息。
具体的,可以是确定上述第二特征图像对待处理图像的特征表达能力不足时,才在上述特征提取模型中增加上述特征增强层。
例如,上述特征增强层可以是包含3*3卷积核的多个卷积层,还可以是resnet(Residual Neural Network)残差块,还可以是inception块等。
下面通过表1和表2对上述特征提取层、尺寸转换层和特征增强层的输入、输出信息的尺寸进行说明。
第一种情况,假设,预设宽度和预设高度均为112,待处理图像的宽度为W,待处理图像的高度为H,且W>H。另外,各卷积核的步长均为1。则上述特征提取层、尺寸转换层和特征增强层的内核取不同内核时,不同输入信息对应的输出信息如下表1所示。
表1
第二种情况,假设,预设宽度和预设高度均为96,待处理图像的宽度为W,待处理图像的高度为H,且W<H。另外,各卷积核的步长均为1。则上述特征提取层、尺寸转换层和特征增强层的内核取不同内核时,不同输入信息对应的输出信息如下表2所示。
表2
需要说明的是,上述表1和表2中,“内核信息”这一列列出的不同取值表示特征提取层、尺寸转化层以及特征增强层取不同内核时用于描述内核的信息。其中,取值为“resnet残差块”时,表示卷积核具体是resnet残差块,取值为“inception块”时,表示卷积核具体是inception块。除这两个取值之外,上述表1和表2中,“内核信息”这一列中的其他取值,第一维和第二维表示卷积核的尺寸,第三维表示卷积核的数量。例如,取值“3*3*3”表示卷积核的尺寸为3*3,卷积核的数量为3。
下面再通过具体实施例对上述特征提取模型的训练过程进行详细说明。
本申请的一个实施例中,参见图4,提供了一种网络训练过程的框架示意图。基于该框架示意图,可以通过如下步骤A-E训练得到上述特征提取模型。
步骤A:获得样本图像,并获得按照应用功能对样本图像进行功能性处理的结果,作为训练基准结果。
其中,上述应用功能为:针对图像的应用所实现的功能。
上述训练基准结果可以是人工凭借经验得到的,其具体内容也因应用的不同而不同。
下面通过举例对上述针对图像的应用、应用功能、功能性处理的结果以及训练基准结果分别进行说明。
上述应用可以是实现人脸对比的应用,这种情况下,上述应用功能为:人脸对比。基于此,一种情况下,按照应用功能对样本图像进行功能性处理的结果可以为:样本图像中的人脸是否为预设人脸的结果,例如,上述结果可以为:是预设人脸,还可以为:不是预设人脸。相应的,上述训练基准结果为:样本图像中的人脸是否为预设人脸的结果,例如,上述训练基准结果可以为:是预设人脸,还可以为:不是预设人脸。另一种情况下,按照应用功能对样本图像进行功能性处理的结果可以为:样本图像与图像库中各张图像之间的匹配程度这一结果,例如,90%、98%等。相应的,上述训练基准结果也为:上述匹配程度,例如,90%、98%等。
上述应用可以是实现车牌识别的应用,这种情况下,上述应用功能为:车牌识别,按照应用功能对样本图像进行功能性处理的结果可以为:样本图像中车牌的实际车牌号。相应的,上述训练基准结果可以为车牌的实际车牌号。
上述样本图像因上述应用的不同而不同。
例如,在上述应用为实现人脸对比的应用的情况下,上述样本图像中的正样本图像为人脸图像,负样本为不包含人脸或者仅仅包含部分人脸的图像。
在上述应用为实现车牌识别的应用的情况下,上述样本图像中的正样本图像为车牌图像,负样本为不包含车牌或者仅仅包含部分车牌的图像。
步骤B:将样本图像输入上述特征提取模型的第一初始模型进行特征提取,得到样本特征图像。
将样本图像输入上述第一初始模型进行特征提取的过程,与前述实施例中描述的特征提取过程相同,这里不再赘述。
步骤C:将样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果。
其中,上述应用网络模型为:用于实现上述应用功能的网络模型。
上述第二初始模型对上述样本特征图像进行功能性处理时,所进行的处理因上述应用的不同而不同。
例如,在上述应用为实现人脸对比的应用的情况下,将样本特征图像输入第二初始模型进行功能性处理时,进行的是人脸对比这一处理。
在上述应用为实现车牌识别的应用的情况下,将样本特征图像输入第二初始模型进行功能性处理时,进行的是车牌识别这一处理。
步骤D:计算上述处理结果与训练基准结果之间的损失。
上述处理结果与训练基准结果之间的损失值可以通过预设的损失函数计算得到。
步骤E:根据上述损失调整上述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为上述特征提取模型。
采用大量样本图像,按照上述步骤A-步骤E所示的过程不断调整第一初始模型以及第二初始模型的模型参数,从而使得第一初始模型和第二初始模型均满足预先设定的收敛性要求,从而实现了对上述第一初始模型和第二初始模型的训练。
本实施例提供的方案中,在调整模型参数时,不仅要调整第一初始模型的模型参数,还要调整第二初始模型的模型参数,从而实现第一初始模型和第二初始模型的联动训练。
具体的,在调整上述第一初始模型和第二初始模型的模型参数时,调整的方向为:使用调整参数后的上述第一初始模型对上述样本图像进行特征提取后,第二初始模型对所提取特征进行功能性处理的输出结果向上述训练基准结果靠拢。
本申请的另一个实施例中,参见图5,提供了另一种网络训练过程的框架示意图。基于该框架示意图,可以通过如下步骤F-J训练得到上述特征提取模型。
步骤F:获得样本图像,并获得按照应用功能对样本图像进行功能性处理的结果,作为训练基准结果。
其中,上述应用功能为:针对图像的应用所实现的功能。
步骤G:将样本图像输入上述特征提取模型的初始模型进行特征提取,得到样本特征图像。
步骤H:将样本特征图像输入应用网络模型进行功能性处理,得到处理结果。
其中,上述应用网络模型为:预先训练完毕、且用于实现上述应用功能的网络模型。
与上述图4所示的框架示意图不同,本实施例中,在训练得到上述特征提取模型之前,应用网络模型已经训练完毕。也就是,在对特征提取模型的初始模型进行训练的过程中,应用网络模型是固定的,不会发生变化的。
步骤I:计算上述处理结果与训练基准结果之间的损失。
步骤J:根据上述损失调整初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为上述特征提取模型。
采用大量样本图像,按照上述步骤F-步骤J所示的过程不断调整上述初始模型的模型参数,从而使得初始模型满足预先设定的收敛性要求,实现对初始模型的训练。
具体的,在调整上述初始模型的模型参数时,调整的方向为:使用调整参数后的上述初始模型对上述样本图像进行特征提取后,应用网络模型对上述所提取的特征进行功能性处理的输出结果向上述训练基准结果靠拢。
需要说明的是,上述步骤F、G和I与上述步骤A、B和D相同,这里不再赘述。
与上述特征提取方法相对应,本申请实施例还提供了一种特征提取装置。
参见图6,图6为本申请实施例提供的一种特征提取装置的结构示意图,所述装置包括:图像获得模块601和特征提取模块602;
所述图像获得模块601,用于获得待处理图像;
所述特征提取模块602,用于将所述待处理图像输入预先训练的特征提取模型603进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述特征提取模块602,包括:
图像缩放单元602A,用于在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
特征提取单元602B,用于通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
尺寸转换单元602C,用于通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
本申请的一个实施例中,所述图像缩放单元602A,具体用于:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,选择第一比例和第二比例中的最小值,作为缩放比例,其中,所述第一比例为:所述预设尺寸中的预设宽度与所述待处理图像的宽度之间的比例,所述第二比例为:所述预设尺寸中的预设高度与所述待处理图像的高度之间的比例;
按照所述缩放比例对所述待处理图像进行等比例缩放,得到缩放图像。
本申请的一个实施例中,所述特征提取单元602B,具体用于通过步长为1的卷积核提取所述缩放图像的特征,得到与所述缩放图像尺寸一致的第一特征图像。
本申请的一个实施例中,所述尺寸转换单元602C,具体用于:
通过第一类卷积核对所述第一特征图像进行尺寸转换,得到高度与所述预设高度一致的尺寸转换图像,其中,所述第一类卷积核的尺寸为1*所述预设高度;
通过第二类卷积核对所述尺寸转换图像进行尺寸转换,得到宽度与所述预设宽度一致、且高度与所述预设高度一致的第二特征图像,作为所述待处理图像的特征图像,其中,所述第二类卷积核的尺寸为:所述预设宽度*1。
本申请的一个实施例中,所述特征提取模块602还包括:特征增强单元;
所述特征增强单元,用于对所述第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
本申请的一个实施例中,所述装置还包括:模型训练模块,用于训练得到所述特征提取模型;其中,
所述模型训练模块,具体用于:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的第一初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为所述特征提取模型。
本申请的一个实施例中,所述装置还包括:模型训练模块,用于训练得到所述特征提取模型;其中,
所述模型训练模块,具体用于:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:预先训练完毕、且用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为所述特征提取模型。
由以上可见,应用上述各个实施例提供的方案进行特征提取时,是采用特征提取模型对待处理图像进行特征提取的。其中,对待处理图像进行缩放,得到缩放图像后,提取缩放图像的特征,得到第一特征图像,然后通过卷积操作对第一特征图像进行尺寸转换,得到尺寸与预设尺寸一致的第二特征图像,作为待处理图像的特征图像。由于第二特征图像是通过卷积操作得到的,不涉及对第一特征图像进行下采样的操作,所以,相对于现有技术中通过池化操作获得预设尺寸的特征图像而言,应用上述各个实施例提供的方案能够减小所提取特征的损失。这样在对应用上述各个实施例提供的方案提取的特征图像进行应用处理时,能够提高处理结果的准确性。
与上述特征提取方法相对应,本申请实施例还提供了一种电子设备。
参见图7,图7为本申请实施例提供的一种电子设备的结构示意图,该电子设备包括:处理器71、机器可读存储介质72和系统总线73,所述处理器71和机器可读存储介质72通过所述系统总线73完成相互间的通信,所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令,所述机器可执行指令包括:获得指令721和提取指令722;
所述处理器71被所述获得指令721促使实现步骤:获得待处理图像;
所述处理器71被所述提取指令722促使实现步骤:将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述处理器71被所述提取指令722促使具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
本申请的一个实施例中,所述处理器71被所述提取指令722促使具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,计算所述预设尺寸中的预设宽度与所述待处理图像的宽度之间的比例,作为第一比例,并计算所述预设尺寸中的预设高度与所述待处理图像的高度之间的比例,作为第二比例;
选择所述第一比例和第二比例中的最小值,作为缩放比例;
按照所述缩放比例对所述待处理图像进行等比例缩放,得到缩放图像。
本申请的一个实施例中,所述处理器71被所述提取指令722促使具体实现步骤:通过步长为1的卷积核提取所述缩放图像的特征,得到与所述缩放图像尺寸一致的第一特征图像。
本申请的一个实施例中,所述处理器71被所述提取指令722促使具体实现步骤:通过第一类卷积核对所述第一特征图像进行尺寸转换,得到高度与所述预设高度一致的尺寸转换图像,其中,所述第一类卷积核的尺寸为1*所述预设高度;
通过第二类卷积核对所述尺寸转换图像进行尺寸转换,得到宽度与所述预设宽度一致、且高度与所述预设高度一致的第二特征图像,其中,所述第二类卷积核的尺寸为:所述预设宽度*1。
本申请的一个实施例中所述处理器71被所述提取指令722促使还实现步骤:
在得到所述第二特征图像之后,对所述第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
本申请的一个实施例中,所述机器可执行指令还包括:训练指令;
所述处理器71被所述训练指令促使实现步骤:获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的第一初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为所述特征提取模型。
本申请的一个实施例中,所述机器可执行指令还包括:训练指令;
所述处理器71被所述训练指令促使实现步骤:获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:预先训练完毕、且用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为所述特征提取模型。
由以上可见,应用上述各个实施例提供的电子设备进行特征提取时,由于第二特征图像是通过卷积操作得到的,不涉及对第一特征图像进行下采样的操作,所以,相对于现有技术中通过池化操作获得预设尺寸的特征图像而言,应用上述各个实施例提供的方案能够减小所提取特征的损失。这样在对应用本上述各个实施例提供的方案提取的特征图像进行应用处理时,能够提高处理结果的准确性。
与上述特征提取方法相对应,本申请实施例还提供了一种机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令包括:获得指令和提取指令;
所述获得指令在被处理器调用和执行时,所述获得指令促使所述处理器实现步骤:获得待处理图像;
所述提取指令在被处理器调用和执行时,所述提取指令促使所述处理器实现步骤:将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述提取指令在被处理器调用和执行时,所述提取指令促使所述处理器具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像。
由于第二特征图像是通过卷积操作得到的,不涉及对第一特征图像进行下采样的操作,所以,相对于现有技术中通过池化操作获得预设尺寸的特征图像而言,应用本实施例提供的方案能够减小所提取特征的损失。这样在对应用本实施例提供的方案提取的特征图像进行应用处理时,能够提高处理结果的准确性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备和机器可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (16)
1.一种特征提取方法,其特征在于,所述方法包括:
获得待处理图像;
将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像,包括:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
2.根据权利要求1所述的方法,其特征在于,所述在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像,包括:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,选择第一比例和第二比例中的最小值,作为缩放比例,其中,所述第一比例为:所述预设尺寸中的预设宽度与所述待处理图像的宽度之间的比例,所述第二比例为:所述预设尺寸中的预设高度与所述待处理图像的高度之间的比例;
按照所述缩放比例对所述待处理图像进行等比例缩放,得到缩放图像。
3.根据权利要求1或2所述的方法,其特征在于,所述通过卷积操作提取所述缩放图像的特征,得到第一特征图像,包括:
通过步长为1的卷积核提取所述缩放图像的特征,得到与所述缩放图像尺寸一致的第一特征图像。
4.根据权利要求3所述的方法,其特征在于,所述通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,包括:
通过第一类卷积核对所述第一特征图像进行尺寸转换,得到高度与所述预设高度一致的尺寸转换图像,其中,所述第一类卷积核的尺寸为1*所述预设高度;
通过第二类卷积核对所述尺寸转换图像进行尺寸转换,得到宽度与所述预设宽度一致、且高度与所述预设高度一致的第二特征图像,其中,所述第二类卷积核的尺寸为:所述预设宽度*1。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在得到所述第二特征图像之后,对所述第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
6.根据权利要求1所述的方法,其特征在于,通过以下方式训练得到所述特征提取模型:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的第一初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为所述特征提取模型。
7.根据权利要求1所述的方法,其特征在于,通过以下方式训练得到所述特征提取模型:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:预先训练完毕、且用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为所述特征提取模型。
8.一种特征提取装置,其特征在于,所述装置包括:图像获得模块和特征提取模块;
所述图像获得模块,用于获得待处理图像;
所述特征提取模块,用于将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述特征提取模块,包括:
图像缩放单元,用于在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
特征提取单元,用于通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
尺寸转换单元,用于通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
9.根据权利要求8所述的装置,其特征在于,所述图像缩放单元,具体用于:
在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,选择第一比例和第二比例中的最小值,作为缩放比例,其中,所述第一比例为:所述预设尺寸中的预设宽度与所述待处理图像的宽度之间的比例,所述第二比例为:所述预设尺寸中的预设高度与所述待处理图像的高度之间的比例;
按照所述缩放比例对所述待处理图像进行等比例缩放,得到缩放图像。
10.根据权利要求8或9所述的装置,其特征在于,
所述特征提取单元,具体用于通过步长为1的卷积核提取所述缩放图像的特征,得到与所述缩放图像尺寸一致的第一特征图像。
11.根据权利要求10所述的装置,其特征在于,所述尺寸转换单元,具体用于:
通过第一类卷积核对所述第一特征图像进行尺寸转换,得到高度与所述预设高度一致的尺寸转换图像,其中,所述第一类卷积核的尺寸为1*所述预设高度;
通过第二类卷积核对所述尺寸转换图像进行尺寸转换,得到宽度与所述预设宽度一致、且高度与所述预设高度一致的第二特征图像,作为所述待处理图像的特征图像,其中,所述第二类卷积核的尺寸为:所述预设宽度*1。
12.根据权利要求8或9所述的装置,其特征在于,所述特征提取模块还包括:特征增强单元;
所述特征增强单元,用于在得到所述第二特征图像之后,对所述第二特征图像进行保持尺寸不变的卷积操作,得到第三特征图像。
13.根据权利要求8所述的装置,其特征在于,所述装置还包括:模型训练模块,用于训练得到所述特征提取模型;其中,
所述模型训练模块,具体用于:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的第一初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型的第二初始模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述第一初始模型和第二初始模型的模型参数,在调整参数后的第一初始模型和第二初始模型均满足预设的收敛性要求的情况下,将调整参数后的第一初始模型确定为所述特征提取模型。
14.根据权利要求8所述的装置,其特征在于,所述装置还包括:模型训练模块,用于训练得到所述特征提取模型;其中,
所述模型训练模块,具体用于:
获得样本图像,并获得按照应用功能对所述样本图像进行功能性处理的结果,作为训练基准结果,其中,所述应用功能为:针对图像的应用所实现的功能;
将所述样本图像输入所述特征提取模型的初始模型进行特征提取,得到样本特征图像;
将所述样本特征图像输入应用网络模型进行功能性处理,得到处理结果,其中,所述应用网络模型为:预先训练完毕、且用于实现所述应用功能的网络模型;
计算所述处理结果与训练基准结果之间的损失;
根据所述损失调整所述初始模型的模型参数,在调整参数后的初始模型满足预设的收敛性要求的情况下,将调整参数后的初始模型确定为所述特征提取模型。
15.一种电子设备,其特征在于,所述电子设备包括:处理器、机器可读存储介质和系统总线,所述处理器和机器可读存储介质通过所述系统总线完成相互间的通信,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述机器可执行指令包括:获得指令和提取指令;
所述处理器被所述获得指令促使实现步骤:获得待处理图像;
所述处理器被所述提取指令促使实现步骤:将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述处理器被所述提取指令促使具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
16.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令包括:获得指令和提取指令;
所述获得指令在被处理器调用和执行时,所述获得指令促使所述处理器实现步骤:获得待处理图像;
所述提取指令在被处理器调用和执行时,所述提取指令促使所述处理器实现步骤:将所述待处理图像输入预先训练的特征提取模型进行特征提取,得到所述待处理图像的预设尺寸的特征图像;
其中,所述提取指令在被处理器调用和执行时,所述提取指令促使所述处理器具体实现步骤:在所述待处理图像的尺寸与所述预设尺寸不一致的情况下,基于所述预设尺寸对所述待处理图像进行缩放,得到缩放图像;
通过卷积操作提取所述缩放图像的特征,得到第一特征图像;
通过卷积操作对所述第一特征图像进行尺寸转换,得到尺寸与所述预设尺寸一致的第二特征图像,作为所述待处理图像的特征图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910657271.7A CN112241740B (zh) | 2019-07-19 | 2019-07-19 | 一种特征提取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910657271.7A CN112241740B (zh) | 2019-07-19 | 2019-07-19 | 一种特征提取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112241740A true CN112241740A (zh) | 2021-01-19 |
CN112241740B CN112241740B (zh) | 2024-03-26 |
Family
ID=74167811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910657271.7A Active CN112241740B (zh) | 2019-07-19 | 2019-07-19 | 一种特征提取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241740B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222815A (zh) * | 2021-04-26 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 图像调节方法、装置、电子设备以及可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
US20170220904A1 (en) * | 2015-04-02 | 2017-08-03 | Tencent Technology (Shenzhen) Company Limited | Training method and apparatus for convolutional neural network model |
CN108053401A (zh) * | 2017-12-27 | 2018-05-18 | 广州市申迪计算机系统有限公司 | 一种b超图像处理方法及装置 |
CN108876726A (zh) * | 2017-12-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
CN109460787A (zh) * | 2018-10-26 | 2019-03-12 | 北京交通大学 | 入侵检测模型建立方法、装置及数据处理设备 |
CN109902693A (zh) * | 2019-02-16 | 2019-06-18 | 太原理工大学 | 一种基于多注意力空间金字塔特征图像识别方法 |
KR20190069893A (ko) * | 2017-12-12 | 2019-06-20 | 한국과학기술원 | 내용 기반 영상 크기 조절 장치 및 방법 |
US20190206091A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd | Method And Apparatus For Compressing Image |
-
2019
- 2019-07-19 CN CN201910657271.7A patent/CN112241740B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170220904A1 (en) * | 2015-04-02 | 2017-08-03 | Tencent Technology (Shenzhen) Company Limited | Training method and apparatus for convolutional neural network model |
US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
CN108876726A (zh) * | 2017-12-12 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、系统及计算机存储介质 |
KR20190069893A (ko) * | 2017-12-12 | 2019-06-20 | 한국과학기술원 | 내용 기반 영상 크기 조절 장치 및 방법 |
CN108053401A (zh) * | 2017-12-27 | 2018-05-18 | 广州市申迪计算机系统有限公司 | 一种b超图像处理方法及装置 |
US20190206091A1 (en) * | 2017-12-29 | 2019-07-04 | Baidu Online Network Technology (Beijing) Co., Ltd | Method And Apparatus For Compressing Image |
CN109460787A (zh) * | 2018-10-26 | 2019-03-12 | 北京交通大学 | 入侵检测模型建立方法、装置及数据处理设备 |
CN109902693A (zh) * | 2019-02-16 | 2019-06-18 | 太原理工大学 | 一种基于多注意力空间金字塔特征图像识别方法 |
Non-Patent Citations (2)
Title |
---|
尹晓燕;冯志勇;徐超;: "多尺度非监督特征学习的人脸识别", 计算机工程与应用, no. 14 * |
张文涛;陈婵娟;王泽荔;: "一种多尺度轻量化的人脸识别算法", 现代计算机(专业版), no. 30 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222815A (zh) * | 2021-04-26 | 2021-08-06 | 北京奇艺世纪科技有限公司 | 图像调节方法、装置、电子设备以及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112241740B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109308679B (zh) | 一种图像风格转换方法及装置、设备、存储介质 | |
Yang et al. | Fast image super-resolution based on in-place example regression | |
CN109829506B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN104008538B (zh) | 基于单张图像超分辨率方法 | |
CN110322400B (zh) | 图像处理方法及装置、图像处理系统及其训练方法 | |
CN111340077A (zh) | 基于注意力机制的视差图获取方法和装置 | |
CN111476719A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114612289A (zh) | 风格化图像生成方法、装置及图像处理设备 | |
CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
CN110111244A (zh) | 图像转换、深度图预测和模型训练方法、装置及电子设备 | |
CN110782398B (zh) | 图像处理方法、生成式对抗网络系统和电子设备 | |
CN114494065A (zh) | 图像去模糊方法、装置、设备及可读存储介质 | |
CN114049491A (zh) | 指纹分割模型训练、指纹分割方法、装置、设备及介质 | |
CN112241740A (zh) | 一种特征提取方法及装置 | |
CN113496472A (zh) | 图像去雾模型构建、道路图像去雾方法、装置及车辆 | |
CN110717913B (zh) | 一种图像分割方法及装置 | |
CN112017113B (zh) | 图像处理方法及装置、模型训练方法及装置、设备及介质 | |
US20230060988A1 (en) | Image processing device and method | |
CN115861393A (zh) | 图像匹配方法、航天器着陆点定位方法及相关装置 | |
CN113052757B (zh) | 图像处理方法、装置、终端及存储介质 | |
JP5761988B2 (ja) | 画像処理装置、画像処理方法 | |
CN115546271A (zh) | 基于深度联合表征的视觉分析方法、装置、设备及介质 | |
CN109996056B (zh) | 一种2d视频转3d视频的方法、装置及电子设备 | |
CN108986135B (zh) | 一种基于llc与频域残差显著度的目标跟踪方法及装置 | |
CN111627037A (zh) | 图像区域提取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |