CN109284761B - 一种图像特征提取方法、装置、设备及可读存储介质 - Google Patents

一种图像特征提取方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109284761B
CN109284761B CN201811028536.9A CN201811028536A CN109284761B CN 109284761 B CN109284761 B CN 109284761B CN 201811028536 A CN201811028536 A CN 201811028536A CN 109284761 B CN109284761 B CN 109284761B
Authority
CN
China
Prior art keywords
neural network
network model
point
fixed
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811028536.9A
Other languages
English (en)
Other versions
CN109284761A (zh
Inventor
孙茂芬
葛鹤银
牛群遥
章勇
曹李军
陈卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201811028536.9A priority Critical patent/CN109284761B/zh
Publication of CN109284761A publication Critical patent/CN109284761A/zh
Application granted granted Critical
Publication of CN109284761B publication Critical patent/CN109284761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像特征提取方法,该方法包括:获取原始图像,并利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,获得目标图像;将目标图像输入至定点化的深度卷积神经网络模型中;利用深度卷积神经网络模型对目标图像进行定点化计算,获得目标图像的图像特征。在计算速度上定点化计算相较于浮点化计算更为快速,且在实际应用中更容易实现。在特征提取时,以定点化计算还可以降低存储开销,可减少计算机资源的占用,进一步提升计算速度,进而可以进行实时的图像特征提取。本发明还公开了一种图像特征提取装置、设备及可读存储介质,具有相应的技术效果。

Description

一种图像特征提取方法、装置、设备及可读存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种图像特征提取方法、装置、设备及可读存储介质。
背景技术
以深度神经网络为主导的算法,所设计的图像特征提取应用,被广泛应用到人们的日常工作和学习中。
深度神经网络往往由其十几甚至上百的卷积层构成,计算过程中产生的特征映射需要占据大量的存储空间。另外,权重浮点化计算无法实现实时的图像特征提取的处理效果。这都导致图像特征提取的计算速度缓慢。
但是,目前对深度卷积神经网络模型的压缩,主要通过特征映射定点量化,特别是指通过层间规则或者非规则量化方法进行模型压缩,以提升图像特征提取速度的方法,存在压缩后的深度神经网络模型的处理精度无法得到保障的缺点,使得提取到的图像特征的精度达不到用户需求。
综上所述,如何快速、有效地提取图像特征等问题,是目前本领域技术人员急需解决的技术问题。
发明内容
本发明的目的是提供一种图像特征提取方法、装置、设备及可读存储介质,以实现对深度神经网络模型进行压缩的目的。
为解决上述技术问题,本发明提供如下技术方案:
一种图像特征提取方法,包括:
获取原始图像,并利用与定点化位数对应的压缩值,对所述原始图像的各个像素值进行压缩,获得目标图像;
将所述目标图像输入至定点化的深度卷积神经网络模型中;
利用所述深度卷积神经网络模型对所述目标图像进行定点化计算,获得所述目标图像的图像特征。
优选地,利用所述深度卷积神经网络模型对所述目标图像进行定点化计算,包括:
在卷积层获取到所述目标图像对应的处理数据之后,利用定点化计算的方式对所述处理数据进行卷积操作,并输出卷积结果至所述卷积层的下一层。
优选地,在将所述目标图像输入至定点化的深度卷积神经网络模型中之前,还包括:
利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型;
在所述第一深度卷积神经网络模型中,将所述卷积层的权重参数与所述BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型;
去掉所述第二深度卷积神经网络中的所述BN层,获得第三深度卷积神经网络模型;
对所述第三深度卷积神经网络模型进行定点化训练,获得定点化的深度卷积神经网络。
优选地,所述对所述第三深度卷积神经网络模型进行定点化训练,包括:将所述第三深度卷积神经网络模型中的卷积层的卷积权重乘以与所述定点化位数匹配的目标数值后,进行卷积操作;
在所述卷积层输出数据时,将所述卷积权重及输出数据除以所述目标数值。
优选地,在所述利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型之前,还包括:
获取训练数据,并对所述训练数据的数值范围进行压缩处理;
将压缩处理后的训练数据制作为imdb格式数据。
优选地,对所述训练数据的数值范围进行压缩处理,包括:
将所述训练数据中的各个数值除以2后进行取整。
优选地,将所述卷积层的权重参数与所述BN层的参数进行融合并更新卷积权重,包括:
利用
Figure BDA0001788743410000021
将所述卷积层和所述BN层进行合并;其中,w为权重参数,mean、var依次为所述训练数据的一个子集的均值、方差,gamma为缩放系数,beta为平移系数,b为偏置;
利用
Figure BDA0001788743410000031
计算新的权重参数,利用
Figure BDA0001788743410000032
计算新的偏置。
一种图像特征提取装置,包括:
目标图像获取模块,用于获取原始图像,并利用与定点化位数对应的压缩值,对所述原始图像的各个像素值进行压缩,获得目标图像;
目标图像输入模块,用于将所述目标图像输入至定点化的深度卷积神经网络模型中;
图像特征提取模块,用于利用所述深度卷积神经网络模型对所述目标图像进行定点化计算,获得所述目标图像的图像特征。
一种图像特征提取设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述图像特征提取方法的步骤。
一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像特征提取方法的步骤。
应用本发明实施例所提供的方法,获取原始图像,并利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,获得目标图像;将目标图像输入至定点化的深度卷积神经网络模型中;利用深度卷积神经网络模型对目标图像进行定点化计算,获得目标图像的图像特征。
获取到原始图像之后,首先利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,可以获得像素值范围与定点化位数相匹配的目标图像。其中,定点化位数为定点数(小数点固定不变)的机械字长。然后,将目标图像输入至定点化的深度卷积神经网络模型中。利用深度卷积神经网络模型对目标图像进行以定点化数值的方式进行计算,获得目标图像的图像特征。在利用深度卷积神经网络进行特征提取前,首先将原始图像中的各个像素点的像素值进行压缩,得到目标图像。由于压缩时利用与定点化位数对应的压缩值,因而在定点化的深度卷积神经网络模型对图像特征提取的计算过程中,可以以定点化计算方式进行。由于定点化计算中的数据为定点数,而浮点化计算中的数据为浮点数,显然地,在计算速度上定点化计算相较于浮点化计算更为快速,且在实际应用中更容易实现。在特征提取时,以定点化计算还可以降低存储开销,可减少计算机资源的占用,进一步提升计算速度,进而可以进行实时的图像特征提取。
相应地,本发明实施例还提供了与上述图像特征提取方法相对应的图像特征提取装置、设备和可读存储介质,具有上述技术效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种图像特征提取方法的实施流程图;
图2为本发明实施例中模型训练的实施流程图;
图3为本发明实施例中定点化训练流程图;
图4为本发明实施例中一种图像特征提取装置的结构示意图;
图5为本发明实施例中一种图像特征提取设备的结构示意图;
图6为本发明实施例中一种图像特征提取设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
请参考图1,图1为本发明实施例中一种图像特征提取方法的流程图,该方法包括以下步骤:
S101、获取原始图像,并利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,获得目标图像。
可以通过读取存储设备中预先存储的原始图像,也可以通过外部的图像采集设备如摄像头获得原始图像。原始图像可以为彩色图像,即像素点的像素值在0~255的取值区间内。然后利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩。具体的,即将原始图像的每一个像素点的像素值除以压缩值,并进行取整,获得像素值范围压缩后的目标图像。其中,压缩值即将原始图像的数据范围与定点位数的数据范围的比值;定点化位数即为定点数(小数点位置固定的数)的机械字长。
下面以8为定点化位数为例进行说明,其他定点化位数对应的压缩值的选取可参考8位定点化位数的说明。8位定点化即定点化位数为8,8位定点化的数据范围为0~128,将原始图像的像素点的像素值范围从0~255压缩值0~128,需将每一个像素点的数值除以2并进行取整,因此与8位定点化位数对应的压缩值即为2。
S102、将目标图像输入至定点化的深度卷积神经网络模型中。
在本发明实施例中,可以预先设置一个定点化的深度卷积神经网络模型。该定点化的深度卷积神经网络模型的处理过程中,对于卷积操作的数据均为定点数据,卷积操作和其他的处理操作的具体步骤均可与现有的深度卷积神经网络模型对应,在此不再赘述。
S103、利用深度卷积神经网络模型对目标图像进行定点化计算,获得目标图像的图像特征。
利用深度卷积神经网络模型对目标图像进行特征提取。需要说明是,在对目标图像进行特征提取时,可直接在计算过程中以定点数的方式进行计算,即定点化计算,以此加快处理速度,以更快的获取到目标图像的图像特征。
其中,卷积层的定点化计算,具体为在卷积层获取到目标图像对应的处理数据之后,利用定点化计算的方式对处理数据进行卷积操作,并输出卷积结果至卷积层的下一层。在利用定点化的深度卷积神经网络模型提取目标图像的图像特征,即在该深度卷积神经网络模型在进行卷积操作时,所使用的数据均为定点化数据。这里所指的输出可以是特征提取结束之后的输出,也可以是在特征提取过程中,将处理结果输入至下一层进行处理,以获得目标图像的图像特征。得到图像特征之后,可以直接将其输出显示,也可以将该图像特征进一步用于分类划分、识别等图像特征应用或处理中。
应用本发明实施例所提供的方法,获取原始图像,并利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,获得目标图像;将目标图像输入至定点化的深度卷积神经网络模型中;利用深度卷积神经网络模型对目标图像进行定点化计算,获得目标图像的图像特征。
获取到原始图像之后,首先利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,可以获得像素值范围与定点化位数相匹配的目标图像。其中,定点化位数为定点数(小数点固定不变)的机械字长。然后,将目标图像输入至定点化的深度卷积神经网络模型中。利用深度卷积神经网络模型对目标图像进行以定点化数值的方式进行计算,获得目标图像的图像特征。在利用深度卷积神经网络进行特征提取前,首先将原始图像中的各个像素点的像素值进行压缩,得到目标图像。由于压缩时利用与定点化位数对应的压缩值,因而在定点化的深度卷积神经网络模型对图像特征提取的计算过程中,可以以定点化计算方式进行。由于定点化计算中的数据为定点数,而浮点化计算中的数据为浮点数,显然地,在计算速度上定点化计算相较于浮点化计算更为快速,且在实际应用中更容易实现。在特征提取时,以定点化计算还可以降低存储开销,可减少计算机资源的占用,进一步提升计算速度,进而可以进行实时的图像特征提取。
实施例二:
为便于本领域技术人员理解和实现本说明实施例所描述的图像特征提取方法,下面以预先训练定点化的深度卷积神经网络模型为例,进行详细说明。
请参考图2,在本发明实施例中,相应于执行上述实施例所描述的步骤S102,即在将目标图像输入至定点化的深度卷积神经网络模型中之前,还可以包括以下模型训练过程:
S201、利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型。
通常,对深度卷积神经网络模型进行训练的过程中,即利用网络学习输入数据的分布特征的过程中,由于深度卷积神经网络存在每一层的输入都是前一层的输出,而前一层的参数是随着学习变化的,这就导致它的输出也随之改变的特性。这种分布的不稳定导致训练深度网络较为困难。其中,训练困难指需要很小心地设置初值,并且给一个很小的学习率,从而效率变慢,特别是对于有饱和现象的非线性激活函数,比如sigmoid,tanh等,如果分布的变化过程中落到了饱和区域,那么就会出现内部协方差漂移(Intemal covariateshift)。
为解决上述问题,在本发明实施例中,可以预先在深度卷积神经网络模型中的每一个卷积层后插入了BN(Batch Normalization)层,得到预设深度卷积神经网络模型。其中,由于BN层可以使用较大的学习率,可去掉dropout,减少权重正则化,加速学习率衰减,可去掉LRN层(局部相应归一化),更彻底打乱训练样本,减少光度的畸变等优点。在对预设深度神经网络模型进行浮点训练时,速度更快;不影响在合并卷积层和BN层之后,去掉了BN层的目标深度卷积神经网络的计算精度。另外,还可以预先设置训练数据,具体的训练数据的数量可根据实际训练精度需求进行确定。
利用预设训练数据,对插入了BN层的预设深度神经网络模型进行浮点化训练,得到第一深度神经网络模型。进行浮点化训练过程可参照现有的浮点化训练过程,在此不再赘述。
优选地,为了使得训练速度更快,可以在进行浮点化训练之前,即,在利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型之前,可以对训练数据进行如下处理:
步骤一、获取训练数据,并对训练数据的数值范围进行压缩处理;
步骤二、将压缩处理后的训练数据制作为imdb格式数据。
为便于描述,下面将上述两个步骤结合起来进行说明。
在本发明实施例中,获得训练数据之后,可以对训练数据的数值范围进行压缩处理。可以将训练数据压缩为与定点化位数对应的数据范围。例如,将输入值范围在0到255之间的训练数据,统一除以2,之后再取整,得到训练数据范围在0~127。制作成Matconvnet(深度学习的框架)指定的imdb格式的文件。其中,将训练数据的数值减半的目的在于减少训练带来的误差;制作成imdb格式,在训练时,可快速读取,加快训练的速度。
获得第一深度卷积神经网络模型之后,可以执行步骤S202的操作。
S202、在第一深度卷积神经网络模型中,将卷积层的权重参数与BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型。
将第一深度卷积神经网络模型中的卷积层下一层的BN层进行合并。即,将卷积层的权重参数与BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型。
优选地,为了加快融合速度,将卷积层的权重参数与BN层的参数进行融合并更新卷积权重,具体可以执行以下步骤的操作:
步骤一、利用
Figure BDA0001788743410000081
将卷积层和BN层进行合并;其中,w为权重参数,mean、var依次为训练数据的一个子集的均值、方差,gamma为缩放系数,beta为平移系数,b为偏置;
步骤二、利用
Figure BDA0001788743410000082
计算新的权重参数,利用
Figure BDA0001788743410000083
计算新的偏置。
为便于描述,下面将上述步骤一和步骤二结合起来进行说明。
1)计算输入数据X的均值:
Figure BDA0001788743410000084
其中,m为输入数据的个数;
2)计算输入数据X的方差:
Figure BDA0001788743410000091
3)归一化每一维:
Figure BDA0001788743410000092
4)缩放与平移:yi=gamma×xi+beta;
5)Conv(卷积层)层与BN层合并:
化解
Figure BDA0001788743410000093
得到
新的权重:
Figure BDA0001788743410000094
新的偏置:
Figure BDA0001788743410000095
其中,mean和var是每个mini-batch(训练集的一个子集)的均值和方差;e为很小的非零数值,设置e的目的为避免出现var为0的情况。gamma和beta分别指代缩放系数和平移系数。
将卷积层的权重和偏置更新之后,即获得第二深度卷积神经网络模型之后,可以执行步骤S203的操作。
S203、去掉第二深度卷积神经网络中的BN层,获得第三深度卷积神经网络模型。
需要说明的是,在去掉BN层之后,在保持其他层不变的情况下,会有一个神经网络。而一个神经网络,因权重不同,可以得到多个模型。此时,选择一个效果较好的网络模型作为第三深度卷积神经网络模型。具体的,如何从多个模型中选择出其中一个较好的模型,可通过模型的训练速度或结果的准确率等性能参数进行挑选。
S204、对第三深度卷积神经网络模型进行定点化训练,获得定点化的深度卷积神经网络。
其中,定点化训练包括:
步骤一、将第三深度卷积神经网络模型中的卷积层的卷积权重乘以与定点化位数匹配的目标数值后,进行卷积操作;
步骤二、在卷积层输出数据时,将卷积权重及输出数据除以目标数值。
为便于描述,下面将上述两个步骤结合起来进行说明。
将第三深度卷积神经网络模型中的卷积层的卷积权重乘以与定点化位数匹配的目标数值。然后,利用乘以目标数值的卷积权重进行卷积操作。在卷积层输出数据时,将卷积层的卷积权重以及输出数据除以该目标数值。其中,目标数值为定点化位数所表达的最大数值。即与上文所描述的与定点化位数匹配的预设数值的具体数值的确定方法一致。具体的,可以为2^(a-1),其中a为定点化位数。例如,当为8为定点化时,目标数据为2^7,即128。进行定点化训练的学习率可相对选择较小的数值,例如可选0.0001.
请参考图3,以目标数值为2^7为例,卷积层定点化训练操作的具体流程包括:
S3041、卷积层获得输入数据;
S3042、卷积权重乘以固定值2^7;
S3043、卷积操作;
S3044、卷积层输出;
S3045、卷积权重和输出数据统一除以固定值2^7,并输出,进入下一层。
在本实施例中,利用预设训练数据对预设深度卷积神经网络模型进行浮点化训练,可以获得第一深度卷积神经网络模型。其中,预设深度卷积网络模型为卷积层后具有BN层的模型。完成浮点化训练之后,再将得到的第一深度卷积神经网络模型中的卷积层和BN层进行合并,即将卷积层的权重参数与BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型。然后,将用于浮点化训练的BN层去掉,便可获得可用于定点化计算的目标深度卷积神经网络模型。
具体的,训练后得到的定点化网络模型,在所有卷积层权重乘以一个固定定点化的数值之后,便可应用到如上述实施例一所描述的图像特征提取等数据处理中。显然地,定点化计算相对于浮点化计算而言,可减少特征映射的存储开销,提升计算速度。也就是说,通过在算法层面,对模型进行压缩,使得压缩后得到的目标深度卷积神经网络模型,可以在保证精度不变的情况下,以定点化计算的方式达到降低存储开销,提升计算速度。进一步地,当应用到上述实施所描述的图像特征提取方法,可加快提取速度,并达到实时处理效果。
相应于上面的方法实施例,本发明实施例还提供了一种图像特征提取装置,下文描述的图像特征提取装置与上文描述的图像特征提取方法可相互对应参照。
参见图4所示,该装置包括以下模块:
目标图像获取模块101,用于获取原始图像,并利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,获得目标图像;
目标图像输入模块102,用于将目标图像输入至定点化的深度卷积神经网络模型中;
图像特征提取模块103,用于利用深度卷积神经网络模型对目标图像进行定点化计算,获得目标图像的图像特征。
应用本发明实施例所提供的装置,获取原始图像,并利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,获得目标图像;将目标图像输入至定点化的深度卷积神经网络模型中;利用深度卷积神经网络模型对目标图像进行定点化计算,获得目标图像的图像特征。
获取到原始图像之后,首先利用与定点化位数对应的压缩值,对原始图像的各个像素值进行压缩,可以获得像素值范围与定点化位数相匹配的目标图像。其中,定点化位数为定点数(小数点固定不变)的机械字长。然后,将目标图像输入至定点化的深度卷积神经网络模型中。利用深度卷积神经网络模型对目标图像进行以定点化数值的方式进行计算,获得目标图像的图像特征。在利用深度卷积神经网络进行特征提取前,首先将原始图像中的各个像素点的像素值进行压缩,得到目标图像。由于压缩时利用与定点化位数对应的压缩值,因而在定点化的深度卷积神经网络模型对图像特征提取的计算过程中,可以以定点化计算方式进行。由于定点化计算中的数据为定点数,而浮点化计算中的数据为浮点数,显然地,在计算速度上定点化计算相较于浮点化计算更为快速,且在实际应用中更容易实现。在特征提取时,以定点化计算还可以降低存储开销,可减少计算机资源的占用,进一步提升计算速度,进而可以进行实时的图像特征提取。
在本发明的一种具体实施方式中,图像特征提取模块103,具体用于在卷积层获取到目标图像对应的处理数据之后,利用定点化计算的方式对处理数据进行卷积操作,并输出卷积结果至卷积层的下一层。
在本发明的一种具体实施方式中,还包括:模型训练模块;
其中,模型训练模块,包括:
第一深度卷积神经网络模型获取单元,用于在将目标图像输入至定点化的深度卷积神经网络模型中之前,利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型;
第二深度卷积神经网络模型获取单元,用于在第一深度卷积神经网络模型中,将卷积层的权重参数与BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型;
第三深度卷积神经网络模型单元,用于去掉第二深度卷积神经网络中的BN层,获得第三深度卷积神经网络模型;
定点化的深度卷积神经网络模型获得单元,用于对第三深度卷积神经网络模型进行定点化训练,获得定点化的深度卷积神经网络。
在本发明的一种具体实施方式中,第三深度卷积神经网络模型获取单元,具体用于将第三深度卷积神经网络模型中的卷积层的卷积权重乘以与定点化位数匹配的目标数值后,进行卷积操作;在卷积层输出数据时,将卷积权重及输出数据除以目标数值。
在本发明的一种具体实施方式中,模型训练模块,还包括:
训练数据处理单元,用于在利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型之前,获取训练数据,并对训练数据的数值范围进行压缩处理;将压缩处理后的训练数据制作为imdb格式数据。
在本发明的一种具体实施方式中,训练数据处理单元,具体用于将训练数据中的各个数值除以2后进行取整。
在本发明的一种具体实施方式中,第二深度卷积神经网络模型获取单元,用于利用
Figure BDA0001788743410000131
将卷积层和BN层进行合并;其中,w为权重参数,mean、var依次为训练数据的一个子集的均值、方差,gamma为缩放系数,beta为平移系数,b为偏置;利用
Figure BDA0001788743410000132
计算新的权重参数,利用
Figure BDA0001788743410000133
计算新的偏置。
相应于上面的方法实施例,本发明实施例还提供了一种图像特征提取设备,下文描述的一种图像特征提取设备与上文描述的一种图像特征提取方法可相互对应参照。
参见图5所示,该图像特征提取设备包括:
存储器D1,用于存储计算机程序;
处理器D2,用于执行计算机程序时实现上述方法实施例的图像特征提取方法的步骤。
具体的,请参考图6,为本实施例提供的图像特征提取设备的具体结构示意图,该图像特征提取设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在图像特征提取设备301上执行存储介质330中的一系列指令操作。
图像特征提取设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341。例如,Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
上面所描述的图像特征提取方法中的步骤可以由图像特征提取设备的结构实现。
相应于上面的方法实施例,本发明实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种图像特征提取方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的图像特征提取方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

Claims (8)

1.一种图像特征提取方法,其特征在于,包括:
获取原始图像,并利用与定点化位数对应的压缩值,对所述原始图像的各个像素值进行压缩,获得目标图像;
将所述目标图像输入至定点化的深度卷积神经网络模型中;
利用所述深度卷积神经网络模型对所述目标图像进行定点化计算,获得所述目标图像的图像特征;
其中,在将所述目标图像输入至定点化的深度卷积神经网络模型中之前,还包括:
利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型;
在所述第一深度卷积神经网络模型中,将所述卷积层的权重参数与所述BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型;
去掉所述第二深度卷积神经网络模型中的所述BN层,获得第三深度卷积神经网络模型;
对所述第三深度卷积神经网络模型进行定点化训练,获得定点化的深度卷积神经网络模型;
其中,所述对所述第三深度卷积神经网络模型进行定点化训练,包括:
将所述第三深度卷积神经网络模型中的卷积层的卷积权重乘以与所述定点化位数匹配的目标数值后,进行卷积操作;
在所述卷积层输出数据时,将所述卷积权重及输出数据除以所述目标数值。
2.根据权利要求1所述的图像特征提取方法,其特征在于,利用所述深度卷积神经网络模型对所述目标图像进行定点化计算,包括:
在卷积层获取到所述目标图像对应的处理数据之后,利用定点化计算的方式对所述处理数据进行卷积操作,并输出卷积结果至所述卷积层的下一层。
3.根据权利要求1所述的图像特征提取方法,其特征在于,在所述利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型之前,还包括:
获取训练数据,并对所述训练数据的数值范围进行压缩处理;
将压缩处理后的训练数据制作为imdb格式数据。
4.根据权利要求3所述的图像特征提取方法,其特征在于,对所述训练数据的数值范围进行压缩处理,包括:
将所述训练数据中的各个数值除以2后进行取整。
5.根据权利要求1至4任一项所述的图像特征提取方法,其特征在于,将所述卷积层的权重参数与所述BN层的参数进行融合并更新卷积权重,包括:
利用
Figure FDA0002723952940000021
将所述卷积层和所述BN层进行合并;其中,w为权重参数,mean、var依次为所述训练数据的一个子集的均值、方差,gamma为缩放系数,beta为平移系数,b为偏置;yi为输出数据,xi为输入数据,e为自然常数;
利用
Figure FDA0002723952940000022
计算新的权重参数,利用
Figure FDA0002723952940000023
计算新的偏置。
6.一种图像特征提取装置,其特征在于,包括:
目标图像获取模块,用于获取原始图像,并利用与定点化位数对应的压缩值,对所述原始图像的各个像素值进行压缩,获得目标图像;
目标图像输入模块,用于将所述目标图像输入至定点化的深度卷积神经网络模型中;
图像特征提取模块,用于利用所述深度卷积神经网络模型对所述目标图像进行定点化计算,获得所述目标图像的图像特征;
模型训练模块,包括:
第一深度卷积神经网络模型获取单元,用于在将所述目标图像输入至定点化的深度卷积神经网络模型中之前,利用预设训练数据,对卷积层后具有BN层的预设深度卷积神经网络模型进行浮点化训练,获得第一深度卷积神经网络模型;
第二深度卷积神经网络模型获取单元,用于在所述第一深度卷积神经网络模型中,将所述卷积层的权重参数与所述BN层的参数进行融合并更新卷积权重,获得第二深度卷积神经网络模型;
第三深度卷积神经网络模型单元,用于去掉所述第二深度卷积神经网络模型中的所述BN层,获得第三深度卷积神经网络模型;
定点化的深度卷积神经网络模型获得单元,用于对所述第三深度卷积神经网络模型进行定点化训练,获得定点化的深度卷积神经网络模型;
其中,所述第三深度卷积神经网络模型获取单元,具体用于将所述第三深度卷积神经网络模型中的卷积层的卷积权重乘以与所述定点化位数匹配的目标数值后,进行卷积操作;在所述卷积层输出数据时,将所述卷积权重及输出数据除以所述目标数值。
7.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述图像特征提取方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像特征提取方法的步骤。
CN201811028536.9A 2018-09-04 2018-09-04 一种图像特征提取方法、装置、设备及可读存储介质 Active CN109284761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811028536.9A CN109284761B (zh) 2018-09-04 2018-09-04 一种图像特征提取方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811028536.9A CN109284761B (zh) 2018-09-04 2018-09-04 一种图像特征提取方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109284761A CN109284761A (zh) 2019-01-29
CN109284761B true CN109284761B (zh) 2020-11-27

Family

ID=65184482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028536.9A Active CN109284761B (zh) 2018-09-04 2018-09-04 一种图像特征提取方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109284761B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068249A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 运行时硬件模拟仿真方法、装置、设备及存储介质
CN111028302B (zh) * 2019-11-27 2023-07-25 华南师范大学 一种基于深度学习的压缩对象成像方法及系统
CN111144457B (zh) * 2019-12-13 2024-02-27 北京达佳互联信息技术有限公司 图像处理方法、装置、设备及存储介质
CN111614358B (zh) * 2020-04-30 2023-08-04 合肥的卢深视科技有限公司 基于分通道量化的特征提取方法、系统、设备及存储介质
CN112232491A (zh) * 2020-10-29 2021-01-15 深兰人工智能(深圳)有限公司 基于卷积神经网络模型的特征提取方法和装置
CN113159177B (zh) * 2021-04-22 2022-11-25 中国科学院自动化研究所 基于批归一化参数定点化的目标检测方法、系统、设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140294A1 (en) * 2017-01-25 2018-08-02 Microsoft Technology Licensing, Llc Neural network based on fixed-point operations

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373050B2 (en) * 2015-05-08 2019-08-06 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
CN105760933A (zh) * 2016-02-18 2016-07-13 清华大学 卷积神经网络的逐层变精度定点化方法及装置
US10650303B2 (en) * 2017-02-14 2020-05-12 Google Llc Implementing neural networks in fixed point arithmetic computing systems
CN107480770B (zh) * 2017-07-27 2020-07-28 中国科学院自动化研究所 可调节量化位宽的神经网络量化与压缩的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140294A1 (en) * 2017-01-25 2018-08-02 Microsoft Technology Licensing, Llc Neural network based on fixed-point operations

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Fixed-Point Model for Pancreas Segmentation in Abdominal CT Scans;Yuyin Zhou et al;《international conference on medical image computing and computer-assisted intervention》;20170904;第10433卷;第693-701页 *
Overcoming Challenges in Fixed Point Training of Deep Convolutional Networks;Darryl D. Lin et al;《arXiv:1607.02241v1 [cs.LG]》;20160708;第1-5页 *

Also Published As

Publication number Publication date
CN109284761A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN109284761B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
US10552737B2 (en) Artificial neural network class-based pruning
CN108510067B (zh) 基于工程化实现的卷积神经网络量化方法
CN110929865B (zh) 网络量化方法、业务处理方法及相关产品
CN113011581B (zh) 神经网络模型压缩方法、装置、电子设备及可读存储介质
CN108334945B (zh) 深度神经网络的加速与压缩方法及装置
CN110008952B (zh) 一种目标识别方法及设备
CN111401550A (zh) 神经网络模型量化方法、装置及电子设备
CN112508125A (zh) 一种图像检测模型的高效全整数量化方法
US20220036167A1 (en) Sorting method, operation method and operation apparatus for convolutional neural network
CN111178258B (zh) 一种图像识别的方法、系统、设备及可读存储介质
WO2023207039A1 (zh) 数据处理方法、装置、设备以及存储介质
CN111767833A (zh) 模型生成方法、装置、电子设备及存储介质
CN112381147B (zh) 动态图片相似度模型建立、相似度计算方法和装置
CN109543772B (zh) 数据集自动匹配方法、装置、设备和计算机可读存储介质
CN112200275B (zh) 人工神经网络的量化方法及装置
CN114065920A (zh) 一种基于通道级剪枝神经网络的图像识别方法及系统
CN114970666A (zh) 一种口语处理方法、装置、电子设备及存储介质
CN114139678A (zh) 卷积神经网络量化方法、装置、电子设备和存储介质
CN110276448B (zh) 一种模型压缩方法及装置
CN113850374A (zh) 神经网络模型的量化方法、电子设备及介质
CN113902928A (zh) 图像特征的提取方法、装置及电子设备
CN114222997A (zh) 用于对神经网络进行后训练量化的方法和装置
CN113255576B (zh) 人脸识别方法及装置
CN115470898A (zh) 整数量化模型存储方法、任务处理方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant