CN108205680B - 图像特征提取集成电路、方法、终端 - Google Patents
图像特征提取集成电路、方法、终端 Download PDFInfo
- Publication number
- CN108205680B CN108205680B CN201711481013.5A CN201711481013A CN108205680B CN 108205680 B CN108205680 B CN 108205680B CN 201711481013 A CN201711481013 A CN 201711481013A CN 108205680 B CN108205680 B CN 108205680B
- Authority
- CN
- China
- Prior art keywords
- gradient
- histogram
- result
- quantization
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种集成电路包括:存储电路及耦合至所述存储电路输出端的计算电路,所述存储电路用于存储待处理图像的梯度信息,所述计算电路用于对所述梯度信息进行计算后输出所述待处理图像的梯度方向直方图特征。本发明还提供一种图像特征提取方法及终端。本发明利用集成电路并行地完成待处理图像的各个像素的梯度信息的计算,同时,通过对待处理图像进行分块和分细胞单元的处理,减少了一些无效运算,从而使得图像特征提取的计算效率得到大幅提高,可以满足人脸识别等场景对于实时性的要求。
Description
技术领域
本发明涉及图像识别技术领域,具体涉及一种图像特征提取集成电路、方法及终端。
背景技术
图像描述子是图像的一种表征形式,我们所熟知的像素值便是最常见最朴素的一种图像表征形式。在一副图像中,局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述,其本质为梯度的统计信息,而梯度主要存在于边缘的地方。因而在计算机视觉和图像处理中常使用梯度方向直方图(Histogram of Oriented Gradient,HOG)进行人体目标检测的图像描述,使用HOG特征能很好的表达人体的外形信息和运动信息,形成丰富的特征集。
目标识别跟踪等设备处于光照、目标方位等变化剧烈的复杂环境中,为了提升目标识别跟踪等设备的可靠性和实时性,就需要利用HOG特征的上述优势,同时需要在尽可能短的时间内获得HOG特征向量。
然而,现有HOG特征提取技术通常由软件实现,例如由通用处理器或者数字信号处理器通过程序指令实现,这种方法的缺陷是HOG特征描述子生成过程冗长,导致速度慢,实时性差,无法在商业上形成应用。
发明内容
鉴于以上内容,有必要提出一种图像特征提取集成电路、方法及终端,采用硬件加速的方法,快速的提取图像的HOG特征,提升了特征提取算法的性能。
本申请第一方面提供一种集成电路,所述集成电路包括:存储电路及耦合至所述存储电路输出端的计算电路,所述存储电路用于存储待处理图像的梯度信息,所述计算电路用于对所述梯度信息进行计算后输出所述待处理图像的梯度方向直方图特征。
在一种优选的技术方案中,所述存储电路包括:
图像梯度信息存储器,用于接收并存储所述待处理图像的每个细胞单元的各个像素的梯度信息,所述梯度信息包括:梯度幅值及梯度方向;
梯度量化插值结果存储器,用于接收并存储所述计算电路对每个细胞单元中的各个像素的梯度信息进行量化处理得到的待处理图像的梯度直方图量化结果;
梯度归一化结果存储器,用于接收并存储所述计算电路对所述梯度直方图量化结果进行归一化处理得到的梯度直方图归一化结果;
梯度直方图特征存储器,用于接收并存储所述计算电路对所述梯度直方图归一化结果进行加权处理得到的每个细胞单元的梯度直方图特征向量;及
所述梯度直方图特征存储器,还用于根据预设连接顺序连接每个细胞单元的梯度直方图特征向量,生成待处理图像的梯度直方图特征。
在一种优选的技术方案中,所述计算电路包括:
梯度量化计算电路,用于对每个细胞单元中的各个像素的梯度信息进行量化处理,得到的待处理图像的梯度直方图量化结果;
梯度归一化计算电路,用于对所述梯度直方图量化结果进行归一化处理,得到的梯度直方图归一化结果;
梯度直方图特征计算电路,用于对所述梯度直方图归一化结果进行加权处理得到的每个细胞单元的梯度直方图特征向量。
在一种优选的技术方案中,所述梯度量化计算电路包括:
梯度方向量化计算电路,包括:第五乘法器,所述第五乘法器在所述预设第一时间段内依次对每个细胞单元的各个像素的梯度方向进行加权计算,输出梯度直方图方向量化结果;及
梯度幅值量化计算电路,包括:第一乘法器、第二乘法器、第三乘法器、第四乘法器、第一加法器、第二加法器、第三加法器及第四加法器;
所述梯度幅值量化计算电路在预设第一时间段内依次接收每个细胞单元的各个像素的梯度幅值,并分别输入至所述第一乘法器、第二乘法器、第三乘法器、第四乘法器中;
经过所述第一乘法器的加权计算输出第一梯度直方图幅值量化结果至所述第一加法器,经过所述第二乘法器的加权计算输出第二梯度直方图幅值量化结果至所述第二加法器,经过所述第三乘法器的加权计算输出第三梯度直方图幅值量化结果至所述第三加法器,经过所述第四乘法器的加权计算输出第四梯度直方图幅值量化结果至所述第四加法器;
所述第一加法器在预设第二时间段内接收对应像素点的左上细胞单元的梯度直方图方向量化结果,进行加和计算并输出第一梯度直方图幅值量化插值结果,所述第二加法器在所述预设第二时间段内接收对应像素点的右上细胞单元的梯度直方图方向量化结果,进行加和计算并输出第二梯度直方图幅值量化插值结果,所述第三加法器在所述预设第二时间段内接收对应像素点的左下细胞单元的梯度直方图方向量化结果,进行加和计算并输出第三梯度直方图幅值量化插值结果,所述第四加法器在所述预设第二时间段内接收对应像素点的右下细胞单元的梯度直方图方向量化结果,进行加和计算并输出第四梯度直方图幅值量化插值结果。
在一种优选的技术方案中,所述梯度直方图特征计算电路包括:第六乘法器、第七乘法器、第八乘法器、第九乘法器;
所述第六乘法器在预设第四时间段内获取对应细胞单元的第一梯度直方图幅值归一化结果,进行加权计算并输出第一梯度直方图特征向量结果;
所述第七乘法器在所述预设第四时间段内获取对应细胞单元的第二梯度直方图幅值归一化结果,进行加权计算并输出第二梯度直方图特征向量结果;
所述第八乘法器在所述预设第四时间段内获取对应细胞单元的第三梯度直方图幅值归一化结果,进行加权计算并输出第三梯度直方图特征向量结果;
所述第九乘法器在所述预设第四时间段内获取对应细胞单元的第四梯度直方图幅值归一化结果,进行加权计算并输出第四梯度直方图特征向量结果;
所述梯度直方图特征计算电路还用于根据预设第一连接顺序将所述第一、第二、第三、第四梯度直方图特征向量结果进行连接,生成每个细胞单元的梯度直方图特征向量。
本申请的第二方面提供一种图像特征提取方法,所述方法包括:
计算待处理图像的各个像素点的梯度信息;
将待处理图像划分为多个块,每个块划分为多个细胞单元,每个细胞单元包括多个像素点;
集成电路依次对每个细胞单元中的各个像素的梯度信息进行量化处理,得到待处理图像的梯度直方图量化结果;
所述集成电路对所述梯度直方图量化结果进行归一化处理,得到梯度直方图归一化结果;
所述集成电路对所述梯度直方图归一化结果进行加权处理,得到每个细胞单元的梯度直方图特征向量;
所述集成电路根据预设连接顺序连接每个细胞单元的梯度直方图特征向量,生成待处理图像的梯度直方图特征。
在一种优选的技术方案中,所述梯度信息包括梯度幅值及梯度方向,所述集成电路依次对每个细胞单元中的各个像素的梯度信息进行量化处理,得到待处理图像的梯度直方图量化结果包括:
所述集成电路的梯度方向量化计算电路在预设第一时间段内依次对每个细胞单元中的各个像素的梯度方向进行量化处理,得到每个细胞单元的梯度直方图方向量化结果;
所述集成电路的梯度幅值量化计算电路在所述预设第一时间段内依次对每个细胞单元中的各个像素的梯度幅值进行加权处理,分别得到第一、第二、第三、第四梯度直方图幅值量化结果;
所述梯度幅值量化计算电路在预设第二时间段内分别对所述第一、第二、第三、第四梯度直方图幅值量化结果进行加和处理,得到第一、第二、第三、第四梯度直方图幅值量化插值结果。
在一种优选的技术方案中,所述集成电路对所述梯度直方图量化结果进行归一化处理,得到梯度直方图归一化结果包括:
所述集成电路的梯度归一化计算电路分别计算所述第一、第二、第三、第四梯度直方图幅值量化插值结果各直方通道上的平方和,得到第一、第二、第三、第四梯度直方图幅值平方和;
将所述第一、第二、第三、第四梯度直方图幅值平方和进行累加得到梯度直方图幅值总和;
计算所述梯度直方图幅值总和的平方根;
对所述平方根进行求倒数得到梯度直方图归一化结果。
在一种优选的技术方案中,所述集成电路对所述梯度直方图归一化结果进行加权处理,得到每个细胞单元的梯度直方图特征向量包括:
所述集成电路的梯度直方图特征计算电路在预设第四时间段获取对应每个细胞单元的四个梯度直方图归一化结果,分别进行加权处理后得到第一、第二、第三、第四梯度直方图特征向量结果;及
根据预设第一连接顺序将所述第一、第二、第三、第四梯度直方图特征向量结果进行连接,生成每个细胞单元的梯度直方图特征向量。
本申请的第三方面提供一种终端,所述终端包括集成电路,所述集成电路用于执行存储器中存储的计算机程序时实现所述图像特征提取方法。
本发明提供集成电路,运用所述集成电路提取待处理图像的特征,通过集成电路中的梯度量化计算电路计算对待处理图像的每个细胞单元中的各个像素的梯度信息进行量化处理,由于所述梯度量化计算电路设有第一、第二、第三、第四乘法器,该第一、第二、第三、第四乘法器能并行地对各个像素的梯度信息进行加权计算;进一步地,同时分别通过第一、第二、第三、第四加法器并行地对加权后的结果进行加和计算;更进一步地,通过梯度直方图特征计算电路中的第六乘法器、第七乘法器、第八乘法器、第九乘法器并行地对细胞单元的四个梯度直方图幅值归一化结果进行加权计算,并输出四个梯度直方图特征向量结果,也就是说通过三次并行计算能快速的提取待处理图像的HOG特征,比通过软件逐步迭代的方式对待处理图像的梯度信息进行量化、归一化计算,速度上要快得多,因而本发明通过集成电路提取待处理图像的HOG特征,提升了特征提取算法的性能,应用于图像识别时,能够提高图像识别的效率率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明实施例一提供的图像特征提取集成电路结构示意图。
图2是本发明实施例提供的集成电路内部的计算电路之一的示意图。
图3是本发明实施例提供的集成电路内部的计算电路之二的示意图。
图4是本发明实施例二提供的图像特征提取方法流程图。
图5是本发明实施例提供的图像分块示意图。
图6是本发明实施例提供的细胞单元的各个对邻近四个细胞单元的梯度方向直方图贡献的示意图。
图7是本发明实施例三提供的终端的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
优选地,本发明的图像特征提取方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
请一并参阅图1至图3,其中,图1是本发明实施例一提供的图像特征提取集成电路结构示意图。图2-图3分别是各计算电路的内部结构示意图。
本较佳实施例中,所述图像特征提取集成电路1包括存储电路10及耦合至所述存储电路10的计算电路12。
所述集成电路1用于接收待处理图像的梯度信息,通过所述计算电路12对所述梯度信息的一系列计算最后输出所述待处理图像的梯度方向直方图(Histogram ofOriented Gradient,HOG)特征。所述集成电路可以是可编程逻辑器件,例如现场可编程逻辑阵列(Field Programmable Gate Array,FPGA),还可以是专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)。
所述存储电路10包括:图像梯度信息存储器101、梯度量化结果存储器103、梯度归一化结果存储器105及HOG特征存储器107。所述计算电路12包括:梯度量化计算电路122、梯度归一化计算电路124及HOG特征计算电路126。其中,所述图像梯度信息存储器101的输入端可以耦合至通用处理器,所述图像梯度信息存储器101的输出端耦合至所述梯度量化计算电路122的输入端,所述梯度量化计算电路122的输出端耦合至所述梯度量化结果存储器103的输入端,所述梯度量化结果存储器103的输出端分别耦合至所述梯度归一化计算电路124的输入端及所述HOG特征计算电路126的输入端,所述梯度归一化计算电路124的输出端耦合至所述梯度归一化结果存储器105的输入端,所述梯度归一化结果存储器105的输出端耦合至所述HOG特征计算电路126的输入端,所述HOG特征计算电路126的输出端耦合至所述HOG特征存储器107。
所述图像梯度信息存储器101用于接收并存储待处理图像的各个像素的梯度信息,所述梯度信息包括:梯度幅值和梯度方向,所述梯度信息为后续生成待处理图像的HOG特征的数据来源。可以预先在所述图像梯度信息存储器101中设置两个特定的存储位置,分别存储待处理图像的梯度幅值和梯度方向。所述特定的位置可以是一个特定的文件夹或者是一个以特定名称命名的文件夹。所述梯度幅值和所述梯度方向可以以矩阵的形式存储在所述图像梯度信息存储器101中的特定的存储位置。即所述图像梯度信息存储器101中存储了两个矩阵,一个是待处理图像的各个像素对应的梯度幅值矩阵,另一个是待处理图像的各个像素对应的梯度方向矩阵。
本较佳实施例中,可以预先对待处理图像进行划分得到多个块,对每个块进一步划分为多个细胞单元,每个细胞单元包括多个像素点,因而,所述图像梯度信息存储器101中存储的所述梯度幅值矩阵及所述梯度方向矩阵也可以划分为多个块,每块再划分为多个细胞单元,每个单元包括多个值。
所述梯度量化计算电路122用于在预设第一时间段内获取所述图像梯度信息存储器101中的梯度信息,进行量化处理对所述梯度信息进行量化处理,并输出待处理图像的梯度直方图量化结果至所述梯度量化结果存储器103中存储。
结合图2所示,所述梯度量化计算电路122包括:梯度幅值量化计算电路1220、梯度方向量化计算电路1222。其中,所述梯度方向量化计算电路1222中并列设有第一乘法器12221、第二乘法器12222、第三乘法器12223、第四乘法器12224、第一加法器12225、第二加法器12226、第三加法器12227及第四加法器12228,所述第一乘法器12221的输出端连接所述第一加法器12225的输入端、所述第二乘法器12222的输出端连接所述第二加法器12226的输入端、所述第三乘法器12223的输出端连接所述第三加法器12227的输入端、所述第四乘法器12224的输出端连接所述第四加法器12228的输入端。所述梯度幅值量化计算电路1220中设有第五乘法器12200。所述第一乘法器12221中预先存储有第一梯度幅值量化系数dx*dy,所述第二乘法器12222中预先存储有第二梯度幅值量化系数(1-dx)*dy,所述第三乘法器12223中预先存储有第三梯度幅值量化系数dx*(1-dy),所述第四乘法器12224中预先存储有第四梯度幅值量化系数(1-dx)*(1-dy),所述第五乘法器12200中预先存储有梯度方向量化系数λ。
所述梯度方向量化计算电路1222在所述预设第一时间段内接收所述图像梯度信息存储器101中的梯度方向,对所述梯度方向进行量化处理得到待处理图像的梯度直方图方向量化结果并输出至所述梯度量化结果存储器103中存储。
具体的,所述梯度方向量化计算电路1222在所述预设第一时间段内依次接收每个细胞单元的各个像素的梯度方向,并输入至所述第五乘法器12200中,经过所述第五乘法器12200的加权计算,输出梯度直方图方向量化结果θ(x,y)/λ。所述梯度方向量化系数λ可以是,例如,20。
进一步地,对各个像素的梯度方向进行量化处理后得到的结果有可能为浮点型数值,因而为保证对各个像素的梯度方向进行量化处理后得到的结果均为整型数值,可以将浮点型数值转换为整型数值,本发明在此不再具体阐述。
所述对细胞单元中的各个像素的梯度方向进行量化处理的目的是对细胞单元中的各个像素的梯度方向进行统计,得到以像素的梯度方向为横轴的直方图,再根据所述梯度方向量化系数λ进行均匀划分,得到多个梯度方向的角度范围,每个梯度方向的角度范围对应一个直方通道(直方柱),从而构建了每个细胞单元的梯度方向直方图。
举例说明,待处理图像的像素的梯度方向的方向角度范围为0度至180度,以所述梯度方向量化系数λ(例如,20)对像素的梯度方向进行量化处理可得到多个(例如,9个)角度范围。所述9个角度范围代表了9个直方通道。
所述梯度幅值量化计算电路1220在所述预设第一时间段内获取所述图像梯度信息存储器101中的梯度幅值,对所述梯度幅值进行量化处理得到待处理图像的梯度直方图幅值量化结果并输出至所述梯度量化结果存储器103中存储。
具体地,所述梯度方向量化计算电路1222在所述预设第一时间段内依次接收每个细胞单元的各个像素的梯度幅值,并分别输入至第一乘法器12221、第二乘法器12222、第三乘法器12223、第四乘法器12224中;经过所述第一乘法器12221的加权计算输出第一梯度直方图幅值量化结果M*dx*dy至所述第一加法器12225,经过所述第二乘法器12222的加权计算输出第二梯度直方图幅值量化结果M*(1-dx)*dy至所述第二加法器12226,经过所述第三乘法器12223的加权计算输出第三梯度直方图幅值量化结果M*dx*(1-dy)至所述第三加法器12227,经过所述第四乘法器12224的加权计算输出第四梯度直方图幅值量化结果M*(1-dx)*(1-dy)至所述第四加法器12228;所述第一加法器12225在预设第二时间段内接收对应像素点的左上细胞单元的梯度直方图方向量化结果,进行加和计算并输出第一梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储,所述第二加法器12226在所述预设第二时间段内接收对应像素点的右上细胞单元的梯度直方图方向量化结果,进行加和计算并输出第二梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储,所述第三加法器12227在所述预设第二时间段内接收对应像素点的左下细胞单元的梯度直方图方向量化结果,进行加和计算并输出第三梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储,所述第四加法器12228在所述预设第二时间段内接收对应像素点的右下细胞单元的梯度直方图方向量化结果,进行加和计算并输出第四梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储。
对细胞单元中的各个像素点的梯度幅值进行量化处理插值的原因在于:细胞单元中的各个像素点都为某个基于方向的直方图通道投票,即每一票都是带有权值的。所述邻近的四个细胞单元分别位于所述像素点的左上(Upperleft)、右上(Upperright)、左下(Bottomleft)、右下(Bottomright)位置。
所述梯度量化结果存储器103用于存储所述第一梯度直方图幅值量化插值结果、所述第二梯度直方图幅值量化插值结果、所述第三梯度直方图幅值量化插值结果、所述第四梯度直方图幅值量化插值结果。
所述梯度归一化计算电路124用于在预设第三时间段内分别获取所述梯度量化结果存储器103中的所述第一、第二、第三、第四梯度直方图幅值量化插值结果,对所述第一、第二、第三、第四梯度直方图幅值量化插值结果进行计算,输出梯度直方图归一化结果至所述梯度归一化结果存储器105中存储。
具体地,所述梯度归一化计算电路124对所述第一、第二、第三、第四梯度直方图幅值量化插值结果进行计算的过程如下:
1)分别计算所述第一、第二、第三、第四梯度直方图幅值量化插值结果各直方通道上的平方和,得到第一梯度直方图幅值平方和、第二梯度直方图幅值平方和、第三梯度直方图幅值平方和、第四梯度直方图幅值平方和;
2)将所述第一梯度直方图幅值平方和、第二梯度直方图幅值平方和、第三梯度直方图幅值平方和、第四梯度直方图幅值平方和进行累加得到梯度直方图幅值总和;
3)计算所述梯度直方图幅值总和的平方根;
3)对所述平方根进行求倒数得到梯度直方图归一化结果。
所述HOG特征计算电路126用于在预设第四时间段从所述梯度归一化结果存储器105中获取对应每个细胞单元的四个梯度直方图归一化结果,经过计算后输出每个细胞单元的HOG特征向量至所述HOG特征存储器107。
结合图3所示,所述HOG特征计算电路126包括:第六乘法器1265、第七乘法器1266、第八乘法器1267、第九乘法器1268。所述第六乘法器1265在预设第四时间段内获取对应细胞单元的第一梯度直方图归一化结果,进行加权计算并输出第一HOG特征向量结果,所述第七乘法器1266在预设第四时间段内获取对应细胞单元的第二梯度直方图归一化结果,进行加权计算并输出第二HOG特征向量结果,所述第八乘法器1267在预设第四时间段内获取对应细胞单元的第三梯度直方图归一化结果,进行加权计算并输出第三HOG特征向量结果,所述第九乘法器1268在预设第四时间段内获取对应细胞单元的第四梯度直方图归一化结果,进行加权计算并输出第四HOG特征向量结果,同时根据预设第一连接顺序将所述第一、第二、第三、第四HOG特征向量结果进行连接,生成每个细胞单元的HOG特征向量至所述HOG特征存储器107中存储。
所述HOG特征存储器107用于存储每个细胞单元的HOG特征向量,并根据预设第二连接顺序连接各个细胞单元的HOG特征向量,最终生成待处理图像的HOG特征。
本较佳实施例中,所述预设第一连接顺序可以是从左到右、从上往下的次序。所述预设第二连接顺序可以是从左到右、从上往下的次序。
本较佳实施例中,得到的待处理图像的HOG特征最终是一个由m*n*l数据组成的高维度向量,其中m表示待处理图像中划分的块的数目,n表示每个块中划分的细胞单元的数目,l表示每个细胞单元中量化得到的方向角度范围的数目。
本发明实施例提供的集成电路1能够并行的计算待处理图像的梯度信息,从而快速的得到待处理图像的HOG特征。另外,由于待处理图像的梯度信息是以细胞单元为处理单元,因而,计算得到的HOG特征能保持图像的几何和光学特性;其次,分块分细胞单元的计算处理方式,可使得图像局部像素点之间的关系得到很好的表征;最后采取归一化处理,可以部分抵消光照变化带来的影响。
图4是本发明实施例二提供的图像特征提取方法的流程图。所述图像特征提取方法应用于终端中。
所述图像特征提取方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于:广域网、城域网或局域网。本发明实施例的图像特征提取方法可以由服务器来执行,也可以由终端来执行,还可以是由服务器和终端共同执行。
例如,对于需要进行图像特征提取的终端,可以直接在终端上集成本申请的方法所提供的图像特征提取功能,或者安装用于实现本申请的方法的客户端。再如,本申请所提供的方法还可以软件开发工具包(Software Development Kit,SDK)的形式运行在服务器等设备上,以SDK的形式提供图像特征提取功能的接口,终端或其他设备通过提供的接口即可实现提取图像的HOG特征的功能。
在上下文中所称的终端或者服务器,是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能终端,其可以包括处理器与存储器,由处理器执行在存储器中预存的存续指令来执行预定处理过程,或是由ASIC、FPGA、DSP等硬件执行预定处理过程,或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
如图4所示,所述图像特征提取方法具体包括以下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
401:计算待处理图像的各个像素点的梯度信息。
本较佳实施例中,首先获取待处理图像的各个像素点,然后计算各个像素点的梯度信息。所述梯度信息包括梯度幅值及梯度方向。
本较佳实施例中,因求导操作不仅能够捕获图像的轮廓、人影和一些纹理信息,还能进一步弱化光照对图像的影响,而且一阶微分处理对梯度有较强的响应,因而可以利用一阶微分模板计算待处理图像各个像素点的梯度信息。所述一阶微分模板可以包括一维中心[1,0,-1],一维非中心[-1,1],一维立方修正[1,-8,-8,-1],索贝尔(Soble)算子等。
所述计算待处理图像的梯度信息具体包括:采用一阶微分模板分别计算待处理图像的各个像素点在水平方向上和垂直方向上的梯度;根据水平方向上的梯度和垂直方向上的梯度计算该像素点的梯度幅值以及梯度方向。
本较佳实施例中,以一维中心[1,0,-1]模板为例计算待处理图像的梯度信息,将待处理图像记为I(x,y),通过一维中心模板计算像素点在水平和垂直方向的梯度分别如下式(1-1)所示:
其中,Gh(x,y)和Gv(x,y)分别表示该像素点在水平和垂直方向上的梯度值。
则计算该像素点的梯度幅值(梯度强度)以及梯度方向如下式(1-2)所示:
其中,M(x,y)和θ(x,y)分别表示该像素点的梯度幅值、梯度方向。
需要说明的是,因式(1-2)在计算该像素点的梯度幅值时复杂度较高,耗费时间较长,因而可采用如下式(1-3)所示计算该像素点的梯度值的近似值。
进一步地,对于梯度方向的范围限定,一般可以采用无符号的范围,即忽略梯度方向的角度度数的正负级,无符号的梯度方向可用下式(1-4)所示表示:
经过式(1-4)的计算后,所述待处理图像的梯度方向限定为0度-180度。
本较佳实施例中,可以将计算出的待处理图像的梯度信息存储于图像梯度信息存储单元中,如图1所示的集成电路1的图像梯度信息存储器101中。
应当理解的是,将计算出的待处理图像的梯度信息存储于所述图像梯度信息存储器101中是指将计算出的待处理图像的梯度幅值和梯度方向分别存储于所述图像梯度信息存储器101中。所述梯度幅值和所述梯度方向可以以矩阵的形式存储在图像梯度信息存储器101中的预先设置的特定的存储位置,所述特定的位置可以是一个特定的文件夹或者是一个以特定名称命名的文件夹。即所述图像梯度信息存储器101中存储了两个矩阵,一个是待处理图像的各个像素对应的梯度幅值矩阵,另一个是待处理图像的各个像素对应的梯度方向矩阵。
402:将待处理图像划分为多个块,每个块划分为多个细胞单元,每个细胞单元包括多个像素点。
本较佳实施例中,所述将待处理图像划分为多个块,每个块包括多个细胞单元,每个细胞单元包括多个像素点具体包括:根据预先设置的块结构对待处理图像进行划分得到多个块;根据预先设置的细胞大小对每个块进行划分得到多个细胞单元;每个细胞单元中包括多个像素点。
所述预先设置的块结构可以包括:块的形状、块的大小。所述块的形状可以包括,但不限于:矩形块形状、圆形块形状、中心环绕块形状或者星形块形状。根据所述矩形块形状对待处理图像进行划分可以得到多个矩形块,根据所述圆形块形状对待处理图像进行划分可以得到多个圆形块,根据所述中心环绕块形状对待处理图像进行划分可以得到多个中心环绕块,根据所述星形块形状对待处理图像进行划分可以得到多个星形块。一个优选的技术方案是,所述预先设置的块形状为矩形块。所述块的大小是指块的尺寸,即对待处理图像进行划分得到的每个块中所包括的像素点的总个数。需要说明的是,所述块的尺寸设置的太大时,梯度信息会被削弱,所述块的尺寸设置的太小时,有用的信息会被过滤掉。一个优选的技术方案是,所述块的大小可以设置为3*3。
参阅图5所示,为本发明实施例提供的根据矩形块结构将待处理图像划分为多个矩形块的示意图。
对待处理图像500进行划分得到多个矩形块502,对每个矩形块502进一步划分为多个细胞单元504,每个细胞单元504包括多个像素点506。
403:集成电路依次对每个细胞单元中的各个像素的梯度信息进行量化处理,得到待处理图像的梯度直方图量化结果。
本较佳实施例中,所述集成电路依次对每个细胞单元中的各个像素的梯度信息进行量化处理包括:
1)在所述预设第一时间段内对每个细胞单元中的各个像素的梯度方向进行量化处理得到待处理图像的梯度直方图方向量化结果;
所述梯度方向量化计算电路1222在所述预设第一时间段内接收所述图像梯度信息存储器101中的梯度方向,对所述梯度方向进行量化得到待处理图像的梯度直方图方向量化结果并输出至所述梯度量化结果存储器103中存储。
具体的,所述梯度方向量化计算电路1222在所述预设第一时间段内依次接收每个细胞单元的各个像素的梯度方向,并输入至所述第五乘法器12200中,经过所述第五乘法器12200的加权计算,输出梯度直方图方向量化结果θ(x,y)/λ。所述梯度方向量化系数λ可以是,例如,20。
进一步地,对各个像素的梯度方向进行量化后得到的结果有可能为浮点型数值,因而为保证对各个像素的梯度方向进行量化后得到的结果均为整型数值,可以将浮点型数值转换为整型数值,本发明在此不再具体阐述。
所述对细胞单元中的各个像素的梯度方向进行量化的目的是对细胞单元中的各个像素的梯度方向进行统计,得到以像素的梯度方向为横轴的直方图,再根据所述梯度方向量化系数λ进行均匀划分,得到多个梯度方向的角度范围,每个梯度方向的角度范围对应一个直方通道(直方柱),从而构建了每个细胞单元的梯度方向直方图。
举例说明,待处理图像的像素的梯度方向的方向角度范围为0度至180度,以所述梯度方向量化系数λ(例如,20)对像素的梯度方向进行量化可得到多个(例如,9个)角度范围。所述9个角度范围代表了9个直方通道。
2)在所述预设第一时间段内对每个细胞单元中的各个像素的梯度幅值进行量化处理得到待处理图像的梯度直方图幅值量化结果。
所述梯度幅值量化计算电路1220在所述预设第一时间段内获取所述图像梯度信息存储器101中的梯度幅值,对所述梯度幅值进行量化得到待处理图像的梯度直方图幅值量化结果并输出至所述梯度量化结果存储器103中存储。
本较佳实施例中,细胞单元中的各个像素点都为某个基于方向的直方图通道投票,即每一票都是带有权值的。
一并参阅图6所示,待处理图像500中的某个像素点(例如图6中黑色所示的像素点,下文简称为黑色像素点)。所述黑色像素点对邻近的四个细胞单元的梯度方向直方图有贡献,所述邻近的四个细胞单元分别位于所述黑色像素点的左上(Upperleft)、右上(Upperright)、左下(Bottomleft)、右下(Bottomright)位置。
各个像素点对其邻近的四个细胞单元的梯度方向直方图有贡献,具体的贡献大小取决于:像素点的梯度幅值或者像素点的梯度幅值的函数;像素点离左上角细胞单元中心点的距离,所述距离包括:像素点离左上细胞单元中心点的水平距离、像素点离左上细胞单元中心点的垂直距离。所述梯度幅值的函数包括:梯度幅值的平方根、梯度幅值的平方。一个优选的技术方案是根据像素点的梯度幅值计算贡献大小。
假设将所述像素点离左上角细胞单元中心点的水平距离记为dx,将所述像素点离左上角细胞单元中心点的垂直距离记为dy。则所述黑色像素点对左上细胞单元的梯度方向直方图贡献大小记为M*dx*dy;所述黑色像素点对右上细胞单元的梯度方向直方图贡献大小记为M*(1-dx)*dy;所述黑色像素点对左下细胞单元的梯度方向直方图贡献大小记为M*dx*(1-dy);所述黑色像素点对右下细胞单元的梯度方向直方图贡献大小记为M*(1-dx)*(1-dy)。
本较佳实施例中,所述梯度方向量化计算电路1222在所述预设第一时间段内依次接收每个细胞单元的各个像素的梯度幅值,并分别输入至第一乘法器12221、第二乘法器12222、第三乘法器12223、第四乘法器12224中;经过所述第一乘法器12221的加权计算输出第一梯度直方图幅值量化结果M*dx*dy至所述第一加法器12225,经过所述第二乘法器12222的加权计算输出第二梯度直方图幅值量化结果M*(1-dx)*dy至所述第二加法器12226,经过所述第三乘法器12223的加权计算输出第三梯度直方图幅值量化结果M*dx*(1-dy)至所述第三加法器12227,经过所述第四乘法器12224的加权计算输出第四梯度直方图幅值量化结果M*(1-dx)*(1-dy)至所述第四加法器12228;所述第一加法器12225在预设第二时间段内接收对应像素点的左上细胞单元的梯度直方图方向量化结果,进行加和计算并输出第一梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储,所述第二加法器12226在所述预设第二时间段内接收对应像素点的右上细胞单元的梯度直方图方向量化结果,进行加和计算并输出第二梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储,所述第三加法器12227在所述预设第二时间段内接收对应像素点的左下细胞单元的梯度直方图方向量化结果,进行加和计算并输出第三梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储,所述第四加法器12228在所述预设第二时间段内接收对应像素点的右下细胞单元的梯度直方图方向量化结果,进行加和计算并输出第四梯度直方图幅值量化插值结果至所述梯度量化结果存储器103中存储。
也就是说,所述梯度量化结果存储器103中存储有所述第一梯度直方图幅值量化插值结果、所述第二梯度直方图幅值量化插值结果、所述第三梯度直方图幅值量化插值结果、所述第四梯度直方图幅值量化插值结果。
404:所述集成电路对所述梯度直方图量化结果进行归一化处理,得到梯度直方图归一化结果。
本较佳实施例中,可以采用归一化函数对每个细胞单元的梯度直方图量化结果进行归一化,所述归一化函数可以是L2范数、L1范数。
由于局部光照的变化以及前景/背景对比度的变化,使得像素的梯度幅值的变化范围非常大,归一化能够对光照、阴影和边缘进行压缩,使得梯度方向直方图特征向量空间对光照、阴影和边缘变化具有鲁棒性。
所述梯度归一化计算电路124在预设第三时间段内分别获取所述梯度量化结果存储器103中的所述第一、第二、第三、第四梯度直方图幅值量化插值结果,对所述第一、第二、第三、第四梯度直方图幅值量化插值结果进行计算,输出梯度直方图归一化结果至所述梯度归一化结果存储器105中存储。
具体地,所述梯度归一化计算电路124对所述第一、第二、第三、第四梯度直方图幅值量化插值结果进行计算的过程如下:
1)分别计算所述第一、第二、第三、第四梯度直方图幅值量化插值结果各直方通道上的平方和,得到第一梯度直方图幅值平方和、第二梯度直方图幅值平方和、第三梯度直方图幅值平方和、第四梯度直方图幅值平方和;
2)将所述第一梯度直方图幅值平方和、第二梯度直方图幅值平方和、第三梯度直方图幅值平方和、第四梯度直方图幅值平方和进行累加得到梯度直方图幅值总和;
3)计算所述梯度直方图幅值总和的平方根;
3)对所述平方根进行求倒数得到梯度直方图归一化结果。
405:所述集成电路对所述梯度直方图归一化结果进行加权处理,得到每个细胞单元的HOG特征向量。
所述HOG特征计算电路126在预设第四时间段从所述梯度归一化结果存储器105中获取对应每个细胞单元的四个梯度直方图归一化结果,经过计算后输出每个细胞单元的HOG特征向量至所述HOG特征存储器107。
所述HOG特征计算电路126的所述第六乘法器1265在预设第四时间段内获取对应细胞单元的第一梯度直方图归一化结果,进行加权计算并输出第一HOG特征向量结果,所述第七乘法器1266在预设第四时间段内获取对应细胞单元的第二梯度直方图归一化结果,进行加权计算并输出第二HOG特征向量结果,所述第八乘法器1267在预设第四时间段内获取对应细胞单元的第三梯度直方图归一化结果,进行加权计算并输出第三HOG特征向量结果,所述第九乘法器1268在预设第四时间段内获取对应细胞单元的第四梯度直方图归一化结果,进行加权计算并输出第四HOG特征向量结果,同时根据预设第一连接顺序将所述第一、第二、第三、第四HOG特征向量结果进行连接,生成每个细胞单元的HOG特征向量至所述HOG特征存储器107中存储。
406:所述集成电路根据预设连接顺序连接各个细胞单元的HOG特征向量,生成待处理图像的HOG特征。
所述HOG特征存储器107用于存储每个细胞单元的HOG特征向量,并根据预设第二连接顺序连接各个细胞单元的HOG特征向量,最终生成待处理图像的HOG特征。
本较佳实施例中,所述预设第一连接顺序可以是从左到右、从上往下的次序。所述预设第二连接顺序可以是从左到右、从上往下的次序。
本较佳实施例中,得到的待处理图像的HOG特征最终是一个由m*n*l数据组成的高维度向量,其中m表示待处理图像中划分的块的数目,n表示每个块中划分的细胞单元的数目,l表示每个细胞单元中量化得到的方向角度范围的数目。
本发明实施例提供的图像特征提取方法通过所述集成电路并行的计算待处理图像的梯度信息,从而快速的得到待处理图像的HOG特征。另外,由于待处理图像的梯度信息是以细胞单元为处理单元,因而,计算得到的HOG特征能保持图像的几何和光学特性;其次,分块分细胞单元的计算处理方式,可使得图像局部像素点之间的关系得到很好的表征;最后采取归一化处理,可以部分抵消光照变化带来的影响。
进一步地,为了减少光照因素的影响,在计算图像的梯度信息至前,所述方法还可以包括:对图像进行归一化处理。
所述归一化处理可以包括以下一种或多种的组合:灰度化处理,校正处理,图像大小规范化处理。
所述灰度化处理是指将图像转化为灰度图像,因为图像的颜色信息对提取梯度方向直方图的影响不大,因而事先将彩色图像转化为灰度图像,既不会影响后续计算图像的梯度信息,还可以减少计算量。
所述校正处理可以采用伽马(Gamma)校正方法,所谓的gamma校正就是把原来的每个通道像素值范围从0~255变换到0~15.97(255开根号)。因在图像的纹理强度中,局部的表层曝光贡献的比重较大,所以经过Gamma校正处理后的图像能够有效地降低图像局部的阴影和光照变化。
所述图像大小规范化处理是指将待处理图像的大小进行统一。
需要说明的是,本发明所述对图像进行归一化处理不包括对图像进行平滑处理,例如在计算图像梯度前不需要对图像进行高斯滤波操作,因图像是基于边缘的,而平滑处理会降低边缘信息的对比度,从而减少图像中的信号信息。
上述图4-图6详细介绍了本发明的图像特征提取方法,下面对实现所述图像特征提取方法的硬件系统架构进行介绍。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
实施例三
参阅图7所示,在本发明较佳实施例中,所述终端7包括存储器71、至少一个集成电路1、至少一条通信总线73、显示屏幕74及处理器75。
本领域技术人员应该了解,图7示出的终端的结构并不构成本发明实施例的限定,既可以是总线型结构,也可以是星形结构,所述终端7还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。
在一些实施例中,所述终端7包括一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的终端,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器、嵌入式设备等。所述终端7还可包括用户设备,所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、数码相机等任何等。
需要说明的是,所述终端7仅为举例,其他现有的或今后可能出现的电子产品如可适应于本发明,也应包含在本发明的保护范围以内,并以引用方式包含于此。
在一些实施例中,所述存储器71用于存储程序代码和各种数据,例如安装在所述终端7中的快速拍照的系统,并在终端7的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器71包括只读存储器(Read-Only Memory,ROM)、随机存储器(RandomAccess Memory,RAM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中,所述至少一个集成电路1可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成。
在一些实施例中,所述至少一个处理器75包括一个或者多个中央处理器(CentralProcessing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器75是所述终端7的控制核心(Control Unit),利用各种接口和线路连接整个终端7的各个部件,通过运行或执行存储在所述存储器71内的程序或者模块,以及调用存储在所述存储器71内的数据,以执行终端7的各种功能和处理数据,例如执行图像特征提取方法的功能。
在一些实施例中,所述至少一条通信总线73被设置为实现所述存储器71、至少一个集成电路1、显示屏幕74及处理器75等之间的连接通信。
在一些实施例中,所述显示屏幕74可用于显示由观看者输入的信息或提供给观看者的信息以及终端7的各种图形观看者接口,这些图形观看者接口可以由图形、文本、图标、视频和其任意组合来构成。所述显示屏幕74可包括显示面板,可选的,可以采用液晶显示屏幕(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
所述显示屏幕74还可以包括触摸面板。如果所述显示屏幕74包括触摸面板,所述显示屏幕74可以被实现为触摸屏,以接收来自观看者的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与上述触摸或滑动操作相关的持续时间和压力。所述显示面板与所述触摸面板可以作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将所述显示面板与所述触摸面板进行集成而实现输入和输出功能。
尽管未示出,所述终端7还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理系统与所述至少一个处理器75逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端7还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
以上说明的本发明的特征性的手段可以通过集成电路来实现,并控制实现上述任意实施例中所述图像特征提取的功能。即,本发明的集成电路安装于所述终端中,使所述终端发挥如下功能:所述集成电路包括:存储电路及耦合至所述存储电路输出端的计算电路,所述存储电路用于存储待处理图像的梯度信息,所述计算电路用于对所述梯度信息进行计算后输出所述待处理图像的梯度方向直方图特征。
在任意实施例中所述图像特征提取方法所能实现的功能都能通过本发明的集成电路安装于所述终端中,使所述终端发挥任意实施例中所述图像特征提取方法所能实现的功能,在此不再详述。
在进一步的实施例中,结合图1,所述至少一个处理器75可执行所述终端7的操作系统以及安装的各类应用程序、程序代码等。
所述存储器71中存储有程序代码,且所述至少一个处理器75可调用所述存储器71中存储的程序代码以执行相关的功能。
在本发明的一个实施例中,所述存储器71存储多个指令,所述多个指令被所述至少一个集成电路1及至少一个处理器75所执行以实现快速提取图像的特征。
具体地,所述至少一个集成电路1及至少一个处理器75对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种集成电路,其特征在于,所述集成电路包括:存储电路及耦合至所述存储电路输出端的计算电路,所述计算电路包括:梯度量化计算电路;所述存储电路用于存储待处理图像的梯度信息,所述梯度量化计算电路,用于对所述梯度信息进行量化处理,得到所述待处理图像的梯度直方图量化结果;所述计算电路还用于对所述梯度直方图量化结果进行计算后输出所述待处理图像的梯度方向直方图特征;
所述梯度量化计算电路包括:梯度幅值量化计算电路,包括:第一乘法器、第二乘法器、第三乘法器、第四乘法器、第一加法器、第二加法器、第三加法器及第四加法器,所述第一乘法器连接所述第一加法器,所述第二乘法器连接所述第二加法器,所述第三乘法器连接所述第三加法器,所述第四乘法器连接所述第四加法器;
所述梯度幅值量化计算电路在预设第一时间段内依次接收每个细胞单元的各个像素的梯度幅值,并分别输入至所述第一乘法器、第二乘法器、第三乘法器、第四乘法器中;
经过所述第一乘法器对所述像素点与dx*dy的加权计算,再经过所述第一加法器对加权计算的结果与所述像素点对应的左上细胞单元的梯度直方图进行加和计算,并输出第一梯度直方图幅值量化插值结果;
经过所述第二乘法器对所述像素点与(1-dx)*dy的加权计算,再经过所述第二加法器对加权计算的结果与所述像素点对应的右上细胞单元的梯度直方图进行加和计算,并输出第二梯度直方图幅值量化插值结果;
经过所述第三乘法器对所述像素点与dx*(1-dy)的加权计算,再经过所述第三加法器对加权计算的结果与所述像素点对应的左下细胞单元的梯度直方图进行加和计算,并输出第三梯度直方图幅值量化插值结果;
经过所述第四乘法器对所述像素点与(1-dx)*(1-dy)的加权计算,再经过所述第四加法器对加权计算的结果与所述像素点对应的右下细胞单元的梯度直方图进行加和计算,并输出第四梯度直方图幅值量化插值结果;
其中,所述dx为所述像素点离所述左上细胞单元中心点的水平距离,dy为所述像素点离所述左上细胞单元中心点的垂直距离。
2.如权利要求1所述的集成电路,其特征在于,所述存储电路包括:
图像梯度信息存储器,用于接收并存储所述待处理图像的每个细胞单元的各个像素的梯度信息,所述梯度信息包括:梯度幅值及梯度方向;
梯度量化插值结果存储器,用于接收并存储所述计算电路对每个细胞单元中的各个像素的梯度信息进行量化处理得到的待处理图像的梯度直方图量化结果;
梯度归一化结果存储器,用于接收并存储所述计算电路对所述梯度直方图量化结果进行归一化处理得到的梯度直方图归一化结果;
梯度直方图特征存储器,用于接收并存储所述计算电路对所述梯度直方图归一化结果进行加权处理得到的每个细胞单元的梯度直方图特征向量;及
所述梯度直方图特征存储器,还用于根据预设连接顺序连接每个细胞单元的梯度直方图特征向量,生成待处理图像的梯度直方图特征。
3.如权利要求2所述的集成电路,其特征在于,所述计算电路还包括:
梯度归一化计算电路,用于对所述梯度直方图量化结果进行归一化处理,得到梯度直方图归一化结果;
梯度方向直方图特征计算电路,用于对所述梯度直方图归一化结果进行加权处理得到每个细胞单元的梯度直方图特征向量。
4.如权利要求2所述的集成电路,其特征在于,所述梯度量化计算电路还包括:
梯度方向量化计算电路,包括:第五乘法器,所述第五乘法器在所述预设第一时间段内依次对每个细胞单元的各个像素的梯度方向进行加权计算,输出梯度直方图方向量化结果。
5.如权利要求3所述的集成电路,其特征在于,所述梯度方向直方图特征计算电路包括:第六乘法器、第七乘法器、第八乘法器、第九乘法器;
所述第六乘法器在预设第四时间段内获取对应细胞单元的第一梯度直方图幅值归一化结果,进行加权计算并输出第一梯度直方图特征向量结果;
所述第七乘法器在所述预设第四时间段内获取对应细胞单元的第二梯度直方图幅值归一化结果,进行加权计算并输出第二梯度直方图特征向量结果;
所述第八乘法器在所述预设第四时间段内获取对应细胞单元的第三梯度直方图幅值归一化结果,进行加权计算并输出第三梯度直方图特征向量结果;
所述第九乘法器在所述预设第四时间段内获取对应细胞单元的第四梯度直方图幅值归一化结果,进行加权计算并输出第四梯度直方图特征向量结果;
所述梯度方向直方图特征计算电路还用于根据预设第一连接顺序将所述第一、第二、第三、第四梯度直方图特征向量结果进行连接,生成每个细胞单元的梯度直方图特征向量。
6.一种图像特征提取方法,其特征在于,所述方法包括:
计算待处理图像的各个像素点的梯度信息;
将待处理图像划分为多个块,每个块划分为多个细胞单元,每个细胞单元包括多个像素点;
集成电路依次对每个细胞单元中的各个像素的梯度信息进行量化处理,得到待处理图像的梯度直方图量化结果,其中所述集成电路如权利要求1至5中任意一项所述的集成电路;
所述集成电路对所述梯度直方图量化结果进行归一化处理,得到梯度直方图归一化结果;
所述集成电路对所述梯度直方图归一化结果进行加权处理,得到每个细胞单元的梯度直方图特征向量;
所述集成电路根据预设连接顺序连接每个细胞单元的梯度直方图特征向量,生成待处理图像的梯度直方图特征。
7.如权利要求6所述的方法,其特征在于,所述梯度信息包括梯度幅值及梯度方向,所述集成电路依次对每个细胞单元中的各个像素的梯度信息进行量化处理,得到待处理图像的梯度直方图量化结果包括:
所述集成电路的梯度方向量化计算电路在预设第一时间段内依次对每个细胞单元中的各个像素的梯度方向进行量化处理,得到每个细胞单元的梯度直方图方向量化结果;
所述集成电路的梯度幅值量化计算电路在所述预设第一时间段内依次对每个细胞单元中的各个像素的梯度幅值进行加权处理,分别得到第一、第二、第三、第四梯度直方图幅值量化结果;
所述梯度幅值量化计算电路在预设第二时间段内分别对所述第一、第二、第三、第四梯度直方图幅值量化结果进行加和处理,得到第一、第二、第三、第四梯度直方图幅值量化插值结果。
8.如权利要求7所述的方法,其特征在于,所述集成电路对所述梯度直方图量化结果进行归一化处理,得到梯度直方图归一化结果包括:
所述集成电路的梯度归一化计算电路分别计算所述第一、第二、第三、第四梯度直方图幅值量化插值结果各直方通道上的平方和,得到第一、第二、第三、第四梯度直方图幅值平方和;
将所述第一、第二、第三、第四梯度直方图幅值平方和进行累加得到梯度直方图幅值总和;
计算所述梯度直方图幅值总和的平方根;
对所述平方根进行求倒数得到梯度直方图归一化结果。
9.如权利要求8所述的方法,其特征在于,所述集成电路对所述梯度直方图归一化结果进行加权处理,得到每个细胞单元的梯度直方图特征向量包括:
所述集成电路的梯度方向直方图特征计算电路在预设第四时间段获取对应每个细胞单元的四个梯度直方图归一化结果,分别进行加权处理后得到第一、第二、第三、第四梯度直方图特征向量结果;及
根据预设第一连接顺序将所述第一、第二、第三、第四梯度直方图特征向量结果进行连接,生成每个细胞单元的梯度直方图特征向量。
10.一种终端,其特征在于,所述终端包括集成电路,所述集成电路用于执行存储器中存储的计算机程序时实现如权利要求6至9中任意一项所述图像特征提取方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481013.5A CN108205680B (zh) | 2017-12-29 | 2017-12-29 | 图像特征提取集成电路、方法、终端 |
PCT/CN2018/079369 WO2019127923A1 (zh) | 2017-12-29 | 2018-03-16 | 集成电路、图像特征提取方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481013.5A CN108205680B (zh) | 2017-12-29 | 2017-12-29 | 图像特征提取集成电路、方法、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108205680A CN108205680A (zh) | 2018-06-26 |
CN108205680B true CN108205680B (zh) | 2020-02-04 |
Family
ID=62606094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711481013.5A Active CN108205680B (zh) | 2017-12-29 | 2017-12-29 | 图像特征提取集成电路、方法、终端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108205680B (zh) |
WO (1) | WO2019127923A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610451B (zh) * | 2019-08-12 | 2023-04-07 | 深圳云天励飞技术有限公司 | 图像梯度计算装置 |
CN111815578B (zh) * | 2020-06-23 | 2024-05-28 | 浙江大华技术股份有限公司 | 图像条纹检测方法、视频监控系统及相关装置 |
CN112102280B (zh) * | 2020-09-11 | 2021-03-23 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车小部件承挡键螺母松动和丢失故障检测方法 |
CN113393401B (zh) * | 2021-06-24 | 2023-09-05 | 上海科技大学 | 物体检测硬件加速器、系统、方法、设备和介质 |
CN113449711A (zh) * | 2021-09-01 | 2021-09-28 | 天津大学 | 一种基于方向密度特征的微多普勒图像手语感知识别方法 |
CN116126548B (zh) * | 2023-04-20 | 2023-08-01 | 广东赛昉科技有限公司 | 一种在npu中减少资源占用的方法、系统、设备及存储介质 |
CN117094288B (zh) * | 2023-10-18 | 2024-01-26 | 江西联创精密机电有限公司 | 图纸格式转换方法、装置、可读存储介质及电子设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576894B (zh) * | 2008-05-09 | 2012-05-30 | 中国科学院半导体研究所 | 实时图像内容检索系统及图像特征提取方法 |
US20120182442A1 (en) * | 2011-01-14 | 2012-07-19 | Graham Kirsch | Hardware generation of image descriptors |
CN102254196B (zh) * | 2011-06-22 | 2014-05-14 | 江苏奥博洋信息技术有限公司 | 计算机鉴别手写汉字的方法 |
CN106650753A (zh) * | 2016-12-20 | 2017-05-10 | 电子科技大学 | 一种基于特征选择的视觉映射方法 |
CN106780415B (zh) * | 2016-12-30 | 2020-03-10 | 华为技术有限公司 | 一种直方图统计电路及多媒体处理系统 |
-
2017
- 2017-12-29 CN CN201711481013.5A patent/CN108205680B/zh active Active
-
2018
- 2018-03-16 WO PCT/CN2018/079369 patent/WO2019127923A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN108205680A (zh) | 2018-06-26 |
WO2019127923A1 (zh) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108205680B (zh) | 图像特征提取集成电路、方法、终端 | |
US10929746B2 (en) | Low-power hardware acceleration method and system for convolution neural network computation | |
Mizuno et al. | Architectural study of HOG feature extraction processor for real-time object detection | |
CN108875537B (zh) | 对象检测方法、装置和系统及存储介质 | |
CN108875535B (zh) | 图像检测方法、装置和系统及存储介质 | |
CN108780507A (zh) | 用于提供图像分类器的系统和方法 | |
CN109074497B (zh) | 使用深度信息识别视频图像序列中的活动 | |
CN108875519B (zh) | 对象检测方法、装置和系统及存储介质 | |
CN111062854B (zh) | 检测水印的方法、装置、终端及存储介质 | |
CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和系统及设备 | |
CN111192312B (zh) | 基于深度学习的深度图像获取方法、装置、设备及介质 | |
CN112541902A (zh) | 相似区域搜索方法、装置、电子设备及介质 | |
CN108682021B (zh) | 快速手部跟踪方法、装置、终端及存储介质 | |
Wasala et al. | Real-time HOG+ SVM based object detection using SoC FPGA for a UHD video stream | |
CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
Mizuno et al. | An FPGA implementation of a HOG-based object detection processor | |
Zhang et al. | Hierarchical and parallel pipelined heterogeneous SoC for embedded vision processing | |
CN115937537A (zh) | 一种目标图像的智能识别方法、装置、设备及存储介质 | |
CN115661493A (zh) | 一种对象位姿的确定方法及装置、设备及存储介质 | |
CN112507903B (zh) | 假脸检测方法、装置、电子设备及计算机可读存储介质 | |
Pandey et al. | An FPGA-based architecture for local similarity measure for image/video processing applications | |
CN108090866B (zh) | 基于照片转换为艺术照的方法、系统及设备 | |
CN111784607A (zh) | 图像色调映射方法、装置、终端设备及存储介质 | |
Zhang et al. | Coarse-grained dynamically reconfigurable processor for vision pre-processing | |
CN113449559B (zh) | 一种表格识别方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 518000 Shenzhen Science Museum, 1003 Shangbuzhong Road, Futian District, Shenzhen City, Guangdong Province, 7th Floor Patentee after: Shenzhen Yuntian lifeI Technology Co., Ltd Address before: 518000 Shenzhen Science Museum, 1003 Shangbuzhong Road, Futian District, Shenzhen City, Guangdong Province, 7th Floor Patentee before: SHENZHEN INTELLIFUSION TECHNOLOGIES Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |