CN111639704A - 目标识别方法、装置及计算机可读存储介质 - Google Patents
目标识别方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111639704A CN111639704A CN202010471995.5A CN202010471995A CN111639704A CN 111639704 A CN111639704 A CN 111639704A CN 202010471995 A CN202010471995 A CN 202010471995A CN 111639704 A CN111639704 A CN 111639704A
- Authority
- CN
- China
- Prior art keywords
- image
- image set
- target
- training
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 28
- 239000002699 waste material Substances 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能领域,揭露了一种目标识别方法,包括获取初始图像集,对所述初始图像集进行预处理操作,得到待识别图像集;对所述待识别图像集进行局部纹理提取,得到纹理图谱集;将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。本发明可以解决目标识别整体过程效率低,计算资源浪费的问题。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种目标识别方法、装置、电子设备及计算机可读存储介质。
背景技术
目标识别是指一个特殊目标(例如人脸)从其它目标(或其它类型的目标)中被区分出来的过程,例如在视频中定位随时间变化的目标人脸。智能手机和移动设备的高速发展使得目标识别扮演着越来越重要作用,从人脸解锁到相机应用,从人脸识别到美颜工具都需要进行人脸的目标识别。
当待识别图像比较多时,由于有些图像中可能并不存在目标物,但是传统的目标识别算法并不知道哪些图像中包含有目标物,哪些图像中不包含目标物,因此需要对所有图像进行计算,如此会造成计算资源的浪费以及目标识别效率的低下。
发明内容
本发明提供一种目标识别方法、装置、电子设备及计算机可读存储介质,其主要目的在于解决目标识别整体过程效率低,计算资源浪费的问题。
为实现上述目的,本发明提供的一种目标识别方法,包括:
获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集;
对所述待识别图像集进行局部纹理提取,得到纹理图谱集;
将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;
将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
可选地,该方法还包括训练所述优化分类器,所述训练包括:
获取训练图像集,其中,所述训练图像集中包括多个训练图像以及每一个训练图像的标签数据;
将所述训练图像进行局部纹理提取,得到纹理图谱训练集;
构建多个弱分类器,利用所述多个弱分类器对所述纹理图谱训练集进行分类,得到分类结果,根据所述分类结果以及所述的标签数据利用错误率函数从所述多个弱分类器中筛选出所述优化分类器。
可选地,所述弱分类器为:
其中,h(δi,f(δi),p,θ)为对所述纹理图谱训练集进行分类,得到的分类结果,δi为所述纹理图谱训练集中的每一个纹理图谱,p为预设不等号方向的指示参数,f(δi)表示纹理图谱的检测窗口,θ为预设的分类阈值,θ设置为多个不同值从而得到多个所述弱分类器。
可选地,所述根据所述分类结果以及所述的标签数据利用错误率函数从所述多个弱分类器中筛选出所述优化分类器,包括:
利用如下错误率函数计算每个所述弱分类器的错误率εt:
其中,wi为所述纹理图谱训练集,yi为所述标签数据。
可选地,所述对所述待识别图像集进行局部纹理提取,得到纹理图谱集,包括:
依次用n×n的图像窗口在所述待识别图像集中执行区域选择,得到多个图像区域,根据每个所述图像区域的中心像素以及所述中心像素的邻域像素,利用预设算法计算每个所述图像区域的中心像素的二进制码元;
根据所得到的所有二进制码元,得到所述纹理图谱集。
可选地,所述根据每个所述图像区域的中心像素以及所述中心像素的邻域像素,利用预设算法计算每个所述图像区域的中心像素的二进制码元,包括:
其中,P0为所述图像区域的中心像素,Pe为所述中心像素的邻域像素的均值,n为所述邻域像素的个数,s(P0-Pe)为量化运算。
可选地,该方法还包括训练所述图像识别模型,其中,所述训练包括:
步骤A:获取训练目标图像集,以及所述训练目标图像集对应的标准目标识别结果;
步骤B:利用所述图像识别模型对所述训练目标图像集进行转化,得到训练目标识别结果;
步骤C:将所述训练目标识别结果和所述标准目标识别结果输入至所述图像识别模型的损失函数中进行计算,得到损失值,当所述损失值大于或等于预设的损失阈值时,调整所述图像识别模型参数,返回步骤B重新进行转化;
步骤D:当所述损失值小于预设的损失阈值时,得到训练完成的图像识别模型。
为了解决上述问题,本发明还提供一种目标识别装置,所述装置包括:
预处理模块,用于获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集;
纹理提取模块,用于对所述待识别图像集进行局部纹理提取,得到纹理图谱集;
分类模块,用于将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;
目标识别模块,用于将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述所述的目标识别方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的目标识别方法。
本发明实施例获取初始图像集,并对所述初始图像集进行预处理操作,因此,可以去除所述待识别图像集中的干扰因素,减少后续目标识别过程中计算资源的占用;对所述待识别图像集进行局部纹理提取,得到纹理图谱集,便于后续实现更精确地目标识别;将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集,利用分类器筛选出需要识别的目标图像集,进一步减少了目标识别过程中计算资源的占用;将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。因此本发明提供的目标识别方法、装置、电子设备及计算机可读存储介质,解决了目标识别整体过程效率低,计算资源浪费的问题。
附图说明
图1为本发明一实施例提供的目标识别方法的流程示意图;
图2为本发明一实施例提供的目标识别装置的模块示意图;
图3为本发明一实施例提供的目标识别方法的电子设备的内部结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种目标识别方法。参照图1所示,为本发明一实施例提供的目标识别方法的流程示意图。该方法可以由一个装置执行,该装置可以由软件和/或硬件实现。
在本实施例中,目标识别方法包括:
S1、获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集。
本发明实施例中,所述初始图像集可以是,例如,含有人脸的图像等。进一步地,所述初始图像集可以直接通过网络下载,如从百度图库等网络资源库中下载,和/或者直接从一个用于存储图像的数据库中获取,和/或从一段视频中获取。
所述初始图像集中某些图像可能本身的质量就不高,或者某些图像在获取过程中,例如下载过程中由于被自动压缩导致出现清晰度不足,噪点太多等问题,因此,本发明实施例首先对所述初始图像集进行预处理操作,以提高图像清晰度以及减少噪点。
较佳地,所述预处理操作包括:将所述初始图像集进行灰度值转换、降噪处理、几何变换处理以及对比度增强,得到所述待识别图像集。
详细地,本发明实施例利用下述灰度值转换公式进行灰度值转换:
Gray=0.30*R+0.59*G+0.11*B
其中R,G,B为图像中的像素的三分量,Gray为转换得到的灰度值。
进一步地,本发明实施例中,所述降噪处理包括:
将所述初始图像集每一像素点的像素值用该像素点的邻域中各像素点的像素值的中值代替,使得所述像素点周围的像素值接近的真实值,从而消除孤立的噪声点。
其中,所述邻域可以是在所述初始图像上通过一个预设的圆形结构的二维滑动模板获取的一个区域,并将所述获取的区域中所有像素点的像素值按照大小进行排序,生成单调上升(或下降)的二维数据序列,从而找到所述邻域中各像素点的像素值的中值。
详细地,本发明实施例利用如下计算公式对所述初始图像集进行降噪处理:
g(x,y)=med{f(x-j,y-k),(j,k∈W)}
其中,f(x,y)为所述初始图像集;g(x,y)为降噪处理之后的图像,W为二维滑动模板;j、k为所述二维滑动模版边界上像素点的坐标;med为降噪处理运算。
进一步地,所述几何变换处理包括:
对所述初始图像集通过平移、转置、镜像、旋转、缩放等几何变换处理,改正所述初始图像获取过程中产生的系统误差和仪器位置产生的随机误差。
进一步地,所述对比度增强是指增强图像中像素点亮度最大值与最小值之间的对比。本发明实施例可以采用对比度拉伸方法对所述初始图像集进行对比度增强。
本发明实施例使用对比度拉伸方法中的分段线性变换函数,根据实际需求针对所述初始图像中特定区域进行灰度拉伸,进而增强所述初始图像的对比度。
详细地,本发明实施例利用下述分段线性变换函数公式将所述初始图像进行对比度增强:
Db=f(Da)=a*Da+b
其中Da代表输入图像的灰度值,Db代表输出图像的灰度值,a为线性斜率,b为预设的截距。
本发明实施例通过上述手段,获取初始图像集,并对所述初始图像集进行预处理操作,可以去除所述待识别图像集中的干扰因素,减少后续目标识别过程中计算资源的占用。
S2、对所述待识别图像集进行局部纹理提取,得到纹理图谱集。
较佳地,本发明实施例利用局部二进制模式(Local Binary Patterns,简称LBP)对所述待识别图像集进行局部纹理提取,得到纹理图谱集。
所述局部二进制模式对所述待识别图像集中任一像素点的特征描述都参考了周围像素值,可以克服所述待识别图像集中的局部噪声、光照、姿势等带来的负面影响。
所述对所述待识别图像集进行局部纹理提取,得到纹理图谱集,包括:
依次用n×n的图像窗口在所述待识别图像集中执行区域选择,得到多个图像区域,根据每个所述图像区域的中心像素以及所述中心像素的邻域像素,利用预设算法计算每个所述图像区域的中心像素的二进制码元,并根据所得到的所有二进制码元,得到所述纹理图谱集。
详细地,本发明实施例利用如下算法计算所述图像区域的中心像素的二进制码元
其中,P0为所述图像区域的中心像素,Pe为所述中心像素的邻域像素的均值,n为所述邻域像素的个数,s(P0-Pe)为量化运算。
其中,所述s(P0-Pe)代表的量化运算的表达式如下:
x=P0-Pe
进一步地,本发明实施例将所述待识别图像集中的所有像素的像素值均通过上述二进制码元的计算后,根据得到的所有二进制码元得到所述纹理图谱集。
本发明实施例通过上述手段,对所述待识别图像集进行局部纹理提取,得到纹理图谱集,便于后续实现更精确地目标识别。
S3、将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集。
进一步地,所述将所述纹理图谱集输入一个优化分类器执行分类操作之前,该方法还包括训练所述优化分类器,所述训练包括:
获取训练图像集,其中,所述训练图像集中包括多个训练图像以及每一个训练图像的标签数据;
将所述训练图像进行局部纹理提取,得到纹理图谱训练集;
构建多个弱分类器,其中所述弱分类器用于判断所述纹理图谱集中的纹理图谱是否含有目标图像,如人脸图像;
利用所述多个弱分类器对所述纹理图谱训练集进行分类,得到分类结果,根据所述分类结果以及所述的标签数据利用错误率函数从所述多个弱分类器中筛选出所述优化分类器。
较佳地,本发明实施例所述弱分类器如下所示:
其中,h(δi,(δi),p,θ)为对所述纹理图谱训练集进行分类,得到的分类结果,δi为所述纹理图谱训练集中的每一个纹理图谱,p为预设不等号方向的指示参数,f(δi)表示纹理图谱的检测窗口,θ为预设的分类阈值,θ设置为多个不同值从而得到多个所述弱分类器。
较佳地,利用所述多个弱分类器对所述纹理图普集进行分类,可得到多种分类结果。本发明实施例根据所述分类结果利用错误率函数对所述预先训练好的多个弱分类器进行筛选,得到所述优化分类器。
其中,所述错误率函数为:
其中,wi为所述纹理图谱训练集,yi为所述标签数据。
较佳地,当所述错误率达到最小值时,即可得到所述优化分类器。
进一步地,本发明实施例根据所述优化分类器输出的分类结果从所述初始图像集中筛选出目标图像集。其中,所述目标图像集即包含目标物,如人脸的图像的集合。
本发明实施例通过上述手段,将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集,利用分类器筛选出需要识别的目标图像集,进一步减少了目标识别过程中计算资源的占用。
S4、将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
较佳地,所述预先训练完成的图像识别模型由一个卷积神经网络构成,为了能够更好的识别出所述目标图像中的内容,本发明实施例将所述卷积神经网络进行了改进,本发明实施例中,所述预先训练完成的图像识别模型包括如下四部分:
卷积层(Conv layers):用于对所述目标图像集进行目标提取,通过卷积处理获取所述目标图像集中需要提取的目标物。
区域生成网络(Region Proposal Networks):用于对所述目标图像集进行区域划分,将所述目标图像集划分为若干个图像区域。
池化层(Roi Pooling):用于对所述卷积层的输出结果进行池化处理,从而获取所述目标物的目标特征集。
分类层(Classification):利用池化层获取的所述目标特征集对区域生成网络划分的所述图像区域进行分类,得到所述目标物的准确位置。
较佳地,为了后续精准的识别出目标的位置,所述区域生成网络将所述目标图像集映射至预先构建的直角坐标系中并按照预设的像素宽度将所述目标图像集划分为若干图像区域;根据所述目标图像集中每个像素在所述直角坐标系中的坐标对像素进行编号。将所述目标图像集输入至预先训练完成的图像识别模型后,所述图像识别模型会对所述目标图像集进行识别,识别出所述目标图像集中需要提取的目标在直角坐标系中的具体位置,即为识别结果。
详细地,所述分类层利用如下分类函数对区域生成网络划分的所述图像区域进行分类:
优选地,所述图像识别模型的训练过程包括:
步骤A:获取训练目标图像集,以及所述训练目标图像集对应的标准目标识别结果;
步骤B:利用所述图像识别模型对所述训练目标图像集进行转化,得到训练目标识别结果;
步骤C:将所述训练目标识别结果和所述标准目标识别结果输入至所述图像识别模型的损失函数中进行计算,得到损失值,当所述损失值大于或等于预设的损失阈值时,调整所述图像识别模型参数,返回步骤B重新进行转化;
步骤D:当所述损失值小于预设的损失阈值时,得到训练完成的图像识别模型。
较佳地,所述图像识别模型的损失函数如下:
本发明实施例获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集,进行预处理操作,去除所述待识别图像集中的干扰因素,减少后续目标识别过程中计算资源的占用;对所述待识别图像集进行局部纹理提取,得到纹理图谱集,便于后续实现更精确地目标识别;将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集,利用分类器筛选出需要识别的目标图像集,进一步减少了目标识别过程中计算资源的占用;将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果,利用预先训练完成的图像识别模型实现对目标图像中目标的精准识别。因此本发明提供的目标识别方法、装置、电子设备及计算机可读存储介质,解决了目标识别整体过程效率低,计算资源浪费的问题。
如图2所示,是本发明目标识别方法装置的功能模块图。
本发明所述目标识别方法装置100可以安装于电子设备中。根据实现的功能,所述目标识别方法装置可以包括预处理模块101、纹理提取模块102、分类模块103和目标识别模块104。本发所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述预处理模块101,用于获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集;
所述纹理提取模块102,用于对所述待识别图像集进行局部纹理提取,得到纹理图谱集;
所述分类模块103,用于将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;
所述目标识别模块104,用于将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
详细地,所述的目标识别方法装置各模块的具体实施步骤如下:
所述预处理模块101获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集。
本发明实施例中,所述初始图像集可以是,例如,含有人脸的图像等。进一步地,所述初始图像集可以直接通过网络下载,如从百度图库等网络资源库中下载,和/或者直接从一个用于存储图像的数据库中获取,和/或从一段视频中获取。
所述初始图像集中某些图像可能本身的质量就不高,或者某些图像在获取过程中,例如下载过程中由于被自动压缩导致出现清晰度不足,噪点太多等问题,因此,本发明实施例首先对所述初始图像集进行预处理操作,以提高图像清晰度以及减少噪点。
较佳地,所述预处理操作包括:将所述初始图像集进行灰度值转换、降噪处理、几何变换处理以及对比度增强,得到所述待识别图像集。
详细地,本发明实施例利用下述灰度值转换公式进行灰度值转换:
Gray=0.30*R+0.59*G+0.11*B
其中R,G,B为图像中的像素的三分量,Gray为转换得到的灰度值。
进一步地,本发明实施例中,所述降噪处理包括:
将所述初始图像集每一像素点的像素值用该像素点的邻域中各像素点的像素值的中值代替,使得所述像素点周围的像素值接近的真实值,从而消除孤立的噪声点。
其中,所述邻域可以是在所述初始图像上通过一个预设的圆形结构的二维滑动模板获取的一个区域,并将所述获取的区域中所有像素点的像素值按照大小进行排序,生成单调上升(或下降)的二维数据序列,从而找到所述邻域中各像素点的像素值的中值。
详细地,本发明实施例利用如下计算公式对所述初始图像集进行降噪处理:
g(x,y)=med{f(x-j,y-k),(j,k∈W)}
其中,f(x,y)为所述初始图像集;g(x,y)为降噪处理之后的图像,W为二维滑动模板;j、k为所述二维滑动模版边界上像素点的坐标;med为降噪处理运算。
进一步地,所述几何变换处理包括:
对所述初始图像集通过平移、转置、镜像、旋转、缩放等几何变换处理,改正所述初始图像获取过程中产生的系统误差和仪器位置产生的随机误差。
进一步地,所述对比度增强是指增强图像中像素点亮度最大值与最小值之间的对比。本发明实施例可以采用对比度拉伸方法对所述初始图像集进行对比度增强。
本发明实施例使用对比度拉伸方法中的分段线性变换函数,根据实际需求针对所述初始图像中特定区域进行灰度拉伸,进而增强所述初始图像的对比度。
详细地,本发明实施例利用下述分段线性变换函数公式将所述初始图像进行对比度增强:
Db=f(Da)=a*Da+b
其中Da代表输入图像的灰度值,Db代表输出图像的灰度值,a为线性斜率,b为预设的截距。
本发明实施例通过所述预处理模块101获取初始图像集,并对所述初始图像集进行预处理操作,可以去除所述待识别图像集中的干扰因素,减少后续目标识别过程中计算资源的占用。
所述纹理提取模块102对所述待识别图像集进行局部纹理提取,得到纹理图谱集。
较佳地,本发明实施例利用局部二进制模式(Local Binary Patterns,简称LBP)对所述待识别图像集进行局部纹理提取,得到纹理图谱集。
所述局部二进制模式对所述待识别图像集中任一像素点的特征描述都参考了周围像素值,可以克服所述待识别图像集中的局部噪声、光照、姿势等带来的负面影响。
所述对所述待识别图像集进行局部纹理提取,得到纹理图谱集,包括:
依次用n×n的图像窗口在所述待识别图像集中执行区域选择,得到多个图像区域,根据每个所述图像区域的中心像素以及所述中心像素的邻域像素,利用预设算法计算每个所述图像区域的中心像素的二进制码元,并根据所得到的所有二进制码元,得到所述纹理图谱集。
详细地,本发明实施例利用如下算法计算所述图像区域的中心像素的二进制码元
其中,P0为所述图像区域的中心像素,Pe为所述中心像素的邻域像素的均值,n为所述邻域像素的个数,s(P0-Pe)为量化运算。
其中,所述s(P0-Pe)代表的量化运算的表达式如下:
x=P0-Pe
进一步地,本发明实施例将所述待识别图像集中的所有像素的像素值均通过上述二进制码元的计算后,根据得到的所有二进制码元得到所述纹理图谱集。
本发明实施例通过所述纹理提取模块102对所述待识别图像集进行局部纹理提取,得到纹理图谱集,便于后续实现更精确地目标识别。
所述分类模块103将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集。
进一步地,所述将所述纹理图谱集输入一个优化分类器执行分类操作之前,该方法还包括训练所述优化分类器,所述训练包括:
获取训练图像集,其中,所述训练图像集中包括多个训练图像以及每一个训练图像的标签数据;
将所述训练图像进行局部纹理提取,得到纹理图谱训练集;
构建多个弱分类器,其中所述弱分类器用于判断所述纹理图谱集中的纹理图谱是否含有目标图像,如人脸图像;
利用所述多个弱分类器对所述纹理图谱训练集进行分类,得到分类结果,根据所述分类结果以及所述的标签数据利用错误率函数从所述多个弱分类器中筛选出所述优化分类器。
较佳地,本发明实施例所述弱分类器如下所示:
其中,h(δi,(δi),p,θ)为对所述纹理图谱训练集进行分类,得到的分类结果,δi为所述纹理图谱训练集中的每一个纹理图谱,p为预设不等号方向的指示参数,f(δi)表示纹理图谱的检测窗口,θ为预设的分类阈值,θ设置为多个不同值从而得到多个所述弱分类器。
较佳地,利用所述多个弱分类器对所述纹理图普集进行分类,可得到多种分类结果。本发明实施例根据所述分类结果利用错误率函数对所述预先训练好的多个弱分类器进行筛选,得到所述优化分类器。
其中,所述错误率函数为:
其中,wi为所述纹理图谱训练集,yi为所述标签数据。
较佳地,当所述错误率达到最小值时,即可得到所述优化分类器。
进一步地,本发明实施例根据所述优化分类器输出的分类结果从所述初始图像集中筛选出目标图像集。其中,所述目标图像集即包含目标物,如人脸的图像的集合。
本发明实施例通过所述分类模块103将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集,利用分类器筛选出需要识别的目标图像集,进一步减少了目标识别过程中计算资源的占用。
所述目标识别模块104将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
较佳地,所述预先训练完成的图像识别模型由一个卷积神经网络构成,为了能够更好的识别出所述目标图像中的内容,本发明实施例将所述卷积神经网络进行了改进,本发明实施例中,所述预先训练完成的图像识别模型包括如下四部分:
卷积层(Conv layers):用于对所述目标图像集进行目标提取,通过卷积处理获取所述目标图像集中需要提取的目标物。
区域生成网络(Region Proposal Networks):用于对所述目标图像集进行区域划分,将所述目标图像集划分为若干个图像区域。
池化层(Roi Pooling):用于对所述卷积层的输出结果进行池化处理,从而获取所述目标物的目标特征集。
分类层(Classification):利用池化层获取的所述目标特征集对区域生成网络划分的所述图像区域进行分类,得到所述目标物的准确位置。
较佳地,为了后续精准的识别出目标的位置,所述区域生成网络将所述目标图像集映射至预先构建的直角坐标系中并按照预设的像素宽度将所述目标图像集划分为若干图像区域;根据所述目标图像集中每个像素在所述直角坐标系中的坐标对像素进行编号。将所述目标图像集输入至预先训练完成的图像识别模型后,所述图像识别模型会对所述目标图像集进行识别,识别出所述目标图像集中需要提取的目标在直角坐标系中的具体位置,即为识别结果。
详细地,所述分类层利用如下分类函数对区域生成网络划分的所述图像区域进行分类:
优选地,所述图像识别模型的训练过程包括:
步骤A:获取训练目标图像集,以及所述训练目标图像集对应的标准目标识别结果;
步骤B:利用所述图像识别模型对所述训练目标图像集进行转化,得到训练目标识别结果;
步骤C:将所述训练目标识别结果和所述标准目标识别结果输入至所述图像识别模型的损失函数中进行计算,得到损失值,当所述损失值大于或等于预设的损失阈值时,调整所述图像识别模型参数,返回步骤B重新进行转化;
步骤D:当所述损失值小于预设的损失阈值时,得到训练完成的图像识别模型。
较佳地,所述图像识别模型的损失函数如下:
如图3所示,是本发明实现目标识别方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如目标识别程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如目标识别程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如目标识别程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的目标识别程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集;
对所述待识别图像集进行局部纹理提取,得到纹理图谱集;
将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;
将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
具体地,所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种目标识别方法,其特征在于,所述方法包括:
获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集;
对所述待识别图像集进行局部纹理提取,得到纹理图谱集;
将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;
将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
2.如权利要求1所述的目标识别方法,其特征在于,该方法还包括训练所述优化分类器,所述训练包括:
获取训练图像集,其中,所述训练图像集中包括多个训练图像以及每一个训练图像的标签数据;
将所述训练图像进行局部纹理提取,得到纹理图谱训练集;
构建多个弱分类器,利用所述多个弱分类器对所述纹理图谱训练集进行分类,得到分类结果,根据所述分类结果以及所述的标签数据利用错误率函数从所述多个弱分类器中筛选出所述优化分类器。
5.如权利要求1所述的目标识别方法,其特征在于,所述对所述待识别图像集进行局部纹理提取,得到纹理图谱集,包括:
依次用n×n的图像窗口在所述待识别图像集中执行区域选择,得到多个图像区域,根据每个所述图像区域的中心像素以及所述中心像素的邻域像素,利用预设算法计算每个所述图像区域的中心像素的二进制码元;
根据所得到的所有二进制码元,得到所述纹理图谱集。
7.如权利要求1至6中任意一项所述的目标识别方法,其特征在于,该方法还包括训练所述图像识别模型,其中,所述训练包括:
步骤A:获取训练目标图像集,以及所述训练目标图像集对应的标准目标识别结果;
步骤B:利用所述图像识别模型对所述训练目标图像集进行转化,得到训练目标识别结果;
步骤C:将所述训练目标识别结果和所述标准目标识别结果输入至所述图像识别模型的损失函数中进行计算,得到损失值,当所述损失值大于或等于预设的损失阈值时,调整所述图像识别模型参数,返回步骤B重新进行转化;
步骤D:当所述损失值小于预设的损失阈值时,得到训练完成的图像识别模型。
8.一种目标识别装置,其特征在于,所述装置包括:
预处理模块,用于获取初始图像集,并对所述初始图像集进行预处理操作,得到待识别图像集;
纹理提取模块,用于对所述待识别图像集进行局部纹理提取,得到纹理图谱集;
分类模块,用于将所述纹理图谱集输入一个优化分类器执行分类操作,并根据得到的分类结果从所述初始图像集中筛选出目标图像集;
目标识别模块,用于将所述目标图像集输入至预先训练完成的图像识别模型中进行目标识别,输出目标识别结果。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的目标识别方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的目标识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010471995.5A CN111639704A (zh) | 2020-05-28 | 2020-05-28 | 目标识别方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010471995.5A CN111639704A (zh) | 2020-05-28 | 2020-05-28 | 目标识别方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111639704A true CN111639704A (zh) | 2020-09-08 |
Family
ID=72331582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010471995.5A Pending CN111639704A (zh) | 2020-05-28 | 2020-05-28 | 目标识别方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111639704A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
CN113283446A (zh) * | 2021-05-27 | 2021-08-20 | 平安科技(深圳)有限公司 | 图像中目标物识别方法、装置、电子设备及存储介质 |
CN114742801A (zh) * | 2022-04-19 | 2022-07-12 | 广东省第二人民医院(广东省卫生应急医院) | 一种基于pso-svm算法的b超图像智能识别方法及装置 |
CN116386060A (zh) * | 2023-03-23 | 2023-07-04 | 浪潮智慧科技有限公司 | 一种水尺数据自动标注方法、装置、设备及介质 |
CN116703837A (zh) * | 2023-05-24 | 2023-09-05 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于mri图像的肩袖损伤智能识别方法及装置 |
CN117725943A (zh) * | 2024-02-06 | 2024-03-19 | 浙江码尚科技股份有限公司 | 基于数图处理的点阵码识别方法及系统 |
-
2020
- 2020-05-28 CN CN202010471995.5A patent/CN111639704A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634273A (zh) * | 2021-03-10 | 2021-04-09 | 四川大学 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
CN113283446A (zh) * | 2021-05-27 | 2021-08-20 | 平安科技(深圳)有限公司 | 图像中目标物识别方法、装置、电子设备及存储介质 |
CN113283446B (zh) * | 2021-05-27 | 2023-09-26 | 平安科技(深圳)有限公司 | 图像中目标物识别方法、装置、电子设备及存储介质 |
CN114742801A (zh) * | 2022-04-19 | 2022-07-12 | 广东省第二人民医院(广东省卫生应急医院) | 一种基于pso-svm算法的b超图像智能识别方法及装置 |
CN116386060A (zh) * | 2023-03-23 | 2023-07-04 | 浪潮智慧科技有限公司 | 一种水尺数据自动标注方法、装置、设备及介质 |
CN116386060B (zh) * | 2023-03-23 | 2023-11-14 | 浪潮智慧科技有限公司 | 一种水尺数据自动标注方法、装置、设备及介质 |
CN116703837A (zh) * | 2023-05-24 | 2023-09-05 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于mri图像的肩袖损伤智能识别方法及装置 |
CN116703837B (zh) * | 2023-05-24 | 2024-02-06 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于mri图像的肩袖损伤智能识别方法及装置 |
CN117725943A (zh) * | 2024-02-06 | 2024-03-19 | 浙江码尚科技股份有限公司 | 基于数图处理的点阵码识别方法及系统 |
CN117725943B (zh) * | 2024-02-06 | 2024-06-04 | 浙江码尚科技股份有限公司 | 基于数图处理的点阵码识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639704A (zh) | 目标识别方法、装置及计算机可读存储介质 | |
CN111652845B (zh) | 异常细胞自动标注方法、装置、电子设备及存储介质 | |
CN112465071A (zh) | 图像多标签分类方法、装置、电子设备及介质 | |
CN112036292B (zh) | 基于神经网络的文字识别方法、装置及可读存储介质 | |
CN113283446B (zh) | 图像中目标物识别方法、装置、电子设备及存储介质 | |
CN111932547B (zh) | 图像中目标物的分割方法、装置、电子设备及存储介质 | |
CN112699775A (zh) | 基于深度学习的证件识别方法、装置、设备及存储介质 | |
CN112396005A (zh) | 生物特征图像识别方法、装置、电子设备及可读存储介质 | |
CN112507934A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
CN111476760B (zh) | 医学图像的生成方法、装置、电子设备及介质 | |
CN112052850A (zh) | 车牌识别方法、装置、电子设备及存储介质 | |
CN113705462A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN111695609A (zh) | 目标物损伤程度判定方法、装置、电子设备及存储介质 | |
CN112528908B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
CN111414916A (zh) | 图像中文本内容提取生成方法、装置及可读存储介质 | |
CN112541902A (zh) | 相似区域搜索方法、装置、电子设备及介质 | |
CN112581522A (zh) | 图像中目标物位置检测方法、装置、电子设备及存储介质 | |
CN112132216B (zh) | 车型识别方法、装置、电子设备及存储介质 | |
CN113012068A (zh) | 图像去噪方法、装置、电子设备及计算机可读存储介质 | |
CN114723636A (zh) | 基于多特征融合的模型生成方法、装置、设备及存储介质 | |
CN111985449A (zh) | 救援现场图像的识别方法、装置、设备及计算机介质 | |
CN115147405A (zh) | 一种快速新能源电池无损检测方法 | |
CN112862703B (zh) | 基于移动拍照的图像校正方法、装置、电子设备及介质 | |
CN117455762A (zh) | 基于全景行车记录仪的记录画面分辨率提升方法及系统 | |
CN112329666A (zh) | 人脸识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |