CN104217433A - 一种分析图像的方法及装置 - Google Patents

一种分析图像的方法及装置 Download PDF

Info

Publication number
CN104217433A
CN104217433A CN201410439141.3A CN201410439141A CN104217433A CN 104217433 A CN104217433 A CN 104217433A CN 201410439141 A CN201410439141 A CN 201410439141A CN 104217433 A CN104217433 A CN 104217433A
Authority
CN
China
Prior art keywords
image
sample
assignment
represent
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410439141.3A
Other languages
English (en)
Other versions
CN104217433B (zh
Inventor
杨林杰
黎伟
许春景
刘健庄
汤晓鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410439141.3A priority Critical patent/CN104217433B/zh
Publication of CN104217433A publication Critical patent/CN104217433A/zh
Application granted granted Critical
Publication of CN104217433B publication Critical patent/CN104217433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明实施例公开了一种分析图像的方法及装置,涉及计算机视觉技术领域,能够从预设的训练样本中自动学习较优的特征和比对方式,并通过掩模模板自适应的抑制对物体检测和视角估计作用较小或基本无用的信息,提高了物体检测和视角估计准确性,从而提高了分析图像过程的准确性。本发明的方法包括:根据预设的训练样本得到待定参数的值;根据第一级神经网络和待定参数生成掩模模板,根据掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像;根据第二级神经网络和待定参数分析掩模处理后的图像,得到掩模处理后的图像的分析结果。本发明适用于对图像中物体进行分析处理。

Description

一种分析图像的方法及装置
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种分析图像的方法及装置。
背景技术
目前计算机视觉技术得到了广泛应用,并且发展出了很多分析、处理图像的方法。当需要对图像中的一个物体执行跟踪、识别和行为分析等处理过程时,通常需要对于所拍摄的图像中的物体进行检测和物体的视角估计。
在现有技术中,主要通过可形变部件模型对目标物体进行检测和视角估计。例如:将人体作为目标物体,并针对目标物体的全部或部分特征设定可形变部件模型,可形变部件模型包括了人体在运动过程中的特征。
在图像中识别出模型的特征,并将图像中具有模型的特征的这部分区域的物体作为目标物体或目标物体的一部分。由于在实际场景中的目标物体可能是非刚体,由于拍摄角度的变化、目标物体形状的改变、或者光线强度的改变等原因,使图像中的目标物体的特征往往会有较大的变化,这就导致预先设定好的模型无法准确对应上目标物体的特征,从而导致通过可形变部件模型对目标物体进行识别检测或视角估计时的准确度降低。
因此,可形变部件模型中可用于目标物体识别的特征是有限的,在对非刚体的分析过程中可形变部件模型的灵活性较差,难以准确的检测和视角估计,从而降低了分析图像过程的准确性。
发明内容
本发明的实施例提供一种分析图像的方法及装置,能够提高检测和视角估计准确度,从而提高分析图像过程的准确性。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,本发明的实施例提供一种分析图像的方法,所述方法应用于一种图像分析系统,所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像;所述方法包括:
根据预设的训练样本得到待定参数的值,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角;
根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像;
根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
结合第一方面,在第一方面的第一种可能的实现方式中,所述根据预设的训练样本得到待定参数的值包括:
将所述待定参数设定为第1赋值;
在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板,所述训练样本包括了第1至N样本;并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果;重复上述周期,并获取第1至N样本在第1赋值下的分析结果;
依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果;
根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,包括:
通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图像进行分析,并得到所述掩模处理后的图像的分析结果。
结合第一方面的第一种可能的实现方式,在第一方面的第三种可能的实现方式中,所述根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值包括:
根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E;
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数;
将代价值最小的赋值作为所述目标赋值。
结合第一方面、以及第一方面的第一至第三种可能的实现方式,在第一方面的第四种可能的实现方式中,在根据预设的训练样本得到待定参数的值之前,还包括:
获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本;
并将所述样本集合中的另一部分样本图像作为所述待处理图像。
第二方面,本发明的实施例提供一种分析图像的装置,所述装置应用于一种图像分析系统,所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像;所述装置包括:
第一获取模块,用于根据预设的训练样本得到待定参数的值,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角;
第一处理模块,用于根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像;
分析模块,用于根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
结合第二方面,在第二方面的第一种可能的实现方式中,所述第一获取模块包括:
赋值单元,用于将所述待定参数设定为第1赋值;
第一处理单元,用于在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板,所述训练样本包括了第1至N样本;并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果;
第二处理单元,用于重复上述周期,并获取第1至N样本在第1赋值下的分析结果;
第三处理单元,用于依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果;
获取单元,用于根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述分析模块,包括:
分析单元,用于通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图像进行分析,并得到所述掩模处理后的图像的分析结果。
结合第二方面的第一种可能的实现方式,在第二方面的第三种可能的实现方式中,所述获取单元包括:
获取子单元,用于根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E;
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数;
处理子单元,用于将代价值最小的赋值作为所述目标赋值。
结合第二方面、以及第二方面的第一至第三种可能的实现方式,在第二方面的第四种可能的实现方式中,在第一获取模块之前,还包括:
第二获取模块,用于获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本;
第二处理模块,用于并将所述样本集合中的另一部分样本图像作为所述待处理图像。
本发明实施例提供的一种分析图像的方法及装置,通过根据预设的训练样本得到的待定参数的值,之后根据得到的待定参数的值,针对待处理图像得到的掩模模板,对待处理图像进行图像掩模处理,之后对得到掩模处理后的图像进行分析,得到分析结果。相比较于现有技术,根据预设的训练样本得到待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种具体应用场景示意图;
图2为本发明实施例提供的一种分析图像的方法流程图;
图2a、图2b、图2c为本发明实施例提供的另一种分析图像的方法流程图;
图2d为本发明实施例提供的另一种分析图像的方法流程图;
图3为本发明实施例提供的一种分析图像的装置结构图;
图3a、图3b、图3c为本发明实施例提供的另一种分析图像的装置结构图;
图3d为本发明实施例提供的另一种分析图像的装置结构图;
图4为本发明实施例提供的一种分析图像的设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例可以用于一种图像分析系统,该图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像。具体的,所述图像分析系统可以包括:掩模产生模块、掩模运算模块和目标预测模块。
其中,掩模产生模块,用于通过第一级神经网络生成掩模模板;掩模运算模块,用于生成掩模后图像;目标预测模块,用于通过第二级神经网络对生成掩模处理后的图像进行分析,从而生成目标预测的结果。
例如:如图1所示,第一级神经网络可以包括卷积神经网络(ConvolutionalNeural Network,CNN)CNNM,第二级神经网络可以包括卷积神经网络CNNV和卷积神经网络CNND,其中,CNN可以理解为一种基于深度学习(DeepLearning)的方法,由输入图像依次经过卷积层、最大值汇聚层、局部连接层、最大值汇聚层和全连接层对图像数据进行处理,从而得到输出。掩模产生模块,用于将待处理图像通过卷积神经网络(Convolutional Neural Network,CNN)CNNM生成掩模模板;掩模运算模块,用于将生成的掩模模板与待处理图像经过掩模运算后,得到掩模处理后的图像;目标预测模块,用于将得到的掩模处理后的图像通过卷积神经网络CNNV和卷积神经网络CNND的分析,得到视角估计结果和目标物体检测结果。
其中,卷积层和全连接层中所涉及到的处理图像数据过程中的待定参数的值,需要通过大量预设的训练样本学习得到。
本发明实施例提供一种分析图像的方法,如图2所示,包括:
101、根据预设的训练样本得到待定参数的值。
其中,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角。
例如:如图1所示,第一级神经网络为掩模产生模块中的卷积神经网络CNNM,第二级神经网络为目标预测模块中的卷积神经网络CNNV和卷积神经网络CNND。训练样本作为待处理图像,通过卷积神经网络CNNM得到待定参数的值。
其中,掩模模板,由待处理图像根据待定参数的值,通过卷积神经网络CNNM生成。训练样本包括样本图像和样本图像参数,当样本图像存在被检测物体,则样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角;当样本图像不存在被检测物体,则样本图像参数用于表示在样本图像是否包含目标物体。
102、根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像。
例如:如图1所示,在掩模运算模块中,待处理图像与生成的掩模模板经过掩模运算,从而完成掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像。
103、根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果。
其中,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
如图1所示,第二级神经网络为目标预测模块中的卷积神经网络CNNV和卷积神经网络CNND,分析结果包括:目标预测模块中的目标物体检测结果和视角估计结果中的至少一项。
例如:如图1所示,通过掩模运算模块得到掩模处理后的图像,之后通过卷积神经网络CNNV对得到的掩模处理后的图像进行分析,得到目标物体的检测结果。
再例如:如图1所示,通过掩模运算模块得到掩模处理后的图像,之后通过卷积神经网络CNNV对掩模处理后的图像进行分析,得到目标物体的检测结果;通过卷积神经网络CNND对掩模处理后的图像进行分析,得到视角估计的结果。
本发明实施例提供的一种分析图像的方法,通过根据预设的训练样本得到的待定参数的值,之后根据得到的待定参数的值,针对待处理图像得到的掩模模板,对待处理图像进行图像掩模处理,之后对得到掩模处理后的图像进行分析,得到分析结果。相比较于现有技术,根据预设的训练样本得到待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
在本实施例中,所述预设的训练样本得到待定参数的值,可以通过分析根据得到的多个待定参数所对应的分析结果而确定。因此,在如图2所示方式的基础上,101可以具体实现为如图2a所示的201-205:
201、将所述待定参数设定为第1赋值。
例如:为待定参数的值人为赋值,并将人为赋值的待定参数的值设定为第1赋值。
202、在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板;
其中,所述训练样本包括了第1至N样本。
例如:在一个周期内,根据第1赋值和第1样本图像A,通过掩模产生模块获取第1样本图像A所对应的掩模模板A。
并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;
例如:依据通过掩模产生模块获取的第1样本图像A所对应的掩模模板A,通过掩模运算模块对第1样本图像A进行图像掩模处理。
并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果。
例如:如图1所示,通过目标预测模块中的卷积神经网络CNNV和卷积神经网络CNND,根据第1赋值,对通过掩模运算模块的经过图像掩模处理后的第1样本图像A进行分析,并得到第1样本图像A的目标物体检测的结果和视角估计的结果。
203、重复上述周期,并获取第1至N样本在第1赋值下的分析结果。
例如:重复执行201-202,并获取第1至N样本在第1赋值下的分析结果。比如:N为3,则有第1样本图像A、第2样本图像B和第3样本图像C。将3个样本对应的图像分别作为第1样本执行201-202,从而得到第1样本图像A所对应的分析结果A1、第2样本图像B所对应的分析结果B1和第3样本图像C所对应的分析结果C1
其中,分析结果可以包括:目标物体检测的结果和视角估计的结果中的至少一种。
204、依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果。
例如:X为4,N为3,则为待定参数的值多次进行人为赋值,并将人为赋值的待定参数的值设定为第2赋值、第3赋值、第4赋值;
依次获取第1样本图像A、第2样本图像B和第3样本图像C在第2赋值下的分析结果A2、分析结果B2、分析结果C2
再依次获取第1样本图像A、第2样本图像B和第3样本图像C在第3赋值下的分析结果A3、分析结果B3、分析结果C3
之后依次获取第1样本图像A、第2样本图像B和第3样本图像C在第4赋值下的分析结果A4、分析结果B4、分析结果C4
205、根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
例如:根据204获取的第1至4赋值下,第1样本图像A、第2样本图像B和第3样本图像C所对应的分析结果A1、分析结果B1、分析结果C1、分析结果A2、分析结果B2、分析结果C2、分析结果A3、分析结果B3、分析结果C3、分析结果A4、分析结果B4和分析结果C4,确定目标赋值,并将目标赋值作为待定参数的值。
本发明实施例提供的一种分析图像的方法,通过根据预设的训练样本得到的多个待定参数的值,之后根据得到的待定参数的值,针对待处理图像得到掩模模板,并对待处理图像进行图像掩模处理,之后对得到多个掩模处理后的图像进行分析,得到多个分析结果,根据多个样本图像对应的分析结果,确定目标赋值,并将目标赋值作为待定参数的值。相比较于现有技术,根据预设的训练样本得到的待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。
通过对多个样本图像进行多次的重复实验,得到多个实验结果,再根据对实验结果进行对比、分析,从而得到最优的待定参数的值,提高掩模模板对不同样本的匹配性。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
在本实施例中,根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,具体可以根据所述目标赋值对所述掩模处理后的图像进行分析。因此,在如图2a所示方式的基础上,103可以具体实现为如图2b所示的301:
301、通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图像进行分析,并得到所述掩模处理后的图像的分析结果。
例如:如图1所示,第二级神经网络为目标预测模块中的卷积神经网络CNNV和卷积神经网络CNND,通过卷积神经网络CNNV,根据目标赋值,对掩模处理后的图像进行分析,得到目标物体的检测结果;通过卷积神经网络CNND,根据目标赋值,对掩模处理后的图像进行分析,得到视角估计的结果。
本发明实施例提供的一种分析图像的方法,通过对根据预设的训练样本得到的待定参数的值确定目标赋值,之后根据得到的目标赋值,针对待处理图像得到掩模模板,并对待处理图像进行图像掩模处理,之后依据得到的目标赋值对得到掩模处理后的图像进行分析,得到分析结果。相比较于现有技术,根据预设的训练样本得到的待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。
依据得到的待定参数的值对得到掩模处理后的图像进行分析,从而得到更准确的分析结果,提高掩模模板对不同样本的匹配性。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
在本实施例中,所述样本可以通过根据公式获取所述第1至N样本在各个赋值下的代价值,之后将代价值最小的赋值作为所述目标赋值。因此,在如图2a所示方式的基础上,205可以具体实现为如图2c所示的302-303:
302、根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E。
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数。
例如:用fM、fV、fD分别表示如图1所示的3个卷积神经网络的映射函数,其中,fM表示卷积神经网络CNND的映射函数,fV表示卷积神经网络CNNV的映射函数,fD表示卷积神经网络CNN的映射函数D,则有:M=fM(I),qV=fV(IM),qD=fD(IM)。其中,M表示生成的掩模模板,I表示输入图像,qV表示视角估计结果,qD表示目标物体检测结果,IM表示掩模处理后的图像,掩模运算由IM=min{I,M}得到,即求I和M对应元素的最小值。
fM、fV、fD所表示的映射函数包括:卷积、最大值汇聚、局部连接、最大值汇聚和全连接,具体步骤可以实现为3021-3025:
3021、卷积,由公式k=1,2,…,K1得到。
其中,表示输入,fM对应的输入为I,实验中,输入为图像的HOG(Histograms of Oriented Gradients,方向梯度直方图)特征,为一个Hin×Win×Kin的矩阵,比如:23×23×36;fV和fD对应的输入为IM;Wk表示一个Hw×Ww×Kin维的滤波器,比如:3×3×36;K1为滤波器的个数,比如:K1=32;*表示对输入的图像,或者图像的底层特征的卷积操作;ij表示输入的第i行第j列;bk为偏移量;σ表示一个函数,这里取σ(x)=tanh(x);Hin,Win,Kin,Hw,Ww和K1均为经验值。
3022、最大值汇聚。
将执行3021的每一个滤波器卷积的结果等分成H1×W1个块,比如:11×11,仅保留每一个块中的最大值的那个元素,这一过程通常被称为最大值的汇聚(Max Pooling),这样我们就得到一个H1×W1的矩阵,H1和W1为经验值,因为有K1个滤波器,所以最终会得到一个H1×W1×K1的矩阵,记为
3023、局部连接,由公式k=1,2,…,K2得到。
其中,为执行3022得到的矩阵,Uk表示一个Hu×Wu×K1维的滤波器,比如:7×7×32;K2为滤波器的个数,比如:K2=32;*表示对输入的图像,或者图像的底层特征的卷积操作;ij表示输入的第i行第j列;ck为偏移量;σ表示一个函数,这里取σ(x)=tanh(x);Hu,Wu和K2均为经验值。
3024、最大值汇聚。
将执行3023的每一个滤波器卷积的结果等分成H2×W2个块,比如:5×5,仅保留每一个块中的最大值的那个元素,这样我们就得到一个H2×W2的矩阵,H2和W2为经验值,因为有K2个滤波器,所以最终会得到一个H2×W2×K2的矩阵,记为
3025、全连接。
将执行3024得到的矩阵乘以一个全连接矩阵Z,得到输出O:对于fM,O=M,输出为一个和输入大小相同的Hin×Win×Kin维矩阵,此时对应的全连接矩阵Z为一个(H2×W2×K2)×(Hin×Win×Kin)维的矩阵;对于fD,O=qD,输出为一个1维的数值,此时对应的全连接矩阵Z为一个(H2×W2×K2)×1维的矩阵;对于fV,O=qV,输出为一个T维的向量,此时对应的全连接矩阵Z为一个(H2×W2×K2)×T维的矩阵。
其中,fM、fV、fD的参数,即上面所描述的Wk、bk、Uk、ck和Z,通过训练得到。假设有N个训练样本{I1,I2,…,IN},对应的类标为其中,表示该样本包含目标物体,表示该样本不包含目标物体,表示目标物体的视角,由一个T维的向量构成T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量为1,其他分量均为0,比如:表示该目标物体的视角为2,如果该样本不包含目标物体,则的T个分量均为0。
通过上述训练得到样本库,之后构建代价函数 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 其中,表示第i号样本图像是否包含所述目标物体,表示目标物体检测结果,表示在第i号样本图像中所述目标物体的视角,表示视角估计结果,λ是一个系数,Es是一个掩模模板稀疏性要求项,由公式得出,其中,mk为掩模模板M的第k个点的值,rk为mk到掩模模板中心点的距离。
其中,每一个赋值对应一个代价值。
303、将代价值最小的赋值作为所述目标赋值。
例如:通过神经网络最常用的反向传播算法,最小化代价函数,来确定fM、fV、fD的参数值,将得到的第1赋值下的代价值1、第2赋值下的代价值2和第3赋值下的代价值3进行比较,其中,代价值最小的赋值作为目标赋值。
本发明实施例提供的一种分析图像的方法,通过根据预设的训练样本中多个样本图像得到的待定参数的值,根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取预设的训练样本中的各个样本图像对应不同待定参数的值计算出的代价值,再通过比较,得到最小代价值,将代价值最小时所取的待定参数的值作为目标赋值,从而得到确定的待定参数的值,并对待处理图像进行图像掩模处理,之后对得到掩模处理后的图像进行分析,得到分析结果。相比较于现有技术,根据预设的训练样本得到的待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。
通过公式计算,获取各个样本图像的代价值,通过比较,将得到的最小代价值对应的样本图像的待定参数的值作为目标赋值,从而更准确的确定掩模模板,进一步提高掩模模板对不同样本的匹配性。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。在本实施例中,如图2、图2a、图2b和图2c所示实现方式中的任意一项所述的分析图像的方法,在根据预设的训练样本得到待定参数的值之前,如图2d所示,还包括:
104、获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本。
105、并将所述样本集合中的另一部分样本图像作为所述待处理图像。
例如:以汽车为例,样本数据库中包含3000张图片,其中,1000张图片作为训练样本,另外2000张图片作为待处理图像进行图像分析。
由于训练样本与待处理图像属于同一样本数据库中,因此,根据获取的目标赋值对应的待定参数的值,更能适应样本集合中的待处理图像,使生成的掩模模板具有较好的适应性,从而提高后续分析图像的准确率。
再例如:以汽车为例,样本数据库中包含3000张图片,其中,1000张图片作为训练样本,另外2000张图片作为待处理图像进行图像分析。
其中,1000张图片作为训练样本已得到分析结果,则直接获取分析结果。
由于训练样本与待处理图像属于同一样本数据库中,且已得到训练样本的分析结果,因此,不仅根据获取的目标赋值对应的待定参数的值,更能适应样本集合中的待处理图像,使生成的掩模模板具有较好的适应性,还能节省人工成本训练样本,从而提高后续分析图像的准确率。
进一步的,训练样本还可以从别处获取。
例如:以汽车为例,训练样本是从网上下载的93个具有三维信息的汽车模型,对每一个三维模型每间隔2度投影到二维平面,这样就得到93*180个训练样本;待处理图像的样本数据库为The Ecole Polytechnique Federale de Lausanne(EPFL)car dataset,该样本数据库包括至少20辆不同汽车的2000张图片,平均每辆汽车至少包括100张不同视角的图片。在只考虑水平视角变化的情况下,将360度视角,以汽车的正前方为0度,按照逆时针方向等分成36个视角,比如:(-18°,18°]为视角1,(18°,54°]为视角2,(-54°,-18°]为视角36等。
根据3021-3025中所述的映射函数fM、fV、fD,其中,如图1所示,fM表示卷积神经网络CNND的映射函数,fV表示卷积神经网络CNNV的映射函数,fD表示卷积神经网络CNN的映射函数D
将从网上下载的训练样本,通过如图1所示的掩模产生模块,得到93*180个待定参数的值;根据得到的全部待定参数的值确定目标赋值,并作为待定参数的值;将样本数据库中所包括的至少20辆不同汽车的2000张图片,根据待定参数的值,通过如图1所示的掩模产生模块,根据映射函数fM,以及待定参数的值,得到2000个掩模模板;再将得到的2000个掩模模板分别与输入的对应的待处理图像,进行掩模运算,得到2000个掩模处理后的图像;之后将得到的2000个掩模处理后的图像经过目标预测模块,根据映射函数fV、fD,以及待定参数的值,得到对应图像的2000组分析数据,即视角估计结果和目标物体检测结果;通过将分析结果和实际人工判断结果进行比对,得出表一结果。
实验中,分别采用可形变部件模型的方法、卷积神经网络的方法和本实施例所提供的方法对待测图像进行分析。其中,待处理图像为图像的HOG特征,采用本实施例所提供的方法对掩模处理后的图像进行分析时,通过根据确定的待定参数的值,再根据映射函数fM、fV、fD,得到掩模处理后的图像特征的分析数据,即视角估计结果和目标物体检测结果。
方法 目标物体检测正确率(%) 视角估计正确率(%)
可形变部件模型的方法 99.5 53.5
卷积神经网络的方法 95.3 46.1
本实施例所提供的方法 99.9 58.1
表一
实验结果表明,采用本实施例所提供的方法对生成的掩模处理后的图像进行分析,目标物体检测正确率为99.9%,相比较于采用可形变部件模型的方法和采用卷积神经网络的方法对待处理图像进行分析,可以更为准确的检测出目标物体;同时,采用本实施例所提供的方法对生成的掩模处理后的图像进行分析,目标视角估计正确率为58.1%,相比较于采用可形变部件模型的方法和采用卷积神经网络的方法对待处理图像进行分析,可以大大提升视角估计的正确率。
由于采用的训练样本与待处理图像无关,相比较于样本集合包括待处理图像和训练样本,且需要训练样本的情况下,可以避免人工参与训练样本,节约了训练样本所需的时间,同时降低了人工成本。
本发明实施例提供的一种分析图像的方法,通过根据预设的训练样本得到的待定参数的值,之后根据得到的待定参数的值,针对待处理图像得到掩模模板,对待处理图像进行图像掩模处理,之后对得到掩模处理后的图像进行分析,得到分析结果,其中,待处理图像与训练样本属于同一个样本集合中。相比较于现有技术,根据预设的训练样本得到的待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。
可以对样本集合中除样本图像以外的图像作为待处理图像,进行图像掩模处理、分析,从而提高掩模模板对不同样本的匹配性。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
本发明实施例还提供一种分析图像的装置40,如图3所示,所述装置应用于一种图像分析系统,所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像;所述装置包括:
第一获取模块41,用于根据预设的训练样本得到待定参数的值,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角;
第一处理模块42,用于根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像;
分析模块43,用于根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
进一步的,如图3a所示,所述第一获取模块41包括:
赋值单元411,用于将所述待定参数设定为第1赋值。
第一处理单元412,用于在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板,所述训练样本包括了第1至N样本;并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果。
第二处理单元413,用于重复上述周期,并获取第1至N样本在第1赋值下的分析结果。
第三处理单元414,用于依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果。
获取单元415,用于根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
具体的,如图3b所示,所述分析模块43,包括:
分析单元431,用于通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图像进行分析,并得到所述掩模处理后的图像的分析结果。
进一步的,如图3c所示,所述获取单元415,包括:
获取子单元4151,用于根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E。
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数。
处理子单元4152,用于将代价值最小的赋值作为所述目标赋值。
进一步的,根据如图3、图3a、图3b和图3c中的任意一项所述的分析图像的装置40,在第一获取模块之前,如图3d所示,还包括:
第二获取模块44,用于获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本;
第二处理模块45,用于并将所述样本集合中的另一部分样本图像作为所述待处理图像。
本发明实施例提供的一种分析图像的装置,通过根据预设的训练样本得到的待定参数的值,之后根据得到的待定参数的值,针对待处理图像得到的掩模模板,对待处理图像进行图像掩模处理,之后对得到掩模处理后的图像进行分析,得到分析结果。相比较于现有技术,根据预设的训练样本得到待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
本发明实施例提供了一种分析图像的设备50,所述设备应用于一种图像分析系统,所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像;所述设备至少包括:处理器501、存储器503和通信总线504;在本实施例中,设备50也可以包括网络接口502。所述通信总线504用于实现所述处理器501、所述网络接口502和所述存储器503之间的连接通信;所述存储器503,用于存储所述分析图像的设备50在运行过程中所涉及的数据;可选的,还包含用户接口505,包括显示器,键盘或者点击设备(例如,鼠标,轨迹球(trackball),触感板或者触感显示屏)。存储器503可能包含高速RAM存储器,也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器503可选的可以包含至少一个位于远离前述处理器501的存储装置;
在一些实施方式中,存储器503存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
其中操作系统5031,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务;应用程序5032,包含各种在系统上运行的应用程序。
具体的,所述处理器501,用于根据预设的训练样本得到待定参数的值,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角。
所述处理器501,还用于根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像。
所述处理器501,还用于根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
其中,所述处理器501具体用于:将所述待定参数设定为第1赋值;
在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板,所述训练样本包括了第1至N样本;并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果;
重复上述周期,并获取第1至N样本在第1赋值下的分析结果;
依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果;
根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
其中,所述处理器501具体用于:通过所述第二级神经网络,根据所述目标赋值对经过所述图像掩模处理的所述待处理图像进行分析,并得到所述待处理图像的分析结果。
其中,所述处理器501具体用于:根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E;
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数;
将代价值最小的赋值作为所述目标赋值。
其中,所述处理器501还用于:还包括:获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本;
并将所述样本集合中的另一部分样本图像作为所述待处理图像。
本发明实施例提供的一种分析图像的设备,通过根据预设的训练样本得到的待定参数的值,之后根据得到的待定参数的值,针对待处理图像得到的掩模模板,对待处理图像进行图像掩模处理,之后对得到掩模处理后的图像进行分析,得到分析结果。相比较于现有技术,根据预设的训练样本得到待定参数的值,使预设的训练样本自动学习较优的特征和比对方式。因此,本方法能够从预设的训练样本中自动学习较优的特征和比对方式,使根据待定参数的值生成的掩模模板适应目标物体的特征,在对非刚体的分析过程中具有灵活性,提高了检测和视角估计准确性,从而提高了分析图像过程的准确性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种分析图像的方法,其特征在于,所述方法应用于一种图像分析系统,所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像;所述方法包括:
根据预设的训练样本得到待定参数的值,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角;
根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像;
根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
2.根据权利要求1所述的分析图像的方法,其特征在于,所述根据预设的训练样本得到待定参数的值包括:将所述待定参数设定为第1赋值;
在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板,所述训练样本包括了第1至N样本;并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果;重复上述周期,并获取第1至N样本在第1赋值下的分析结果;
依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果;
根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
3.根据权利要求2所述的分析图像的方法,其特征在于,所述根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,包括:
通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图像进行分析,并得到所述掩模处理后的图像的分析结果。
4.根据权利要求2所述的分析图像的方法,其特征在于,所述根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值包括:
根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E;
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数;
将代价值最小的赋值作为所述目标赋值。
5.根据权利要求1-4中的任意一项所述的分析图像的方法,其特征在于,在根据预设的训练样本得到待定参数的值之前,还包括:
获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本;
并将所述样本集合中的另一部分样本图像作为所述待处理图像。
6.一种分析图像的装置,其特征在于,所述装置应用于一种图像分析系统,所述图像分析系统至少用于通过第一级神经网络得到图像的掩模模板,还用于通过第二级神经网络根据所述第一级神经网络得到的掩模模板处理图像;所述装置包括:
第一获取模块,用于根据预设的训练样本得到待定参数的值,所述训练样本包括样本图像和样本图像参数,其中,样本图像参数用于表示在样本图像是否包含目标物体,还用于表示包含所述目标物体时所述目标物体在所述样本图像中的视角;
第一处理模块,用于根据所述第一级神经网络和所述待定参数生成掩模模板,根据所述掩模模板对待处理图像进行图像掩模处理,得到掩模处理后的图像;
分析模块,用于根据所述第二级神经网络和所述待定参数分析所述掩模处理后的图像,得到所述掩模处理后的图像的分析结果,所述分析结果包括:目标物体检测结果和视角估计结果中的至少一项。
7.根据权利要求6所述的分析图像的装置,其特征在于,所述第一获取模块包括:
赋值单元,用于将所述待定参数设定为第1赋值;
第一处理单元,用于在一个周期内,根据所述第1赋值和第1样本获取所述第1样本对应的掩模模板,所述训练样本包括了第1至N样本;并依据所述第1样本对应的掩模模板对所述第1样本进行图像掩模处理;并通过所述第二级神经网络,根据所述第1赋值对经过所述图像掩模处理的所述第1样本进行分析,并得到第1样本的分析结果;
第二处理单元,用于重复上述周期,并获取第1至N样本在第1赋值下的分析结果;
第三处理单元,用于依次将所述待定参数设定为第2至X赋值,并依次获取第1至N样本在第2赋值下的分析结果,直至在第X赋值下的分析结果;
获取单元,用于根据第1至X赋值下的分析结果,确定目标赋值,并将所述目标赋值作为所述待定参数的值。
8.根据权利要求7所述的分析图像的装置,其特征在于,所述分析模块,包括:
分析单元,用于通过所述第二级神经网络,根据所述目标赋值对所述掩模处理后的图像进行分析,并得到所述掩模处理后的图像的分析结果。
9.根据权利要求7所述的分析图像的装置,其特征在于,所述获取单元包括:
获取子单元,用于根据 E = Σ i = 1 N ( - p i D log q i D - p i D Σ j = 1 T p i , j V log q i , j V + λE s ) , 获取所述第1至N样本在各个赋值下的代价值E;
其中,有N个训练样本{I1,I2,…,IN},所述N个训练样本对应的类标为其中,表示第i号样本图像包含所述目标物体,表示第i号样本图像不包含所述目标物体,表示在第i号样本图像中所述目标物体的视角,T表示视角被离散化为{1,2,…,T},的T个分量中最多只有一个分量等于1,其他分量均为0,λ表示预设系数;mk表示所述掩模模板的第k个点的值,rk为mk到所述掩模模板中心点的距离;M=fM(I),fM表示所述第一级神经网络的映射函数,M表示所述掩模模板,I表示所述训练样本中的样本图像,IM=min{I,M}即求I和M的各个对应元素的最小值,IM表示经过所述图像掩模处理后的样本图像,qV表示视角估计结果,qD表示目标物体检测结果,且qV=fV(IM),qD=fD(IM);fV和fD分别表示所述第二级神经网络的映射函数;
处理子单元,用于将代价值最小的赋值作为所述目标赋值。
10.根据权利要求6-9中的任意一项所述的分析图像的装置,其特征在于,在第一获取模块之前,还包括:
第二获取模块,用于获取样本集合中的一部分样本图像参数,并将所述一部分样本图像和所述一部分样本图像参数作为所述预设的训练样本;
第二处理模块,用于并将所述样本集合中的另一部分样本图像作为所述待处理图像。
CN201410439141.3A 2014-08-29 2014-08-29 一种分析图像的方法及装置 Active CN104217433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410439141.3A CN104217433B (zh) 2014-08-29 2014-08-29 一种分析图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410439141.3A CN104217433B (zh) 2014-08-29 2014-08-29 一种分析图像的方法及装置

Publications (2)

Publication Number Publication Date
CN104217433A true CN104217433A (zh) 2014-12-17
CN104217433B CN104217433B (zh) 2017-06-06

Family

ID=52098875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410439141.3A Active CN104217433B (zh) 2014-08-29 2014-08-29 一种分析图像的方法及装置

Country Status (1)

Country Link
CN (1) CN104217433B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096342A (zh) * 2015-08-11 2015-11-25 杭州景联文科技有限公司 一种基于傅里叶描述子和方向梯度直方图的入侵检测算法
CN106127802A (zh) * 2016-06-16 2016-11-16 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
WO2017201676A1 (en) * 2016-05-24 2017-11-30 Intel Corporation Self-adaptive window mechanism
CN107689224A (zh) * 2016-08-22 2018-02-13 北京深鉴科技有限公司 合理使用掩码的深度神经网络压缩方法
CN110023994A (zh) * 2017-10-02 2019-07-16 梅傲科技(广州)有限公司 组织病理学图像分析
CN110647993A (zh) * 2019-09-23 2020-01-03 南方科技大学 一种红外传感器掩膜制造方法、装置、系统及存储介质
CN110678961A (zh) * 2017-05-26 2020-01-10 Asml美国有限责任公司 在光学光刻中模拟近场图像
CN111913873A (zh) * 2020-06-17 2020-11-10 浙江数链科技有限公司 图片校验方法、装置、系统和计算机可读存储介质
CN112396021A (zh) * 2020-11-30 2021-02-23 五邑大学 高空危险物检测方法、装置及存储介质
CN115661763A (zh) * 2022-12-26 2023-01-31 武汉沃德采科技发展有限公司 一种基于视觉图像分析的设备监控自动控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244570A1 (en) * 2008-03-27 2009-10-01 Seiko Epson Corporation Face image-output control device, method of controlling output of face image, program for controlling output of face image, and printing device
CN103971329A (zh) * 2014-05-26 2014-08-06 电子科技大学 一种基于遗传优化细胞神经网络的多源图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090244570A1 (en) * 2008-03-27 2009-10-01 Seiko Epson Corporation Face image-output control device, method of controlling output of face image, program for controlling output of face image, and printing device
CN103971329A (zh) * 2014-05-26 2014-08-06 电子科技大学 一种基于遗传优化细胞神经网络的多源图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GARY B. HUANG ET AL.: "Learning hierarchical representations for", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YI SUN ET AL.: "Deep Convolutional Network Cascade for Facial Point Detection", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
肖博旭: "基于卷积网络人脸检测的研究与实现", 《中国优秀硕士学位论文全文数据库》 *
赵静: "基于BP人工神经网络的遥感影像土地覆盖分类研究--以湖北省汉川市为例", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096342A (zh) * 2015-08-11 2015-11-25 杭州景联文科技有限公司 一种基于傅里叶描述子和方向梯度直方图的入侵检测算法
WO2017201676A1 (en) * 2016-05-24 2017-11-30 Intel Corporation Self-adaptive window mechanism
CN109643395A (zh) * 2016-05-24 2019-04-16 英特尔公司 自适应窗口机制
CN109643395B (zh) * 2016-05-24 2024-03-05 英特尔公司 自适应窗口机制
CN106127802A (zh) * 2016-06-16 2016-11-16 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
CN106127802B (zh) * 2016-06-16 2018-08-28 南京邮电大学盐城大数据研究院有限公司 一种运动目标轨迹追踪方法
CN107689224A (zh) * 2016-08-22 2018-02-13 北京深鉴科技有限公司 合理使用掩码的深度神经网络压缩方法
CN107689224B (zh) * 2016-08-22 2020-09-01 北京深鉴智能科技有限公司 合理使用掩码的深度神经网络压缩方法
CN110678961A (zh) * 2017-05-26 2020-01-10 Asml美国有限责任公司 在光学光刻中模拟近场图像
CN110678961B (zh) * 2017-05-26 2023-10-24 Asml美国有限责任公司 在光学光刻中模拟近场图像
CN110023994B (zh) * 2017-10-02 2020-10-30 梅傲科技(广州)有限公司 组织病理学图像分析
CN110023994A (zh) * 2017-10-02 2019-07-16 梅傲科技(广州)有限公司 组织病理学图像分析
CN110647993A (zh) * 2019-09-23 2020-01-03 南方科技大学 一种红外传感器掩膜制造方法、装置、系统及存储介质
CN111913873A (zh) * 2020-06-17 2020-11-10 浙江数链科技有限公司 图片校验方法、装置、系统和计算机可读存储介质
CN112396021A (zh) * 2020-11-30 2021-02-23 五邑大学 高空危险物检测方法、装置及存储介质
CN112396021B (zh) * 2020-11-30 2024-02-20 五邑大学 高空危险物检测方法、装置及存储介质
CN115661763A (zh) * 2022-12-26 2023-01-31 武汉沃德采科技发展有限公司 一种基于视觉图像分析的设备监控自动控制系统

Also Published As

Publication number Publication date
CN104217433B (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN104217433A (zh) 一种分析图像的方法及装置
CA3154025A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
US11657265B2 (en) Training first and second neural network models
Nehmzow et al. Quantitative description of robot–environment interaction using chaos theory
JP2009169934A (ja) 可変形オブジェクト認識のためのシステムおよび方法
Marie et al. The delta medial axis: a fast and robust algorithm for filtered skeleton extraction
US20040096096A1 (en) Matching binary templates against range map derived silhouettes for object pose estimation
Sanders et al. A robotic welding system using image processing techniques and a CAD model to provide information to a multi‐intelligent decision module
RU2014113049A (ru) Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов
Ecins et al. Detecting reflectional symmetries in 3d data through symmetrical fitting
WO2022099528A1 (zh) 点云法向量计算方法、装置、计算机设备和存储介质
CN107553496A (zh) 机械臂逆运动学求解方法误差的确定及校正方法和装置
EP3671635B1 (en) Curvilinear object segmentation with noise priors
Gálvez et al. Immunological-based approach for accurate fitting of 3D noisy data points with Bézier surfaces
Matsubara et al. Active touch point selection with travel cost in tactile exploration for fast shape estimation of unknown objects
CN112233104B (zh) 实时位移场和应变场检测方法、系统、装置和存储介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
Bourmaud Online variational bayesian motion averaging
CN108805121B (zh) 一种车牌检测定位方法、装置、设备及计算机可读介质
CN104463912A (zh) 一种基于簇相似的多尺度目标跟踪方法
Akinin et al. Algorithm of the automated combining of remote sensing data and digital maps, based on non-linear cellular neural network and Boltzmann's restricted stochastic machine
CN110070001A (zh) 行为检测方法及装置、计算机可读存储介质
CN116229210B (zh) 目标检测模型训练方法、装置、设备和介质
Maitra et al. Seismic data interpretation using hough transformation technique
CN113763458B (zh) 确定目标对象摆放面的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant