CN107918688B - 场景模型动态估计方法、数据分析方法及装置、电子设备 - Google Patents
场景模型动态估计方法、数据分析方法及装置、电子设备 Download PDFInfo
- Publication number
- CN107918688B CN107918688B CN201710727993.6A CN201710727993A CN107918688B CN 107918688 B CN107918688 B CN 107918688B CN 201710727993 A CN201710727993 A CN 201710727993A CN 107918688 B CN107918688 B CN 107918688B
- Authority
- CN
- China
- Prior art keywords
- moment
- model
- time
- distribution
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000007405 data analysis Methods 0.000 title description 16
- 238000004458 analytical method Methods 0.000 claims description 78
- 239000000203 mixture Substances 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明提供一种场景模型动态估计方法,所述方法包括:(a)建立用于描述动态变化的场景的场景模型;(b)获取样本特征数据;(c)根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;(d)将所述初始时刻的模型参数确定为当前时刻的模型参数;(e)获取所述当前时刻的下一时刻的观测特征数据;(f)根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;(g)将所述下一时刻确定为当前时刻;(h)利用迭代方法执行(e)(f)(g),直至计算完所述场景模型中每个时刻的模型参数。本发明还提供一种场景模型动态估计装置。本发明能提高运算速度,使结果更稳定,平滑。
Description
技术领域
本发明设计数据处理技术领域,尤其涉及一种场景模型动态估计方法、数据分析方法及装置、电子设备。
背景技术
高斯混合模型(Gaussian Mixture Models,GMM)被广泛应用于模式识别、计算机视觉、机器学习、数据挖掘、生物信息学等不同领域。在这些领域里,它被用来完成诸如图像分割、聚类、概率密度函数的构建等任务。高斯混合模型由多个不同的高斯分量(Gaussiancomponents)组成。
通常人们用期望最大化(Expectation Maximization,EM)算法求解高斯混合模型中的参数。在有些动态变化的应用场景(对一段语音场景、对运动目标进行分析的场景等等),高斯混合模型的混合系数(mixture coefficients)会随着时间变化,因此,急需一种解决动态变化的应用场景下的动态估计高斯混合模型参数的方法。
目前,动态估计高斯混合模型参数的方法包括基于滑动窗口和移动平均数的方法。滑动窗口方法的主要不足计算量较大而且冗余,对每一个时刻的混合系数的计算都需要使用一定长度为的时间段内的数据,期望最大化算法处理数据的时间复杂度为O(n2)。此外时刻t和时刻t+1所对应的滑动窗口有很大一部分是重叠的,因此这些重叠的数据被分别计算了多次。同时,滑动窗口方法对窗口之外的数据不做处理,如果窗口尺寸较小,会导致样本量不足,如果窗口尺寸较大,会违反混合系数的变化可以忽略不计的假设。另外,基于移动平均数的方法需要知道不同时刻的模型的高斯分量(Gaussian components)之间的对应关系,这对于传统的期望最大化方法来说很难做到。
发明内容
鉴于以上内容,有必要提供一种场景模型动态估计方法、数据分析方法及装置、电子设备,本发明能对动态变化的场景模型进行估计,并对动态变化的应用场景的数据进行准确的分析。
一种场景模型动态估计方法,所述方法包括:
(a)、建立用于描述动态变化的场景的场景模型;
(b)、获取样本特征数据;
(c)、根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;
(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;
(e)、获取所述当前时刻的下一时刻的观测特征数据;
(f)、根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;
(g)、将所述下一时刻确定为当前时刻;
(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述场景模型中每个时刻的模型参数。
根据本发明优选实施例,所述场景模型由多个时刻下的高斯混合模型组成,所述多个时刻中任一时刻下的高斯混合模型表示为:其中x表示所述任一时刻下任一样本的特征,其中样本均值μk表示所述任一时刻下样本特征的均值、样本方差∑k表示所述任一时刻下样本特征的变化程度,混合系数πk及表示在所述任一时刻下的高斯混合模型中第k个高斯分量的权重;
所述任一时刻下的模型参数包括样本均值μk、样本方差∑k、混合系数分布估计。
根据本发明优选实施例,所述任一时刻下的模型参数还包括任一时刻下的混合系数,所述方法还包括:
根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数。
根据本发明优选实施例,所述根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数包括以下一种或者多种组合:
对根据所述任一时刻下的混合系数分布估计进行采样,获取采样数据,将采样数据确定为所述任一时刻下的混合系数;或
计算使所述任一时刻下的混合系数分布估计最大的一组数值,将所述一组数值确定为所述任一时刻下的混合系数。
根据本发明优选实施例,所述方法还包括:
利用狄利克雷分布,对所述任一时刻下的高斯混合模型中的混合系数进行建模,得到所述任一时刻下的混合系数分布模型。
根据本发明优选实施例,所述根据所述样本特征数据,对场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数包括:
基于所述样本特征数据,利用期望最大化方法对初始时刻下的高斯混合模型中的样本估计,得到初始时刻下的样本均值、初始时刻下的样本方差;
基于所述样本特征数据,利用极大似然估计对初始时刻下的混合系数分布模型进行初始估计,得到初始时刻下的混合系数分布估计。
根据本发明优选实施例,所述根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数包括:
将当前时刻的混合系数分布估计确定为所述下一时刻下的混合系数的先验分布;
根据所述下一时刻的观测特征数据,计算所述下一时刻的混合系数的似然函数;
根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布;
将所述下一时刻的混合系数的后验分布确定为所述下一时刻的混合系数分布估计。
根据本发明优选实施例,所述根据所述下一时刻的观测特征数据,计算所述下一时刻的混合系数的似然函数包括:
确定所述下一时刻的样本均值及所述下一时刻的样本方差;
根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布;
将所述下一时刻的混合系数的多项分布确定为所述下一时刻的混合系数的似然函数;
所述根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布包括:
根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的多项分布,利用贝叶斯定理及利用多项分布与狄利克雷分布的共轭关系,计算所述下一时刻的混合系数的后验分布。
根据本发明优选实施例,所述根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布包括:
根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理,并采用松弛操作及平滑操作计算所述下一时刻的混合系数的后验分布。
根据本发明优选实施例,所述根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布包括:
根据所述下一时刻的样本均值、所述下一时刻的样本方差、所述所述下一时刻下的混合系数的先验分布,计算所述下一时刻的观测特征数据的隐含变量的期望值,所述隐含变量表示所述下一时刻中每一个样本属于所述下一时刻的高斯混合模型中的每一个高斯分布的程度;
根据所述下一时刻的观测特征数据的隐含变量的期望值,计算所述下一时刻的混合系数的多项分布的参数;
基于所述下一时刻的混合系数的多项分布的参数,估计所述下一时刻的混合系数的多项分布。
一种场景模型动态估计装置,所述装置包括:
建立模块,用于建立用于描述动态变化的场景的场景模型;
获取模块,用于获取样本特征数据;
计算模块,用于根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;
确定模块,用于将所述初始时刻的模型参数确定为当前时刻的模型参数;
所述获取模块还用于获取所述当前时刻的下一时刻的观测特征数据;
所述计算模块还用于根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;
所述确定模块还用于将所述下一时刻确定为当前时刻;
迭代模块,用于利用迭代方法继续执行所述获取模块获取所述当前时刻的下一时刻的观测特征数据;所述计算模块根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;所述确定模块将所述下一时刻确定为当前时刻,直至计算完所述场景模型中每个时刻的模型参数。
一种电子设备,所述电子设备包括存储器及处理器,所述存储器用于存储至少一个指令,所述处理器用于执行所述至少一个指令以实现任意实施例中所述场景模型动态估计方法。
一种数据分析方法,其特征在于,所述方法包括:
获取采集的待测样本;
从所述采集的待测样本中提取待测样本特征数据;
利用所述待测样本特征数据对应的场景模型,计算所述待测样本特征数据对应的概率,利用上述实施例中任意一项的场景模型动态估计方法对所述待测样本特征数据对应的场景模型进行估计;
根据所述待测样本特征数据对应的概率,对所述待测样本进行分析,得到分析结果。
一种电子设备,所述电子设备包括存储器及处理器,所述存储器用于存储至少一个指令,所述处理器用于执行所述至少一个指令以实现实施例中的数据分析方法。
一种人群分析方法,所述方法包括:
获取采集的监控区域内的人脸图像;
从所述人脸图像中提取人脸特征数据;
基于人群分析模型,对所述人脸特征数据进行分析,识别所述人脸特征数据的用户的在多个时段中每个时段的出现频率,所述人群分析模型利用上述实施例中任一项的场景模型动态估计方法进行估计;
根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。
一种电子设备,其特征在于,所述电子设备包括存储器及处理器,所述存储器用于存储至少一个指令,所述处理器用于执行所述至少一个指令以实现实施例中数据分析方法。
由以上技术方案可以看出,本发明通过(a)、建立用于描述动态变化的场景的场景模型;(b)、获取样本特征数据;(c)、根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;(e)、获取所述当前时刻的下一时刻的观测特征数据;(f)、根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;(g)、将所述下一时刻确定为当前时刻;(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述场景模型中每个时刻的模型参数。本发明的计算量减少一个数量级,提高了运算速度。而且每一时刻的混合系数都是基于上一时刻的混合系数做的修正,因此使得场景模型中的混合系数的估计结果更稳定。另外,采用松弛(relaxation)操作逐渐减少前序估计所占的比重,着重近期的数据,实现动态估计,使结果更准确。采用平滑操作进行混合系数的估计,这样可以使得场景模型中的混合系数的估计结果更平滑。因此,本发明对动态变化的应用场景的数据进行准确的分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1是本发明场景模型动态估计方法的较佳实施例的流程图。
图2是本发明中数据分析方法的较佳实施例的流程图。
图3是本发明中人群分析方法的较佳实施例的流程图。
图4是本发明场景模型动态估计装置的较佳实施例的功能模块图。
图5是本发明数据分析装置的较佳实施例的功能模块图。
图6是本发明人群分析装置的较佳实施例的功能模块图。
图7是本发明至少一个实例中电子设备的较佳实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,是本发明场景模型动态估计方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
S10,所述电子设备建立用于描述动态变化的场景的场景模型。
在本发明的实施例中,在所述动态变化的场景中,场景中样本的特征会随着时间在变化。例如,对于一段语音数据,每个时刻对应的音位的可能性在变化。对于在一个时间段内观测到的人像数据,每个人出现的频率会随着时间变化。当然所述动态变化的场景还包括其他应用场景,不限于上述的举例。
所述场景模型由多个时刻下的高斯混合模型组成,所述多个时刻中任一时刻下的高斯混合模型表示为:
其中,x表示所述任一时刻下任一样本的特征,其中样本均值μk表示所述任一时刻下样本特征的均值、样本方差∑k表示所述任一时刻下样本特征的变化程度,混合系数πk表示在所述任一时刻下的高斯混合模型中第k个高斯分量的权重,也可以说,表示在所述任一时刻下的样本来自第k个高斯分量的概率。
例如,对于一段语音数据,所述样本表示音位、所述样本特征表示音位的发音、所述样本均值表示音位的发音的均值,所述样本方差表示同一音位的发音的变化程度,所述混合系数πk表示音位来自任一时刻下第k个高斯分量的概率。
又如:对于抓拍的一段人像数据,所述样本表示人像、所述样本特征表示人的外表特征、所述样本均值表示人的外表特征的均值,所述样本方差表示同一个的外表特征的差异程度,所述混合系数πk表示在任一时刻下每个人对应的频率。
在本发明的实施例中,在所述场景模型中,所述场景模型的模型参数包括多个时刻下的模型参数。所述多个时刻中任一时刻下的模型参数包括样本均值μk、样本方差∑k、混合系数分布估计。
S11,所述电子设备获取样本特征数据。
在优选实施例中,所述样本特征数据从预先采集的样本中提取出来的,并预先存储于所述电子设备的存储器中。样本的数量越大,后续估计所述场景模型的模型参数的置信度就会越大,所述场景模型的模型参数就会越准确。
S12,所述电子设备根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数。
在优选实施例中,任一时刻下的混合系数πk满足0≤πk≤1,其中K表示任一时刻下高斯分量的总数。因此,所述电子设备利用狄利克雷分布(Dirichletdistribution),对所述任一时刻下的高斯混合模型中的混合系数进行建模,得到所述任一时刻下的混合系数分布模型,即得到所述任一时刻s下的狄利克雷分布Dir(π|αs),其中αs是任一时刻s下的狄利克雷分布的参数向量,π表示任一时刻s下的混合系数向量。
基于所述任一时刻下的混合系数分布模型,根据所述样本特征数据,对场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数包括:
基于所述样本特征数据,利用极大似然估计对初始时刻下的高斯混合模型中的样本估计,得到初始时刻下的均值估计、初始时刻下的方差估计;
基于所述样本特征数据,利用期望最大化方法,对混合系数分布模型进行初始估计,得到初始时刻下的混合系数分布估计,即狄利克雷分布Dir(π|α0),其中,α0是初始时刻下的狄利克雷分布的参数向量,π表示初始时刻下的混合系数向量。
S13,所述电子设备将所述初始时刻的模型参数确定为当前时刻的模型参数。
S14,所述电子设备获取所述当前时刻的下一时刻的观测特征数据。
在本发明的实施例中,当前时刻用t-1表示,当前时刻的下一时刻用t表示。例如,若场景中的数据以每秒采集一次,若当前时刻t-1对应第一秒,则当前时刻的下一时刻对应第二秒。
所述观测特征数据从所述场景模型中的采集设备实时采集的观测数据中提取出来的。例如,当所述场景模型用于描述一个区域内的人群进行人群分析时,采集设备可以是摄像装置,观测数据即为采集的人脸样本数据,观测特征数据即为采集的人脸样本的特征数据。
S15,所述电子设备根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数。
在优选实施例中,所述根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数包括:
(a1)将当前时刻的混合系数分布估计确定为所述下一时刻下的混合系数的先验分布,用pt-1(π)表示。
例如,将初始时刻的混合系数分布估计确定为第一时刻下的混合系数的先验分布。后续再根据第一时刻的观测特征数据,对所述第一时刻下的混合系数的先验分布进行修正。
(a2)根据所述下一时刻的观测特征数据,计算所述下一时刻的混合系数的似然函数,用pt(x|π)表示。
(a3)根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布pt(π|x)=pt(x|π)pt-1(π)/pt(x)。
通过上述优选实施例可知,每一时刻的混合系数分布估计都是基于上一时刻的混合系数分布估计做的修正,因此使得场景模型中的混合系数的分布估计更稳定,计算结果更准确。
在优选实施例中,根据所述下一时刻的混合系数的先验分布及下一时刻的混合系数的多项分布,利用贝叶斯定理及利用多项分布与狄利克雷分布的共轭关系,计算所述下一时刻的混合系数的后验分布。所述下一时刻的混合系数的多项分布的计算过程在后续详述。
具体地,当将所述下一时刻的混合系数的多项分布Multi(m|π)确定为所述下一时刻的混合系数的似然函数时,利用贝叶斯定理及利用多项分布与狄利克雷分布的共轭关系,所述下一时刻的混合系数的后验分布pt(π|x)=pt(x|π)pt-1(π)/pt(x)=Multi(m|π)×Dir(π|αt-1)/pt(x)=Dir(π|(αt-1+m),其中Dir(π|(αt-1+m)表示狄利克雷分布,m为所述下一时刻的混合系数的多项分布的参数向量,所述αt-1表示当前时刻下的狄利克雷分布的参数向量。
由于观测样本的数量随着时间增加的同时,对参数的估计的置信度也在不断增加。因此为了适应混合系数随着时间变化的情况,采取松弛(relaxation)操作逐渐减少前序估计所占的比重,这样场景模型会倾向于忽略早期的数据,着重近期的数据,实现动态估计,使结果更准确。另外对混合系数的变化趋势不做假设,在观测数据未知的情况下混合系数的各个分量的值应该趋近于相等,所以在减少前序估计所占的比重的同时还可以采取平滑操作,这样可以使得场景模型中的混合系数的估计结果更平滑。
因此,可以根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理,并采用松弛操作计算所述下一时刻的混合系数的后验分布pt(π|x)=Dir(δ(αt-1+m)+b)。由于贝叶斯定理是在概率的理论基础上形成的,因此,利用贝叶斯定理对场景模型中的混合系数分布进行估计,可以适用于不同的应用场景,具有推广性。
其中,0≤δ≤1,δ表示历史数据所占的比重,b≤0,b表示所述下一时刻的混合系数π变化的不确定性。
(a4)将所述下一时刻的混合系数的后验分布确定为所述下一时刻的混合系数分布估计。
在优选实施例中,所述根据所述下一时刻的观测特征数据,计算所述下一时刻的混合系数的似然函数包括:
(a21)确定所述下一时刻的样本均值及所述下一时刻的样本方差。
优选地,为了简化计算,任一时刻下的样本均值等于初始时刻下的样本均值,任一时刻下的样本方差等于初始时刻下的样本方差。当然也可以采用其他估计方法(如期望最大法)来估计任一时刻下的样本均值及任一时刻下的样本方差。
(a22)根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布Multi(m|π)。
(a23)将所述下一时刻的混合系数的多项分布确定为所述下一时刻的混合系数的似然函数。
在优选实施例中,所述根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布Multi(m|π)包括:
(a221)根据所述下一时刻的样本均值、所述下一时刻的样本方差、所述下一时刻下的混合系数的先验分布,计算所述下一时刻的观测特征数据的隐含变量z的期望值E[z|x,α],其中α表示所述下一时刻下的狄利克雷分布的参数,所述隐含变量表示所述下一时刻中每一个样本属于所述下一时刻的高斯混合模型中的每一个高斯分布的程度。
(a222)根据所述下一时刻的观测特征数据的隐含变量的期望值,计算所述下一时刻的混合系数的多项分布的参数。
具体地,计算所述下一时刻的混合系数的多项分布Multi(m|π)的参数mk的公式如下:
其中mk表示向量m中第k个分量,znk|表示所述下一时刻中第k个高斯分量对应的观测特征数据中第n个样本的隐含变量。其中α表示所述下一时刻下的狄利克雷分布的参数,
(a223)基于所述下一时刻的混合系数的多项分布的参数,估计所述下一时刻的混合系数的多项分布。
S16,所述电子设备将所述下一时刻确定为当前时刻。
在本发明的实施例中,将所述下一时刻确定为当前时刻,相当于赋值操作。例如,若所述下一时刻用tt1表示,所述当前时刻用tt表示,则所述下一时刻确定为当前时刻,即表示为tt=tt1。
S17,利用迭代方法执行(S14)、(S15)、(S16),直至计算完所述场景模型中每个时刻的模型参数。
在优选实施例中,所述任一时刻下的模型参数还包括任一时刻下的混合系数,所述方法还包括:
根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数。
所述根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数包括以下一种或者多种组合:
对根据所述任一时刻下的混合系数分布估计进行采样,获取采样数据,将采样数据确定为所述任一时刻下的混合系数;或
计算使所述任一时刻下的混合系数分布估计最大的一组数值,将所述一组数值确定为所述任一时刻下的混合系数。
本发明通过(a)、建立用于描述动态变化的场景的场景模型;(b)、获取样本特征数据;(c)、根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;(e)、获取所述当前时刻的下一时刻的观测特征数据;(f)、根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;(g)、将所述下一时刻确定为当前时刻;(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述场景模型中每个时刻的模型参数。本发明的计算量减少一个数量级,提高了运算速度。而且每一时刻的混合系数都是基于上一时刻的混合系数做的修正,因此使得场景模型中的混合系数的估计结果更稳定。另外,采用松弛(relaxation)操作逐渐减少前序估计所占的比重,着重近期的数据,实现动态估计,使结果更准确。采用平滑操作进行混合系数的估计,这样可以使得场景模型中的混合系数的估计结果更平滑。
如图2所示,是本发明数据分析方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
S20,所述电子设备获取采集的待测样本。
在本发明的实施例中,高斯混合模型被广泛应用于模式识别、计算机视觉、机器学习、数据挖掘、生物信息学等不同领域。在这些领域里,高斯混合模型可以用于完成诸如图像分割、聚类、概率密度函数的构建等不同的应用场景。
因此,应用场景的不同,所述待测样本会不同。例如,所述待测样本可以是人脸数据、人的语音数据等等,所述待测样本并不限于上述的举例。
S21,所述电子设备从所述采集的待测样本中提取待测样本特征数据。
在本发明的实施例中,利用特征提取技术,从所述采集的待测样本中提取待测样本特征数据。所述特征提取技术是现有技术,本发明不再详述。
S22,所述电子设备利用所述待测样本特征数据对应的场景模型,计算所述待测样本特征数据在对应的场景模型下的概率。
在本发明的实施例中,预先建立所述待测样本特征数据对应的场景模型,预先建立的场景模型利用上述图1所示的实施例进行动态估计。这样能准确的表示动态变化的应用场景,提高应用场景下的任务的准确度,及提高运算效率。
S23,所述电子设备根据所述待测样本特征数据在对应的场景模型下的概率,对所述待测样本进行分析,得到分析结果。
在本发明的实施例中,结合应用场景,对所述待测样本的分析,得到分析结果。例如,若应用场景是运动场景下的背景模型的分割,场景模型表示的是运动场景下的背景估计模型,所述待测样本特征数据为t时刻的每个像素点XT,所述待测样本特征数据在对应的场景模型下的概率即为每个像素点XT属于背景估计模型的概率,根据每个像素点XT属于背景估计模型的概率,判断每个像素点是否与背景估计模型相匹配。当某个像素点与所述背景估计模型相匹配,即可确定分析结果为所述像素点属于运动场景下的背景。当某个像素点与所述背景估计模型不匹配,即可确定分析结果为所述像素点不属于运动场景下的背景等等。
本发明通过获取采集的待测样本;从所述采集的待测样本中提取待测样本特征数据;利用所述待测样本特征数据对应的场景模型,计算所述待测样本特征数据对应的概率;根据所述待测样本特征数据对应的概率,对所述待测样本进行分析,得到分析结果。因此,本发明对动态变化的应用场景的数据进行准确的分析。
基于人群分析的应用场景实施例:
在实际场景中,监控区域中的人脸数据是随着时间动态变化的,人脸识别系统中的人脸数据是不断增长的,实际的“常住人口”、“徘徊人员”等也是随时间变化的。针对选定时间范围的数据进行聚类的方法计算复杂度高,无法在人脸数据动态变化的情况下有效的进行常住人口等类似的人群分析。因此,为了解决上述问题,可以采用如图3所示的方法进行人群分析。
如图3所示,图3是本发明中人群分析方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
S30,所述电子设备获取采集的监控区域内的人脸图像。
在本发明的实施例中,所述目标区域为人员活动区域,所述人脸图像可以是一个或者多个,一个人脸图像对应一个用户。采集监控区域内的人脸图像的具体实现方式可以是:通过在人员活动区域的不同位置部署多个监控摄像机,以获取大规模的人脸图像。其中,可以理解的,采集的人员活动区域内人脸图像是不断增长的,人员活动区域内的人员的出现也是随时间变化。
S31,所述电子设备从所述人脸图像中提取人脸特征数据。
S32,所述电子设备基于人群分析模型,对所述人脸特征数据进行分析,计算所述人脸特征数据的用户的在多个时段中每个时段的出现频率。
在本发明的实施例中,预先建立所述人群分析模型。预先建立的人群分析模型利用上述图1所示的实施例进行动态估计,具体如下:
(a)、建立所述人群分析模型,所述人群分析模型由多个时刻下的高斯混合模型组成,所述多个时刻中任一时刻下的高斯混合模型表示为:其中x表示所述任一时刻下任一人像的外表特征,μk为样本均值,表示所述任一时刻下第k个用户的外表特征的均值、∑k为样本方差,表示所述任一时刻下第k个用户的外表特征的差异程度,πk为混合系数,表示所述任一时刻下的第k个用户对应的频率;
(b)、获取人脸样本特征数据;
(c)、根据所述人脸样本特征数据,对所述人群分析模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;
(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;
(e)、获取所述当前时刻的下一时刻的观测人脸样本特征数据;
(f)、根据所述当前时刻的模型参数及所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的模型参数;
(g)、将所述下一时刻确定为当前时刻;
(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述人群分析模型中每个时刻的模型参数。
S33,所述电子设备根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。
具体地,根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,判断所述用户是否属于可疑人员。例如监控区域是办公区域,在上班时段,一个用户的出现频率小于预设次数,则确定所述用户为可疑人员。当确定所述用户是可疑人员时,提醒监控区域的管理者注意所述用户的行踪等等。
本发明获取采集的监控区域内的人脸图像;从所述人脸图像中提取人脸特征数据;基于人群分析模型,对所述人脸特征数据进行分析,识别所述人脸特征数据的用户的在多个时段中每个时段的出现频率;根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。通过实施本发明实施例能够实现识别人脸采集区域中可疑人员,进行及时预警。
如图4所示,本发明场景模型动态估计装置的较佳实施例的功能模块图。所述场景模型动态估计装置10包括建立模块100、获取模块101、计算模块102、确定模块103及迭代模块104。本发明所称的单元是指一种能够被场景模型动态估计装置10的处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各单元的功能将在后续的实施例中详述。
所述建立模块100建立用于描述动态变化的场景的场景模型。
在本发明的实施例中,在所述动态变化的场景中,场景中样本的特征会随着时间在变化。例如,对于一段语音数据,每个时刻对应的音位的可能性在变化。对于在一个时间段内观测到的人像数据,每个人出现的频率会随着时间变化。当然所述动态变化的场景还包括其他应用场景,并限于上述的举例。
其中,x表示所述任一时刻下任一样本的特征,其中样本均值μk表示所述任一时刻下样本特征的均值、样本方差∑k表示所述任一时刻下样本特征的变化程度,混合系数πk表示在所述任一时刻下的高斯混合模型中第k个高斯分量的权重,也可以说,表示在所述任一时刻下的样本来自第k个高斯分量的概率。
例如,对于一段语音数据,所述样本表示音位、所述样本特征表示音位的发音、所述样本均值表示音位的发音的均值,所述样本方差表示同一音位的发音的变化程度,所述混合系数πk表示音位来自任一时刻下第k个高斯分量的概率。
又如:对于抓拍的一段人像数据,所述样本表示人像、所述样本特征表示人的外表特征、所述样本均值表示人的外表特征的均值,所述样本方差表示同一个的外表特征的差异程度,所述混合系数πk表示在任一时刻下每个人对应的频率。
在本发明的实施例中,在所述场景模型中,所述场景模型的模型参数包括多个时刻下的模型参数。所述多个时刻中任一时刻下的模型参数包括样本均值μk、样本方差∑k、混合系数分布估计。
所述获取模块101获取样本特征数据。
在优选实施例中,所述样本特征数据从预先采集的样本中提取出来的,并预先存储于所述电子设备的存储器中。样本的数量越大,后续估计所述场景模型的模型参数的置信度就会越大,所述场景模型的模型参数就会越准确。
所述计算模块102根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数。
在优选实施例中,任一时刻下的混合系数πk满足0≤πk≤1,其中K表示任一时刻下高斯分量的总数。因此,所述计算模块102利用狄利克雷分布(Dirichletdistribution),对所述任一时刻下的高斯混合模型中的混合系数进行建模,得到所述任一时刻下的混合系数分布模型,即得到所述任一时刻s下的狄利克雷分布Dir(π|αs),其中αs是任一时刻s下的狄利克雷分布的参数向量,π表示任一时刻s下的混合系数向量。
所述计算模块102基于所述任一时刻下的混合系数分布模型,根据所述样本特征数据,对场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数包括:
基于所述样本特征数据,利用极大似然估计对初始时刻下的高斯混合模型中的样本估计,得到初始时刻下的均值估计、初始时刻下的方差估计;
基于所述样本特征数据,利用期望最大化方法,对混合系数分布模型进行初始估计,得到初始时刻下的混合系数分布估计,即狄利克雷分布Dir(π|α0),其中,α0是初始时刻下的狄利克雷分布的参数向量,π表示初始时刻下的混合系数向量。
所述确定模块103将所述初始时刻的模型参数确定为当前时刻的模型参数。
所述获取模块101获取所述当前时刻的下一时刻的观测特征数据。
在本发明的实施例中,当前时刻用t-1表示,当前时刻的下一时刻用t表示。例如,若场景中的数据以每秒采集一次,若当前时刻t-1对应第一秒,则当前时刻的下一时刻对应第二秒。
所述观测特征数据从所述场景模型中的采集设备实时采集的样本中提取出来的。例如,当所述场景模型用于描述一个区域内的人群进行人群分析时,采集设备可以是摄像装置,观测数据即为采集的人脸样本数据,观测特征数据即为采集的人脸样本的特征数据。
所述计算模块102根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数。
在优选实施例中,所述计算模块102根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数包括:
(a1)将当前时刻的混合系数分布估计确定为所述下一时刻下的混合系数的先验分布,用pt-1(π)表示。
例如,将初始时刻的混合系数分布估计确定为第一时刻下的混合系数的先验分布。后续再根据第一时刻的观测特征数据,对所述第一时刻下的混合系数的先验分布进行修正。
(a2)根据所述下一时刻的观测特征数据,计算所述下一时刻的混合系数的似然函数,用pt(x|π)表示。
(a3)根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布pt(π|x)=pt(x|π)pt-1(π)/pt(x)。
通过上述优选实施例可知,每一时刻的混合系数分布估计都是基于上一时刻的混合系数分布估计做的修正,因此使得场景模型中的混合系数的分布估计估计更稳定,计算结果更准确。
在优选实施例中,根据所述下一时刻的混合系数的先验分布及下一时刻的混合系数的多项分布,利用贝叶斯定理及利用多项分布与狄利克雷分布的共轭关系,计算所述下一时刻的混合系数的后验分布。所述下一时刻的混合系数的多项分布的计算过程在后续详述。
具体地,当将所述下一时刻的混合系数的多项分布Multi(m|π)确定为所述下一时刻的混合系数的似然函数时,利用贝叶斯定理及利用多项分布与狄利克雷分布的共轭关系,所述下一时刻的混合系数的后验分布pt(π|x)=pt(x|π)pt-1(π)/pt(x)=Multi(m|π)×Dir(π|αt-1)/pt(x)=Dir(π|(αt-1+m),其中Dir(π|(αt-1+m)表示狄利克雷分布,m为所述所述下一时刻的混合系数的多项分布的参数向量,所述αt-1表示当前时刻下的狄利克雷分布的参数向量。
由于观测样本的数量随着时间增加的同时,对参数的估计的置信度也在不断增加。因此为了适应混合系数随着时间变化的情况,采取松弛(relaxation)操作逐渐减少前序估计所占的比重,这样场景模型会倾向于忽略早期的数据,着重近期的数据,实现动态估计,使结果更准确。另外对混合系数的变化趋势不做假设,在观测数据未知的情况下混合系数的各个分量的值应该趋近于相等,所以在减少前序估计所占的比重的同时还可以采取了平滑操作,这样可以使得场景模型中的混合系数的估计结果更平滑。
因此,可以根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理,并采用松弛操作计算所述下一时刻的混合系数的后验分布pt(π|x)=Dir(δ(αt-1+m)+b)。由于贝叶斯定理是在概率的理论基础上形成的,因此,利用贝叶斯定理对场景模型中的混合系数分布进行估计,可以适用于不同的应用场景,具有推广性。
其中,0≤δ≤1,δ表示历史数据所占的比重,b≤0,b表示所述下一时刻的混合系数π变化的不确定性。
(a4)将所述下一时刻的混合系数的后验分布确定为所述下一时刻的混合系数分布估计。
在优选实施例中,所述计算模块102根据所述下一时刻的观测特征数据,计算所述下一时刻的混合系数的似然函数包括:
(a21)确定所述下一时刻的样本均值及所述下一时刻的样本方差。
优选地,为了简化计算,任一时刻下的样本均值等于初始时刻下的样本均值,任一时刻下的样本方差等于初始时刻下的样本方差。当然也可以采用其他估计方法(如期望最大法)来估计任一时刻下的样本均值及任一时刻下的样本方差。
(a22)根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布Multi(m|π)。
(a23)将所述下一时刻的混合系数的多项分布确定为所述下一时刻的混合系数的似然函数。
在优选实施例中,所述根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布Multi(m|π)包括:
(a221)根据所述下一时刻的样本均值、所述下一时刻的样本方差、所述下一时刻下的混合系数的先验分布,计算所述下一时刻的观测特征数据的隐含变量z的期望值E[z|x,α],其中α表示所述下一时刻下的狄利克雷分布的参数,所述隐含变量表示所述下一时刻中每一个样本属于所述下一时刻的高斯混合模型中的每一个高斯分布的程度。
(a222)根据所述下一时刻的观测特征数据的隐含变量的期望值,计算所述下一时刻的混合系数的多项分布的参数。
具体地,计算所述下一时刻的混合系数的多项分布Multi(m|π)的参数mk的公式如下:
其中mk表示向量m中第k个分量,znk|表示所述下一时刻中第k个高斯分量对应的观测特征数据中第n个样本的隐含变量。其中α表示所述下一时刻下的狄利克雷分布的参数,
(a223)基于所述下一时刻的混合系数的多项分布的参数,估计所述下一时刻的混合系数的多项分布。
所述确定模块103还用于将所述下一时刻确定为当前时刻。
在本发明的实施例中,将所述下一时刻确定为当前时刻,相当于赋值操作。例如,若所述下一时刻用tt1表示,所述当前时刻用tt表示,则所述下一时刻确定为当前时刻,即表示为tt=tt1。
所述迭代模块104利用迭代方法继续执行所述获取模块获取所述当前时刻的下一时刻的观测特征数据;所述计算模块根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;所述确定模块将所述下一时刻确定为当前时刻,直至计算完所述场景模型中每个时刻的模型参数。
在优选实施例中,所述任一时刻下的模型参数还包括任一时刻下的混合系数,所述确定模块103还用于:
根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数。
所述确定模块103根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数包括以下一种或者多种组合:
对根据所述任一时刻下的混合系数分布估计进行采样,获取采样数据,将采样数据确定为所述任一时刻下的混合系数;或
计算使所述任一时刻下的混合系数分布估计最大的一组数值,将所述一组数值确定为所述任一时刻下的混合系数。
本发明通过(a)、建立用于描述动态变化的场景的场景模型;(b)、获取样本特征数据;(c)、根据所述样本特征数据,对所述场景模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;(e)、获取所述当前时刻的下一时刻的观测特征数据;(f)、根据所述当前时刻的模型参数及所述下一时刻的观测特征数据,计算所述下一时刻的模型参数;(g)、将所述下一时刻确定为当前时刻;(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述场景模型中每个时刻的模型参数。本发明的计算量减少一个数量级,提高了运算速度。而且每一时刻的混合系数都是基于上一时刻的混合系数做的修正,因此使得场景模型中的混合系数的估计结果更稳定。另外,采用松弛(relaxation)操作逐渐减少前序估计所占的比重,着重近期的数据,实现动态估计,使结果更准确。采用平滑操作进行混合系数的估计,这样可以使得场景模型中的混合系数的估计结果更平滑。
如图5所示,本发明数据分析装置的较佳实施例的功能模块图。所述场景模型动态估计装置50包括数据获取模块500、特征提取模块501、数据计算模块502、结果分析模块503。本发明所称的单元是指一种能够被数据分析装置50的处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各单元的功能将在后续的实施例中详述。
所述数据获取模块500获取采集的待测样本。
在本发明的实施例中,高斯混合模型被广泛应用于模式识别、计算机视觉、机器学习、数据挖掘、生物信息学等不同领域。在这些领域里,高斯混合模型可以用于完成诸如图像分割、聚类、概率密度函数的构建等不同的应用场景。
因此,应用场景的不同,所述待测样本会不同。例如,所述待测样本可以是人脸数据、人的语音数据等等,所述待测样本并不限于上述的举例。
所述特征提取模块501从所述采集的待测样本中提取待测样本特征数据。
在本发明的实施例中,利用特征提取技术,从所述采集的待测样本中提取待测样本特征数据。所述特征提取技术是现有技术,本发明不再详述。
所述数据计算模块502利用所述待测样本特征数据对应的场景模型,计算所述待测样本特征数据对应的场景模型下的概率。
在本发明的实施例中,预先建立所述待测样本特征数据对应的场景模型,预先建立的场景模型利用上述图1所示的实施例进行动态估计。这样能准确的表示动态变化的应用场景,提高应用场景下的任务的准确度,及提高运算效率。
所述结果分析模块503根据所述待测样本特征数据对应的场景模型下的概率,对所述待测样本进行分析,得到分析结果。
在本发明的实施例中,所述结果分析模块503结合应用场景,对所述待测样本的分析,得到分析结果。例如,若应用场景是运动场景下的背景模型的分割,场景模型表示的是运动场景下的背景估计模型,所述待测样本特征数据为t时刻的每个像素点XT,所述待测样本特征数据对应的场景模型下的概率即为每个像素点XT属于背景估计模型的概率,根据每个像素点XT属于背景估计模型的概率,判断每个像素点是否与背景估计模型相匹配。当某个像素点与所述背景估计模型相匹配,即可确定分析结果为所述像素点属于运动场景下的背景。当某个像素点与所述背景估计模型不匹配,即可确定分析结果为所述像素点不属于运动场景下的背景等等。
本发明通过获取采集的待测样本;从所述采集的待测样本中提取待测样本特征数据;利用所述待测样本特征数据对应的场景模型,计算所述待测样本特征数据对应的概率;根据所述待测样本特征数据对应的概率,对所述待测样本进行分析,得到分析结果。因此,本发明对动态变化的应用场景的数据进行准确的分析。
在实际场景中,监控区域中的人脸数据是随着时间动态变化的,人脸识别系统中的人脸数据是不断增长的,实际的“常住人口”、“徘徊人员”等也是随时间变化的。针对选定时间范围的数据进行聚类的方法计算复杂度高,无法在人脸数据动态变化的情况下有效的进行常住人口等类似的人群分析。
如图6所示,本发明人群分析装置的较佳实施例的功能模块图。所述人群分析装置60包括图像获取模块601、数据提取模块602、频率计算模块603及数据分析模块604。本发明所称的单元是指一种能够被人群分析装置60的处理器所执行并且能够完成固定功能的一系列计算机程序段,其存储在存储器中。在本实施例中,关于各单元的功能将在后续的实施例中详述。
所述图像获取模块601获取采集的监控区域内的人脸图像。
在本发明的实施例中,所述目标区域为人员活动区域,所述人脸图像可以是一个或者多个,一个人脸图像对应一个用户。采集监控区域内的人脸图像的具体实现方式可以是:通过在人员活动区域的不同位置部署多个监控摄像机,以获取大规模的人脸图像。其中,可以理解的,采集的人员活动区域内人脸图像是不断增长的,人员活动区域内的人员的出现也是随时间变化。
所述数据提取模块602从所述人脸图像中提取人脸特征数据。
所述频率计算模块603基于人群分析模型,对所述人脸特征数据进行分析,计算所述人脸特征数据的用户的在多个时段中每个时段的出现频率。
在本发明的实施例中,预先建立所述人群分析模型。预先建立的人群分析模型利用上述图1所示的实施例进行动态估计,具体如下:
(a)、建立所述人群分析模型,所述人群分析模型由多个时刻下的高斯混合模型组成,所述多个时刻中任一时刻下的高斯混合模型表示为:其中x表示所述任一时刻下任一人像的外表特征,μk为样本均值,表示所述任一时刻下第k个用户的外表特征的均值、∑k为样本方差,表示所述任一时刻下第k个用户的外表特征的差异程度,πk为混合系数,表示所述任一时刻下的第k个用户对应的频率;
(b)、获取人脸样本特征数据;
(c)、根据所述人脸样本特征数据,对所述人群分析模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;
(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;
(e)、获取所述当前时刻的下一时刻的观测人脸样本特征数据;
(f)、根据所述当前时刻的模型参数及所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的模型参数;
(g)、将所述下一时刻确定为当前时刻;
(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述人群分析模型中每个时刻的模型参数。
所述数据分析模块604根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。
具体地,根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,判断所述用户是否属于可疑人员。例如监控区域是办公区域,在上班时段,一个用户的出现频率小于预设次数,则确定所述用户为可疑人员。当确定所述用户是可疑人员时,提醒监控区域的管理者注意所述用户的行踪等等。
本发明获取采集的监控区域内的人脸图像;从所述人脸图像中提取人脸特征数据;基于人群分析模型,对所述人脸特征数据进行分析,识别所述人脸特征数据的用户的在多个时段中每个时段的出现频率;根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。通过实施本发明实施例能够实现识别人脸采集区域中可疑人员,进行及时预警。
上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明每个实施例所述方法的部分步骤。
如图7所示,所述电子设备1包括至少一个发送装置31、至少一个存储器32、至少一个处理器33、至少一个接收装置34、至少一个显示器(图中未示出)以及至少一个通信总线。其中,所述通信总线用于实现这些组件之间的连接通信。
所述电子设备1是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述电子设备1还可包括网络设备和/或用户设备。其中,所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。
所述电子设备1可以是,但不限于任何一种可与用户通过键盘、触摸板或声控设备等方式进行人机交互的电子产品,例如,平板电脑、智能手机、个人数字助理(PersonalDigital Assistant,PDA)、智能式穿戴式设备、摄像设备、监控设备等终端。
所述电子设备1所处的网络包括,但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
其中,所述接收装置34和所述发送装置31可以是有线发送端口,也可以为无线设备,例如包括天线装置,用于与其他设备进行数据通信。
所述存储器32用于存储程序代码。所述存储器32可以是集成电路中没有实物形式的具有存储功能的电路,如RAM(Random-Access Memory,随机存取存储器)、FIFO(First InFirst Out,)等。或者,所述存储器32也可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)、智能媒体卡(smart media card)、安全数字卡(secure digitalcard)、快闪存储器卡(flash card)等储存设备等等。
所述处理器33可以包括一个或者多个微处理器、数字处理器。所述处理器33可调用存储器32中存储的程序代码以执行相关的功能。例如,图3中所述的各个单元是存储在所述存储器32中的程序代码,并由所述处理器33所执行,以实现一种场景模型动态估计方法、一种数据分析方法、一种人群分析方法。所述处理器33又称中央处理器(CPU,CentralProcessing Unit),是一块超大规模的集成电路,是运算核心(Core)和控制核心(ControlUnit)。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令当被包括一个或多个处理器的电子设备执行时,使电子设备执行如上文方法实施例所述的场景模型动态估计方法、一种数据分析方法、一种人群分析方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明每个实施例中的各功能模块可以集成在一个处理单元中,也可以是每个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (11)
1.一种人群分析方法,其特征在于,所述方法包括:
(a)、建立人群分析模型,所述人群分析模型由多个时刻下的高斯混合模型组成,所述多个时刻中任一时刻下的高斯混合模型表示为:其中x表示所述任一时刻下任一人像的外表特征,μk为样本均值,表示所述任一时刻下第k个用户的外表特征的均值、∑k为样本方差,表示所述任一时刻下第k个用户的外表特征的差异程度,πk为混合系数,表示所述任一时刻下的第k个用户对应的频率;
(b)、获取人脸样本特征数据;
(c)、根据所述人脸样本特征数据,对所述人群分析模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;
(d)、将所述初始时刻的模型参数确定为当前时刻的模型参数;
(e)、获取所述当前时刻的下一时刻的观测人脸样本特征数据;
(f)、根据所述当前时刻的模型参数及所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的模型参数;
(g)、将所述下一时刻确定为当前时刻;
(h)、利用迭代方法执行(e)、(f)、(g),直至计算完所述人群分析模型中每个时刻的模型参数;
(i)获取采集的监控区域内的人脸图像;
(j)从所述人脸图像中提取人脸特征数据;
(k)基于所述人群分析模型,对所述人脸特征数据进行分析,识别所述人脸特征数据的用户的在多个时段中每个时段的出现频率;
(l)根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。
2.如权利要求1所述的人群分析方法,其特征在于,所述方法还包括:
根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数。
3.如权利要求2所述的人群分析方法,其特征在于,所述根据所述任一时刻下的混合系数分布估计,确定所述任一时刻下的混合系数包括以下一种或者多种组合:
对根据所述任一时刻下的混合系数分布估计进行采样,获取采样数据,将采样数据确定为所述任一时刻下的混合系数;或
计算使所述任一时刻下的混合系数分布估计最大的一组数值,将所述一组数值确定为所述任一时刻下的混合系数。
4.如权利要求1所述的人群分析方法,其特征在于,所述方法还包括:
利用狄利克雷分布,对所述任一时刻下的高斯混合模型中的混合系数进行建模,得到所述任一时刻下的混合系数分布模型。
5.如权利要求4所述的人群分析方法,其特征在于,所述根据所述人脸样本特征数据,对所述人群分析模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数包括:
基于所述人脸样本特征数据,利用期望最大化方法对初始时刻下的高斯混合模型中的样本估计,得到初始时刻下的样本均值、初始时刻下的样本方差;
基于所述人脸样本特征数据,利用极大似然估计对初始时刻下的混合系数分布模型进行初始估计,得到初始时刻下的混合系数分布估计。
6.如权利要求1至5中任一项所述的人群分析方法,其特征在于,所述根据所述当前时刻的模型参数及所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的模型参数包括:
将当前时刻的混合系数分布估计确定为所述下一时刻的混合系数的先验分布;
根据所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的混合系数的似然函数;
根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布;
将所述下一时刻的混合系数的后验分布确定为所述下一时刻的混合系数分布估计。
7.如权利要求6所述的人群分析方法,其特征在于,所述根据所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的混合系数的似然函数包括:
确定所述下一时刻的样本均值及所述下一时刻的样本方差;
根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布;
将所述下一时刻的混合系数的多项分布确定为所述下一时刻的混合系数的似然函数;
所述根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布包括:
根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的多项分布,利用贝叶斯定理及利用多项分布与狄利克雷分布的共轭关系,计算所述下一时刻的混合系数的后验分布。
8.如权利要求6所述的人群分析方法,其特征在于,所述根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理计算所述下一时刻的混合系数的后验分布包括:
根据所述下一时刻的混合系数的先验分布及所述下一时刻的混合系数的似然函数,利用贝叶斯定理,并采用松弛操作及平滑操作计算所述下一时刻的混合系数的后验分布。
9.如权利要求7所述的人群分析方法,其特征在于,所述根据所述下一时刻的样本均值及所述下一时刻的样本方差,估计所述下一时刻的混合系数的多项分布包括:
根据所述下一时刻的样本均值、所述下一时刻的样本方差、所述下一时刻的混合系数的先验分布,计算所述下一时刻的观测人脸样本特征数据的隐含变量的期望值,所述隐含变量表示所述下一时刻中每一个样本属于所述下一时刻的高斯混合模型中的每一个高斯分布的程度;
根据所述下一时刻的观测人脸样本特征数据的隐含变量的期望值,计算所述下一时刻的混合系数的多项分布的参数;
基于所述下一时刻的混合系数的多项分布的参数,估计所述下一时刻的混合系数的多项分布。
10.一种人群分析装置,其特征在于,所述装置包括:
建立模块,用于建立人群分析模型,所述人群分析模型由多个时刻下的高斯混合模型组成,所述多个时刻中任一时刻下的高斯混合模型表示为:其中x表示所述任一时刻下任一人像的外表特征,μk为样本均值,表示所述任一时刻下第k个用户的外表特征的均值、∑k为样本方差,表示所述任一时刻下第k个用户的外表特征的差异程度,πk为混合系数,表示所述任一时刻下的第k个用户对应的频率;
获取模块,用于获取人脸样本特征数据;
计算模块,用于根据所述人脸样本特征数据,对所述人群分析模型中初始时刻的模型参数进行初始估计,计算初始时刻的模型参数;
确定模块,用于将所述初始时刻的模型参数确定为当前时刻的模型参数;
所述获取模块还用于获取所述当前时刻的下一时刻的观测人脸样本特征数据;
所述计算模块还用于根据所述当前时刻的模型参数及所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的模型参数;
所述确定模块还用于将所述下一时刻确定为当前时刻;
迭代模块,用于利用迭代方法继续执行所述获取模块获取所述当前时刻的下一时刻的观测人脸样本特征数据;所述计算模块根据所述当前时刻的模型参数及所述下一时刻的观测人脸样本特征数据,计算所述下一时刻的模型参数;所述确定模块将所述下一时刻确定为当前时刻,直至计算完所述人群分析模型中每个时刻的模型参数;
所述获取模块,还用于获取采集的监控区域内的人脸图像;
提取模块,用于从所述人脸图像中提取人脸特征数据;
第一分析模块,用于基于所述人群分析模型,对所述人脸特征数据进行分析,识别所述人脸特征数据的用户的在多个时段中每个时段的出现频率;
第二分析模块,用于根据所述人脸特征数据的用户的在多个时段中每个时段的出现频率,对所述用户进行分析,得到所述用户的分析结果。
11.一种电子设备,其特征在于,所述电子设备包括存储器及处理器,所述存储器用于存储至少一个指令,所述处理器用于执行所述至少一个指令以实现权利要求1至9任意一项的人群分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/103988 WO2018068654A1 (zh) | 2016-10-10 | 2017-09-28 | 场景模型动态估计方法、数据分析方法及装置、电子设备 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2016108847922 | 2016-10-10 | ||
CN2016108847918 | 2016-10-10 | ||
CN201610884791.8A CN106503631A (zh) | 2016-10-10 | 2016-10-10 | 一种人群分析方法及计算机设备 |
CN201610884792.2A CN106502965A (zh) | 2016-10-10 | 2016-10-10 | 动态估计高斯混合模型的混合系数的方法及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107918688A CN107918688A (zh) | 2018-04-17 |
CN107918688B true CN107918688B (zh) | 2020-02-28 |
Family
ID=61898779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710727993.6A Active CN107918688B (zh) | 2016-10-10 | 2017-08-23 | 场景模型动态估计方法、数据分析方法及装置、电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107918688B (zh) |
WO (1) | WO2018068654A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109858365B (zh) * | 2018-12-28 | 2021-03-05 | 深圳云天励飞技术有限公司 | 一种特殊人群聚集行为分析方法、装置及电子设备 |
CN112036001B (zh) * | 2020-07-01 | 2024-04-23 | 长安大学 | 自动驾驶测试场景构建方法、装置、设备及可读存储介质 |
CN112270436B (zh) * | 2020-10-26 | 2024-07-12 | 北京明略昭辉科技有限公司 | 一种资源投放效果评估方法、装置及系统 |
CN114137587B (zh) * | 2021-12-01 | 2022-07-29 | 西南交通大学 | 一种运动对象的位置估计与预测方法、装置、设备及介质 |
CN114971400B (zh) * | 2022-06-24 | 2023-01-31 | 东南大学溧阳研究院 | 一种基于Dirichlet分布-多项分布共轭先验的用户侧储能聚合方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678896A (zh) * | 2013-12-04 | 2014-03-26 | 南昌大学 | 基于协方差的高斯混合模型参数分离方法 |
CN104933275A (zh) * | 2014-03-18 | 2015-09-23 | 日本电气株式会社 | 混合模型的确定方法及装置 |
CN105678222A (zh) * | 2015-12-29 | 2016-06-15 | 浙江大学 | 一种基于移动设备的人体行为识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8396303B2 (en) * | 2008-10-14 | 2013-03-12 | Core Wireless Licensing, S.a.r.l. | Method, apparatus and computer program product for providing pattern detection with unknown noise levels |
CN101510863A (zh) * | 2009-03-17 | 2009-08-19 | 江苏大学 | 一种mpsk调制信号识别方法 |
CN101751921B (zh) * | 2009-12-16 | 2011-09-14 | 南京邮电大学 | 一种在训练数据量极少条件下的实时语音转换方法 |
CN104008574B (zh) * | 2014-06-16 | 2017-05-10 | 浙江大学 | 一种基于无限高斯混合模型的高光谱图像解混方法 |
CN106503631A (zh) * | 2016-10-10 | 2017-03-15 | 深圳云天励飞技术有限公司 | 一种人群分析方法及计算机设备 |
CN106502965A (zh) * | 2016-10-10 | 2017-03-15 | 深圳云天励飞技术有限公司 | 动态估计高斯混合模型的混合系数的方法及计算机设备 |
-
2017
- 2017-08-23 CN CN201710727993.6A patent/CN107918688B/zh active Active
- 2017-09-28 WO PCT/CN2017/103988 patent/WO2018068654A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678896A (zh) * | 2013-12-04 | 2014-03-26 | 南昌大学 | 基于协方差的高斯混合模型参数分离方法 |
CN104933275A (zh) * | 2014-03-18 | 2015-09-23 | 日本电气株式会社 | 混合模型的确定方法及装置 |
CN105678222A (zh) * | 2015-12-29 | 2016-06-15 | 浙江大学 | 一种基于移动设备的人体行为识别方法 |
Non-Patent Citations (3)
Title |
---|
"Visual Tracking by Continuous Density Propagation in Sequential Bayesian Filtering Framework";Han Bohyung等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20091231;第31卷;919-930 * |
"一种基于概率密度传播的目标跟踪算法";高庆华等;《电子与信息学报》;20101031;第32卷(第10期);2410-2414 * |
"基于高斯混合模型的运动目标检测算法研究";宋杨;《中国优秀硕士学位论文全文数据库信息科技辑》;20090515(第05期);17-25 * |
Also Published As
Publication number | Publication date |
---|---|
CN107918688A (zh) | 2018-04-17 |
WO2018068654A1 (zh) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107918688B (zh) | 场景模型动态估计方法、数据分析方法及装置、电子设备 | |
US10635890B2 (en) | Facial recognition method and apparatus, electronic device, and storage medium | |
CN113705425B (zh) | 活体检测模型的训练方法和活体检测的方法、装置、设备 | |
CN110070029B (zh) | 一种步态识别方法及装置 | |
Cuevas et al. | Improved background modeling for real-time spatio-temporal non-parametric moving object detection strategies | |
CN112784778A (zh) | 生成模型并识别年龄和性别的方法、装置、设备和介质 | |
JP2016015045A (ja) | 画像認識装置、画像認識方法及びプログラム | |
CN108053424B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
WO2018068521A1 (zh) | 一种人群分析方法及计算机设备 | |
CN113869449A (zh) | 一种模型训练、图像处理方法、装置、设备及存储介质 | |
CN112528858A (zh) | 人体姿态估计模型的训练方法、装置、设备、介质及产品 | |
CN111178261A (zh) | 一种基于视频编码技术的人脸检测加速方法 | |
CN115641538A (zh) | 设备异常检测方法、装置、计算机设备及存储介质 | |
CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
Saif et al. | Moment features based violence action detection using optical flow | |
CN109711287A (zh) | 人脸采集方法及相关产品 | |
CN112183431A (zh) | 实时行人数量统计方法、装置、相机和服务器 | |
CN115546554A (zh) | 敏感图像的识别方法、装置、设备和计算机可读存储介质 | |
CN113989568A (zh) | 目标检测方法、训练方法、装置、电子设备以及存储介质 | |
CN112036504A (zh) | 温度测量模型的训练方法、装置、设备及存储介质 | |
CN112766501A (zh) | 增量训练方法和相关产品 | |
CN116245866B (zh) | 一种移动人脸追踪方法及系统 | |
CN117808848B (zh) | 一种识别跟踪方法、装置、电子设备及存储介质 | |
CN113221920B (zh) | 图像识别方法、装置、设备、存储介质以及计算机程序产品 | |
CN111062337B (zh) | 人流方向检测方法及装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |