具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明以下实施例公开了一种低分辨率视频的服装识别方法和系统,基于时空分类器融合技术,能够对各种制服、普通服装、迷彩服等进行识别分类,并采用高效率、高质量、且可靠准确的方式实现最终的人物身份信息的识别。具体过程通过以下实施例进行详细说明。
实施例一
请参阅附图2,为本发明公开的一种低分辨率视频的服装识别方法的流程图,主要包括以下步骤:
步骤S101,提取接收到的视频流中的前景图像。
请参见附图3,执行步骤S101的具体过程为:
步骤S1011,将视频流读取至计算机或相关可进行分析的设备中,分解获取到的视频流,按照时间序列得到多个单帧视频序列。
步骤S1012,获取多个所述单帧视频序列对应的前景图像。针对该步骤S1012中获取一个单帧视频序列对应的前景图像的过程为:首先,根据视频序列的内容,对视频进行背景建模;其次,确定当前单帧视频序列和当前背景帧;其次,依据当前帧视频序列与背景帧之间的差值,确定所述当前单帧视频序列对应的前景图像;最后,为保证下一帧中的背景帧的准确,根据当前单帧视频序列更新背景帧,该更新过程为实时更新。
需要说明的是,上述所确定的当前背景帧,其确定的过程为:采用单高斯或混合高斯方法实现的背景建模。并进一步的采用帧差原理依据当前单帧视频序列与背景帧的差值获取对应的前景图像。
上述对视频进行背景建模可以采用单高斯、混合高斯、Kernel-based、Eigen-Background等方法。在本发明所公开的该实施例中采用混合高斯的方法进行背景建模,即获取背景帧,该混合高斯模型的定义为:
其中,wj是第j个高斯核权重;K为高斯核个数;η(x;μj;∑j)是中值为μj、方差为∑j的第j个高斯分布。
上述(1)式表示为:在N时刻,每个像素拥有xN的概率P(xN)被K个高斯混合所描述,以便于用于视频流中的背景建模。
采用上述过程对运动物体的前景图像进行提取,即通过视频图像与背景图像相减实现前景图像的提取,即采用帧差的方式可以提高前景图像提取的效果,进而获得较为准确的运动目标的前景图像,即轮廓前景图像。
此外,为了消除在提取前景图像的过程中噪声和空洞等因素的影响,采用滤波方法去除噪声;采用数学形态学方法去除空洞,从而得到效果更好的运动目标的前景图像。执行上述过程后的效果图如图4a~图4c所示,其中,图4a为视频图像;图4b为背景图像(背景帧);图4c为当前运动目标对应的前景图像。
步骤S102,确定所述视频流中的当前时间序列,从所述前景图像中确定运动目标,并提取运动人体目标的轮廓信息。其中人体目标一般情况下指运动的人体,即当前时间序列中出现在前景图像中的人体。
在执行步骤S102的过程中获取的轮廓信息基于人体目标的轮廓宽度和轮廓高度确定。且具体提取人体目标的轮廓信息的过程为:首先,从所述前景图像中提取运动物体的特征,按照运动物体的宽度和高度的比例进行分析,识别运动的人体;然后,分析获取所述人体的轮廓信息。
更具体的说明为:根据平面几何知识提取运动物体的轮廓特征。将每个运动物体的轮廓最左边的点和最右边的点之间的距离作为物体的宽度;将最上面的点与最下面的点之间的距离作为运动物体的高度。计算运动物体的长宽比,并将获取到的各个运动物体的长宽比与常规人体的肩宽、身高比例的阈值进行对比,排除车辆等其他运动物体,确定运动目标,即运动人体,并从中提取运动人体的轮廓信息。
采用上述步骤S101和步骤S102中前景图像的提取方法,以及识别前景图像中的运动目标的方式,以及针对运动目标的预处理(设置常规人体的肩宽、身高比例的阈值),能够有效的克服树木、建筑物等物体对识别结果的影响,以及降低运动物体中非运动人体对识别运动人体的干扰。
步骤S103,分解所述人体目标的轮廓信息,依据预设服装类别提取所述人体目标的轮廓信息中各分块对应的服装特征值。
步骤S104,将获取到的各分块的服装特征值与预设服装特征阈值进行比较,识别当前帧中各分块的服装类别。
步骤S105,融合所述各分块的服装类别,并依据预存储的服装类别进行投票判决,确定当前时间序列中所述人体目标的服装类别。
其中,针对上述各个分块的多种特征信息提取、融合以及识别的过程。多种特征信息提取具体针对步骤S103,请参见附图5,主要包括以下步骤:
步骤S1031,分解所述人体的轮廓信息,按照人体生物特征对人体进行分块。
步骤S1032,进行特征值训练,依据预设服装类别进行对应的服装特征值的计算。
步骤S1033,提取所述人体的轮廓信息中各分块对应的服装特征值。
识别当前帧中各分块的服装类别针对步骤S104,识别和确定当前时间序列中所述人体目标的服装类别则针对步骤S105,且对各个分块的多种特征信息的融合也针对步骤S105。
针对上述步骤S103至步骤S105执行确定的运动人体目标的服装类别的过程,也可以具体为:首先,根据执行步骤S102获取的人体目标,确定其中一个人体目标。分解确定的人体目标的轮廓信息,即对同一个人体进行分块,如将该人体按照人体特征分为胳膊、上衣、裤子等部分进行分块(如步骤S1031);然后,进行各个分块中的服装特征值的计算和提取;再对不同分块服装类别进行识别,并将各个分块的服装类别进行融合。即基于时空分类器融合技术实现该融合;最后通过大数判决进行投票判决,确定当前时间序列中所述人体目标的服装类别。
上述过程可简单记载为:针对视频流中同一帧图像中,同一个人体目标不同分块的服装类别,利用图像空间相关性,对多块识别结果进行投票判决,运用大数判决对同一人体的多个识别结果进行融合汇总,得到服装识别结果。
另外,对于低分辨率视频来说,任何一种特征都稳定性都不高,因此,为保证对低分辨率视频中的运动目标的服装识别,在本发明中利用多个弱分类器融合级联成对于单块图像稳定的强分类器,以实现对分块图像进行服装识别。具体进行多特征弱分类器融合的过程可参见附图6。
针对各分块中对应的服装特征值,在本实施例中选取颜色和纹理特征作为分类特征进行特征值的计算,该计算过程对应图5中的特征值计算部分。
首先,针对不同类别服装颜色和纹理特征及进行训练,该训练可以离线进行。选取数百个样本,分别计算服装颜色和纹理特征。即对每个识别出的分块(人体区域)进行色彩、灰度共生阵等特征值计算。
其中,颜色特征计算,在分割样本的巨型区域,将RGB颜色空间转化为HSV颜色空间,HSV颜色系统更接近人类视觉感知。具体转化方法如下:
其中,R、G、B分别代表RGB颜色空间的颜色值,H、S、V分别代表HSV颜色空间中的颜色值。
利用上述公式(2)至公式(4)对于转化后的图片,拆分出H、S、V三通道。此外,通过统计不同类别服装H、S、V值,可以确定预设服装颜色特征阈值的取值范围。
纹理特征计算,对不同服装样本,选用灰度共生矩阵进行纹理特征计算。灰度共生矩阵共有15个特征值,在本发明所公开的该实施例中选用角二阶矩、对比度、相关和熵四个统计效果较好的特征进行计算。
其中,角二阶矩,又称能量,具体用公式可以表示为:
该角二阶矩是影像纹理灰度变化均一的度量,用于反映影像灰度分布均匀程度和纹理粗细度。
对比度CON为灰度共生矩阵主对角线附近的惯性矩,具体表示为:
该对比度CON用于度量矩阵的值是如何分布和影像中局部变化的多少,反映了影像的清晰度和纹理的沟纹深浅。
相关CORRLN,则用于度量空间灰度共生矩阵元素在行或列方向上的相似程度。因此,相关值的大小可以反映影像中局部灰度相关性。具体表示为:
熵ENT用于度量影像纹理的随机性。当空间共生矩阵中所有值均相等时,它取得最大值;相反,如果共生矩阵中的值非常不均匀时,其值较小。具体表示为:
利用上述公式(5)至(8),针对转化为灰度图像的样本RGB图像,计算统计不同类别服装角二阶矩、对比度、相关度和熵信息,最终确定预设服装纹理特征阈值范围。
在进行不同类别服装颜色和纹理特征的训练之后,根据上述计算方法对识别出来人体的视频图像中人体区域进行颜色和纹理特征进行分块计算;对于所选的颜色特征和纹理多个不同特征;对于第j个特征,构造弱分类器hj,由阈值范围确定每块图像服装各弱分类器的值;由于,各分类器特征权重相同,对于N个特征,每个特征权值分别为1/N。最后将弱分类器融合级联成对于单块图像稳定的强分类器输出。即利用对应各分块的服装类别弱分类器融合所述各分块的服装类别,并将融合的结果通过强分类器输出。
最后,根据属于同一人体目标,即同一人体的不同分块的识别结果,运用大数判决进行服装识别,获取最终的识别结果。
本发明实施例通过综合考虑颜色、纹理等多个特征,由多个弱分类器形成强分类器,经过大数判决,利用同一人体不同分块的识别结果进行服装识别结果优化。保证获取效果较好、可靠性高的识别效果。
需要说明的是,预设服装纹理特征阈值和预设服装颜色特征阈值都属于预设服装特征阈值的一部分。也就是说,在进行对比的过程中,获取的同类型的各分块的服装特征值对应与预设服装特征阈值中同类型的特征阈值进行比较。
步骤S106,返回步骤S102,实现对所述人体目标的跟踪,即执行下一时间序列或相邻时间序列中人体目标的服装类别的识别。
步骤S107,获取所述视频流中不同时间序列中各帧同一人体目标的服装类别进行融合,并依据预存储的服装类别进行投票判决,确定所述运动目标的服装类别。
执行步骤S106采用最简单的运动目标跟踪方法,对视频序列中下一时间序列或相邻时间序列中运动人体目标,根据该目标的人体形态特性(长宽比)和位置相关性进行同一运动目标跟踪。并重复执行上述步骤S102至步骤S105,获取同一运动目标在当前时间序列中所述人体目标的服装类别。最后执行步骤S107,根据多个相邻视频序列服装类别识别结果,进行投票表决,利用大数判决结果平滑掉有误的识别结果。从而完成低分辨率视频中服装识别处理。具体识别后的效果参见图示7。
在执行步骤S106和步骤S107的过程中,通过上述本发明实施例中利用时间序列相关性,对相邻多帧识别结果进行汇总,根据跟踪结果,对同一人体的多帧服装识别结果进行投票判决,运用相邻多帧的识别结果平滑有误的结果,最终借助时空融合结果实现或完成快速、高精度的服装识别。
此外,在发明公开的实施例基于通过运动检测,减少检测目标数量;利用离线进行特征训练;采用简化权值计算设定方法等措施,能够提高本发明进行服装识别的实时性。
上述本发明公开的实施例中详细描述了一种低分辨率视频的服装识别方法,对于本发明的方法可采用多种形式的系统实现,因此本发明还公开了一种低分辨率视频的服装识别系统,下面给出具体的实施例进行详细说明。
请参见附图8,为本发明实施例公开的一种低分辨率视频的服装识别系统,主要包括:提取装置11、分解装置12、比较识别装置13、融合装置14和判决装置15。
提取装置11,用于确定接收到的视频流中的当前时间序列,以及提取所述视频流中的前景图像,从所述前景图像中确定运动人体目标,并提取所述人体目标的轮廓信息。
分解装置12,用于分解所述人体目标的轮廓信息,依据预设服装类别提取所述人体目标的轮廓信息中各分块对应的服装特征值。
比较识别装置13,用于将获取到的各分块的服装特征值与预设服装特征阈值进行比较,识别当前帧中各分块的服装类别。
融合装置14,用于融合所述视频流中同一时间序列或不同时间序列中各帧所述各分块的服装类别。
判决装置15,用于依据预存储的服装类别进行投票判决,确定当前时间序列中所述人体目标的服装类别;以及不同时间序列中各帧中同一人体目标的服装类别进行融合后,所述人体目标的服装类别的判决。
在上述本发明实施例公开的低分辨率视频的服装识别系统的基础上,还包括:
去除装置16,用于对获取到的所述前景图像进行噪声和空洞的去除操作。
上述本发明公开的该系统对应上述实施例一公开的方法,各部分具体执行的原理或执行的过程可参见上述公开的方法与其相关的部分。
综上所述:
本发明所公开的方法和系统基于时空分类器融合技术,基于运动检测、人体识别和服装识别,对同一人体目标多个视频流中的服装特征进行判决,最终确定该运动目标的服装类别和身份,从而实现高效率、高质量,高准确度的身份及服装识别目的。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。