CN109934176B - 行人识别系统、识别方法及计算机可读存储介质 - Google Patents
行人识别系统、识别方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109934176B CN109934176B CN201910201008.7A CN201910201008A CN109934176B CN 109934176 B CN109934176 B CN 109934176B CN 201910201008 A CN201910201008 A CN 201910201008A CN 109934176 B CN109934176 B CN 109934176B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- camera
- target
- face
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种行人识别系统、识别方法及计算机可读存储介质,行人识别系统,行人识别系统包括:数据库模块,存储有标定人脸数据;摄像/照相装置,采集行人信息;拓扑模块,获取摄像/照相装置的空间分布形成空间模型;人脸识别模块,将行人信息与标定人脸数据比较,筛选目标行人;行人再识别模块,提取行人信息中目标行人的体征信息,及摄像/照相装置的识别号;校验模块,获取体征信息、识别号及空间模型,根据空间模型及体征信息,识别并绘制目标行人的行程轨迹。通过实时比对,及将人脸识别、行人再识别、智能行人轨迹判断的技术结合,保证了识别准确率,且相比于全局监控摄像头搜索,大幅度降低比对时间,减少误检情况的发生。
Description
技术领域
本发明涉及智能控制领域,尤其涉及一种行人识别系统、识别方法及计算机可读存储介质。
背景技术
随着时代进步和发展,当前社会环境越来越复杂,国家对人身安全的保障越来越重视。为此在商场、医院、地铁以及车站等人流密集场所,都部署了密集的可用于摄像或照相的摄像头,一方面提供便捷的视频监控管理,另一方面为公安破案和安防指挥提供很大的帮助。而这些密集摄像头则构成了可用于部署智能视频分析网格化的监控系统。
此类摄像头在监控时,将通过采集行人的人脸作为识别对象进行监控及审查。人脸识别相对于虹膜识别和指纹识别技术等主动识别方法,具有直观、更易获取的优点,因此,人脸识别是确认行人身份的重要依据,。
现有技术中,人脸识别的特殊性在于对环境要求比较高,大监控场景下人脸像素分辨率低,受运动模糊的影响以及光线和倾斜角度等影响很难获得很高的识别准确率和鲁棒性。因此,为补偿人脸识别在实际应用场景中的上述问题,近几年兴起了行人再识别技术。行人再识别技术是借助于行人除人脸外的其他部分的颜色、纹理、局部特征的组合,在不同摄像头下检索出同一个目标行人的技术。由于多个摄像头拍摄视角不同,同一个行人可能被拍到正面、侧面、背面,从而具有不同的视觉特征;也有可能不同的行人穿同样款式的衣服从而具备相似的视觉特征,在实际应用场景中,行人再识别技术也是一个比较困难的图像匹配问题。仅依靠人脸识别技术和行人再识别技术在现实应用场景中很难达到用户期待的识别精度,因此不能满足实用化的要求。
况且监控系统的使用,主要用于实时监测是否有偷盗、打闹事件的发生,当发生偷盗事件或者医院出现黄牛、地铁可疑人员后,都需要人工对监控视频进行查看。这种方式不仅效率低下,而且往往耽误最佳处理时间。且随着监控摄像头越来越多,每时每刻都在产生大量的图像数据,如果没有一套行人识别比对和警报的系统,那么单纯依靠人力在所有监控设备下搜索的时间成本是很大的,并且受限于长时间人的疲劳影响,准确率也难以保证。基于此种现象,形成了如何从海量监控摄像头中自动、准确、快速的检索定位到可疑人员的需求。
因此,需要一种新型的行人识别系统和识别方法,在对行人进行监控时,减少搜索范围构建高效检索查询系统的同时,大大降低行人识别的误识率,提高了综合比对准确率。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种行人识别系统、识别方法及计算机可读存储介质,通过实时比对的识别方式,以及将人脸识别、行人再识别、智能行人轨迹判断的技术结合,保证了识别准确率,且相比于全局监控摄像头搜索,大幅度降低比对时间,减少误检情况的发生。
本发明公开了一种行人识别系统,所述行人识别系统包括:
数据库模块,搭建于所述行人识别系统内,存储有标定人脸数据;
摄像/照相装置,安装于至少一指定区域内,采集所述指定区域内的行人信息;
拓扑模块,获取所述摄像/照相装置的空间分布,以形成所述指定区域内摄像/照相装置的空间模型;
人脸识别模块,分别与所述摄像/照相装置及数据库模块连接,接收所述行人信息并将所述行人信息与所述标定人脸数据比较,筛选符合所述标定人脸数据的目标行人;
行人再识别模块,与所述人脸识别模块连接,接收所述目标行人的行人信息,并提取所述行人信息中所述目标行人的体征信息,及记录采集到所述行人信息的所述摄像/照相装置的识别号;
校验模块,分别与所述行人再识别模块和拓扑模块连接,获取所述体征信息、识别号及空间模型,利用所述摄像/照相装置获取的实时图像,根据以所述识别号对应的摄像/照相装置为起始点的空间模型及体征信息,识别并绘制所述目标行人的行程轨迹。
优选地,所述数据库模块包括:
采集单元,与外部人脸库连接,采集存储于所述外部人脸库内的指定人脸数据;
标定单元,与所述采集单元连接,获取所述指定人脸数据,并提取所述指定人脸数据的特征向量,对所述特征向量标定生物属性,以形成所述标定人脸数据。
优选地,所述数据库模块还包括:
索引单元,与所述标定单元连接,提取所述特征向量的指定字段,当所述索引单元接收一检索命令时,比较所述检索命令的检索对象及所述指定字段,将匹配所述检索对象的指定字段及指定字段的近邻字段作为查找结果。
优选地,所述拓扑模块包括:
路径绘制单元,获取所述摄像/照相装置在所述指定区域内的空间分布,并绘制任意摄像/照相装置与相邻摄像/照相装置的行程路径;
统计单元,与所述路径绘制单元连接,接收所述行程路径,并基于所述行程路径的距离及行人速度计算所述目标行人以任一摄像/照相装置为起点,任意其他摄像/照相装置为终点的行程概率。
优选地,所述人脸识别模块包括:
通信单元,与所述摄像/照相装置连接,接收所述摄像/照相装置采集的视频流;
解码单元,与所述通信单元连接,接收所述视频流,并对所述视频流解码,以提取所述视频流中包含行人的行人图像;
图像处理单元,自所述解码单元接收所述行人图像,并超分辨率重建所述行人图像,以形成行人数据;
比较单元,分别与所述图像处理单元及数据库模块连接,接收所述行人数据及标定人脸数据,所述比较单元内置一比较阈值,筛选与所述标定人脸数据的匹配值高于所述比较阈值的行人数据,从而标定筛选后的行人数据对应的行人为目标行人。
优选地,所述图像处理单元包括:
预处理元,检测所述行人图像的人脸置信度,当所述人脸置信度大于或等于预设于所述预处理元内的置信度阈值时,识别所述行人图像为真;当所述人脸置信度小于预设于所述置信度阈值时,识别所述行人图像为伪;
重建元,获取所述行人图像,提取多个行人图像中行人的人脸特征,且所述重建元中存储有先验模型,根据所述先验模型合并人脸特征形成重建的行人图像。
优选地,所述行人再识别模块包括:
生物特征提取单元,提取目标行人的生物特征;
记录单元,与所述生物特征提取单元连接,将所述生物特征与所述目标行人关联;
行人数据库单元,与所述记录单元连接,接收互相关联的目标行人及其生物特征,且所述行人数据库单元与所述摄像/照相装置连接,获取采集到所述目标行人的摄像/照相装置的识别号并记录。
优选地,所述生物特征提取单元包括:
提取元,提取所述目标行人的生物特征;
分块元,与所述提取元连接,与目标行人的人体结构对齐后将所述生物特征分块,以形成体征信息。
优选地,所述校验模块包括:
分发单元,将所述体征信息分发至所述摄像/照相装置;
检验单元,与所述摄像/照相装置连接,接收摄像/照相装置的实时图像,比较所述实时图像内的待比较行人的生物体征及所述体征信息,当所述生物体征与所述体征信息的匹配度大于匹配度阈值时,检验所述待比较行人以所述识别号对应的摄像/照相装置为起始点的运动轨迹是否符合所述空间模型,当所述运动轨迹符合所述空间模型时,识别所述运动轨迹为行程轨迹;
轨迹更新单元,获取所述目标行人出现在的每一摄像/照相装置的空间分布,连接摄像/照相装置以绘制所述行程轨迹。
优选地,所述行人识别系统还包括:
告警模块,通信连接至至少一个终端,向所述终端下发所述行人信息、体征信息、行程轨迹、识别号中的任意一种或多种;
辅助模块,识别目标行人的年龄、性别、眼镜佩戴状态、背包状态中的一种或多种。
本发明还公开了一种行人识别方法,所述行人识别方法包括以下步骤:
搭建一数据库,所述数据库内存储有标定人脸数据;
安装于至少一指定区域内的摄像/照相装置采集所述指定区域内的行人信息;
获取所述摄像/照相装置的空间分布,形成所述指定区域内摄像/照相装置的空间模型;
比较所述行人信息及标定人脸数据,筛选行人信息中符合所述标定人脸数据的目标行人;
提取所述行人信息中所述目标行人的体征信息,并记录采集到所述行人信息的所述摄像/照相装置的识别号;
基于所述体征信息、识别号及空间模型,利用所述摄像/照相装置获取的实时图像,根据以所述识别号对应的摄像/照相装置为起始点的空间模型及体征信息,识别并绘制所述目标行人的行程轨迹;
向至少一个终端下发所述行人信息、体征信息、行程轨迹、识别号中的任意一种或多种,以产生告警信息。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1.通过人脸识别和行人再识别相融合,进一步对识别到的行人作二次校验,保证了识别准确率;
2.借助于空间模型的引入,一方面可作为检验标准对识别到的行人作校验,另一方面可针对性地搜索行人高概率出现在画面内的摄像头,减少系统的搜索负载,以降低比对时间和系统运行要求;
3.主动向用户发出告警信息及目标行人的运动轨迹,方便监控人员第一时间部署抓捕或追踪,无需人工7*24小时紧盯监控系统,通过提高智能化处理能力节省人工成本。
附图说明
图1为符合本发明一优选实施例中行人识别系统的系统结构示意图;
图2为符合本发明一优选实施例中数据库模块的结构示意图;
图3为符合本发明一优选实施例中拓扑模块的结构示意图;
图4A为符合本发明一优选实施例中摄像/照相装置的空间分布示意图;
图4B为符合本发明一优选实施例中空间模型的量化示意图;
图5为符合本发明一优选实施例中人脸识别模块的结构示意图;
图6为符合本发明一优选实施例中人脸识别模块的图像处理单元的结构示意图;
图7为符合本发明一优选实施例中行人再识别模块的结构示意图;
图8为符合本发明一优选实施例中行人再识别模块的生物特征提取单元的结构示意图;
图9为符合本发明一优选实施例中校验模块的结构示意图;
图10为符合本发明又一优选实施例中行人识别系统的结构示意图;
图11为符合本发明一优选实施例中行人识别方法的流程示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
参阅图1,为符合本发明一优选实施例中行人识别系统的结构示意图。为实现对某一区域内行人进行人脸识别、行人再识别及基于行人移动规律判断识别准确率的整套行人识别方式,该实施例中行人识别系统包括:
-数据库模块
数据库模块为搭建在行人识别系统内,存储数据的数据库集成。由于行人识别系统可基于服务设备,如服务器、中继器等建立,也基于智能设备如智能手机、终端等建立,因此搭建数据库模块时,其作为长期储存在计算机或服务器内、有组织的、可共享的数据集合而使用。数据库模块承载的数据库中的数据指的是以一定的数据模型组织、描述和储存在一起,具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点,并可在一定范围内为多个访问行人识别系统的用户或硬件设备共享。
数据库模块内所存储的数据,主要为标定人脸数据,或不同人脸表情提取到的特征数据。标定人脸数据为人脸数据中的一种,所谓人脸数据,为集成在人脸数据库中,反应多人人脸的数据,或反应同一人在不同状态、表情、心情下的人脸表现。其中的标定人脸数据,可以是对于庞大的人脸数据的预筛选,即根据选定的某些条件提取人脸数据中复合条件的部分人脸,以作后用。例如,标定的条件为亚洲人,则标定人脸数据内主要包括的便是亚洲人的人脸数据;标定的条件为通缉犯等可疑人员时,标定人脸数据内主要包括的便是可能对社会造成危害的人员的人脸数据。因此,在实际应用场景中,可根据行人识别系统的所需过滤要求设定不同的标定人脸数据,并将其存储至数据库模块内。
-摄像/照相装置
在一指定区域内,安装有可用于摄像或照相的设备,此类设备为摄像/照相装置,其具有的摄像功能可在设定时间或所有时间内对拍摄区域进行录制、拍摄,并将录制、拍摄画面传输至指定模块或存储设备内;其具有的照相功能可在设定时间或所有时间内对拍摄区域进行定期拍照,如每分钟采集一次等,同样地可将拍照画面传输至指定模块或存储设备内。摄像/照相装置为至少具有上述摄像功能或拍照功能中一种的设备,可采集安装此类设备的指定区域内的行人信息。该实施例中,指定区域同样可由搭建行人识别系统的用户或需求商根据自身需要选定。例如,当需要对某一商场进行监控时,商场内重点监控区域便可以是指定区域;当需要对某一基地进行监控时,基地内涉密单位便可以是指定区域。在所选定的区域,即指定区域内,安装如摄像头、测录仪等设备为摄像/照相装置,摄像/照相装置工作时,其对准或可环顾到的方位、区域内出现的行人将作为采集到的行人信息存储或转发,留作后用。
本实施例中摄像/照相装置对行人采集时,除代表个人唯一特征的人脸外,还将一并对行人的全身作捕捉,也就是说,本实施例中行人信息所包含的特征元,除行人的人脸外,还将包括行人的穿着信息、身形信息、携带配件信息、周围人(伴侣)信息等与行人相关的信息,从而使得后续对行人进行验证时,可采用多维度的验证方式,提高行人识别准确度。
-拓扑模块
在本实施例的行人识别系统中,融合了对行人移动规律的总结和预测,因此,在行人识别系统内,还额外增设有拓扑模块。拓扑模块可以是集成在行人识别系统的系统级处理器内的功能模块,其与指定区域内的摄像/照相装置通信连接,或与负责指定区域内摄像/照相装置的布局的设备通信连接,抑或与存储有摄像/照相装置的布局的设备通信连接,从而获取摄像/照相装置在指定区域内的空间分布,例如,在指定区域内的某些具体位置设置有摄像/照相装置,安装的设备是否同时具有摄像、照相功能,抑或是仅具有其中一项功能,指定区域若有多楼层,则每一或任一楼层的同一位置是否安装有摄像/照相装置等,再或者如摄像/照相装置的数量为多个时,任意两个摄像/照相装置间的直线距离、行程距离(两装置无法通过直线直达时,行人从一装置行进到另一装置的距离)等。上述空间分布信息的获取,使得拓扑模块可详细了解指定区域内每一摄像/照相装置的放置情况以及指定区域内受摄像/照相装置监控的监控区域的情况。借助于统计算法,拓扑模块根据空间分布信息最终可形成指定区域内摄像/照相装置的空间模型,以作为对行人行走规律的总结和预判。例如,空间模型内具有的多条行人行走路径在实际应用场景的长期使用下,将划分出行人行走较多类型,以及行人行走较少类型,即各条行人行走路径的热点图,热点图同样也可作为附加信息融合至空间模型内。
-人脸识别模块
完成行人识别系统内的上述模块搭建后,将再融合入人脸识别模块。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,也可以视为通过利用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术。在该实施例中,人脸识别模块分别与摄像/照相装置及数据库模块连接,与摄像/照相装置连接后人脸识别模块将接收摄像/照相装置在指定区域内对行人监控后所采集的行人的行人信息,即代表着实际应用场景中真实的行人状态的信息,而与数据库模块连接后将接收预存在数据库模块内的标定人脸数据,通过将行人信息及标定人脸数据汇集至人脸识别模块,人脸识别模块将根据人脸识别算法比较所采集的行人信息及标定人脸数据。可以理解的是,人脸识别模块将通过一系列的预处理、人脸特征提取等方式将行人信息处理为与标定人脸数据格式相同、数据类型相同等可快速比较的形式对行人信息进行比对,当行人信息与标定人脸数据中的预存人脸数据匹配时,代表当前在指定区域内被摄像/照相装置采集到的行人中,符合数据库模块内特定条件下对象的可能性很高。因此,筛选出符合标定人脸数据的行人,并将其标记为目标行人。
-行人再识别模块
通常现有技术中,在人脸识别获取到符合条件的行人后,将通过多角度多比较的方式作验证。而本实施例中,目标行人筛选后将通过其他比对方式进行校验。具体地。行人识别系统内融合有一行人再识别模块,其与人脸识别模块连接,接收目标行人的行人信息。可以理解的是,由于人脸识别模块根据标定人脸数据已筛选出目标行人,因此再通过行人再识别模块作二次校验时,将不会把摄像/照相装置采集的行人信息发送至人脸识别模块,而是仅将目标行人的行人信息发送至行人再识别模块。行人再识别模块根据接收到的目标行人的行人信息,提取其中的体征信息,如目标行人的衣着信息(颜色、款式、厚度等)、脸部配件信息(眼镜、首饰、文身等)、穿戴配件信息(背包、拎包、携带物件等),同时行人再识别模块将从摄像/照相装置处,或从人脸识别模块处记录下首次或多次采集到该目标行人的摄像/照相装置的识别号。
摄像/照相装置的识别号在空间模型形成时便可对每一摄像/照相装置进行配置,以对每一摄像/照相装置分配有特定且唯一得到识别号(ID),通过识别号的配置,及与空间分布信息的关联,该识别号便可如坐标般区分不同的摄像/照相装置。
行人识别模块通过对目标行人的体征信息的提取及摄像/照相装置的识别号的记录,两信息关联后便意味着具有行人再识别模块的行人识别系统,在首次捕捉到符合特定条件的目标行人后,便将一并对其出现的位置、体貌特征等作判断及记录。与现有技术相比,不再局限于对人脸做识别和校验,而将行人识别上升至集成有行人追踪、动态校验的功能上,对于人脸识别的扩展应用,如敏感人物监控、网上追逃、关键场所监控等提供可能。
-校验模块
行人识别系统内还集成有校验模块,该校验模块分别与行人再识别模块和拓扑模块连接,自行人再识别模块处获取体征信息、摄像/照相装置的识别号,自拓扑模块处获取反应摄像/照相装置分布的空间模型,并根据上述两信息判断目标行人是否确为人脸识别模块所判断的符合标定人脸数据中的对象。
具体地,对于体征信息的利用,校验模块将在一预设时间内或持续不断地接收摄像/照相装置获取的实时图像,通过不同摄像/照相装置对行人的再识别,判断符合该体征信息的行人是否出现在其他摄像/照相装置中,若符合体征信息的目标行人再次出现时,行人识别模块可控制人脸识别模块再次对该目标行人进行人脸识别。可以理解的是,在前述状态下,对于目标行人的新人脸采集,由于所采集的设备不同,则采集到的人脸角度、大小、清晰度都将不同,在不同比对信息下,可对目标行人作二次校验。
对于摄像/照相装置的利用,同样也可在一预设时间内或持续不断地接收摄像/照相装置获取的实时图像,从首次识别出目标行人的摄像/照相装置起,借助于人脸识别或行人再识别模块对该目标行人出现在其他的摄像/照相装置作二次判定,从而最终确定目标行人在整个指定区域内的行程轨迹,且该行程轨迹也将通过空间模块作检验,以确定目标行人的行程轨迹是否符合常规或物理规则。例如,当行人识别模块识别到某一目标行人A时,行人再识别模块将提取该目标行人A的体征信息,以及其首次被采集到的摄像/照相装置的识别号,如001,该目标行人A的体征信息、摄像/照相装置的识别号001发送至校验模块后,检验模块将以识别号001的摄像/照相装置为目标行人A的起始点,进行目标行人A的行程轨迹绘制。当目标行人A再次出现在其他摄像/照相装置(如识别号为006)所采集的图像内时,首先可根据体征信息作判定,预确定的该行人是否为目标行人A,当通过体征信息确定为目标行人A时,将记录下再次采集到目标行人A的该摄像/照相装置的识别号006,以此类推,最终所绘制的目标行人A的行程轨迹将以一串摄像/照相装置的识别号标定,通过每一摄像/照相装置在空间模型内所记录的空间分布,目标行人A在指定区域内的出现位置、行走路径均将通过行程轨迹反映出。此外,借助于空间模型,在对行程轨迹进行绘制时,可实时地识别目标行人A是否识别准确,如在一远离于识别号为001的摄像/照相装置的另一摄像/照相装置(如识别号为022)上采集到与目标行人A的体征信息匹配、人脸识别匹配或未采集到人脸的行人时,可根据行人的一般移动速度(如0.6米/秒的行走速度、1.5米/秒的慢跑速度、2米/秒的非机动车行驶速度等)及空间模型内识别号为001的摄像/照相装置与识别号为022的摄像/照相装置间的路径距离,判断目标行人A是否有可能在两次被采集到的间隔时间内从识别号为001的摄像/照相装置的图像采集区域移动至识别号为022的摄像/照相装置图像采集区域,若不符合移动规律或物理规律,则对该行程轨迹识别为伪或误识别,重新捕捉其他摄像/照相装置内出现的可能为目标行人A的行人。也就是说,空间模型的引入不仅用于用户对指定区域内可采集到图像的范围作了解,也可作为校验工具在校验模块内确定对目标行人A的识别是否正确,其行程轨迹是否合理等,大大降低仅通过人脸识别的行人误识率,提高了综合比对准确率。
可以理解的是,上述模块化的描述并不限制于将整个行人识别系统根据各模块功能分割和独立,在不同的实施方式中,拓扑模块、人脸识别模块、行人再识别模块、校验模块中的一种或多种可集成在同一处理芯片或同一设备内,以集成式、分隔式等形式组建,具有上述功能的单元部件或设备部件均将属于本发明的行人识别系统。
通过以上行人识别系统的配置,结合入行人再识别模块、拓扑模块及校验模块后,将进一步在应用中对行人识别作校验及判定,且空间模型作为校验基准引入后,行人识别系统不再流于理论,而是结合实际对行人作判断,甚至在无法检测到人脸的情况下,只要行人出现在摄像/照相装置的监控场景内,就可以通过行人再识别及空间模型去除误识别部分,在检测不到人脸的情况下也能确认目标行人身份,从而弥补了人脸识别的缺陷。
参阅图2,为符合本发明一优选实施例中数据库模块的结构示意图。该优选实施例中,数据库模块包括:
-采集单元
采集模块可与行人识别系统的外网链接,收集公开的外部人脸库,例如哥伦比亚大学公众人物脸部数据库、亚洲人人脸数据库等,作为构建数据库模块的基本数据集。
在对采集单元内存储人脸数据库时,可设定某些规则以限定人脸数据库所存对象的身份。例如,向公安系统获取在通缉嫌疑犯的人员所组成的疑犯人员数据库、年龄层次限定的人员数据库等,也就是说,在采集单元处,将对外部人脸库内的对象作预筛,最终所存储的为外部人脸数据库中的条件规定下的指定人脸数据。可以理解的是,当不设定条件或设定条件很宽时,指定人脸数据也可以是外部人脸库的全部数据。
采集单元对限定人员的人脸图像采集时,可对每一限定人员采集1~3张不同角度下拍摄的人脸图像,针对实际应用场景中所追踪到的不同角度下的人脸可分别作比,以综合提高人脸识别命中率。
-标定单元
标定单元与采集单元连接,自采集单元处获取指定人脸数据。由于指定人脸数据一般为包括整个人脸的原始数据,因此,标定单元将基于原始数据对指定人脸数据作特征提取。具体地,标定单元将提取指定人脸数据的特征向量,如采用卷积神经网络模型训练人脸识别分类器,根据人脸的视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等进行人脸特征提取,人脸特征提取的方法归纳起来分为两大类:一种是基于知识的表征方法;另外一种是基于代数特征或统计学习的表征方法。基于知识的表征方法主要是根据人脸器官的形状描述以及他们之间的距离特性来获得有助于人脸分类的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成,对这些局部和它们之间结构关系的几何描述,可作为识别人脸的重要特征,这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。通过上述人脸数据的特征向量的提取,利用如深度学习改进的DenseNet网络提取1024维特征,可对特征向量中的生物属性进行标定,如对某一人脸的对象性别和年龄进行标定,最终得到包括标定信息和人脸数据的标定人脸数据。
-索引单元
索引单元与标定单元连接,当标定人脸数据形成后,将提取特征向量中的指定字段,如根据编码后的特征向量提取前三个代表特征向量大类的字段。由于标定人脸数据内将包含大量的人脸数据,若遍历检索将影响后续人脸识别的速度,因此索引单元的建立,在接收到人脸识别任务生成的检索命令时,将根据检索命令中要求的检索对象匹配指定字段,例如检索命令包含的对人脸数据中人脸上的嘴部、鼻部特征比较时,将根据指定字段是否有满足上述特征的内容,当指定字段或其临近字段匹配时,便将匹配结果作为基于检索命令的查找结果体现,也就是说,索引单元可先行提供一粗略结果或模糊结果,用户可根据需求直接使用或在粗略结果与模糊结果内二次检索。与直接存储和比较高维特征向量的人脸数据库比,索引单元提供了更高的比对效率,节省大量的比对时间和系统负载要求。
参阅图3,为建立空间模型,一优选实施例中拓扑模块包括:
-路径绘制单元
路径绘制单元包含在拓扑模块内,与摄像/照相装置连接,将通过如上文所述的方式获取摄像/照相装置在指定区域内的空间分布情况。路径绘制单元所获取的为实际地域场景中摄像/照相装置的地理分布,该实际地域场景的噪音信息较多,因此,在路径绘制单元内,将绘制任意摄像/照相装置与相邻摄像/照相装置的行程路径,也即各摄像/照相装置的拓扑关系图。
参阅图4A,为一模拟环境下具有6个摄像/照相装置的指定区域,经路径绘制单元绘制的摄像/照相装置的拓扑图。拓扑图内包括有各摄像/照相装置的空间分布及相邻摄像/照相装置的行进间距。
-统计单元
统计单元与路径绘制单元连接,根据路径绘制单元所绘制的各摄像/照相装置的空间分布及行程路径的距离,形成一统计信息,例如表1所示,表征各路线的移动距离。
表1
若一行人欲从摄像/照相装置A监控的区域到达摄像/照相装置F监控的区域,可有2条行程路径:A→D→E→F或A→B→C→E→F,则根据表1所示的摄像/照相装置拓扑关系,两条行程路径的路径长度分别为900米和1000米。再根据行人在不同工具下的移动速度,如步行、慢跑、快跑、非机动车、轮滑等计算以任一摄像/照相装置为起点,任意其他摄像/照相装置为终点的行程概率。具体地,以行人步行为例,取行人步行速度约1m/s(室内情况),则简单来说,行人从摄像/照相装置A监控的区域到达摄像/照相装置F监控的区域无论是选择哪条路径,其移动所需时间应当在900秒以上,也即该行人出现在摄像/照相装置A内与出现在摄像/照相装置F内的时间间隔在900秒以上,则以行人出现在摄像/照相装置A内的时间为起始时刻(0时刻),500秒时出现在摄像/照相装置F内的概率基本为0。基于该原则,参阅图4B,示出了该实施例中摄像/照相装置A的行程概率,实际计算步骤可以是对每个摄像/照相装置A,基于:
计算行人从摄像/照相装置A至其他摄像/照相装置的高斯概率分布。其中f(xi,xj|t)表示指定时间t内,行人从摄像/照相装置xi出发,到达摄像/照相装置xj的概率,γi,j可通过大量行人标签样本从各个摄像/照相装置经过的时间统计得到,即该指定区域内实际经验所得。假设当前时间间隔为500秒,根据上述行程概率,行人出现在摄像/照相装置B和摄像/照相装置D的位置都有80%可能性,出现在摄像/照相装置C也有70%可能性,而出现在E、F位置的概率不到60%。基于此,可对人脸识别和行人特征识别的结果进行精准过滤。
参阅图5,一优选实施例中,人脸识别模块包括:
-通信单元
通信单元于摄像/照相装置连接,接收摄像/照相装置采集的视频流,该视频流反应指定区域内的真实现场情况。
-解码单元
解码单元与通信单元连接,自通信单元接收所采集的视频流,并对每一摄像/照相装置采集的视频流实时解码分析,如采用yolo_v3框架对视频中人脸检测,从而提取视频流中包含行人的行人图像,如某一行人的人脸特写图像、近景,远景中的人脸图像等。
-图像处理单元
图像处理单元与解码单元连接,解码单元用作将大画面的视频流转化为以人脸图像为主的小画面,而图像处理单元则将对行人图像作分辨率提高,并对分辨率提高后的行人图像输出为行人数据,图像处理单元通过提高人脸图像清晰度以提高人脸识别的准确度。
-比较单元
比较单元分别与图像处理单元及数据库模块连接,自图像处理单元处接收行人数据,自数据库模块处接收标定人脸数据。当同时获取到行人数据及标定人脸数据时,比较单元将对行人数据及标定人脸数据的匹配度进行比较,例如以余弦相似度为度量准则计算识别相似度值,通过每一比较过程均将输出一匹配值,根据比较单元内置的一比较阈值(如80%,即满足80%表示相似),当该匹配值高于或等于比较阈值时,则表示该比较过程下的行人数据与标定人脸数据匹配度高,具有该行人数据的行人有大可能为具有该标定人脸数据的限定人员,则将对该行人标定为目标行人,作进一步地确认与追踪;反之,若匹配值小于比较阈值时,则表示该比较过程下的行人数据与标定人脸数据匹配度低,具有该行人数据的行人不大可能为具有该标定人脸数据的限定人员,即该行人基本为“干净”行人,可列入白名单或放弃追踪。
可以理解的是,由于比较阈值为预设于比较单元内,因此,该比较阈值的设置可根据实际使用情况进行调整,如若目标行人的筛选量过于少,则可降低比较阈值,而若目标行人的噪音量过高,则可提高比较阈值,通过多次调参获取到最为适合不同工况和场所下的比较阈值。
参阅图6,在一进一步实施例中,图像处理单元不仅对行人图像作分辨率提高,还将对行人图像作最为适合比较的处理,因此图像处理单元进一步包括:
-预处理元
预处理元设于图像处理单元内,将对行人图像的人脸置信度作检测。人脸置信度,即该行人图像内所包含的,是否确为人脸,当人脸置信度越高时,则表示行人图像内包含人脸的可能性越高,若不具有对人脸置信度作检测的预处理元,误将其他物件组成的似人脸与标定人脸数据比较,则无论输出何种结果,均将对比较结果造成噪音式的影响。因此,预处理元设置后,期内将预设有置信度阈值,当预处理元对行人图像的检测结果为人脸置信度大于或等于置信度阈值时,则识别该行人图像为真,可作进一步处理和比较;而当检测结果为人脸置信小于置信度阈值时,则识别行人图像为伪,丢弃该行人图像。
-重建元
重建元与预处理元连接,对于识别为真的行人图像将作分辨率重建提高。具体地,重建元内首先需深度学习形成有先验模型,该先验模型基于有监督学习或无监督学习状态下,将已有的人脸图像进行特征提取,并起初随意融合的方式建立,在每次融合后,将对融合后的图像与原有人脸图像作比,确定融合后图像的特征融合的正误,通过保留融合正确的部分、去除融合错误的部分,在不断反复的学习下,将建立一套针对于给定人脸图像的分辨率重建规则,该规则的归集形成先验模型。先验模型可以有多个,例如以性别作区分的男性先验模型、女性先验模型,以年龄作区分的青年先验模型、老年先验模型,以人种作区分的白种人先验模型、黄种人先验模型等。
具有先验模型后,重建元提取多角度下采集的多个行人图像的多帧,并对每一帧中的行人的人脸作特征提取和性别年龄识别,提取并识别完毕后,基于提取的年龄和性别信息,以及结合先验模型的融合规则,将人脸特征进行合并,从而形成重建的行人图像。
在上述人脸特征提取过程中,也可根据先验模型的学习过程以不同条件提取,例如提取原行人图像中分辨率较高的部分,提取人脸主要特征部分的特征等。通过分辨率重建,可在提高人脸质量的基础上进行人脸比对,提高人脸识别的准确度。
参阅图7,在另一优选或可选实施例中,行人再识别模块包括:
-生物特征提取单元
在人脸识别模块确定一目标行人后,由于目标行人可能处于运动的状态,则该目标行人运动到其他摄像/照相装置的捕捉范围时,可能无法再捕捉到其完整的脸部。因此,在该实施例中那个,在确定目标行人后,将通过再识别丰富对其追踪的元素。生物特征提取单元便构建在行人再识别模块内,对目标行人的行人信息的生物特征作提取。
-记录单元
记录单元与生物特征提取单元连接,存储所提取的生物特征与目标行人的关联性,则在行人再识别模块内,将记录有某一目标行人的人脸特征、生物特征等一系列可对其身份进行检测和辨识的要件。
-行人数据库单元
行人数据库单元与记录单元连接,接收已互相关联的目标行人及其生物特征,且除上述两元素外,行人数据库单元还将与摄像/照相装置连接,以获取采集到该目标行人的摄像/照相装置的识别号。也就是说,在行人数据库单元内,存储有符合筛选条件的目标行人的人脸数据、生物特征及捕捉地(摄像/照相装置的识别号),根据上述数据,即便目标行人的完整人脸未出现在其他摄像/照相装置内,也可通过生物特征对其相似度作校验,即便目标行人的完整人脸未出现且生物特征也仅捕捉到部分,也可通过该目标行人的移动是否符合物理规律作校验。
参阅图8,一进一步实施例中,为完整、有序、高效地提取目标行人的生物特征,生物特征提取单元包括:
-提取元
提取元将目标行人的生物特征完全或选择性地提取,例如提取目标行人的眼镜佩戴状态、背包状态、衣着的风格、颜色、厚重程度等。
-分块元
分块元与提取元连接,将提取后的生物特征与目标行人的人体结构进行对其,例如通过人体的骨架特征点标定所提取的生物特征的位置,从而规范不同摄像/照相装置的捕捉场景下目标行人的姿态变化多样性的问题,进一步提高对目标行人的追踪命中率。继而采用深度学习算法提取颜色、纹理特征,采用sift算法提取局部特征等最终形成目标行人的体征信息,用作行人再识别。
更优选地,行人再识别模块同样可具有学习和更新功能,在对同一目标行人作追踪时,利用其在不同摄像/照相装置下拍摄的图像进行标定,进行有监督学习行人再识别模块,采用欧氏距离度量学习方法,以类内距离最小、类间距离最大为目标,可得到用于行人再识别的网络模型。
参阅图9,在另一优选或可选实施例中,校验模块包括:
-分发单元
分发单元可与行人再识别模块连接,接收行人再识别模块最终形成的与目标行人的生物特征有关的体征信息。分发单元后将该体征信息下发至个摄像/照相装置下,以进行实时部署。
-校验单元
校验单元与各摄像/照相装置连接,接收摄像/照相装置的实时图像,每当检测到待比较行人(可以是任意行人或是可能为目标行人的行人),对待比较行人的生物体征作提取,并将待比较行人的生物体征与体征信息比较,即再识别对比,当两者的匹配度大于预设在校验单元内的匹配度阈值时(如70%,即满足70%表示相似),表示该待比较行人已符合行人再识别模块的再识别要求,继而,再采集当前捕捉到该待比较行人的摄像/照相装置的识别号,将初次捕捉到目标行人的摄像/照相装置的起始点与此次捕捉到待比较行人的摄像/照相装置的捕捉点所形成的轨迹输入空间模型,以判断该运动轨迹是否符合空间模型,若符合空间模型,也即表示其运动的方式符合物理规律及该场景下的普遍规律,该待比较行人基本为目标行人,其运动轨迹则为目标行人的行程轨迹;若不符合空间模型,则表示再识别模块的再识别结果可能将两穿着相似的行人混淆,但待比较行人不应为目标行人。
进一步地,校验模块还包括:
-轨迹更新单元
在上述实施例的基础上,确定目标行人的运动轨迹后,将根据采集到该目标行人的每一摄像/照相装置在指定区域内的空间分布,连线形成关联于运动轨迹的行程轨迹,即目标行人在指定区域内的历史移动方向,未来可能前往的地点等,均将在该行程轨迹内显示。该行程轨迹将更新至行人数据库内,方便监测者实时了解目标行人的动向。监测者根据目标行人的移动轨迹和位置信息可快速定位,大大提高了安保办公效率,节约时间。
参阅图10,在另一优选或可选实施例中,行人识别系统还包括:
-告警模块
告警模块与人脸识别模块、行人再识别模块连接,获取目标行人的行人信息、体征信息、行程轨迹、识别号中的一人或多种,并与监测人员的终端连接,向终端发送上述信息。终端根据行人信息、体征信息可人工追踪目标行人,根据行程轨迹,可判断其运动趋势,方便在目标行人的未来可达地点将其逮捕,根据识别号,可快速定位,第一时间前往目标行人出现的场所。通过可视化的实时告警,能够实时将告警结果分发给案发现场最近的安保人员的终端中,不仅能观察目标行人的位置、还能跟踪目标行人的运动轨迹,从根本上解决了传统人工破案过程中面临的高延时、低效率的问题。
-辅助模块
辅助模块用于再识别目标行人的年龄、性别、眼镜佩戴状态、背包状态中的一种或多种。
本发明的行人识别系统及其具有的告警功能具有实时性,采用人脸识别和行人再识别相融合的思路,保证了目标行人的识别准确率,再借助于借助时间空间特性,相对于全局监控摄像头搜索,大大减少了比对时间,降低了误检情况的发生。
本发明实施例还包括有行人识别方法,参阅图11,行人识别方法包括以下步骤:
S100:搭建一数据库,数据库内存储有标定人脸数据;
S200:安装于至少一指定区域内的摄像/照相装置采集指定区域内的行人信息;
S300:获取摄像/照相装置的空间分布,形成指定区域内摄像/照相装置的空间模型;
S400:比较行人信息及标定人脸数据,筛选行人信息中符合标定人脸数据的目标行人,若人脸识别不成功或不具有相似的目标行人时,则返回继续对指定区域内的行人检测追踪;
S500:提取行人信息中目标行人的体征信息,并记录采集到行人信息的摄像/照相装置的识别号;
S600:基于体征信息、识别号及空间模型,利用摄像/照相装置获取的实时图像,根据以识别号对应的摄像/照相装置为起始点的空间模型及体征信息,识别并绘制目标行人的行程轨迹;
S700:向至少一个终端下发所述行人信息、体征信息、行程轨迹、识别号中的任意一种或多种,以产生告警信息。
基于上述行人识别方法,可在服务器、终端、中心平台等安装计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上所述的行人识别方法。
智能终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设终端是智能终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。
Claims (14)
1.一种行人识别系统,其特征在于,所述行人识别系统包括:
数据库模块,搭建于所述行人识别系统内,存储有标定人脸数据;
摄像/照相装置,安装于至少一指定区域内,采集所述指定区域内的行人信息;
拓扑模块,获取所述摄像/照相装置的空间分布,以形成所述指定区域内摄像/照相装置的空间模型,所述空间模型包括各条行人行走路径在实际应用场景的长期使用下,所划分出行人行走较多类型以及行人行走较少类型的热点图;
人脸识别模块,分别与所述摄像/照相装置及数据库模块连接,接收所述行人信息并将所述行人信息与所述标定人脸数据比较,筛选符合所述标定人脸数据的目标行人;
行人再识别模块,与所述人脸识别模块连接,接收所述目标行人的行人信息,并提取所述行人信息中所述目标行人的体征信息,及记录采集到所述行人信息的所述摄像/照相装置的识别号;
校验模块,分别与所述行人再识别模块和拓扑模块连接,获取所述体征信息、识别号及空间模型,利用所述摄像/照相装置获取的实时图像,根据以所述识别号对应的摄像/照相装置为起始点的空间模型及体征信息,识别并绘制所述目标行人的行程轨迹,其中
所述拓扑模块包括:
路径绘制单元,获取所述摄像/照相装置在所述指定区域内的空间分布,并绘制任意摄像/照相装置与相邻摄像/照相装置的行程路径;
统计单元,与所述路径绘制单元连接,接收所述行程路径,并基于所述行程路径的距离及行人速度计算所述目标行人以任一摄像/照相装置为起点,任意其他摄像/照相装置为终点的行程概率;
当目标行人再次出现在其他摄像/照相装置所采集的图像内时,所述校验模块根据体征信息预确定该行人是否为目标行人,并根据目标行人的一般移动速度,判断目标行人是否符合移动规律或物理规律,若否,则对该行程轨迹识别为伪或误识别,重新捕捉其他摄像/照相装置内出现的可能为目标行人的行人,并根据行程概率对人脸识别和行人特征识别的结果进行精准过滤。
2.如权利要求1所述的行人识别系统,其特征在于,
所述数据库模块包括:
采集单元,与外部人脸库连接,采集存储于所述外部人脸库内的指定人脸数据;
标定单元,与所述采集单元连接,获取所述指定人脸数据,并提取所述指定人脸数据的特征向量,对所述特征向量标定生物属性,以形成所述标定人脸数据。
3.如权利要求2所述的行人识别系统,其特征在于,
所述数据库模块还包括:
索引单元,与所述标定单元连接,提取所述特征向量的指定字段,当所述索引单元接收一检索命令时,比较所述检索命令的检索对象及所述指定字段,将匹配所述检索对象的指定字段及指定字段的近邻字段作为查找结果。
4.如权利要求1所述的行人识别系统,其特征在于,
所述人脸识别模块包括:
通信单元,与所述摄像/照相装置连接,接收所述摄像/照相装置采集的视频流;
解码单元,与所述通信单元连接,接收所述视频流,并对所述视频流解码,以提取所述视频流中包含行人的行人图像;
图像处理单元,自所述解码单元接收所述行人图像,并超分辨率重建所述行人图像,以形成行人数据;
比较单元,分别与所述图像处理单元及数据库模块连接,接收所述行人数据及标定人脸数据,所述比较单元内置一比较阈值,筛选与所述标定人脸数据的匹配值高于所述比较阈值的行人数据,从而标定筛选后的行人数据对应的行人为目标行人。
5.如权利要求4所述的行人识别系统,其特征在于,
所述图像处理单元包括:
预处理元,检测所述行人图像的人脸置信度,当所述人脸置信度大于或等于预设于所述预处理元内的置信度阈值时,识别所述行人图像为真;当所述人脸置信度小于所述置信度阈值时,识别所述行人图像为伪;
重建元,获取所述行人图像,提取多个行人图像中行人的人脸特征,且所述重建元中存储有先验模型,根据所述先验模型合并人脸特征形成重建的行人图像。
6.如权利要求1所述的行人识别系统,其特征在于,
所述行人再识别模块包括:
生物特征提取单元,提取目标行人的生物特征;
记录单元,与所述生物特征提取单元连接,将所述生物特征与所述目标行人关联;
行人数据库单元,与所述记录单元连接,接收互相关联的目标行人及其生物特征,且所述行人数据库单元与所述摄像/照相装置连接,获取采集到所述目标行人的摄像/照相装置的识别号并记录。
7.如权利要求6所述的行人识别系统,其特征在于,
所述生物特征提取单元包括:
提取元,提取所述目标行人的生物特征;
分块元,与所述提取元连接,与目标行人的人体结构对齐后将所述生物特征分块,以形成体征信息。
8.如权利要求1所述的行人识别系统,其特征在于,
所述校验模块包括:
分发单元,将所述体征信息分发至所述摄像/照相装置;
检验单元,与所述摄像/照相装置连接,接收摄像/照相装置的实时图像,比较所述实时图像内的待比较行人的生物体征及所述体征信息,当所述生物体征与所述体征信息的匹配度大于匹配度阈值时,检验所述待比较行人以所述识别号对应的摄像/照相装置为起始点的运动轨迹是否符合所述空间模型,当所述运动轨迹符合所述空间模型时,识别所述运动轨迹为行程轨迹。
9.如权利要求8所述的行人识别系统,其特征在于,
所述校验模块还包括:
轨迹更新单元,获取所述目标行人出现在的每一摄像/照相装置的空间分布,连接摄像/照相装置以绘制所述行程轨迹。
10.如权利要求1所述的行人识别系统,其特征在于,
所述行人识别系统还包括:
告警模块,通信连接至至少一个终端,向所述终端下发所述行人信息、体征信息、行程轨迹、识别号中的任意一种或多种。
11.如权利要求1所述的行人识别系统,其特征在于,
所述行人信息包括:目标行人的年龄、性别、眼镜佩戴状态、背包状态中的一种或多种。
12.一种行人识别方法,其特征在于,所述行人识别方法包括以下步骤:
搭建一数据库,所述数据库内存储有标定人脸数据;
安装于至少一指定区域内的摄像/照相装置采集所述指定区域内的行人信息;
获取所述摄像/照相装置的空间分布,形成所述指定区域内摄像/照相装置的空间模型,所述空间模型包括各条行人行走路径在实际应用场景的长期使用下,所划分出行人行走较多类型以及行人行走较少类型的热点图;
比较所述行人信息及标定人脸数据,筛选行人信息中符合所述标定人脸数据的目标行人;
提取所述行人信息中所述目标行人的体征信息,并记录采集到所述行人信息的所述摄像/照相装置的识别号;
基于所述体征信息、识别号及空间模型,利用所述摄像/照相装置获取的实时图像,根据以所述识别号对应的摄像/照相装置为起始点的空间模型及体征信息,识别并绘制所述目标行人的行程轨迹;
获取所述摄像/照相装置在所述指定区域内的空间分布,并绘制任意摄像/照相装置与相邻摄像/照相装置的行程路径;
基于所述行程路径的距离及行人速度计算所述目标行人以任一摄像/照相装置为起点,任意其他摄像/照相装置为终点的行程概率;
当目标行人再次出现在其他摄像/照相装置所采集的图像内时,根据体征信息预确定该行人是否为目标行人,并根据目标行人的一般移动速度,判断目标行人是否符合移动规律或物理规律,若否,则对该行程轨迹识别为伪或误识别,重新捕捉其他摄像/照相装置内出现的可能为目标行人的行人,并根据行程概率对人脸识别和行人特征识别的结果进行精准过滤。
13.如权利要求12所述的行人识别方法,其特征在于,
所述行人识别方法还包括:
向至少一个终端下发所述行人信息、体征信息、行程轨迹、识别号中的任意一种或多种,以产生告警信息。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求12-13任一项所述的行人识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910201008.7A CN109934176B (zh) | 2019-03-15 | 2019-03-15 | 行人识别系统、识别方法及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910201008.7A CN109934176B (zh) | 2019-03-15 | 2019-03-15 | 行人识别系统、识别方法及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109934176A CN109934176A (zh) | 2019-06-25 |
CN109934176B true CN109934176B (zh) | 2021-09-10 |
Family
ID=66987412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910201008.7A Active CN109934176B (zh) | 2019-03-15 | 2019-03-15 | 行人识别系统、识别方法及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109934176B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324589A (zh) * | 2019-08-06 | 2019-10-11 | 嘉应学院 | 一种旅游景区的监控系统与方法 |
CN110532432A (zh) * | 2019-08-21 | 2019-12-03 | 深圳供电局有限公司 | 一种人物轨迹检索方法及其系统、计算机可读存储介质 |
CN110532923A (zh) * | 2019-08-21 | 2019-12-03 | 深圳供电局有限公司 | 一种人物轨迹检索方法及其系统 |
CN110751675B (zh) * | 2019-09-03 | 2023-08-11 | 平安科技(深圳)有限公司 | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 |
CN110795592B (zh) * | 2019-10-28 | 2023-01-31 | 深圳市商汤科技有限公司 | 图片处理方法、装置及设备 |
CN111080672B (zh) * | 2019-11-06 | 2023-04-07 | 深圳大学 | 安全预警方法、装置、计算设备及存储介质 |
CN111435435B (zh) * | 2019-12-10 | 2024-06-07 | 杭州海康威视数字技术股份有限公司 | 一种同伴识别方法、装置、服务器及系统 |
CN112989896A (zh) * | 2019-12-18 | 2021-06-18 | 广东毓秀科技有限公司 | 跨镜头追踪方法 |
CN110991413B (zh) * | 2019-12-20 | 2020-12-15 | 西南交通大学 | 一种基于ReID的跑步检测方法 |
CN111405249A (zh) * | 2020-03-20 | 2020-07-10 | 腾讯云计算(北京)有限责任公司 | 监控方法、装置及服务器和计算机可读存储介质 |
CN111582172A (zh) * | 2020-05-08 | 2020-08-25 | 安徽三音电子科技有限公司 | 一种基于人脸识别的车站旅客状态实时监测预警系统 |
CN111968152B (zh) * | 2020-07-15 | 2023-10-17 | 桂林远望智能通信科技有限公司 | 一种动态身份识别方法及装置 |
CN111782856A (zh) * | 2020-07-15 | 2020-10-16 | 上海依图网络科技有限公司 | 一种人体图像处理方法、装置、设备及介质 |
CN111967497B (zh) * | 2020-07-15 | 2024-01-26 | 桂林远望智能通信科技有限公司 | 一种动态身份识别数据处理方法及系统 |
CN111897993A (zh) * | 2020-07-20 | 2020-11-06 | 杭州叙简科技股份有限公司 | 一种基于行人再识别的高效目标人物轨迹生成方法 |
CN112268562B (zh) * | 2020-10-23 | 2022-05-03 | 重庆越致科技有限公司 | 一种基于行人自动轨迹导航的融合数据处理系统 |
CN112417977B (zh) * | 2020-10-26 | 2023-01-17 | 青岛聚好联科技有限公司 | 一种目标对象查找方法和终端 |
CN112257628A (zh) * | 2020-10-29 | 2021-01-22 | 厦门理工学院 | 一种户外比赛运动员的身份识别方法、装置及设备 |
CN113221612A (zh) * | 2020-11-30 | 2021-08-06 | 南京工程学院 | 一种基于物联网的视觉智能行人监控系统和方法 |
CN112699810B (zh) * | 2020-12-31 | 2024-04-09 | 中国电子科技集团公司信息科学研究院 | 一种提升室内监控系统人物识别精度的方法及装置 |
CN113625603B (zh) * | 2021-07-27 | 2023-06-23 | 金鹏电子信息机器有限公司 | 基于大数据的安防监控管理系统及管理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539909A (zh) * | 2015-01-15 | 2015-04-22 | 安徽大学 | 一种视频监控方法及视频监控服务器 |
CN108197565A (zh) * | 2017-12-29 | 2018-06-22 | 深圳英飞拓科技股份有限公司 | 基于人脸识别的目标寻踪方法及系统 |
CN108921107A (zh) * | 2018-07-06 | 2018-11-30 | 北京市新技术应用研究所 | 基于排序损失和Siamese网络的行人再识别方法 |
-
2019
- 2019-03-15 CN CN201910201008.7A patent/CN109934176B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539909A (zh) * | 2015-01-15 | 2015-04-22 | 安徽大学 | 一种视频监控方法及视频监控服务器 |
CN108197565A (zh) * | 2017-12-29 | 2018-06-22 | 深圳英飞拓科技股份有限公司 | 基于人脸识别的目标寻踪方法及系统 |
CN108921107A (zh) * | 2018-07-06 | 2018-11-30 | 北京市新技术应用研究所 | 基于排序损失和Siamese网络的行人再识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109934176A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109934176B (zh) | 行人识别系统、识别方法及计算机可读存储介质 | |
CN109819208B (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
Kumar et al. | The p-destre: A fully annotated dataset for pedestrian detection, tracking, and short/long-term re-identification from aerial devices | |
CN109271554B (zh) | 一种智能视频识别系统及其应用 | |
US9367730B2 (en) | Method and system for automated face detection and recognition | |
CN108256459A (zh) | 基于多摄像机融合的安检门人脸识别和人脸自动建库算法 | |
CN110070010A (zh) | 一种基于行人重识别的人脸属性关联方法 | |
US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
CN111985348B (zh) | 人脸识别方法和系统 | |
JP2007317062A (ja) | 人物認識装置及びその方法 | |
CN106355154B (zh) | 一种监控视频中检测频繁过人的方法 | |
CN111241932A (zh) | 汽车展厅客流检测与分析系统、方法及存储介质 | |
CN111339812A (zh) | 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 | |
CN113269091A (zh) | 一种面向智慧园区的人员轨迹分析方法、设备及介质 | |
CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
CN114998928A (zh) | 多粒度特征利用的跨模态行人重识别方法 | |
CN113569639B (zh) | 一种基于样本中心损失函数的跨模态行人重识别方法 | |
CN114581990A (zh) | 一种跑步智能测试方法以及装置 | |
CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
KR102423934B1 (ko) | 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션 | |
CN114783054B (zh) | 一种基于无线和视频特征融合的步态识别方法 | |
WO2021259033A1 (zh) | 人脸识别方法、电子设备以及存储介质 | |
Hu et al. | Multi-camera trajectory mining: database and evaluation | |
Ding et al. | An Intelligent System for Detecting Abnormal Behavior in Students Based on the Human Skeleton and Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |