CN113807127A - 一种人员归档方法、装置及电子设备 - Google Patents
一种人员归档方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113807127A CN113807127A CN202010536697.XA CN202010536697A CN113807127A CN 113807127 A CN113807127 A CN 113807127A CN 202010536697 A CN202010536697 A CN 202010536697A CN 113807127 A CN113807127 A CN 113807127A
- Authority
- CN
- China
- Prior art keywords
- person
- image
- personnel
- features
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 208000012661 Dyskinesia Diseases 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 57
- 230000033001 locomotion Effects 0.000 claims description 47
- 230000004927 fusion Effects 0.000 claims description 38
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims 2
- 230000002776 aggregation Effects 0.000 claims 2
- 238000012544 monitoring process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种人员归档方法、装置及电子设备。其中,所述方法包括:将多个第一人员图像,按照人脸识别结果进行归档;针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,将该第二人员图像归入所述目标人员档案;针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,将该人员档案中满足异常运动条件的第二人员图像筛除,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度,异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。可以准确对第二抓拍机抓拍到的人体图像进行归档,从而丰富人员档案的信息。
Description
技术领域
本发明涉及智能监控技术领域,特别是涉及一种人员归档方法、装置及电子设备。
背景技术
为便于对人员图像进行数据挖掘和/或分析,可以将监控系统中各相机抓拍到的人员图像,按照所属人员进行分类,以将同一人员的人员图像划分为同一类,该过程称为人员归档。
在人员归档过程中,可以通过人脸识别或图像匹配的方式判断人员图像所属人员。相较于图像匹配的方式,人脸识别的方式得到的判断结果更为准确,但是对监控系统的软硬件要求也相对较高。
因此一些应用场景出于实际需求或客观条件限制,可能只能够对采集到的一部分人员图像(下文称第一人员图像)进行人脸识别,对于剩余的人员图像(下文称第二人员图像)无法进行人脸识别。又由于图像匹配方式的准确性较低,因此相关技术中可以只对第一人员图像通过人脸识别的方式进行归档,对第二人员图像不进行归档。
因此归档得到的人员档案中只包括第一人员图像,导致人员档案中信息较少。
发明内容
本发明实施例的目的在于提供一种人员归档方法、装置及电子设备,用以解决因第二抓拍机抓拍到的人员图像无法准确归档,导致人员档案中信息较少的问题。具体技术方案如下:
在本发明实施例的第一方面,提供了一种人员归档方法,所述方法包括:
将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中;
针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,所述目标人员档案所包括的人员图像与该第二人员图像匹配;
将该第二人员图像归入所述目标人员档案;
针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度;
将该人员档案中满足异常运动条件的第二人员图像筛除,所述异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。
在一种可能的实施例中,所述方法还包括:
确定该人员档案中的每个第二人员图像对应的运动状态,所述运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式;
所述异常运动条件为:对应的速度信息所表示的速度不属于针对该第二人员图像对应的运动状态预设的正常速度范围。
在一种可能的实施例中,所述基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,包括:
针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,所述相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。
在一种可能的实施例中,所述确定该第二人员图像的目标人员档案,包括:
将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案,所述查询特征为该第二人员图像的图像特征,每个人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征;
在所述将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案之后,所述方法还包括:
如果所述目标人员档案的注册特征与查询特征的匹配程度高于预设上限阈值,将查询特征与所述目标人员档案的注册特征进行特征融合,得到所述目标人员档案的新的注册特征,所述预设上限阈值高于所述预设下限阈值。
在一种可能的实施例中,所述将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合;
其中,所述替换方式为:将所述目标人员档案的注册特征中的低评分特征替换为查询特征,所述低评分特征为所属人员图像的图像质量低于所述查询特征所属人员图像,并且所属人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
所述特征池化方式为:将查询特征与所述目标人员档案的注册特征进行特征池化,得到新的注册特征;
所述特征集合方式为:将查询特征加入所述目标人员档案的注册特征。
在一种可能的实施例中,所述通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
如果注册特征中同属性特征的数量小于预设数量阈值,通过所述特征集合方式将查询特征与所述注册特征进行特征融合,所述同属性特征为所述人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
如果注册特征中同属性特征的数量达到预设数量阈值,通过所述替换方式或所述特征池化方式将查询特征与所述注册特征进行特征融合。
在本发明实施例的第二方面,提供了一种人员归档装置,所述装置包括:
人脸聚类模块,用于将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中;
人体归档模块,针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,将该第二人员图像归入所述目标人员档案,所述目标人员档案所包括的人员图像与该第二人员图像匹配;
后处理模块,用于针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,将该人员档案中满足异常运动条件的第二人员图像筛除,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度,所述异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。
在一种可能的实施例中,所述后处理模块,还用于,在所述将该人员档案中满足异常运动条件的第二人员图像筛除之前,确定该人员档案中的每个第二人员图像对应的运动状态,所述运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式;
所述异常运动条件为:对应的速度信息所表示的速度不属于针对该第二人员图像对应的运动状态预设的正常速度范围。
在一种可能的实施例中,所述后处理模块基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,包括:
针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,所述相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。
在一种可能的实施例中,所述人体归档模块确定该第二人员图像的目标人员档案,包括:
将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案,所述查询特征为该第二人员图像的图像特征,每个人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征;
所述装置还包括封面注册模块,用于在所述将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案之后,如果所述目标人员档案的注册特征与查询特征的匹配程度高于预设上限阈值,将查询特征与所述目标人员档案的注册特征进行特征融合,得到所述目标人员档案的新的注册特征,所述预设上限阈值高于所述预设下限阈值。
在一种可能的实施例中,所述封面注册模块将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合;
其中,所述替换方式为:将所述目标人员档案的注册特征中的低评分特征替换为查询特征,所述低评分特征为所属人员图像的图像质量低于所述查询特征所属人员图像,并且所属人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
所述特征池化方式为:将查询特征与所述目标人员档案的注册特征进行特征池化,得到新的注册特征;
所述特征集合方式为:将查询特征加入所述目标人员档案的注册特征。
在一种可能的实施例中,所述封面注册模块通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
如果注册特征中同属性特征的数量小于预设数量阈值,通过所述特征集合方式将查询特征与所述注册特征进行特征融合,所述同属性特征为所述人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
如果注册特征中同属性特征的数量达到预设数量阈值,通过所述替换方式或所述特征池化方式将查询特征与所述注册特征进行特征融合。
在本发明实施例的第三方面,提供了一种归档服务器,应用于监控系统,所述监控系统中还包括第一抓拍机和第二抓拍机,所述第一抓拍机的分辨率高于所述第二抓拍机,所述归档服务器包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
在本发明实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果:
本发明实施例提供的人员归档方法、装置及电子设备,可以根据运动状态调整正常速度范围,使得可以更准确的判断出速度信息异常的第二人员图像,从而更准确的从人员档案中筛除归档错误的人员图像,提高归档准确性。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像采集原理示意图;
图2为本发明实施例提供的人员归档方法的一种流程示意图;
图3为本发明实施例提供的目标人员档案确定方法的一种流程示意图;
图4为本发明实施例提供的特征融合方法的一种流程示意图;
图5为本发明实施例提供的监控系统的一种结构示意图;
图6a为本发明实施例提供的人员归档装置的一种结构示意图;
图6b为本发明实施例提供的人员归档装置的另一种结构示意图;
图7为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为更清楚的对本发明实施例提供的人员归档方法进行说明,下面将对本发明实施例提供的人员归档方法的一种可能的应用场景进行说明。
示例性的,可以如图1所示,图1所示为本发明实施例提供的一种图像采集原理示意图,其中包括多个第一抓拍机110和第二抓拍机120,其中,第一抓拍机110为分辨率较高(如400万像素)的相机,第二抓拍机120为分辨率较低的(如200万像素)的相机。由于第二抓拍机120的成本往往低于第一抓拍机110,因此监控系统中往往第二抓拍机的分布密度往往高于第一抓拍机的分布密度。
由于第一抓拍机110抓拍到的人员图像分辨率较高,可以进行人脸识别,因此也可以将第一抓拍机110称为人脸抓拍机,这并不表示第一抓拍机110抓拍到的人员图像中只包括人脸区域而不包含躯干区域,第一抓拍机110抓拍到的人员图像中可以包括完整的人体图像。并且由于第二抓拍机120抓拍到的人员图像分辨率较低,无法进行人脸识别,只能够反映人体的特征(如衣着、轮廓),因此也可以将第二抓拍机120称为人体抓拍机,这并不表示第二抓拍机120抓拍到的图像中不包含人脸区域只包含躯干区域。
图中虚线所示为目标人员的运动轨迹,点1-9为目标人员被相机抓拍到时所处的位置,为描述方便,假设在目标人员在点i被相机抓拍到的时刻为ti,例如下文中的t1表示目标人员在点1被相机抓拍到的时刻,t2表示目标人员在点2被相机抓拍到的时刻,依次类推。并且假设目标人员在点i被拍摄得到的人员图像为人员图像i,例如下文中的人员图像1表示目标人员在点1被拍摄得到的人员图像,人员图像2表示目标人员在点2被拍摄得到的人员图像,依次类推。并且假设在点1、4、6抓拍到目标人员的相机为第一抓拍机110,在点2、3、5、7、8、9抓拍到目标人员的相机为第二抓拍机120。
则抓拍得到的人员图像中,人员图像1、4、6能够进行人脸识别,而人员图像2、3、5、7、8、9无法进行人脸识别,即在该应用场景中,受相机分辨率的限制,第一抓拍机抓拍到的人员图像为第一人员图像,第二抓拍机抓拍到的人员图像为第二人员图像。在其他可能的应用场景中,也可以是出于其他原因导致只能够对采集到的部分人员图像进行人脸识别,如能够用于人脸识别的计算资源有限、用户实际需求等。因此相关技术中可以对人员图像1、4、6进行人脸识别,以确定人员图像1、4、6中包含目标人员,进而将人员图像1、4、6归入目标人员的人员档案中。
但是,目标人员档案中仅包括人员图像1、4、6,因此信息较少。例如,根据人员图像1、4的采集时间和采集地点,可以得知出t1时刻目标人员位于点1,t4时刻位于点4,因此可以分析得到在t1-t4这一时间段内,目标人员从点1运动至点4。但是根据人员档案,无法确定目标人员具体沿着什么路径从点1运动至点4。而如果能够将第二抓拍机120抓拍到的人员图像2、3归入目标人员的人员档案,则根据人员档案,可以确定出目标人员是沿着点1-点2-点3-点4的路径运动至点4的。
可见,如果能够将第二人员图像进行归档,则可以使得人员档案中包含更多的信息。但是受限制于各种客观条件或实际需求,无法对第二人员图像进行人脸识别,导致第二人员图像难以被准确地归档。
基于此,本发明实施例提供了一种人员归档方法,可以应用于任一具有人员归档功能的电子设备,如前述监控系统中的归档服务器。方法可以参见图2,图2所示为本发明实施例提供的人员归档方法的一种流程示意图,可以包括:
S201,将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中。
S202,针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,将该第二人员图像归入目标人员档案。
S203,针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中第二人员图像对应的速度信息,将该人员档案中满足异常运动条件的第二人员图像筛除。
选用该实施例,可以通人体图像的匹配程度对第二人员图像进行初步归档,并利用人员的运动符合一定规律的特点,对人员档案中的第二人员图像进行筛选,以实现对第二人员图像的准确归档,从而丰富人员档案中的信息。
其中,在S201中,第一人员图像为包含人体的图像,本文中的人体是指包含人脸在内的完整的人员身体。第一人员图像的人脸识别结果,可以是对第一人员图像进行人脸识别得到的,也可以是对第一人员图像关联的人脸图像进行人脸识别得到的。
示例性的,相机在抓拍到监控图像后,可以分别对监控图像进行人体检测和人脸检测,以得到包含人体的第一人员图像以及包含人脸区域的人脸图像,其中,人脸图像中人脸区域的占比大于第一人员图像中人脸区域的占比。并关联得到的第一人员图像和人脸图像,可以对该人脸图像进行人脸识别,得到的人脸识别结果可以作为第一人员图像的人脸识别结果。
人脸识别可以是抓拍到第一人员图像的相机进行的,也可以是本发明的执行主体进行的,还可以是除抓拍到第一人员图像的相机和执行主体以外的其他电子设备进行的。例如,以执行主体为归档服务器为例,可以是抓拍到第一人员图像的相机将关联的人脸图像和第一人员图像发送至归档服务器,归档服务器对人脸图像进行人脸识别,并将得到的人脸识别结果作为第一人员图像的人脸识别结果。又例如,抓拍到第一人员图像的相机在得到人脸图像和第一人员图像后,将人脸图像发送至人脸识别服务器,人脸识别服务器对人脸图像进行人脸识别,并将得到的人脸识别结果发送至该相机,该相机将接收到的人脸识别结果作为第一人员图像的识别结果,并将人脸识别结果以及第一人员图像发送至归档服务器。
在S202中,目标人员档案所包括的人员图像与第二人员图像匹配。目标人员档案所包括的人员图像与第二人员图像匹配,可以是指目标人员档案所包括的一张或多张人员图像与第二人员图像匹配。可以根据实际需求选用不同的方式确定两个人员图像是否匹配,
不同人员的图像理论上具有一定的差异性,因此理论上不同人员的人员图像无法匹配。但是,人员图像中人脸区域的占比较小,而不同人员除人脸以外的身体部分差异性不明显,因此两个人员图像匹配可以认为这两个人员图像为同一人员的人员图像,但是可信度有限。
而目标人员档案所包括的人员图像与第二人员图像匹配,因此可以初步认为第二人员图像与目标人员档案中所包括的人员图像可能是同一人员的人员图像,而将该第二人员暂时归入目标人员档案。
可以理解的是,脸部的特征往往是变化比较小的,而除人脸以外的身体部分的特征可能在短时间内发生较大变化,例如随着所穿衣服的改变,躯干部分的轮廓可能发生明显变化。因此,在一种可能的实施例中,目标人员档案可以是指所包括的当日人员图像与该第二人员图像匹配的人员档案,当日人员图像为人员档案中所包括的采集日期与第二人员图像相同的人员图像。由于同一人员的穿着打扮在同一天内往往不会发生较大的变化,因此选用该实施例,可以提高人员归档精度。
在S203中,速度信息用于表示采集到人员图像时人员档案所属人员的速度,异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。在确定速度信息时,可以假定该人员档案中所有人员图像均为该人员档案所属人员的人员图像。
在一种可能的实施例中,可以是针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。选用该实施例可以使用较少的计算量准确计算得到速度信息。
示例性的,假设人员档案中包括三个人员图像,分别记为人员图像1-3,其中人员图像1-3是在同一天采集得到的,并且人员图像1的采集时间为10:11,人员图像2的采集时间为10:15,人员图像3的采集时间为10:18。则人员图像1的相邻人员图像为人员图像2,人员图像2的相邻人员图像为人员图像1或人员图像3,人员图像3的相邻人员图像为人员图像2。
采集时间差可以是指两个人员图像的采集时间之间的差值,采集位置差可以是指两个人员图像的采集位置之间的距离,该距离可以是指直线距离,也可以是指起终点为该两个人员图像的采集位置的路径的长度,可以使用任一路径确定方法确定该路径,如A*算法、迪杰斯特拉算法等。可以是计算采集位置差与采集时间差的比值,得到第二人员图像对应的速度信息,例如假设第二人员图像与相邻人员图像之间的采集时间差为300s(秒),采集位置差为900m,则可以计算得到该第二人员图像对应的速度信息所表示的速度为3m/s。速度信息的表示形式根据应用场景的不同可以不同,本实施例对此不做限制。
在其他可能的实施例中,第二人员图像的速度信息也可以是基于该第二人员图像与非相邻人员图像之间的采集时间差和采集位置差计算得到,本实施例对此不做限制。
正常速度范围可以是根据用户经验或实际需求设置的,也可以是按照预设规则计算得到的。可以理解的是,人员的运动往往符合一定的规律,该规律可以取决于人员的移动方式,如人员步行时的速度理论上低于人员骑车时的速度,也可以取决于人员所处的场景,如拥挤的街道中人员的速度理论上低于不拥挤的街道中人员的速度。因此,可以认为人员的速度应当在一定范围内,如果人员的速度不在该范围内,则可以认为存在异常。示例性的,假设第二人员图像的采集位置位于最高限速50Km/h的道路上,则理论上该第二人员图像对应的速度信息所表示的速度应当不高于50Km/h,如果该第二人员图像的速度信息所表示的速度为60Km/h,则可以认为该第二人员图像的速度信息异常。
在认为各人员图像的采集时间和采集位置是准确的情况下,如果第二人员图像的速度信息异常,则可以认为该第二人员图像所属人员并非该人员档案的所属人员。因此,可以在该人员档案中将该第二人员图像筛除,从而提高归档的准确性。并且可以理解的是,由于第一人员图像是按照人脸识别结果进行归档的,因此可以认为对第一人员图像的归档是准确的,因此可以只筛除人员档案中满足异常运动条件的第二人员图像。在其他可能的实施例中,也可以筛除人员档案中满足异常运动条件的第一人员图像和第二人员图像。
在一种可能的实施例中,还可以确定人员档案中每个第二人员图像对应的运动状态,运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式。该实施例中,异常运动条件为:对应的速度信息所表示的速度不属于针对第二人员图像对应的运动状态预设正常速度范围。
其中,运动状态的确定根据应用场景的不同可以不同,例如,可以是对第二人员图像进行图像分析,以确定运动状态,也可以是根据人员档案中采集时间与该第二人员图像相近的其他人员图像的速度信息确定该第二人员图像的运行状态的,本实施例对此不做限制。
针对每个运动状态可以预先设置对应的正常速度范围,例如如果运动状态用于表示步行,则正常速度范围为[0.33*V1,3*V1],如果运动状态用于表示骑车,则正常速度范围为[0.33*V2,3*V2],如果运动状态用于表示骑自行车,则正常速度范围为[0.33*V2,3*V2],如果运动状态用于表示骑电动车,则正常速度范围为[0.33*V3,3*V3],如果运动状态用于表示骑摩托车,则正常速度范围为[0.33*V4,3*V4],V1、V2、V3、以及V4为不同的预设速度。
选用该实施例,可以根据运动状态调整正常速度范围,使得可以更准确的判断出速度信息异常的第二人员图像,从而更准确的从人员档案中筛除归档错误的人员图像,提高归档准确性。
为了更清楚对本发明实施例提供的人员归档方法进行说明,下面对速度信息的确定以及第二人员图像筛除进行示例性说明:
可以是将人员档案中的人员图像按照时间顺序排序,得到人员图像序列。针对该人员图像序列中的每两个相邻的第一人员图像,研判该两个相邻的第一人员图像中间的所有第二人员图像,其中,两个相邻的第一人员图像是指这两个第一人员图像中间不存在其他第一人员图像。
研判第二人员图像的逻辑可以是:计算该第二人员图像与该第二人员图像的上一人员图像之间的采集位置差与采集时间差的比值,如果该比值不属于正常速度范围,则在该人员档案中筛除该第二人员图像,如果该比值属于正常速度范围,则在该人员档案中保留该第二人员图像。关于采集位置差、采集时间差、正常速度范围可以参见前述相关说明,在此不再赘述。
为了更清楚对本发明实施例提供的人员归档方法进行说明,下面对目标人员档案的确定进行说明,可以参见图3,图3所示为本发明实施例提供的目标人员档案确定方法的一种流程示意图,可以包括:
S301,计算注册特征与查询特征的匹配程度。
其中,查询特征为第二人员图像的图像特征。注册特征为用于表示人员档案所包括的人员图像的特征,并且人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征。在选取多个第一人员图像的图像特征作为初始的注册特征时,可以选取多个具有相同图像属性的第一人员图像的图像特征,以提高计算得到的匹配程度的可信度。
图像属性可以包括:分辨率、俯仰角、朝向、姿态、光照、亮度、完整度等属性中的一个或多个。其中,分辨率可以用于表示人员图像的像素宽度,俯仰角用于表示人员图像的拍摄角度,朝向用于表示人员图像中人员的朝向(如正向、背向、侧向),姿态用于表示人员图像中人员所处的姿态(如步行、蹲下等),光照用于表示拍摄该人员图像时监控场景中的光照条件(如明亮、昏暗等),亮度用于表示人员图像的亮度,完成度用于表示人员图像中人体的完整程度。
注册特征可以为一个特征也可以为多个特征,当注册特征为多个特征时,注册特征与查询特征的匹配程度,可以是指查询特征与注册特征中各个特征的相似度的最大值,也可以是指查询特种与注册特征中各特征的相似度的平均值、中位数等。
S302,如果匹配程度高于预设下限阈值,将人员档案确定为第二人员图像的目标人员档案。
如果匹配程度不高于预设下限阈值,则选取新的人员档案并返回执行S301,直至确定得到目标人员档案。可以理解的是,如果匹配程度高于预设下限阈值,则可以认为第二人员图像与该人员档案中所包括的人员图像匹配,因此可以将该第二人员图像作为目标人员档案。
S303,如果匹配程度高于预设上限阈值,将查询特征与目标人员档案的注册特征进行特征融合,得到目标人员档案的新的注册特征。
其中,预设上限阈值高于预设下限阈值。如前述分析,两个人员图像匹配只能认为这两个人员图像具有一定的可能性为同一人员的人员图像,该可能性随着这两个人员图像的匹配程度的上升而上升。因此查询特征与注册特征的匹配程度高于下限阈值而不高于上限阈值,则可以认为第二人员图像所属人员具有一定的可能性为目标人员档案所属人员,而查询特征与注册特征的匹配程度高于上限阈值,则可以认为第二人员图像所属人员具有较高的可能性为目标人员档案所属人员,此时可以认为查询特征即为目标人员档案所属人员的特征,因此可以将查询特征与注册特征进行特征融合,以丰富注册特征中所包括的用于表示目标人员档案所属人员的特征的信息,提高后续目标人员档案确定的匹配准确率。
选用该实施例,可以在确定目标人员档案的过程中自适应的调整各人员档案的注册特征,从而提高特征匹配的准确率,实现更准确的确定目标人员档案。
特征融合的方式根据应用场景的不同可以不同,示例性的,可以是采用以下三种特征融合方式中的一种或多种进行特征融合:
替换方式:将目标人员档案的注册特征中的低评分特征替换为查询特征
特征池化方式:将查询特征与目标人员档案的注册特征进行特征池化,得到新的注册特征;
特征集合方式:将查询特征加入目标人员档案的注册特征。
下面将分别对这三种特征融合方式进行说明,为描述方便,假设特征是以特征向量的形式表示的,并且注册特征中包括多个特征,将查询特征记为xc,注册特征记为{xr1,xr2,…xrn},其中n为注册特征中所包括的特征数目。
在替换方式中,低评分特征为所属人员图像的图像质量低于查询特征所属人员图像,并且所属人员图像的图像属性与查询特征所属人员图像相同的图像特征。
图像指令的衡量标准根据应用场景的不同而不同,例如可以认为完整度高的人员图像的图像质量较高,也可以是认为光照条件良好的人员图像的图像质量较高,本实施例对此不做限制。
查询特征所属人员图像即为第二人员图像,假设xr2为目标人员档案中人员图像1的图像特征,并且人员图像1与第二人员图像的图像属性相同,但是人员图像1的完整度低于第二人员图像的完整度,则可以认为人员图像1的图像质量低于第二人员图像的完整度,因此可以将注册特征中的xr2替换为xc,即得到的新的注册特征为{xr1,xc,…xrn}。
在特征池化方式中,特征池化可以是指对各特征对应维度上的数值进行加权平均。可以是将查询特征与注册特征中的特征进行特征池化,并将特征池化得到的池化特征替换该特征。该特征可以是注册特征中所属人员图像的图像属性与查询特征所属人员图像相同的特征。
可以是将xc与xr1进行特征池化,得到池化特征xp,并将注册特征中的xr1替换为xp,即得到的新的注册特征为{xp,xr2,…,xrn}。
在特征集合方式中,可以是将查询特征作为新的特征加入注册特征中,即得到的新的注册特征为{xr1,xr2,…,xrn,xc}。
替换和特征池化的方式可以使得注册特征所包括的特征数目不变,不会因注册特征所包括的特征数目过大,导致特征匹配花费过多计算资源。而特征集合的方式可以使得随着特征融合的进行,注册特征中第一人员图像的图像特征不会被稀释,使得特征匹配更为准确。
为充分融合各特征融合方式的有益效果,本发明实施例提供了一种特征融合方法,可以参见图4,包括:
S401,如果注册特征中同属性特征的数量小于预设数量阈值,通过特征集合方式将查询特征与注册特征进行特征融合。
其中,同属性特征为人员图像的图像属性与查询特征所属人员图像相同的图像特征。
S402,如果注册特征中同属性特征的数量达到预设数量阈值,通过替换方式或特征池化方式将查询特征与注册特征进行特征融合。
选用该实施例,可以通过设置预设数量阈值,避免注册特征所包括的特征数目过大,从而避免计算资源浪费,并且在避免计算资源浪费的前提下,通过尽可能使用特征集合方式来提高特征匹配的准确率。
为更清楚的对本发明实施例提供的特征融合方法进行说明,下面将结合具体的应用场景进行说明。
假设在对第一人员档案进行归档后,一人员档案中包括10个第一人员图像,分别记为第一人员图像1-10,并以xri表示第一人员图像i的图像特征,例如下文中的xr1表示第一人员图像1的图像特征,xr2表示第一人员图像2的图像特征,依次类推。
可以将图像属性相同的第一人员图像的图像特征划分为同一组。假设其中第一人员图像1-3的图像属性相同、第一人员图像4-8的图像属性相同、第一人员图像9-10的图像属性相同。则可以得到三组特征组,分别为{xr1,xr2,xr3}、{xr4,xr5,xr6,xr7,xr8}、{xr9,xr10},对每组特征组中的特征进行池化,并将池化得到的池化特征加入该特征组,并将所有特征组作为该人员档案的初始的注册特征。假设对xr1,xr2,xr3进行特征池化得到的池化特征为xp1,对xr4,xr5,xr6,xr7,xr8进行特征池化得到的池化特征为xp2,对xr9,xr10进行特征池化得到的池化特征为xp3。则三组特征组变为{xr1,xr2,xr3,xp1}、{xr4,xr5,xr6,xr7,xr8,xp2}、{xr9,xr10,xp3}。因此,该人员档案初始的注册特征为[{xr1,xr2,xr3,xp1}、{xr4,xr5,xr6,xr7,xr8,xp2}、{xr9,xr10,xp3}]。
假设预设数量阈值为5,并且一第二人员图像的查询特征与该人员档案的注册特征的匹配程度高于预设上限阈值,则:
如果该第二人员图像的图像属性与第一人员图像1-3的图像属性相同,则此时同属性特征的数量为3,因此可以使用特征集合的方式将查询特征与注册特征进行特征融合,由于第二人员图像的图像属性与第一人员图像1-3的图像属性相同,因此查询特征将被加入特征组{xr1,xr2,xr3,xp1}中,即得到的新的注册特征为[{xr1,xr2,xr3,xc,xp1}、{xr4,xr5,xr6,xr7,xr8,xp2}、{xr9,xr10,xp3}]。
如果该第二人员图像的图像属性与第一人员图像4-8的图像属性相同,则此时同属性特征的数量为5,因此可以使用替换或特征池化的方式将查询特征与注册特征进行特征融合。
如果使用替换方式,并且假设xr5低评分特征,则可以是将特征组{xr4,xr5,xr6,xr7,xr8,xp2}中的xr5替换为xc,并对xr4,xc,xr6,xr7,xr8进行特征池化,并利用得到的池化特征替换该特征组中的池化特征,假设对xr4,xc,xr6,xr7,xr8进行特征池化得到的池化特征为xp4,则新的注册特征为[{xr1,xr2,xr3,xp1}、{xr4,xc,xr6,xr7,xr8,xp4}、{xr9,xr10,xp3}]。
如果使用特征池化的方式,则可以是将xr4,xr5,xr6,xr7,xr8中任一特征与xc进行特征池化,假设是将xr4与xc进行特征池化,得到的池化特征为xp5,则可以是将{xr4,xr5,xr6,xr7,xr8,xp2}中的xr4替换为xp5,并对xp5,xr5,xr6,xr7,xr8进行特征池化,并利用得到的池化特征替换该特征组中的池化特征,假设对xp5,xc,xr6,xr7,xr8进行特征池化得到的池化特征为xp6,则新的注册特征为[{xr1,xr2,xr3,xp1}、{xp5,xc,xr6,xr7,xr8,xp6}、{xr9,xr10,xp3}]。
本发明实施例提供的监控系统可以如图5所示,包括图像采集单元100、网络传输单元200、人员归档智能分析单元300、数据存储与系统管理单元400。
图像采集单元100可以包括第一抓拍机110和第二抓拍机120,关于第一抓拍机110和第二抓拍机120可以参见前述相关描述,在此不再赘述。
网络传输单元200中可以包括工业交换机和光纤收发器,工业交换机和光纤收发器用于构建路口局域网,以实现图像采集单元100与人员归档智能分析单元300以及数据存储与系统管理单元400之间的数据交互。
人员归档智能分析单元300包括归档服务器310,归档服务器310可以按照本发明实施例提供的人员归档方法对图像采集单元100采集到的人员图像进行归档。
数据存储单元400中包括用于存储数据的电子设备,如数据服务器、个人计算机等,用于存储图像采集单元100采集到的图像数据,并对监控系统进行配置和管理。
参见图6a,图6a所示为本发明实施例提供的人员归档装置的一种结构示意图,装置可以包括:
人脸聚类模块601,用于将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中;
人体归档模块602,用于针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,将该第二人员图像归入所述目标人员档案,所述目标人员档案所包括的人员图像与该第二人员图像匹配;
后处理模块603,用于针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,将该人员档案中满足异常运动条件的第二人员图像筛除,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度,所述异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。
在一种可能的实施例中,所述后处理模块603,还用于确定该人员档案中的每个第二人员图像对应的运动状态,所述运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式;
所述异常运动条件为:对应的速度信息所表示的速度不属于针对该第二人员图像对应的运动状态预设的正常速度范围。
在一种可能的实施例中,所述后处理模块603基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,包括:
针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,所述相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。
在一种可能的实施例中,还可以如图6b所示,所述人体归档模块602确定该第二人员图像的目标人员档案,包括:
将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案,所述查询特征为该第二人员图像的图像特征,每个人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征;
所述装置还包括封面注册模块604,用于在所述将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案之后,如果所述目标人员档案的注册特征与查询特征的匹配程度高于预设上限阈值,将查询特征与所述目标人员档案的注册特征进行特征融合,得到所述目标人员档案的新的注册特征,所述预设上限阈值高于所述预设下限阈值。
在一种可能的实施例中,所述封面注册模块604将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合;
其中,所述替换方式为:将所述目标人员档案的注册特征中的低评分特征替换为查询特征,所述低评分特征为所属人员图像的图像质量低于所述查询特征所属人员图像,并且所属人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
所述特征池化方式为:将查询特征与所述目标人员档案的注册特征进行特征池化,得到新的注册特征;
所述特征集合方式为:将查询特征加入所述目标人员档案的注册特征。
在一种可能的实施例中,所述封面注册模块604通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
如果注册特征中同属性特征的数量小于预设数量阈值,通过所述特征集合方式将查询特征与所述注册特征进行特征融合,所述同属性特征为所述人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
如果注册特征中同属性特征的数量达到预设数量阈值,通过所述替换方式或所述特征池化方式将查询特征与所述注册特征进行特征融合。
本发明实施例还提供了一种电子设备,电子设备可以如图7所示,包括:
存储器701,用于存放计算机程序;
处理器702,用于执行存储器701上所存放的程序时,实现如下步骤:
将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中;
针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,所述目标人员档案所包括的人员图像与该第二人员图像匹配;
将该第二人员图像归入所述目标人员档案;
针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度;
将该人员档案中满足异常运动条件的第二人员图像筛除,所述异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。
在一种可能的实施例中,所述方法还包括:
确定该人员档案中的每个第二人员图像对应的运动状态,所述运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式;
所述异常运动条件为:对应的速度信息所表示的速度不属于针对该第二人员图像对应的运动状态预设的正常速度范围。
在一种可能的实施例中,所述基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,包括:
针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,所述相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。
在一种可能的实施例中,所述确定该第二人员图像的目标人员档案,包括:
将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案,所述查询特征为该第二人员图像的图像特征,每个人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征;
在所述将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案之后,所述方法还包括:
如果所述目标人员档案的注册特征与查询特征的匹配程度高于预设上限阈值,将查询特征与所述目标人员档案的注册特征进行特征融合,得到所述目标人员档案的新的注册特征,所述预设上限阈值高于所述预设下限阈值。
在一种可能的实施例中,所述将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合;
其中,所述替换方式为:将所述目标人员档案的注册特征中的低评分特征替换为查询特征,所述低评分特征为所属人员图像的图像质量低于所述查询特征所属人员图像,并且所属人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
所述特征池化方式为:将查询特征与所述目标人员档案的注册特征进行特征池化,得到新的注册特征;
所述特征集合方式为:将查询特征加入所述目标人员档案的注册特征。
在一种可能的实施例中,所述通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
如果注册特征中同属性特征的数量小于预设数量阈值,通过所述特征集合方式将查询特征与所述注册特征进行特征融合,所述同属性特征为所述人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
如果注册特征中同属性特征的数量达到预设数量阈值,通过所述替换方式或所述特征池化方式将查询特征与所述注册特征进行特征融合。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一人员归档方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一人员归档方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种人员归档方法,其特征在于,所述方法包括:
将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中;
针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,将该第二人员图像归入所述目标人员档案,所述目标人员档案所包括的人员图像与该第二人员图像匹配;
针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,将该人员档案中满足异常运动条件的第二人员图像筛除,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度,所述异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。
2.根据权利要求1所述的方法,其特征在于,在所述将该人员档案中满足异常运动条件的第二人员图像筛除之前,所述方法还包括:
确定该人员档案中的每个第二人员图像对应的运动状态,所述运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式;
所述异常运动条件为:对应的速度信息所表示的速度不属于针对该第二人员图像对应的运动状态预设的正常速度范围。
3.根据权利要求1所述的方法,其特征在于,所述基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,包括:
针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,所述相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。
4.根据权利要求2所述的方法,其特征在于,所述确定该第二人员图像的目标人员档案,包括:
将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案,所述查询特征为该第二人员图像的图像特征,每个人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征;
在所述将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案之后,所述方法还包括:
如果所述目标人员档案的注册特征与查询特征的匹配程度高于预设上限阈值,将查询特征与所述目标人员档案的注册特征进行特征融合,得到所述目标人员档案的新的注册特征,所述预设上限阈值高于所述预设下限阈值。
5.根据权利要求4所述的方法,其特征在于,所述将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合;
其中,所述替换方式为:将所述目标人员档案的注册特征中的低评分特征替换为查询特征,所述低评分特征为所属人员图像的图像质量低于所述查询特征所属人员图像,并且所属人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
所述特征池化方式为:将查询特征与所述目标人员档案的注册特征进行特征池化,得到新的注册特征;
所述特征集合方式为:将查询特征加入所述目标人员档案的注册特征。
6.根据权利要求5所述的方法,其特征在于,所述通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
如果注册特征中同属性特征的数量小于预设数量阈值,通过所述特征集合方式将查询特征与所述注册特征进行特征融合,所述同属性特征为所述人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
如果注册特征中同属性特征的数量达到预设数量阈值,通过所述替换方式或所述特征池化方式将查询特征与所述注册特征进行特征融合。
7.一种人员归档装置,其特征在于,所述装置包括:
人脸聚类模块,用于将多个第一人员图像,按照人脸识别结果进行归档,以使得人脸识别结果相同的第一人员图像归入相同的人员档案中;
人体归档模块,针对每个第二人员图像,从归档得到的人员档案中确定该第二人员图像的目标人员档案,将该第二人员图像归入所述目标人员档案,所述目标人员档案所包括的人员图像与该第二人员图像匹配;
后处理模块,用于针对每个人员档案,基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,将该人员档案中满足异常运动条件的第二人员图像筛除,所述速度信息用于表示采集到人员图像时该人员档案所属人员的速度,所述异常运动条件为:对应的速度信息所表示的速度不属于正常速度范围。
8.根据权利要求7所述的装置,其特征在于,所述后处理模块,还用于,在所述将该人员档案中满足异常运动条件的第二人员图像筛除之前,确定该人员档案中的每个第二人员图像对应的运动状态,所述运动状态用于表示采集到人员图像时该人员档案所属人员的移动方式;
所述异常运动条件为:对应的速度信息所表示的速度不属于针对该第二人员图像对应的运动状态预设的正常速度范围。
9.根据权利要求7所述的装置,其特征在于,所述后处理模块基于该人员档案中各人员图像的采集时间和采集位置,确定该人员档案中各第二人员图像对应的速度信息,包括:
针对该人员档案中的每个第二人员图像,基于该第二人员图像与相邻人员图像之间的采集时间差和采集位置差,计算得到该第二人员图像对应的速度信息,所述相邻人员图像为该人员档案中采集时间与第二人员图像时域相邻的人员图像。
10.根据权利要求8所述的装置,其特征在于,所述人体归档模块确定该第二人员图像的目标人员档案,包括:
将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案,所述查询特征为该第二人员图像的图像特征,每个人员档案的注册特征初始时包括该人员档案中的一个或多个第一人员图像的图像特征;
所述装置还包括封面注册模块,用于在所述将注册特征与查询特征的匹配程度高于预设下限阈值的人员档案确定为该第二人员图像的目标人员档案之后,如果所述目标人员档案的注册特征与查询特征的匹配程度高于预设上限阈值,将查询特征与所述目标人员档案的注册特征进行特征融合,得到所述目标人员档案的新的注册特征,所述预设上限阈值高于所述预设下限阈值。
11.根据权利要求10所述的装置,其特征在于,所述封面注册模块将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合;
其中,所述替换方式为:将所述目标人员档案的注册特征中的低评分特征替换为查询特征,所述低评分特征为所属人员图像的图像质量低于所述查询特征所属人员图像,并且所属人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
所述特征池化方式为:将查询特征与所述目标人员档案的注册特征进行特征池化,得到新的注册特征;
所述特征集合方式为:将查询特征加入所述目标人员档案的注册特征。
12.根据权利要求11所述的装置,其特征在于,所述封面注册模块通过替换方式、特征池化方式、以及特征集合方式中的一种或多种方式将查询特征与所述目标人员档案的注册特征进行特征融合,包括:
如果注册特征中同属性特征的数量小于预设数量阈值,通过所述特征集合方式将查询特征与所述注册特征进行特征融合,所述同属性特征为所述人员图像的图像属性与所述查询特征所属人员图像相同的图像特征;
如果注册特征中同属性特征的数量达到预设数量阈值,通过所述替换方式或所述特征池化方式将查询特征与所述注册特征进行特征融合。
13.一种电子设备,其特征在于,所述电子设备包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010536697.XA CN113807127B (zh) | 2020-06-12 | 2020-06-12 | 一种人员归档方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010536697.XA CN113807127B (zh) | 2020-06-12 | 2020-06-12 | 一种人员归档方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807127A true CN113807127A (zh) | 2021-12-17 |
CN113807127B CN113807127B (zh) | 2024-07-02 |
Family
ID=78943960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010536697.XA Active CN113807127B (zh) | 2020-06-12 | 2020-06-12 | 一种人员归档方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807127B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156308A (ja) * | 2003-11-25 | 2005-06-16 | Sumitomo Electric Ind Ltd | 移動体軌跡情報の異常判定方法及びプログラム |
CN102201065A (zh) * | 2011-05-16 | 2011-09-28 | 天津大学 | 基于轨迹分析的监控视频异常事件检测方法 |
CN103473791A (zh) * | 2013-09-10 | 2013-12-25 | 惠州学院 | 监控视频中异常速度事件自动识别方法 |
CN104268243A (zh) * | 2014-09-29 | 2015-01-07 | 华为技术有限公司 | 一种位置数据处理方法及装置 |
CN104391888A (zh) * | 2014-11-11 | 2015-03-04 | 福建星海通信科技有限公司 | 一种异常定位数据的过滤方法 |
CN107808152A (zh) * | 2017-11-23 | 2018-03-16 | 高域(北京)智能科技研究院有限公司 | 提升人脸识别准确率的方法和人脸识别系统 |
CN108764149A (zh) * | 2018-05-29 | 2018-11-06 | 北京中庆现代技术股份有限公司 | 一种针对班级学生人脸模型的训练方法 |
CN109740003A (zh) * | 2018-12-28 | 2019-05-10 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
DE102018201849A1 (de) * | 2018-02-07 | 2019-08-08 | Continental Automotive Gmbh | Verfahren zur Reduzierung der Fehlerrate in einem Objekterkennungssystem |
CN110378314A (zh) * | 2019-05-31 | 2019-10-25 | 北京金山云网络技术有限公司 | 一种人脸区域图像归档方法、装置、电子设备及存储介质 |
CN110471938A (zh) * | 2019-06-28 | 2019-11-19 | 安徽四创电子股份有限公司 | 一种面向海量轨迹数据的流式处理与实时检索的方法 |
WO2019235776A1 (ko) * | 2018-06-07 | 2019-12-12 | 엘지이노텍 주식회사 | 이상 개체 판단 장치 및 방법 |
-
2020
- 2020-06-12 CN CN202010536697.XA patent/CN113807127B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156308A (ja) * | 2003-11-25 | 2005-06-16 | Sumitomo Electric Ind Ltd | 移動体軌跡情報の異常判定方法及びプログラム |
CN102201065A (zh) * | 2011-05-16 | 2011-09-28 | 天津大学 | 基于轨迹分析的监控视频异常事件检测方法 |
CN103473791A (zh) * | 2013-09-10 | 2013-12-25 | 惠州学院 | 监控视频中异常速度事件自动识别方法 |
CN104268243A (zh) * | 2014-09-29 | 2015-01-07 | 华为技术有限公司 | 一种位置数据处理方法及装置 |
CN104391888A (zh) * | 2014-11-11 | 2015-03-04 | 福建星海通信科技有限公司 | 一种异常定位数据的过滤方法 |
CN107808152A (zh) * | 2017-11-23 | 2018-03-16 | 高域(北京)智能科技研究院有限公司 | 提升人脸识别准确率的方法和人脸识别系统 |
DE102018201849A1 (de) * | 2018-02-07 | 2019-08-08 | Continental Automotive Gmbh | Verfahren zur Reduzierung der Fehlerrate in einem Objekterkennungssystem |
CN108764149A (zh) * | 2018-05-29 | 2018-11-06 | 北京中庆现代技术股份有限公司 | 一种针对班级学生人脸模型的训练方法 |
WO2019235776A1 (ko) * | 2018-06-07 | 2019-12-12 | 엘지이노텍 주식회사 | 이상 개체 판단 장치 및 방법 |
CN109740003A (zh) * | 2018-12-28 | 2019-05-10 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
CN110378314A (zh) * | 2019-05-31 | 2019-10-25 | 北京金山云网络技术有限公司 | 一种人脸区域图像归档方法、装置、电子设备及存储介质 |
CN110471938A (zh) * | 2019-06-28 | 2019-11-19 | 安徽四创电子股份有限公司 | 一种面向海量轨迹数据的流式处理与实时检索的方法 |
Non-Patent Citations (1)
Title |
---|
高静文 等: "运输车辆轨迹点数据清洗方法研究", 电脑知识与技术, no. 36 * |
Also Published As
Publication number | Publication date |
---|---|
CN113807127B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5976237B2 (ja) | 映像検索システム及び映像検索方法 | |
CN111372037B (zh) | 目标抓拍系统和方法 | |
Mallikarjuna et al. | Traffic data collection under mixed traffic conditions using video image processing | |
CN113326719A (zh) | 一种用于目标追踪的方法、设备及系统 | |
CN111145555B (zh) | 一种检测车辆违章的方法和装置 | |
JP2017033547A (ja) | 情報処理装置及びその制御方法及びプログラム | |
CN111814510B (zh) | 一种遗留物主体检测方法及装置 | |
KR20170119630A (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
CN111259868A (zh) | 基于卷积神经网络的逆行车辆检测方法、系统及介质 | |
CN111881322B (zh) | 一种目标搜索方法、装置、电子设备及存储介质 | |
CN112447060A (zh) | 识别车道的方法、装置及计算设备 | |
Urdiales et al. | An improved deep learning architecture for multi-object tracking systems | |
CN116244609A (zh) | 一种客流量统计方法、装置、计算机设备及存储介质 | |
CN114724131A (zh) | 一种车辆追踪方法、装置、电子设备及存储介质 | |
CN114155576A (zh) | 一种图像处理方法及装置 | |
JP2017054493A (ja) | 情報処理装置及びその制御方法及びプログラム | |
Chen et al. | A precise information extraction algorithm for lane lines | |
CN112749727A (zh) | 本地服务器、影像辨识系统及其更新方法 | |
CN114519879A (zh) | 人体数据归档方法、装置、设备及存储介质 | |
CN109359689B (zh) | 一种数据识别方法及装置 | |
Ng et al. | Traffic Impact Assessment System using Yolov5 and ByteTrack | |
CN113807127A (zh) | 一种人员归档方法、装置及电子设备 | |
CN114495244B (zh) | 电像计算数据异常检测方法、装置、设备及存储介质 | |
Mathew et al. | Real-Time Number Plate and Helmet Detection of Motorcyclists using YOLOv5 and ResNet-50 | |
KR102595676B1 (ko) | 폴스 네거티브 물체 검출을 가질 가능성이 있는 이미지를 결정하기 위한 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |