CN106529515B - 面部特征库管理方法及系统 - Google Patents

面部特征库管理方法及系统 Download PDF

Info

Publication number
CN106529515B
CN106529515B CN201611220616.5A CN201611220616A CN106529515B CN 106529515 B CN106529515 B CN 106529515B CN 201611220616 A CN201611220616 A CN 201611220616A CN 106529515 B CN106529515 B CN 106529515B
Authority
CN
China
Prior art keywords
facial feature
camera
facial
library
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611220616.5A
Other languages
English (en)
Other versions
CN106529515A (zh
Inventor
黄小龙
岳越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yu Vision Mdt Infotech Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201611220616.5A priority Critical patent/CN106529515B/zh
Publication of CN106529515A publication Critical patent/CN106529515A/zh
Application granted granted Critical
Publication of CN106529515B publication Critical patent/CN106529515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本申请提供一种面部特征库管理方法及系统,该方法包括:布控服务器获取由各前端摄像机创建的面部特征库;各前端摄像机周期性地向所述布控服务器上报业务负载状况;布控服务器基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;并针对每个摄像机分组,将该面部特征库拆分成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机。当前端摄像机接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,该前端摄像机基于本地储存的面部特征子库进行面部识别。应用本发明可以有效地降低建立面部特征库的成本,提高库容量以及面部特征库的稳定性。

Description

面部特征库管理方法及系统
技术领域
本申请涉及视频监控领域,尤其涉及一种面部特征库管理方法及系统。
背景技术
随着面部识别技术地飞速发展,面部特征库管理也得到了广泛地应用。通常情况下,面部特征库管理包括面部图片的采集,面部图片的特征提取,面部特征库的建立、更新以及面部特征的识别等工作。
然而,在现有的面部特征库管理方法中,面部特征库的建立与面部特征识别通常分别由建库服务器和布控服务器完成。由于配置建库服务器和具有面部识别功能的服务器的成本较高、并且面部特征库的稳定性较差,因此很难广泛地应用至小区、企业等的面部特征库管理场景。
发明内容
有鉴于此,本申请提供一种面部特征库管理方法及系统,通过充分利用前端摄像机的存储资源和处理能力,有效降低了建立面部特征库的成本,提高库容量以及面部特征库的稳定性。
具体地,本申请是通过如下技术方案实现的:
根据本申请的实施例的第一方面,提供一种面部特征库管理方法,所述方法应用于面部特征库管理系统,所述面部特征库管理系统还包括布控服务器和若干台前端摄像机,所述方法包括:
布控服务器获取由各前端摄像机创建的面部特征库;
各前端摄像机周期性地向所述布控服务器上报保活消息;其中,所述保活消息记录前端摄像机的业务负载状况;
布控服务器基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;其中,M是大于1的整数;
针对每个摄像机分组,布控服务器基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
当前端摄像机接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,所述前端摄像机基于本地储存的面部特征子库进行面部识别。根据本申请实施例的第二方面,提供一种面部特征库管理系统,所述面部特征库管理系统包括布控服务器和若干台前端摄像机;所述布控服务器包括获取单元、划分单元和拆分单元;
其中,所述获取单元,用于获取由各前端摄像机创建的面部特征库;
所述划分单元,用于基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;其中,M是大于1的整数;
所述拆分单元,用于针对每个摄像机分组,基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
所述前端摄像机包括上报单元和识别单元;
其中,所述上报单元,用于周期性地向所述布控服务器上报保活消息;其中,所述保活消息记录前端摄像机的业务负载状况;
所述识别单元,用于接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,所述前端摄像机基于本地储存的面部特征子库进行面部识别。
本申请提出一种面部特征库管理的方法,一方面,通过在前端摄像机中增设面部识别和建库的功能,使得在本申请提出的面部特征库管理系统中不再需要建库服务器和多台布控服务器,因此大大降低了面部特征库管理的成本;
另一方面,布控服务器可以基于各前端摄像机的业务负载状况,将该若干台前端摄像机划分为业务负载均衡的若干个摄像机分组,并可以将创建的面部特征库拆分成若干个面部特征子库,将该若干个面部特征子库分别下发至各摄像机分组,以由各摄像机分组业务负载小于预设阈值的前端摄像机基于其所属的摄像机分组中承载的各面部特征子库进行面部识别,使得前端摄像机可以共享库容资源,解决了单台前端摄像机库容小的限制。并且,由于通过前端摄像机的业务负载状况进行面部识别操作的分担,有效地避免了局部高流量造成前端摄像机性能不足的问题;
此外,由于每个前端摄像机分组都承载了面部特征库,因此可以有效地提高该面部特征库的稳定性。
附图说明
图1是本申请示出的一种相关技术中的面部特征库管理系统示意图;
图2是本申请示出的另一种相关技术中的面部特征库管理系统示意图;
图3是本申请一示例性实施例示出的一种面部特征库管理系统示意图;
图4是本申请一示例性实施例示出的一种面部特征库管理方法的流程图;
图5是本申请一示例性实施例示出的一种面部特征库管理系统的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1,图1是本申请示出的一种相关技术中的面部特征库管理系统示意图,相关技术中的面部特征库管理系统可以包括:中心服务器、布控服务器、建库服务器和若干台前端摄像机。
在相关技术的面部特征库管理系统中,上述中心服务器、建库服务器、布控服务器共同组成了后台服务端,该后台服务端是该面部特征库管理系统中的服务器集群,也可以称为后台服务器。
其中,上述中心服务器,主要是指具有管理各个服务器与前端摄像机功能的服务器。中心服务器类似于该服务器集群中的“接口人”,通常情况下,该中心服务器可以配置有客户端,客户端可以给用户提供一个交互界面,用户通过该交互界面,向中心服务器发布请求,中心服务器可以基于该请求,联合该面部特征库管理系统中的服务器或者前端摄像机进行相应地处理,并将处理结果通过客户端展示给该用户;
例如,用户需要观看“江陵路地铁站B出口”当前的实况视频,用户可以通过客户端的交互界面,将其观看实况视频的请求发送给中心服务器,中心服务器接收到该实况视频的请求后,可以将该请求发送至江陵路地铁站B出口的前端摄像机等相关设备或者服务器,该前端摄像机等相关设备则会将江陵路地铁站B出口的实况视频通过中心服务器,发送至客户端,供用户观看。
上述建库服务器,主要用于建立面部特征库。通常情况下,用户可以通过客户端载入一些面部图片样本,客户端可以将这些面部图片样本发送至中心服务器,由中心服务器将该面部图片样本转发至建库服务器。建库服务器接收到该面部图片样本后,可以提取该面部图片样本的面部特征,作为面部特征样本,并将该面部特征样本与包含该面部特征样本的面部图片样本ID对应保存至布控服务器。
其中,所谓建库,是指建库服务器提取面部图片样本的面部特征,作为面部特征样本,并建立该面部特征样本与包含该面部特征样本的面部图片样本ID的对应关系等。
上述布控服务器,主要用于面部识别。在该面部特征库管理系统中,建库服务器完成建库后,通常可以将创建的面部特征库发送给该布控服务器,由该布控服务器基于该面部特征库进行面部识别。此外,上述布控服务器可以搭载若干台前端摄像机。
所谓面部识别,是指前端摄像机可以拍摄路人的图片,前端摄像机可以基于人脸检测技术等从该路人图片中获取该路人的目标面部图片,并将该目标面部图片发送给布控服务器。布控服务器可以提取该路人的目标面部图片中的目标面部特征,并计算该目标面部特征与面部特征库中记录的面部特征样本的相似度,如果计算出的相似度大于等于预设的相似度阈值,则表明该路人的面部图片是本面部特征库中记录的面部图片,如果计算出的相似度小于预设的相似度阈值,则表明无法识别该路人的面部图片,即该面部特征数据库中未记录该路人的面部图片。
下面以该面部特征库管理系统应用在学校门卫管理的场景对面部识别进行详细地说明。
假设该面部特征库管理系统应用在学校门卫管理的场景中,该面部特征库管理系统主要是用于监控是否有非本校人员进入学校。此时,上述面部特征库中可以包括本校全体师生以及工作人员的照片的面部特征样本。
假设在学校的各校门口安装有若干台前端摄像机,前端摄像机可以对经过学校校门口的路人进行拍摄,并将该路人的面部图片近乎实时地方式发送至布控服务器,布控服务器在接收到该路人的面部图片时,可以进行面部识别。
布控服务器可以提取该路人面部图片的面部特征,然后将该面部特征与本地储存的面部特征库中的面部特征样本进行相似度计算,如果计算出的相似度大于等于预设的相似度阈值时,表明该路人是本学校的相关人员,如果计算出相似度小于该预设的相似度阈值时,则表明该路人非本学校的相关人员,此时可以触发报警装置等。
在上述相关技术中的面部特征库管理系统中,上述前端摄像机,主要具有拍摄路人图片,以及提取该路人图片的面部图片的功能。
在该面部特征库管理系统中,需要布置具有面部识别功能的布控服务器、建立面部特征库的建库服务器以及管理各设备的中心服务器。
然而,在该面部特征库管理的方案中,一方面由于布控服务器会随着部署的前端摄像机的数量的增加而增多,导致增设布控服务器的成本大大增加;另一方面,由于每台布控服务器会搭载多台摄像机,会大大影响面部识别的并发性,影响用户体验;
此外,由于需要建立建库服务器和中心服务器,因此大大增加了面部特征库管理的成本。
参见图2,图2是本申请示出的另一种相关技术中的面部特征库管理系统示意图,该面部特征库管理系统可以包括:中心服务器、建库服务器和若干台前端摄像机。
其中,中心服务器除了具有管理其他设备的功能,还具有面部识别功能;
上述建库服务器仍用于负责建立面部特征库;
与上述相关方案不同的是,上述前端摄像机除了具备拍摄和提取面部图片的功能,还配置了面部识别功能。
然而,在这种面部特征库管理的方案中,一方面,为了使得前端摄像机承载了面部识别的功能,该前端摄像机上一般会配置有面部特征库,但前端摄像机的存储量较小,使得很难扩大其所存储的面部特征库的容量,严重影响了该面部特征库管理的实用性;另一方面,该面部特征库管理系统还配置了建库服务器,由于配置建库服务器成本很高,并且在一个面部特征库管理的方案中,不会很频繁地进行建库,因此极大地浪费了资源。
为了解决上述两种相关技术中存在的问题,本申请提出一种面部特征库管理的方法,一方面,通过在前端摄像机中增设面部识别和建库的功能,同时该布控服务器还集成了上述中心服务器具有的管理设备的功能,使得在本申请提出的面部特征库管理系统中不再需要建库服务器和中心服务器,因此大大降低了面部特征库管理的成本;
另一方面,布控服务器可以基于各前端摄像机的业务负载状况,将该若干台前端摄像机划分为业务负载均衡的若干个摄像机分组,并可以将创建的面部特征库拆分成若干个面部特征子库,将该若干个面部特征子库分别下发至各摄像机分组,以由各摄像机分组业务负载小于预设阈值的前端摄像机基于其所属的摄像机分组中承载的各面部特征子库进行面部识别,使得前端摄像机可以共享库容资源,解决了单台前端摄像机库容小的限制。并且,由于通过前端摄像机的业务负载状况进行面部识别操作的分担,有效地避免了局部高流量造成前端摄像机性能不足的问题;
此外,由于每个前端摄像机分组都承载了面部特征库,因此可以有效地提高该面部特征库的稳定性。
参见图3,图3是本申请一示例性实施例示出的一种面部特征库管理系统示意图,在本申请实施例示出的面部特征库管理系统中,可以包括布控服务器和若干台前端摄像机。
其中,上述布控服务器,在本申请实施例中,与上述两种相关技术中的布控服务器不同的是,本申请实施例中的布控服务器不再具有面部识别功能,使得该布控服务器的设备性能得到大幅度提升,因而可以将中心服务器具有设备管理功能集成在该布控服务器上。此外,该布控还可以包括:获取由若干台前端摄像机创建的面部特征库、基于各前端摄像机的业务负载状况对摄像机进行分组和分库以及动态调整各摄像机分组和其承载的面部特征子库等功能。
上述前端摄像机,在本申请实施例中,不仅具有相关技术中的拍摄路人图片,提取该路人图片的面部图片的功能,还具有建立面部特征库和面部识别的功能。
采用本申请提供的面部特征库管理系统,一方面,由于将极耗费布控服务器资源的面部识别功能分布在各前端摄像机上,使得布控服务器的设备性能得到大幅提升,因此可以将中心服务器的设备管理功能,分组,拆库,动态调整分组以及面部特征子库等功能集成在该布控服务器上,从而使得该面部特征库管理系统中只需配置布控服务器,就可以完成整个面部特征库管理的运作,因而大大降低了配置服务器的成本。
另一方面,将建立面部特征库和面部识别的功能集成在前端摄像机上,并且通过将面部特征库分担至一组的前端摄像机上,使得该一组的前端摄像机可以共享库容资源,因而既可以有效地解决前端摄像机库容量小的问题,又可以充分地利用前端摄像机的资源。此外,为了避免局部流量过高而影响前端摄像机的设备性能,各前端摄像机可以基于本地的业务负载状况进行面部识别、建库等工作。
参见图4是本申请一示例性实施例示出的一种面部特征库管理方法的流程图,所述方法包括:
步骤401:布控服务器获取由各前端摄像机创建的面部特征库;
步骤402:各前端摄像机周期性地向所述布控服务器上报保活消息;其中,所述保活消息记录前端摄像机的业务负载状况;
步骤403:布控服务器基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;其中,M是大于1的整数;
步骤404:针对每个摄像机分组,布控服务器基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
步骤405:当前端摄像机接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,所述前端摄像机基于本地储存的面部特征子库进行面部识别。
其中,上述面部图片样本,一般是指用户导入的图片。在面部特征库管理方案中,该面部图片样本既可以作为白名单使用,也可以作为黑名单使用。
例如,假设该面部特征库管理系统应用在学校门卫管理的场景中,该面部特征库管理系统主要是用于监控是否有非本校人员进入学校。此时,上述面部图片样本可以包括本校全体师生以及工作人员的照片,即白名单,只要是本校相关人员进入学校,都可以正常放行,否则可以触发告警装置等。
又例如,假设该面部特征库管理系统应用在公安系统中,主要用于抓捕敏感人物等。此时,上述面部图片样本可以该敏感人物的照片等,即黑名单,一旦识别出该敏感人物,立即触发告警等或者进行相应地操作等。
当然,这只是对上述面部图片样本进行示例性地说明,在这里不对其进行具体地限定。
上述面部特征库,可以包括面部特征样本与包含该面部特征样本的面部图片样本的对应关系,例如可以为面部特征样本与包含该面部特征样本的面部图片样本ID的对应关系的对应关系。其中,该面部特征是指人脸面部的特征,例如,可以包括发型,五官的位置,大小、形状等。上述面部特征可以是用户较为关注的面部特征,也可以是现在通用的一些面部特征等。
上述业务负载状况,主要是用于表示业务负载所占用上述前端摄像机资源的状况。在本申请实施例中,上述业务负载状况,可以以上述前端摄像机的CPU和内存占用率进行表征。
上述预设阈值,为上述布控服务器衡量前端摄像机业务负载状况的一个指标,当前端摄像机的业务负载大于等于该预设阈值时,布控服务器可以认为该前端摄像机处于“忙碌”状态,而当前端摄像机的业务负载小于该预设阈值时,布控服务器可以判定该前端摄像机还有足够的资源进行其他操作,此时,布控服务器可以将建立部分面部特征库,或者面部识别的操作交由该业务负载小于该预设阈值的前端摄像机完成。
在该预设阈值设定时,如果该预设阈值设定过高,则可能使得本部具备面部识别资源的前端摄像进行面部识别工作,严重降低了该类前端摄像机的设备性能,降低了面部识别的效率;而如果该预设阈值设置过低,则浪费了大量的具有面部识别和建立面部特征库等条件的前端摄像机的资源。在实际应用中,开发人员可以根据具体情况,对该预设阈值进行设定,在这里,不再赘述。
下面从面部特征库的创建和更新、前端摄像机的分组及面部特征库的拆分以及面部识别三个方面,对本申请提出的面部特征库管理方法进行详细地说明。
1)面部特征库的创建和更新
本申请实施例是将该面部特征库创建的功能集成在前端摄像机上。布控服务器可以基于各前端摄像机上报的业务负载状况,将面部图片样本发送至业务负载小于预设阈值的若干台前端摄像机上,由该若干台前端摄像机进行建库。一方面,由于在本申请提出的面部特征库管理系统中不需要另外配置建库服务器,而是由前端摄像机完成,从而降低了由于配置服务器而消耗的成本;另一方面,由于是将建库的任务分散至若干台业务负载小于预设阈值的前端摄像机进行建库,使得建库操作可以并行完成,大大增加了建立面部特征库的效率。
在实现时,前端摄像机可以周期性地向布控服务器发送保活消息,该保活消息中携带有该前端摄像机的业务负载状况,布控服务器可以基于各前端摄像机上报的保活消息,了解各个前端摄像机的业务负载状况,并确定业务负载小于预设阈值的前端摄像机。
用户可以通过布控客户端将所有的面部图片样本发送至布控服务器。在该布控服务器接收到该面部图片样本后,可以基于预设的负载分担策略,将该面部图片样本分担至若干台业务负载小于预设阈值的前端摄像机,由该若干台前端摄像机进行建立面部特征库的操作。
其中,该负载分担策略,可以为布控服务器将接收到的面部图片样本平均分配给上述若干台业务负载小于预设阈值的前端摄像机,也可以为布控服务器基于上述若干台业务负载小于预设阈值的前端摄像机的业务负载状况,向各前端摄像机发送适配其建立面部特征库的面部图片样本。
当然,该预设的负载分担策略,可以由开发人员根据实际情况进行设定,在这里,只是对负载分担策略进行示例性地说明,不对其进行具体地限定。
在向上述若干台业务负载小于预设阈值的前端摄像机分发该面部图片样本时,为了使得布控服务器可以准确地管理各图片样本的建库情况,布控服务器可以记录该面部图片样本及其发送至的前端摄像机的对应关系,比如可以记录该面部图片样本的ID和接收到该面部图片样本的前端摄像机ID的对应关系。以使得,当前端摄像机发生故障而无法响应建库命令时,布控服务器可以将与该故障的前端摄像机对应的面部图片样本重新发送至其他业务负载小于预设阈值的前端摄像机,由其他的业务负载小于预设阈值的前端摄像机完成该组面部图片样本的建库工作。
业务负载小于预设阈值的前端摄像机在接收到布控服务器分发至本地的面部图片样本后,可以对其所接收的面部图片样本进行建库。
下面对接收到的一张面部图片样本进行建库的操作进行详细地说明。
该前端摄像机可以基于预设的面部特征提取算法提取该面部图片样本中的面部特征,作为面部特征样本,并建立该面部特征样本与包含该面部特征样本的面部图片样本之间的对应关系,比如可以建立该面部特征样本与包含该面部特征的面部图片样本ID的对应关系,然后将该对应关系保存至本地创建的部分面部特征库中。
其中,该预设的面部特征提取算法可以包括LBP算法或者深度学习算法,也可以是行业已知的或者开发人员自行开发的面部特征提取算法,在这里不做具体限定。
该前端摄像机可以基于上述建立面部特征库的方法依次对接收到的所有面部图片样本进行建库,然后依次将面部特征样本与包含该面部特征样本的面部图片样本ID的对应关系保存至本地创建的部分面部特征库中,直至完成对接收到的所有面部图片样本的建库工作。
各前端摄像机可以将本地创建的部分面部特征库发送至上述布控服务器,同时,在确认布控服务器接收到其发送的部分面部特征库后,将本地创建的部分面部特征库删除。
该布控服务器在接收到各前端摄像机发送的若干个创建的部分面部特征库后,可以对该若干个由前端摄像机创建的部分面部特征库进行汇总,生成面部特征库,从而完成建立面部特征库的工作。
在本申请实施例中,在完成上述建立面部特征库后,上述布控服务器还可以周期性的对上述创建好的面部特征库进行更新。在更新该面部特征库时,既可以采取用户通过布控客户端手动更新的方法,还可以采取通过前端摄像机动态更新的方法进行更新。
其中,用户通过布控客户端手动更新的方式是指,用户可以通过客户端录入新的从未出现过的面部图片样本,此时,布控服务器在接收用户新录入的面部图片样本后,可以将该图片发送至此时业务负载小于预设阈值的前端摄像机,由前端摄像机完成更新的面部图片的建库工作。
前端摄像机可以将针对该更新的面部图片样本而创建的更新的面部特征库发送至布控服务器,由布控服务器基于接收到的更新的面部特征库更新本地面部特征库。同时,该前端摄像机还可以将该更新的面部特征库发送至其他摄像机分组,以完成其他摄像机分组的面部特征库的更新。当然,也可以是布控服务器更新本地的面部特征库后,将更新信息发送至其他摄像机分组,以使各摄像机分组完成该面部特征库的更新。
对于上述通过前端摄像机动态更新,是在保存有面部特征子库的前端摄像机在面部识别过程中实现的。其目的在于扩大同一个人的面部图片样本量,提高前端摄像机面部识别功能的精确性。对于此处提到的面部特征子库和摄像机分组在下文中的前端摄像机的分组及面部特征库的拆分部分进行详细说明。
在实现时,前端摄像机可以拍摄路人的照片,并截取出该路人照片中的面部图片,并提取该路人的面部图片中的目标面部特征,前端摄像机可以将该目标面部特征与面部特征样本进行相似度计算,当计算得到的相似度大于等于预设的相似度阈值时,可以基于该目标面部图片中的目标面部特征与该目标面部特征的相似度大于等于预设的相似度阈值的面部特征样进行合并保存,生成合并后的面部特征样本,并分别建立合并后的面部特征样本与所述目标面部图片ID和包含所述面部特征样本的面部图片样本ID的对应关系,作为更新项。
仍以上述学校门卫管理校门口人员进入的场景为例。
例如,前端摄像机中储存的是学生贾某的一寸照片的面部特征样本,贾某每天进出校门时,前端摄像机可能拍摄到贾某各个角度的照片。该动态更新的目的就是使得贾某各个角度的照片可以合并保存至面部特征库。
假设,该前端摄像机拍摄到一张照片时,当摄像机对拍摄到的照片的目标面部特征进行相似度计算后,如果判定该拍摄的照片的面部为贾某面部时,假设拍摄的照片是贾某的侧面照。此时,该前端摄像机可以将贾某的侧面照中的面部特征与本地面部特征子库中的贾某的一寸照的面部特征合并保存,生成合并后的面部特征样本,并分别建立该合并后的面部特征样本与贾某一寸照ID和侧面照ID的对应关系。
在一种可选的实现方式中,该前端摄像机可以将所述更新项上报至所述布控服务器,以使所述布控服务器接收到所述前端摄像机上报的更新项后,更新本地储存的面部特征库,并将该更新项分别下发至各摄像机分组中的业务负载小于所述预设阈值的前端摄像机,由各摄像机分组中的业务负载小于所述预设阈值的前端摄像机更新本地储存的面部特征子库。
在另一种可选的实现方式中,该前端摄像机将所述更新项发送至其他摄像机分组的业务负载小于预设阈值的前端摄像机,由该前端摄像机对本地储存的面部特征子库进行更新。
2)前端摄像机的分组及面部特征库的拆分
在本申请实施例中,上述布控服务器可以基于各摄像机上报的其自身的业务负载状况,将该若干台前端摄像机划分为业务负载均衡的若干个摄像机分组,并可以将创建的面部特征库拆分成若干个面部特征子库,将该若干个面部特征子库分别下发至各摄像机分组,以由各摄像机分组中的业务负载小于预设阈值的前端摄像机基于其所属的摄像机分组中承载的各面部特征子库进行面部识别,使得前端摄像机可以共享库容资源,解决了单台前端摄像机库容小的限制。并且,由于通过前端摄像机的业务负载状况进行面部识别操作的分担,有效地避免了局部高流量造成前端摄像机性能不足的问题。此外,各摄像机分组承载的面部特征子库的总和为该面部特征库,因此可以有效地提高该面部特征库的稳定性。
下面先对前端摄像机的分组过程进行详细地描述。
在实现时,上述布控服务器可以基于各摄像机上报的其自身的业务负载状况,将该若干台前端摄像机划分为业务负载均衡的M个摄像机分组。其中,M是大于1的整数。
其中,上述业务负载均衡是指在对前端若干台摄像机进行分组时,使得每个摄像机分组承载的面部识别工作量大致相同,当然这种负载均衡只是一种大致的负载均衡。
对于刚入网的前端摄像机来说,可能所有的前端摄像机的业务负载都小于预设的阈值,在实现时,可以采取平均分组的方法,将该前端摄像进行分组,使得每个摄像机分组包含的前端摄像机的数量相同。
而对于现网工作的前端摄像机来说,各个摄像机的业务负载状况就有很大的不同。在实现时,为了使得上述每个摄像机分组的业务负载均衡时,布控服务器可以基于各前端摄像机当前的业务负载状况进行分组,使得每个摄像机分组钟的业务负载小于预设阈值的前端摄像机的数量相同;
例如,上述面部特征库管理系统中配置有20台摄像机,假设在这20台前端摄像机中,业务负载小于预设阈值的摄像机台数为12台,此时,布控服务器将该20台摄像机拆分成两组,使得每组有10台前端摄像机,每组的10台前端摄像机中包含有6台业务负载小于预设阈值的前端摄像机。
当然,布控服务器也可以在分组时,使得每组的业务负载大于等于预设阈值的前端摄像机与业务负载小于预设阈值的前端摄像机的比例相同。在实际应用中,布控服务器可以采取开发人员预设的策略将该若干台前端摄像机划分为业务负载均衡的若干个摄像机分组,在这里不对其进行具体地限定。
下面对面部特征库拆分及面部特征子库的下发的过程进行详细地描述。
在本申请实施例中,布控服务器可以针对每个摄像机分组,布控服务器基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
例如,假设有两个摄像机分组,分别为摄像机分组A和摄像机分组B,摄像机分组A中共有6台摄像机,其中3台为业务负载小于预设阈值的前端摄像机。摄像机分组B中共有8台摄像机,其中4台为业务负载小于预设阈值的前端摄像机。还假设预设的拆分策略是将面部特征库平均分配给每组的业务负载小于预设阈值的前端摄像机。
此时,布控服务器可以先将面部特征库复制两份,对于摄像机分组A来说,布控服务器可以将复制的一份面部特征库平均拆分成三个面部特征子库,然后将这三个面部特征子库分别下发给摄像机分组A中的3台业务负载小于预设阈值的前端摄像机。
对于摄像机分组B来说,布控服务器可以将复制的另一份面部特征库平均拆分成四个面部特征子库,然后将这四个面部特征子库分别下发至摄像机分组B中的4台业务负载小于预设阈值的前端摄像机。
下面以对面部特征库的拆分和分配面部特征子库的策略进行详细说明。
为了更加清楚对拆分策略和下发过程进行详细说明,下面以针对一个摄像机分组为例,对该策略进行详细说明,针对其他摄像机分组的拆分策略和下发过程与针对该一个摄像机分组的策略相同,在这里,不再赘述。
在一种可选的实现方式中,布控服务器可以通过该组的前端摄像机上报的保活报文,获取摄像机分组的各前端摄像机的业务负载状况,并确定业务负载小于预设阈值的前端摄像机的个数,比如N。布控服务器可以采取平均分配的方法,将面部特征库平均拆分成N份面部特征子库,然后将这N份面部特征子库分别下发至这N个业务负载小于预设阈值的前端摄像机。在实际应用中,布控服务器可以开发人员预设的分配方式,在这里,不再赘述。
在另一种可选的实现方式中,布控服务器可以通过该组的前端摄像机上报的保活报文,获取摄像机分组的各前端摄像机的业务负载状况,并确定该摄像机分组中的各个前端摄像机的业务负载状况。布控服务器可以将面部特征库拆分成适配该摄像机分组中的各前端摄像机业务负载状况的N个面部特征子库,并将该面部特征子库下发至业务负载状况与该面部特征子库适配的前端摄像机。
例如,假设该摄像机分组中有三台前端摄像机,这三台前端摄像机的CPU和内存占用率(即业务负载状况)分别为20%、40%和60%,则布控服务器可以将面部特征库拆分成适配这20%、40%和60%的CPU和内存占用率的面部特征子库,然后将该面部特征子库分别下发至与业务负载状况与其适配的前端摄像机上。
当然,布控服务器还可以基于开发人员预设的拆分策略和下发策略来完成上述面部特征库的拆分和分配面部特征子库,在这里不再赘述。
在本申请实施例中,随着时间的推移,每个摄像机分组中的前端摄像机的业务负载状况可能发生变化,例如,原来业务负载小于预设阈值的前端摄像机的业务负载大幅提升,高于了预设阈值,或者前端摄像机出现故障等。此时,为了保证整个面部特征库管理系统的正常运作,避免局部流量过高的情况发生,布控服务器还可以基于各个前端摄像机的业务负载状况,对前端摄像机的分组或者该前端摄像承载的面部特征子库进行相应的动态调整。
对于同一摄像机分组而言,在实现时,布控服务器可以周期性地将同一摄像机分组中的业务负载大于等于预设阈值的前端摄像机储存的面部特征子库迁移至同摄像机分组中的业务负载小于所述预设阈值的前端摄像机。
然而,如果只采用上述库迁移的方式,很难满足实际需求。比如,随着时间的推移,同一摄像机分组的前端摄像机的业务负载均大于预设阈值,或者业务负载小于预设阈值的前端摄像机的内存容量不足以满足迁移来的面部特征子库的容量。
为了解决上述问题,该布控服务器还可以周期性地对各摄像机分组中的摄像机进行互换调整,以确保各摄像机分组中业务负载小于该预设阈值的前端摄像机的数量比例均衡,然后在交换经过互换调整的前端摄像机上的面部特征子库。
例如,可以将摄像机分组1中的业务负载小于预设阈值的前端摄像机与摄像机分组2中的业务负载高于预设阈值的前端摄像机进行互换,并交换这两台摄像机上承载的面部特征子库。
此外,需要说明的是,业务负载小于该预设阈值的前端摄像机的数量比例均衡只是大致均衡。
当然,在实际应用中,布控服务器还可以基于开发人员预设调整策略,来调整前端摄像机分组或者调整前端摄像机上承载的面部特征子库,比如,周期性地重新对前端摄像机进行分组,分库等,在这里不再赘述。
3)面部识别
在本申请实施例中,业务负载大于或者等于上述预设阈值的前端摄像机主要用于拍摄路人图面和截取路人图片中的面部图片,业务负载小于预设阈值的前端摄像机主要用于对本地或者负载大于或者等于上述预设阈值的前端摄像机拍摄的面部图片的面部特征进行识别。
一方面,采用这种由前端摄像机进行面部识别的方案,可以有效地减少布控服务器的压力,充分利用各前端摄像机的资源。另一方面,将面部识别交由业务负载小于预设阈值的前端摄像机完成,可以避免前端摄像机因为本地流量过高而产生的性能不足的问题。
在实现时,业务负载大于或者等于上述预设阈值的前端摄像机主要用于拍摄路人图面和截取路人图片中的面部图片,并可以将该面部图片写入至面部识别请求中,发送至业务负载小于预设阈值的前端摄像机,由该业务负载小于预设阈值的前端摄像机进行面部识别操作。
下面对前端摄像机进行面部识别的具体过程进行详细地描述。
当前端摄像机接收到面部识别请求时,该前端摄像可以判断的本地的业务负载是否小于上述预设阈值,如果是,该前端摄像机可以获取该面部请求中携带的目标面部图片,并提取该目标面部图片中的目标面部特征。该前端设备可以计算该目标面部特征与本地储存的面部特征子库中储存的面部特征样本的相似度,并判断计算得到的该相似度是否大于等于预设的相似度阈值。
如果计算得到的该相似度大于等于预设的相似度阈值,则表明该前端摄像机识别该目标面部图片,表明该目标面部图片为上述面部特征库中记录的面部图片,此时,可以基于该目标面部图片进行前文所述的动态更新面部特征库的操作。
如果计算得到的该相似度小于该预设的相似度阈值,则表明本地并不能识别该目标面部图片,即该目标面部图片并不记录在本地的面部特征子库中。此时,该前端摄像机可以将该目标面部图片发送至其他的前端摄像,由其他的前端摄像机进行该目标面部图片的面部识别操作。
如果其他的前端摄像机识别该目标面部图片,则可以进行前文所述的动态更新面部特征库的操作。如果其他的前端摄像机都无法识别该目标面部图片,则表明该目标面部图片并不记录在面部特征库中,此时,可以上报布控服务器,由布控服务器进行相应地操作,例如告警等。
如果本地的业务负载大于等于上述预设阈值,前端摄像机可以将该面部请求转发至其他的前端摄像机,由其他的前端摄像机进行面部识别操作。
在本申请实施例中,为了便于各前端摄像机彼此之间的信息交流,也为了便于布控服务器与各摄像机分组中的前端摄像机进行交互。所有的前端摄像机都加入了布控服务器配置的同一组播组,以组播的方式对上述各种消息进行传播。
当然,本申请实施例的面部特征库管理方法的消息交互也可以以现有的其他方式进行交互,在这里,不再赘述。
本申请提出一种面部特征库管理的方法,一方面,通过在前端摄像机中增设面部识别和建库的功能,同时该布控服务器还集成了上述中心服务器具有的管理设备的功能,使得在本申请提出的面部特征库管理系统中不再需要建库服务器和中心服务器,因此大大降低了面部特征库管理的成本;
另一方面,布控服务器可以基于各前端摄像机的业务负载状况,将该若干台前端摄像机划分为业务负载均衡的若干个摄像机分组,并可以将创建的面部特征库拆分成若干个面部特征子库,将该若干个面部特征子库分别下发至各摄像机分组,以由各摄像机分组业务负载小于预设阈值的前端摄像机基于其所属的摄像机分组中承载的各面部特征子库进行面部识别,使得前端摄像机可以共享库容资源,解决了单台前端摄像机库容小的限制。并且,由于通过前端摄像机的业务负载状况进行面部识别操作的分担,有效地避免了局部高流量造成前端摄像机性能不足的问题;
此外,由于每个摄像机分组都承载了面部特征库,因此可以有效地提高该面部特征库的稳定性。
下面仍以上述学校门卫管理校门口人员进入的场景为例,对本申请实施例提出的面部特征库管理的方法进行详细地说明。
学校门卫可以通过布控客户端录入全校师生及该学校相关工作人员的一寸照片,布控服务器接收到该布控客户端发送的所有的一寸照片后,可以将该一寸照片发送至业务负载小于预设阈值的前端摄像机进行建库,并对各前端摄像机建立的部分面部特征库进行汇总,生成面部特征库。
假设该学校有前、后两个校门。布控服务器可以基于各前端摄像机的业务负载状况,将部署在校门的前端摄像机划分成负载均衡的两个摄像机分组。
布控服务器可以将该面部特征库拆分成若干个面部特征子库,并将该面部特征子库发送至两个摄像机分组中的业务负载小于预设阈值的前端摄像机,并使得每个摄像机分组承载的面部特征子库的总和为面部特征总库。
当有人出入校门时,前后两个门的所有摄像机可以进行拍摄,其中,业务负载大于等于预设阈值的前端摄像机可以将拍摄的目标面部图片发送至其他的业务负载小于预设的前端摄像机进行面部识别工作。
对于业务负载小于预设阈值的前端摄像机,可以在本地对本地拍摄到的目标面部图片进行面部识别工作,如果本地无法识别,则可以将该目标面部图片发送至其余的前端摄像机,由其余的前端摄像机进行该目标面部图片的识别工作。
如果所有的前端摄像机,都无法识别该目标面部图片,则该人不是本校人员,此时可以上报布控服务器,由布控服务器向门卫发出告警信息。
如果任一前端摄像机可以识别该目标面部图片,假设该面部图片为学生贾某的侧面照片,此时前端摄像机可以将贾某侧面照片中的面部特征与贾某一寸照片中的面部特征合并,并分别基于贾某的一寸照片ID和侧面照片ID与合并的面部特征的对应关系更新本地和其他摄像机分组中的前端摄像机上的面部特征子库以及布控服务器上的面部特征库。
与前述面部特征库管理方法的实施例相对应,本申请还提供了面部特征库管理装置的实施例。
请参考图5,图5是本申请一示例性实施例示出的面部特征库管理系统,所述面部特征库管理系统包括布控服务器510和若干台前端摄像机520;所述布控服务器包括获取单元5101、划分单元5102和拆分单元5103;
其中,所述获取单元5101,用于获取由各前端摄像机创建的面部特征库;
所述划分单元5102,用于基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;其中,M是大于1的整数;
所述拆分单元5103,用于针对每个摄像机分组,基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
所述前端摄像机包括上报单元5201和识别单元5202;
其中,所述上报单元5201,用于周期性地向所述布控服务器上报保活消息;其中,所述保活消息记录前端摄像机的业务负载状况;
所述识别单元5202,用于接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,所述前端摄像机基于本地储存的面部特征子库进行面部识别。
在另一种可选的实现方式中,所述布控服务器还包括分配单元5104,所述分配单元用于基于各前端摄像机上报的所述业务负载状况,确定业务负载小于所述预设阈值的前端摄像机,并接收用户通过布控客户端配置的面部图片样本,并基于预设的负载分担策略,向各业务负载小于预设阈值的前端摄像机分发该面部图片样本;
所述前端摄像机还包括建库单元5203,所述建库单元用于在接收到所述面部图片样本后,提取所述面部图片样本的面部特征样本,并保存所述面部特征样本与包含该面部特征样本的面部图片样本ID的对应关系,生成部分面部特征库,并将所述部分面部特征库上报给所述布控服务器;
所述获取单元5101,具体用于接收各业务负载小于预设阈值的各前端摄像机返回的部分面部特征库,并汇总该部分面部特征库,生成面部特征库。
在另一种可选的实现方式中,所述识别单元5202,具体用于计算所述面部请求中携带的目标面部图片的目标面部特征与本地面部特征子库记录的面部特征样本的相似度,判断计算出的相似度是否大于等于预设的相似度阈值,如果计算出的相似度大于等于所述预设的相似度阈值,将所述目标面部图片的目标面部特征和与该目标面部特征的相似度大于等于预设的相似度阈值的面部特征样进行合并保存,生成合并后的面部特征样本,并分别建立合并后的面部特征样本与所述目标面部图片ID和包含所述面部特征样本的面部图片样本ID的对应关系,作为更新项,并将所述更新项上报至所述布控服务器或者将所述更新项发送至所述布控服务器的同时,将所述更新项发送至其他摄像机分组的业务负载小于预设阈值的前端摄像机,由该前端摄像机对本地储存的面部特征子库进行更新。
所述布控服务器还包括更新单元5105,用于在接收到所述前端摄像机上报的更新项后,更新本地储存的面部特征库,并将该更新项分别下发至各摄像机分组中的业务负载小于所述预设阈值的前端摄像机,由各摄像机分组中的业务负载小于所述预设阈值的前端摄像机更新本地储存的面部特征子库;或者用于在接收到所述前端摄像机上报的更新项后,更新本地储存的面部特征库。
在另一种可选的实现方式中,所述识别单元5202,还用于如果计算出的相似度小于所述预设的相似度阈值或者如果本地的业务负载大于等于所述预设阈值,所述前端摄像机转发该面部识别请求至其余的前端摄像机,由其余的业务负载小于所述预设阈值的前端摄像机进行面部识别,如果所有前端摄像机计算出的相似度都小于所述预设的相似度阈值,所述前端摄像机将未识别结果上报给所述布控服务器。
在另一种可选的实现方式中,所述布控服务器还包括迁移单元5106,所述迁移单元用于周期性地将所述摄像机分组中的业务负载大于等于所述预设阈值的前端摄像机储存的面部特征子库迁移至同摄像机分组中的业务负载小于所述预设阈值的前端摄像机。
在另一种可选的实现方式中,所述布控服务器还包括互换单元5107,所述互换单元用于周期性地对各摄像机分组中的前端摄像机进行组间互换调整,以确保各摄像机分组中业务负载小于所述预设阈值的前端摄像机的数量比例均衡,并对互换调整的前端摄像机所承载的面部特征子库执行交换。
在另一种可选的实现方式中,所述拆分单元5103,具体用于将所述面部特征库平均拆分成N个面部特征子库,并将所述N个面部特征子库分别下发至该摄像机分组中的业务负载小于所述预设阈值的N个前端摄像机,或者,基于所述摄像机分组中的各前端摄像机的业务负载状况,将所述面部特征库拆分成适配所述各前端摄像机业务负载状况的N个面部特征子库,并将每一个面部特征子库下发至与该面部特征子库适配的前端摄像机。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (14)

1.一种面部特征库管理方法,其特征在于,所述方法应用于面部特征库管理系统,所述面部特征库管理系统还包括布控服务器和若干台前端摄像机,所述方法包括:
布控服务器获取由各前端摄像机创建的面部特征库;
各前端摄像机周期性地向所述布控服务器上报保活消息;其中,所述保活消息记录前端摄像机的业务负载状况;
布控服务器基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;其中,M是大于1的整数;
针对每个摄像机分组,布控服务器基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
当前端摄像机接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,所述前端摄像机基于本地储存的面部特征子库进行面部识别;
所述面部识别请求中携带有目标面部图片;
所述前端摄像机基于本地储存的面部特征子库进行面部识别,包括:
所述前端摄像机提取所述目标面部图片中的目标面部特征,并计算该目标面部特征与本地储存的面部特征子库中的面部特征样本的相似度。
2.根据权利要求1所述的方法,其特征在于,所述布控服务器获取由所述前端摄像机创建的面部特征库,包括:
布控服务器基于各前端摄像机上报的所述业务负载状况,确定业务负载小于所述预设阈值的前端摄像机;
布控服务器接收用户通过布控客户端配置的面部图片样本,并基于预设的负载分担策略,向各业务负载小于预设阈值的前端摄像机分发该面部图片样本;
前端摄像机在接收到所述面部图片样本后,提取所述面部图片样本的面部特征样本,并保存所述面部特征样本与包含该面部特征样本的面部图片样本ID的对应关系,生成部分面部特征库;
前端摄像机将所述部分面部特征库上报给所述布控服务器;
布控服务器接收各业务负载小于预设阈值的各前端摄像机返回的部分面部特征库,并汇总该部分面部特征库,生成面部特征库。
3.根据权利要求1所述的方法,其特征在于,前端摄像机基于本地储存的面部特征子库进行面部识别,包括:
所述前端摄像机计算所述面部请求中携带的目标面部图片的目标面部特征与本地面部特征子库记录的面部特征样本的相似度,判断计算出的相似度是否大于等于预设的相似度阈值;
如果计算出的相似度大于等于所述预设的相似度阈值,所述前端摄像机将所述目标面部图片的目标面部特征和与该目标面部特征的相似度大于等于预设的相似度阈值的面部特征样进行合并保存,生成合并后的面部特征样本,并分别建立合并后的面部特征样本与所述目标面部图片ID和包含所述面部特征样本的面部图片样本ID的对应关系,作为更新项;
所述前端摄像机将所述更新项上报至所述布控服务器,以使所述布控服务器接收到所述前端摄像机上报的更新项后,更新本地储存的面部特征库,并将该更新项分别下发至各摄像机分组中的业务负载小于所述预设阈值的前端摄像机,由各摄像机分组中的业务负载小于所述预设阈值的前端摄像机更新本地储存的面部特征子库;
或者,所述前端摄像机将所述更新项发送至所述布控服务器,由所述布控服务器更新本地储存的面部特征库,同时,将所述更新项发送至其他摄像机分组的业务负载小于预设阈值的前端摄像机,由该前端摄像机对本地储存的面部特征子库进行更新。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
如果计算出的相似度小于所述预设的相似度阈值或者如果本地的业务负载大于等于所述预设阈值,所述前端摄像机转发该面部识别请求至其余的前端摄像机,由其余的业务负载小于所述预设阈值的前端摄像机进行面部识别;
如果所有前端摄像机计算出的相似度都小于所述预设的相似度阈值,所述前端摄像机将未识别结果上报给所述布控服务器。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
布控服务器周期性地将所述摄像机分组中的业务负载大于等于所述预设阈值的前端摄像机储存的面部特征子库迁移至同摄像机分组中的业务负载小于所述预设阈值的前端摄像机。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
布控服务器周期性地对各摄像机分组中的前端摄像机进行组间互换调整,以确保各摄像机分组中业务负载小于所述预设阈值的前端摄像机的数量比例均衡;
布控服务器对互换调整的前端摄像机所承载的面部特征子库执行交换。
7.根据权利要求1所述的方法,其特征在于,所述布控服务器基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机,包括:
布控服务器将所述面部特征库平均拆分成N个面部特征子库,并将所述N个面部特征子库分别下发至该摄像机分组中的业务负载小于所述预设阈值的N个前端摄像机;
或者,布控服务器基于所述摄像机分组中的各前端摄像机的业务负载状况,将所述面部特征库拆分成适配所述各前端摄像机业务负载状况的N个面部特征子库,并将每一个面部特征子库下发至与该面部特征子库适配的前端摄像机。
8.一种面部特征库管理系统,其特征在于,所述面部特征库管理系统包括布控服务器和若干台前端摄像机;所述布控服务器包括获取单元、划分单元和拆分单元;
其中,所述获取单元,用于获取由各前端摄像机创建的面部特征库;
所述划分单元,用于基于各前端摄像机的业务负载状况,将所述若干台前端摄像机划分为业务负载均衡的M个摄像机分组;其中,M是大于1的整数;
所述拆分单元,用于针对每个摄像机分组,基于预设的拆分策略,对所述面部特征库进行拆分,生成N个面部特征子库,并将该N个面部特征子库下发至该摄像机分组中的不同的前端摄像机;其中,N是大于1的整数;
所述前端摄像机包括上报单元和识别单元;
其中,所述上报单元,用于周期性地向所述布控服务器上报保活消息;其中,所述保活消息记录前端摄像机的业务负载状况;
所述识别单元,用于接收到面部识别请求时,判断本地的业务负载是否小于所述预设阈值;如果是,所述前端摄像机基于本地储存的面部特征子库进行面部识别;
所述面部识别请求中携带有目标面部图片;
所述前端摄像机基于本地储存的面部特征子库进行面部识别,包括:
所述前端摄像机提取所述目标面部图片中的目标面部特征,并计算该目标面部特征与本地储存的面部特征子库中的面部特征样本的相似度。
9.根据权利要求8所述的系统,其特征在于,所述布控服务器还包括分配单元,所述分配单元用于基于各前端摄像机上报的所述业务负载状况,确定业务负载小于所述预设阈值的前端摄像机,并接收用户通过布控客户端配置的面部图片样本,并基于预设的负载分担策略,向各业务负载小于预设阈值的前端摄像机分发该面部图片样本;
所述前端摄像机还包括建库单元,所述建库单元用于在接收到所述面部图片样本后,提取所述面部图片样本的面部特征样本,并保存所述面部特征样本与包含该面部特征样本的面部图片样本ID的对应关系,生成部分面部特征库,并将所述部分面部特征库上报给所述布控服务器;
所述获取单元,具体用于接收各业务负载小于预设阈值的各前端摄像机返回的部分面部特征库,并汇总该部分面部特征库,生成面部特征库。
10.根据权利要求8所述的系统,其特征在于,所述识别单元,具体用于计算所述面部请求中携带的目标面部图片的目标面部特征与本地面部特征子库记录的面部特征样本的相似度,判断计算出的相似度是否大于等于预设的相似度阈值,如果计算出的相似度大于等于所述预设的相似度阈值,将所述目标面部图片的目标面部特征和与该目标面部特征的相似度大于等于预设的相似度阈值的面部特征样进行合并保存,生成合并后的面部特征样本,并分别建立合并后的面部特征样本与所述目标面部图片ID和包含所述面部特征样本的面部图片样本ID的对应关系,作为更新项,并将所述更新项上报至所述布控服务器或者将所述更新项发送至所述布控服务器的同时,将所述更新项发送至其他摄像机分组的业务负载小于预设阈值的前端摄像机,由该前端摄像机对本地储存的面部特征子库进行更新;
所述布控服务器还包括更新单元,用于在接收到所述前端摄像机上报的更新项后,更新本地储存的面部特征库,并将该更新项分别下发至各摄像机分组中的业务负载小于所述预设阈值的前端摄像机,由各摄像机分组中的业务负载小于所述预设阈值的前端摄像机更新本地储存的面部特征子库;或者用于在接收到所述前端摄像机上报的更新项后,更新本地储存的面部特征库。
11.根据权利要求10所述的系统,其特征在于,所述识别单元,还用于如果计算出的相似度小于所述预设的相似度阈值或者如果本地的业务负载大于等于所述预设阈值,所述前端摄像机转发该面部识别请求至其余的前端摄像机,由其余的业务负载小于所述预设阈值的前端摄像机进行面部识别,如果所有前端摄像机计算出的相似度都小于所述预设的相似度阈值,所述前端摄像机将未识别结果上报给所述布控服务器。
12.根据权利要求8所述的系统,其特征在于,所述布控服务器还包括迁移单元,所述迁移单元用于周期性地将所述摄像机分组中的业务负载大于等于所述预设阈值的前端摄像机储存的面部特征子库迁移至同摄像机分组中的业务负载小于所述预设阈值的前端摄像机。
13.根据权利要求8所述的系统,其特征在于,所述布控服务器还包括互换单元,所述互换单元用于周期性地对各摄像机分组中的前端摄像机进行组间互换调整,以确保各摄像机分组中业务负载小于所述预设阈值的前端摄像机的数量比例均衡,并对互换调整的前端摄像机所承载的面部特征子库执行交换。
14.根据权利要求8所述的系统,其特征在于,所述拆分单元,具体用于将所述面部特征库平均拆分成N个面部特征子库,并将所述N个面部特征子库分别下发至该摄像机分组中的业务负载小于所述预设阈值的N个前端摄像机,或者,基于所述摄像机分组中的各前端摄像机的业务负载状况,将所述面部特征库拆分成适配所述各前端摄像机业务负载状况的N个面部特征子库,并将每一个面部特征子库下发至与该面部特征子库适配的前端摄像机。
CN201611220616.5A 2016-12-26 2016-12-26 面部特征库管理方法及系统 Active CN106529515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611220616.5A CN106529515B (zh) 2016-12-26 2016-12-26 面部特征库管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611220616.5A CN106529515B (zh) 2016-12-26 2016-12-26 面部特征库管理方法及系统

Publications (2)

Publication Number Publication Date
CN106529515A CN106529515A (zh) 2017-03-22
CN106529515B true CN106529515B (zh) 2020-04-10

Family

ID=58338827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611220616.5A Active CN106529515B (zh) 2016-12-26 2016-12-26 面部特征库管理方法及系统

Country Status (1)

Country Link
CN (1) CN106529515B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364438A (zh) * 2017-12-28 2018-08-03 武汉烽火众智数字技术有限责任公司 基于前端感知数据的预警方法及装置
CN108446692B (zh) * 2018-06-08 2021-03-09 南京擎华信息科技有限公司 人脸比对方法、装置和系统
CN109471717A (zh) * 2018-10-11 2019-03-15 平安科技(深圳)有限公司 样本库拆分方法、装置、计算机设备及存储介质
CN111414370A (zh) * 2019-01-07 2020-07-14 北京智融网络科技有限公司 一种特征库更新方法和系统
CN109992687B (zh) * 2019-04-10 2021-05-25 北京迈格威科技有限公司 人脸数据的搜索方法、装置、电子设备及可读存储介质
CN110147759A (zh) * 2019-05-17 2019-08-20 北京迈格威科技有限公司 目标识别方法、系统、目标识别管理方法及存储介质
CN110232134A (zh) * 2019-06-13 2019-09-13 上海商汤智能科技有限公司 数据更新方法、服务器及计算机存储介质
CN111738185B (zh) * 2020-06-28 2023-09-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN112560660A (zh) * 2020-12-10 2021-03-26 杭州宇泛智能科技有限公司 一种人脸识别系统及其预设方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065923A (zh) * 2014-06-23 2014-09-24 苏州阔地网络科技有限公司 一种在线同步课堂跟踪控制方法及系统
CN104573611A (zh) * 2013-10-11 2015-04-29 杭州海康威视数字技术股份有限公司 一种分布式人脸识别集群系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573611A (zh) * 2013-10-11 2015-04-29 杭州海康威视数字技术股份有限公司 一种分布式人脸识别集群系统
CN104065923A (zh) * 2014-06-23 2014-09-24 苏州阔地网络科技有限公司 一种在线同步课堂跟踪控制方法及系统

Also Published As

Publication number Publication date
CN106529515A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106529515B (zh) 面部特征库管理方法及系统
CN108733819B (zh) 一种人员档案建立方法和装置
Saxena et al. Crowd behavior recognition for video surveillance
CN109710780A (zh) 一种归档方法及装置
CN108229260B (zh) 一种身份信息核验方法及系统
EP1460851A2 (en) A system and method for real-time whiteboard streaming
CN112818149B (zh) 一种基于时空轨迹数据的人脸聚类方法、装置及存储介质
CN109241111A (zh) 一种基于内存数据库的分布式人脸识别系统及方法
CN108924109B (zh) 数据传输方法、装置及处理设备
CN105162875B (zh) 大数据群体任务分配方法及装置
CN105336017B (zh) 一种基于Storm技术的行车记录信息处理方法及系统
CN106055630A (zh) 日志存储的方法及装置
WO2023029574A1 (zh) 获取客流信息的方法、装置、计算机设备以及存储介质
CN108197159A (zh) 基于分布式文件系统的数据读取、写入方法及装置
CN110245268A (zh) 一种路线确定、展示的方法及装置
CN109086829A (zh) 一种社会人口治理的方法及装置
CN111192459A (zh) 一种视频监控布控方法和布控装置
JP2014222480A (ja) サービス提供システム、サービス提供方法およびサービス提供管理装置
KR20190041704A (ko) Cctv 분할 운영시스템 및 그 운영방법
CN109194919A (zh) 一种摄像头数据流分配系统、方法及其计算机存储介质
CN106708879B (zh) 业务数据的处理方法和装置
Kanrar et al. Video traffic analytics for large scale surveillance
CN112925899B (zh) 排序模型建立方法、案件线索推荐方法、装置及介质
CN109559518A (zh) 一种基于结构化图像识别算法的新型智能交通卡口
Xu et al. Coral-pie: A geo-distributed edge-compute solution for space-time vehicle tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221107

Address after: 15 / F, Zhongchuang Plaza, 385 Hangtian Middle Road, national civil aerospace industrial base, Xi'an City, Shaanxi Province 710100

Patentee after: Xi'an Yu vision Mdt InfoTech Ltd.

Address before: 310051 Zhejiang Jiangling Hangzhou Road, Binjiang District, Jiangling, 88, No. 10 South Block 1-11.

Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd.