CN115862100A - 一种基于录像的人脸回溯方法和系统 - Google Patents

Abstract

本发明公开了一种基于录像的人脸回溯方法和系统，针对现有技术中存在的人脸抓拍摄像机匹配客户到访记录的方式仅能支持已安装的人脸抓拍摄像机，无法满足在此之前的客户到访记录回溯的问题，本发明的技术方案包括：首先从NVR中下载录像并存储；当发起人脸回溯任务时，获取录像，通过录像获取人脸特征样本集；获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果；根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录，结束人脸回溯任务。其目的为：仅通过普通安防摄像机拍摄的视频录像即可查找并匹配客户到访轨迹，场景适用性更广泛。

Description

一种基于录像的人脸回溯方法和系统

技术领域

本发明属于智能分析技术领域，具体涉及一种基于录像的人脸回溯方法和系统。

背景技术

在一些销售场景中，大多数成交的客户是通过渠道介绍的，在客户认购之后，商家需要按照约定给予渠道相应的佣金，给予佣金的依据即为客户的到访纪录。

现有技术中，采集客户的到访记录通过人脸抓拍摄像机来实现，首先在渠道销售现场安装人脸抓拍摄像机，当有人进入摄像机画面时，人脸抓拍摄像机自动抓拍人脸照片并保存，当客户认购之后，通过保存的照片进行对比匹配获取客户的到访记录。

现有技术存在以下技术问题：

1.部分的渠道销售现场在运行一段时间之后才开始安装使用人脸抓拍摄像机，这种情况下，现有通过人脸抓拍摄像机匹配客户到访记录的方式仅能支持已安装的人脸抓拍摄像机，无法满足在此之前的客户到访记录回溯。

发明内容

针对现有技术中存在的人脸抓拍摄像机匹配客户到访记录的方式仅能支持已安装的人脸抓拍摄像机，无法满足在此之前的客户到访记录回溯的问题，本发明提出了一种基于录像的人脸回溯方法和系统，其目的为：仅通过普通安防摄像机拍摄的视频录像即可查找并匹配客户到访轨迹，场景适用性更广泛。

为实现上述目的本发明所采用的技术方案是：提供一种基于录像的人脸回溯方法，包括：

S1：首先对摄像头和NVR进行参数配置，系统运行后按照配置的参数从NVR中下载录像并存储，记录录像的日期和时间范围；

S2：当发起人脸回溯任务时，对人脸回溯任务进行解析，得到任务数据，根据任务数据获取录像，通过录像获取人脸特征样本集；

S3：获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果；

S4：根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录，结束人脸回溯任务。

较优的，本发明S1中下载录像的过程具体为：

S1.1：获取录像的录下时间的参数；

S1.2：预设一个时段，将每日的录像按照该时段进行拆分，然后准备下载；

S1.3:调用NVR的录像下载接口并判断返回结果；

S1.4：若返回成功，则保存录像至本地的存储目录，存储目录规则为“日期/摄像头I D/时段录像文件”；若返回失败，则自动重试S1.3三次，三次重试均返回失败或无录像则不再下载。

较优的，本发明S2中获取人脸特征样本集的具体过程为：

S2.1：根据任务数据中给定的回溯时间区间与录像存储路径，将所述回溯时间区间的录像按天进行分段，并利用多进程并发处理各天内的录像；

S2.2：首先对录像进行跳帧处理得到录像图片，然后对所述录像图片进行res ize,并输入人脸检测模型，获取有效的人脸信息；

S2.3：然后通过口罩分类模型对所述人脸信息进行分类判断，判断其是否佩戴口罩；

S2.4：若佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第一人脸特征样本集；若未佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第二人脸特征样本集。

较优的，本发明S3中进行人脸特征匹配的具体过程为：

S3.1：获取待匹配的客户人脸图片，将客户人脸图片进行res i ze，得到匹配人脸信息；

S3.2：将匹配人脸信息输入口罩分类模型判断其是否佩戴口罩，然后将所述匹配人脸信息进行对齐并进行归一化处理，然后输入人脸特征提取模型，得到匹配人脸特征；

S3.3：若匹配人脸信息佩戴口罩，将所述匹配人脸特征与所述第一人脸特征样本集进行匹配；若匹配人脸信息未佩戴口罩，将所述匹配人脸特征与所述第二人脸特征样本集进行匹配。

较优的，本发明S3.3中人脸特征匹配的具体过程为：

S3.3.1：通过矩阵运算的方式，将匹配人脸特征与第一人脸特征样本集或第二人脸特征样本集进行比对，得到比对后的人脸相似度；

S3.3.2：将所述人脸相似度由高到低进行排列；

S3.3.3：预设相似度阈值，将最高的人脸相似度与相似度阈值进行对比，若最高的人脸相似度大于等于相似度阈值，则匹配成功，将该人脸信息输出为匹配结果；若最高的人脸相似度小于相似度阈值，则匹配失败，将无对应人脸信息输出为匹配结果。

本发明还提出了一种基于录像的人脸回溯系统，包括：

录像下载模块：用于根据业务管理模块配置的参数，从NVR中下载录像并存储，记录录像的日期和时间范围；

业务管理模块：用于对摄像头和NVR进行参数配置；并发起人脸回溯任务，对人脸回溯任务进行解析，得到任务数据；将任务数据输出到人脸回溯模块进行人脸信息匹配并接收得出的匹配结果，根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录；

人脸回溯模块：根据任务数据获取录像，并通过录像获取人脸特征样本集；然后获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果。

较优的，本发明录像下载模块中下载录像的过程具体为：

步骤1.1：获取录像的录下时间的参数；

步骤1.2：预设一个时段，将每日的录像按照该时段进行拆分，然后准备下载；

步骤1.3:调用NVR的录像下载接口并判断返回结果；

步骤1.4：若返回成功，则保存录像至本地的存储目录，存储目录规则为“日期/摄像头I D/时段录像文件”；若返回失败，则自动重试步骤1.3三次，三次重试均返回失败或无录像则不再下载。

较优的，本发明人脸回溯模块中获取人脸特征样本集的具体过程为：

步骤2.1：根据任务数据中给定的回溯时间区间与录像存储路径，将所述回溯时间区间的录像按天进行分段，并利用多进程并发处理各天内的录像；

步骤2.2：首先对录像进行跳帧处理得到录像图片，然后对所述录像图片进行resi ze,并输入人脸检测模型，获取有效的人脸信息；

步骤2.3：然后通过口罩分类模型对所述人脸信息进行分类判断，判断其是否佩戴口罩；

步骤2.4：若佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第一人脸特征样本集；若未佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第二人脸特征样本集。

较优的，本发明人脸回溯模块中进行人脸特征匹配的具体过程为：

步骤3.1：获取待匹配的客户人脸图片，将客户人脸图片进行res i ze，得到匹配人脸信息；

步骤3.2：将匹配人脸信息输入口罩分类模型判断其是否佩戴口罩，然后将所述匹配人脸信息进行对齐并进行归一化处理，然后输入人脸特征提取模型，得到匹配人脸特征；

步骤3.3：若匹配人脸信息佩戴口罩，将所述匹配人脸特征与所述第一人脸特征样本集进行匹配；若匹配人脸信息未佩戴口罩，将所述匹配人脸特征与所述第二人脸特征样本集进行匹配。

较优的，本发明步骤3.3中人脸特征匹配的具体过程为：

步骤3.3.1：通过矩阵运算的方式，将匹配人脸特征与第一人脸特征样本集或第二人脸特征样本集进行比对，得到比对后的人脸相似度；

步骤3.3.2：将所述人脸相似度由高到低进行排列；

步骤3.3.3：预设相似度阈值，将最高的人脸相似度与相似度阈值进行对比，若最高的人脸相似度大于等于相似度阈值，则匹配成功，将该人脸信息输出为匹配结果；若最高的人脸相似度小于相似度阈值，则匹配失败，将无对应人脸信息输出为匹配结果。

相比现有技术，本发明的技术方案具有如下优点/有益效果：

1.本发明通过录像获取人脸特征样本集，然后将待匹配的人脸特征与人脸特征样本集进行匹配，通过普通摄像头就能够达到要求，大大减小了成本，且能够通过未安装人脸抓拍摄像机之前的录像获取客户到访记录。

2.本发明将未佩戴口罩合佩戴口罩的人脸特征进行分类对比，并通过矩阵数据计算人脸特征相似度，提高了匹配的准确性。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例1的整体流程示意图。

图2是实施例1中录像下载模块的录像下载流程示意图。

图3是实施例1中人脸回溯的整体流程示意图。

图4是实施例1中人脸回溯任务记录图。

图5是实施例1中客户到访记录示意图。

具体实施方式

为使本发明目的、技术方案和优点更加清楚，下面对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。

实施例1：

如图1所示，本实施例1提出了一种基于录像的人脸回溯方法，包括：

S1：首先对摄像头和NVR进行参数配置，系统运行后按照配置的参数从NVR中下载录像并存储，记录录像的日期和时间范围；如图2所示，下载录像的过程具体为：

S1.1：获取录像的录下时间的参数；

S1.2：将每日的录像按照半小时进行拆分，然后准备下载；

S1.3:调用NVR的录像下载接口并判断返回结果；

S1.4：若返回成功，则保存录像至本地的存储目录，存储目录规则为“日期/摄像头I D/半小时时段录像文件”；若返回失败，则自动重试S1.3三次，三次重试均返回失败或无录像则不再下载。

S2：如图3和图4所示，当发起人脸回溯任务时，对人脸回溯任务进行解析，得到任务数据，根据任务数据获取录像，通过录像获取人脸特征样本集；获取人脸特征样本集的具体过程为：

S2.1：根据任务数据中给定的回溯时间区间与录像存储路径，将所述回溯时间区间的录像按天进行分段，并利用多进程并发处理各天内的录像；

S2.2：首先对录像进行跳帧处理得到录像图片，然后对所述录像图片进行res ize,并输入人脸检测模型，获取有效的人脸信息；

S2.3：然后通过口罩分类模型对所述人脸信息进行分类判断，判断其是否佩戴口罩；

S2.4：若佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第一人脸特征样本集；若未佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第二人脸特征样本集。

S3：获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果；进行人脸特征匹配的具体过程为：

S3.1：获取待匹配的客户人脸图片，将客户人脸图片进行res i ze，得到匹配人脸信息；

S3.2：将匹配人脸信息输入口罩分类模型判断其是否佩戴口罩，然后将所述匹配人脸信息进行对齐并进行归一化处理，然后输入人脸特征提取模型，得到匹配人脸特征；

S3.3：若匹配人脸信息佩戴口罩，将所述匹配人脸特征与所述第一人脸特征样本集进行匹配；若匹配人脸信息未佩戴口罩，将所述匹配人脸特征与所述第二人脸特征样本集进行匹配。人脸特征匹配的具体过程为：

S3.3.1：通过矩阵运算的方式，将匹配人脸特征与第一人脸特征样本集或第二人脸特征样本集进行比对，得到比对后的人脸相似度；

S3.3.2：将所述人脸相似度由高到低进行排列；

S3.3.3：预设相似度阈值，将最高的人脸相似度与相似度阈值进行对比，若最高的人脸相似度大于等于相似度阈值，则匹配成功，将该人脸信息输出为匹配结果；若最高的人脸相似度小于相似度阈值，则匹配失败，将无对应人脸信息输出为匹配结果。

S4：根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录，如图5所示，保存图片为最高相似度分数的图片和最早出现的图片，最早出现的图片为人脸相似度大于等于相似度阈值的人脸图片中，时间最早的人脸图片，最后结束人脸回溯任务。

本发明的口罩分类模型和人脸检测模型为现有技术，人脸检测模型用于获取录像图片中的人脸信息，而口罩分类模型用于分类人脸信息是否佩戴口罩。

本发明还提出了一种基于录像的人脸回溯系统，包括：

录像下载模块：用于根据业务管理模块配置的参数，从NVR中下载录像并存储，记录录像的日期和时间范围；下载录像的过程具体为：

步骤1.1：获取录像的录下时间的参数；

步骤1.2：将每日的录像按照半小时进行拆分，然后准备下载；

步骤1.3:调用NVR的录像下载接口并判断返回结果；

步骤1.4：若返回成功，则保存录像至本地的存储目录，存储目录规则为“日期/摄像头I D/半小时时段录像文件”；若返回失败，则自动重试步骤1.3三次，三次重试均返回失败或无录像则不再下载。

业务管理模块：用于对摄像头和NVR进行参数配置；并发起人脸回溯任务，对人脸回溯任务进行解析，得到任务数据；将任务数据输出到人脸回溯模块进行人脸信息匹配并接收得出的匹配结果，根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录；

人脸回溯模块：根据任务数据获取录像，并通过录像获取人脸特征样本集；然后获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果。获取人脸特征样本集的具体过程为：

步骤2.1：根据任务数据中给定的回溯时间区间与录像存储路径，将所述回溯时间区间的录像按天进行分段，并利用多进程并发处理各天内的录像；

步骤2.2：首先对录像进行跳帧处理得到录像图片，然后对所述录像图片进行resi ze,并输入人脸检测模型，获取有效的人脸信息；

步骤2.3：然后通过口罩分类模型对所述人脸信息进行分类判断，判断其是否佩戴口罩；

步骤2.4：若佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第一人脸特征样本集；若未佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第二人脸特征样本集。

进行人脸特征匹配的具体过程为：

步骤3.1：获取待匹配的客户人脸图片，将客户人脸图片进行res i ze，得到匹配人脸信息；

步骤3.2：将匹配人脸信息输入口罩分类模型判断其是否佩戴口罩，然后将所述匹配人脸信息进行对齐并进行归一化处理，然后输入人脸特征提取模型，得到匹配人脸特征；

步骤3.3：若匹配人脸信息佩戴口罩，将所述匹配人脸特征与所述第一人脸特征样本集进行匹配；若匹配人脸信息未佩戴口罩，将所述匹配人脸特征与所述第二人脸特征样本集进行匹配。

步骤3.3中人脸特征匹配的具体过程为：

步骤3.3.1：通过矩阵运算的方式，将匹配人脸特征与第一人脸特征样本集或第二人脸特征样本集进行比对，得到比对后的人脸相似度；

步骤3.3.2：将所述人脸相似度由高到低进行排列；

步骤3.3.3：预设相似度阈值，将最高的人脸相似度与相似度阈值进行对比，若最高的人脸相似度大于等于相似度阈值，则匹配成功，将该人脸信息输出为匹配结果；若最高的人脸相似度小于相似度阈值，则匹配失败，将无对应人脸信息输出为匹配结果。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于录像的人脸回溯方法，其特征在于，包括：

S1：首先对摄像头和NVR进行参数配置，系统运行后按照配置的参数从NVR中下载录像并存储，记录录像的日期和时间范围；

S2：当发起人脸回溯任务时，对人脸回溯任务进行解析，得到任务数据，根据任务数据获取录像，通过录像获取人脸特征样本集；

S3：获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果；

S4：根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录，结束人脸回溯任务。

2.根据权利要求1所述的一种基于录像的人脸回溯方法，其特征在于，S1中下载录像的过程具体为：

S1.1：获取录像的录下时间的参数；

S1.2：预设一个时段，将每日的录像按照该时段进行拆分，然后准备下载；

S1.3:调用NVR的录像下载接口并判断返回结果；

S1.4：若返回成功，则保存录像至本地的存储目录，存储目录规则为“日期/摄像头ID/时段录像文件”；若返回失败，则自动重试S1.3三次，三次重试均返回失败或无录像则不再下载。

3.根据权利要求1所述的一种基于录像的人脸回溯方法，其特征在于，S2中获取人脸特征样本集的具体过程为：

S2.1：根据任务数据中给定的回溯时间区间与录像存储路径，将所述回溯时间区间的录像按天进行分段，并利用多进程并发处理各天内的录像；

S2.2：首先对录像进行跳帧处理得到录像图片，然后对所述录像图片进行resize,并输入人脸检测模型，获取有效的人脸信息；

S2.3：然后通过口罩分类模型对所述人脸信息进行分类判断，判断其是否佩戴口罩；

S2.4：若佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第一人脸特征样本集；若未佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第二人脸特征样本集。

4.根据权利要求3所述的一种基于录像的人脸回溯方法，其特征在于，S3中进行人脸特征匹配的具体过程为：

S3.1：获取待匹配的客户人脸图片，将客户人脸图片进行resize，得到匹配人脸信息；

S3.2：将匹配人脸信息输入口罩分类模型判断其是否佩戴口罩，然后将所述匹配人脸信息进行对齐并进行归一化处理，然后输入人脸特征提取模型，得到匹配人脸特征；

S3.3：若匹配人脸信息佩戴口罩，将所述匹配人脸特征与所述第一人脸特征样本集进行匹配；若匹配人脸信息未佩戴口罩，将所述匹配人脸特征与所述第二人脸特征样本集进行匹配。

5.根据权利要求4所述的一种基于录像的人脸回溯方法，其特征在于，S3.3中人脸特征匹配的具体过程为：

S3.3.1：通过矩阵运算的方式，将匹配人脸特征与第一人脸特征样本集或第二人脸特征样本集进行比对，得到比对后的人脸相似度；

S3.3.2：将所述人脸相似度由高到低进行排列；

S3.3.3：预设相似度阈值，将最高的人脸相似度与相似度阈值进行对比，若最高的人脸相似度大于等于相似度阈值，则匹配成功，将该人脸信息输出为匹配结果；若最高的人脸相似度小于相似度阈值，则匹配失败，将无对应人脸信息输出为匹配结果。

6.一种基于录像的人脸回溯系统，其特征在于，包括：

录像下载模块：用于根据业务管理模块配置的参数，从NVR中下载录像并存储，记录录像的日期和时间范围；

业务管理模块：用于对摄像头和NVR进行参数配置；并发起人脸回溯任务，对人脸回溯任务进行解析，得到任务数据；将任务数据输出到人脸回溯模块进行人脸信息匹配并接收得出的匹配结果，根据匹配结果记录录像中客户的人脸信息和时间信息，得到客户到访记录；

人脸回溯模块：根据任务数据获取录像，并通过录像获取人脸特征样本集；然后获取待匹配的客户人脸信息，将待匹配的客户人脸信息与所述人脸特征样本集依次进行匹配计算相似度，得到匹配结果。

7.根据权利要求6所述的一种基于录像的人脸回溯系统，其特征在于，录像下载模块中下载录像的过程具体为：

步骤1.1：获取录像的录下时间的参数；

步骤1.2：预设一个时段，将每日的录像按照该时段进行拆分，然后准备下载；

步骤1.3:调用NVR的录像下载接口并判断返回结果；

步骤1.4：若返回成功，则保存录像至本地的存储目录，存储目录规则为“日期/摄像头ID/时段录像文件”；若返回失败，则自动重试步骤1.3三次，三次重试均返回失败或无录像则不再下载。

8.根据权利要求6所述的一种基于录像的人脸回溯系统，其特征在于，人脸回溯模块中获取人脸特征样本集的具体过程为：

步骤2.1：根据任务数据中给定的回溯时间区间与录像存储路径，将所述回溯时间区间的录像按天进行分段，并利用多进程并发处理各天内的录像；

步骤2.2：首先对录像进行跳帧处理得到录像图片，然后对所述录像图片进行resize,并输入人脸检测模型，获取有效的人脸信息；

步骤2.3：然后通过口罩分类模型对所述人脸信息进行分类判断，判断其是否佩戴口罩；

步骤2.4：若佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第一人脸特征样本集；若未佩戴口罩，则将对应的人脸信息对齐并进行归一化处理，将归一化后的人脸信息输入人脸特征提取模型，得到第二人脸特征样本集。

9.根据权利要求8所述的一种基于录像的人脸回溯系统，其特征在于，人脸回溯模块中进行人脸特征匹配的具体过程为：

步骤3.1：获取待匹配的客户人脸图片，将客户人脸图片进行resize，得到匹配人脸信息；

步骤3.2：将匹配人脸信息输入口罩分类模型判断其是否佩戴口罩，然后将所述匹配人脸信息进行对齐并进行归一化处理，然后输入人脸特征提取模型，得到匹配人脸特征；

步骤3.3：若匹配人脸信息佩戴口罩，将所述匹配人脸特征与所述第一人脸特征样本集进行匹配；若匹配人脸信息未佩戴口罩，将所述匹配人脸特征与所述第二人脸特征样本集进行匹配。

10.根据权利要求9所述的一种基于录像的人脸回溯系统，其特征在于，步骤3.3中人脸特征匹配的具体过程为：

步骤3.3.1：通过矩阵运算的方式，将匹配人脸特征与第一人脸特征样本集或第二人脸特征样本集进行比对，得到比对后的人脸相似度；

步骤3.3.2：将所述人脸相似度由高到低进行排列；

步骤3.3.3：预设相似度阈值，将最高的人脸相似度与相似度阈值进行对比，若最高的人脸相似度大于等于相似度阈值，则匹配成功，将该人脸信息输出为匹配结果；若最高的人脸相似度小于相似度阈值，则匹配失败，将无对应人脸信息输出为匹配结果。

Images