CN113190700A - 用于房产交易的人脸抓拍、筛选和存储的方法及系统 - Google Patents

Abstract

本发明提供了一种用于房产交易的人脸抓拍、筛选和存储的方法及系统，包括设备端、本地端和云端，设备端采集抓拍来访客户的人脸数据并截取视频流，本地端和云端分别存储有本地算法和云端算法对抓拍的图像进行筛选、处理和存储，对检索后的数据根据预设点位和预设时间进行去重处理，数据的上传存储通过多线程方式处理。本发明解决了房产销售现场人流量过多时，对客户难以跟踪和数据管理混乱等问题，基于人脸抓拍实现了客户的精准定位，避免客户存储数据混乱、冗余，减少了工作人员的工作量，便于对客户的统计和分析。

Description

用于房产交易的人脸抓拍、筛选和存储的方法及系统

技术领域

本发明涉及房产交易现场抓拍人脸数据处理技术领域，特别涉及一种用于房产交易的人脸抓拍、筛选和存储的方法及系统。

背景技术

楼盘开售后，在售楼处的来访人员数量庞大，人员流通密集，且在一定时间内某些客户可能会多次到访，单靠接待岗的登记人员和其它相关的服务人员无法通过记忆管理，目前，售楼处一般采用现场数据登记并结合接待人员统计对接的客户人员，将人员信息进行汇总，掌握到访人员的相关信息进行分析。

现有技术对客户数据的汇总、分类和存储等处理方式存在如下问题：

1、由于访问人流量大，收集汇总的来访客户数据信息混乱、不规范，具有大量噪声数据和重复的冗余数据，对于后期的统计、汇总、筛选造成了很大的的干扰和影响，不利于对来访客户进行后期的整体分析，不便于销售的规划和营销。

2、现有技术的客户数据采集更趋向于人工记录，对于工作人员来说工作量庞大，在现场混乱的情况下，容易出现部分客户的来访数据采集的泄疏漏，同时面对如此大的人员流通量，以及客户多样的登记数据，工作人员无法识别登记不同数据的同一客户，不便于对来访客户进行规范化数据采集、存储和管理。

3、现场人员进出场时间是连续且不确定的，对于同一客户登记不同的数据信息，或者在现场长时间进出，在一段时间后现场客户会出现，到场时间长短不同的大量混合客户，对工作人员的数据登记和统计造成了极大的干扰。

因而亟需一种能够自动对来访客户进行数据采集、筛选和存储的方法和系统。

发明内容

为解决上述问题，本发明提供了一种用于房产交易的人脸抓拍、筛选和储存的方法及系统，方法包括人脸图像的抓拍与转储，对图像的人脸检测、搜索和注册，抓拍图像的去重处理，抓拍图像视频流的截取，图像与视频的OSS上传存储和云端上传存储和数据的多线程处理，系统包括设备端、本地端和云端，通过设备端对来访人员的人脸进行图像的抓拍采集，并对抓拍的图像进行前后一端时间的视频流截取，获取客户的人脸图像和视频，所述本地端与云端通过无线网络远程连接，且设有相关算法对人脸数据进行检测，和搜索，并对数据进行转储、去重以及上传存储，实现了房产销售现场人流量大时，对客户数据的采集和监管，并便于后期的统计分析。

本发明提供了一种用于房产交易的人脸抓拍、筛选和存储的方法，具体步骤如下：

设备采集端通过抓拍设备采集来访人员的人脸数据，本地数据管理端接收所述抓拍设备采集抓拍的人脸数据图像，并将数据进行图片转储缓存到本地；

本地数据管理端接收到抓拍的人脸数据后发起人脸检测请求，根据上述抓拍的人脸数据进行人脸检测、搜索和注册，根据检索结果判断是否有高于注册分值的人脸数据；

根据上述检索判定结果，如果未检索到高于注册分值的人脸数据，则对该抓拍的人脸数据进行人脸注册，并将注册后的人脸图像上传至OSS云存储，图像对应的抓拍设备、人脸标识等图片数据相关信息上传存储至云端mongoDB数据库；如果检索到高于注册分值的人脸数据，则根据抓拍时间判断是否在预设的验证时间内存储过该人脸的抓拍图像，若存储过，则将该图像舍弃，如果在预设时间内并未存储过该人脸的抓拍图像，则同样将该抓拍的图像数据上传至所述OSS云端图片信息数据库中；

检测项目是否配置NVR或者本地视频流，如果检测到有相关配置，则根据抓拍时间点截取抓拍时间前后5s的视频，并将视频上传至oss云存储，视频地址信息上传至云端mongoDB数据库的抓拍记录的视频位置字段。

进一步的，其特征在于，所述抓拍的人脸数据图像在转储为图片文件时，会将抓拍属性进行分割附着为所述图片文件的文件名，所述抓拍属性包括设备信息、IP、抓拍时间和抓拍图片分值，所述图片文件根据抓拍时间进行归档存储。

对于房产公司来说，楼盘项目过多，因而需要对图片进行重命名并分类存储，同时由于现场抓拍设备较多，并且需要进行去重处理，对抓拍的图像通过抓拍属性进行重命名，明确抓拍图像的来源和对应客户，按照项目和抓拍时间进行分类，便于对数据的查看以及检索。

进一步的，所述人脸检测请求处理过程包括人脸检测、人脸检索和人脸注册，所述人脸检测请求处理的算法包括两个，分别为本地算法和云端算法；

首先对图片中的人脸进行分析，根据识别结果判断所述图片中是否有人脸；

当检测到人脸数据后先通过本地算法搜索本地人脸数据库中是否有相似人脸，如果检索到相似人脸，则判定该人脸所属为老客户，如果未检索到目标结果则通过云端算法再次进行检索，如果检索到识别结果则判定该人脸所属为老客户，如果未检索到结果则进行人脸注册；

当判定需要对该人脸数据进行注册时，所述人脸数据所属被判定为新客户，并将人脸注册在云端，且本地端会根据所述云端注册规则将该人脸数据注册到本地人脸数据库中。

现场抓拍客户时是随机进行抓拍的，人脸检测为了能够筛选出抓拍图像较于识别的图像数据，提高了后续人脸识别和搜索的准确性。

进一步的，所述人脸检索的过程中，通过图片的对比识别的相似值判断检索的人脸图像是否为相似人脸，当对数据库中的人脸图片的对比识别的相似值高于预设的相似阈值时，判定该人脸图片与目标图片中的人脸为相似人脸，在本地人脸数据库中和云端人脸数据库中检索时，在本地检索中判定图像为相似图像的相似阈值要高于在云端检索时的相似阈值，所述相似阈值均在云端服务中进行配置。

根据现场状况，以及该项目人流量通过云端服务平台调整对比识别的相似阈值，保证识别结果准确的情况下，避免遗漏存在的对应图像结果，同时保证对比识别的响应速度。

进一步的，所述人脸检索时，当在云端人脸数据库中检索到相似人脸图像后，则将检索到的相似人脸图像按照所述相似值由高到低进行排序，并将所述相似值最高的人脸图像返回到本地端，并对抓拍图像进行去重处理。

对于设定好的相似阈值，在进行人脸图像的对比检索时，检索结果可能会出现多个图片，可能是同一个客户也可能掺杂了其它人员的人脸信息，将这些数据按照相似值进行排序，并将相似值最高的检索结果返回，避免噪声数据的影响。

进一步的，所述去重处理包括多点位去重和时间段去重，所述多点位去重，通过云端服务中配置的点位保留数量，根据抓拍图像检索的结果记录判断对应人脸ID的图像数量是否超出预设保留数，如果超出则舍弃当前抓拍图像数据，如果未超出则保存该抓拍记录。

现场所述设备端设有多个点位，同一客户在现场可能会被不同点位的抓拍设备多次进行人脸图像的采集，为避免同一客户对应的抓拍数据过多占用太大的存储空间，也避免检索过程的响应时间过长，结果数据过多，设定了抓拍图像数据的多点位去重处理。

进一步的，所述时间段去重在所述多点位去重处理之后执行，当所述多点位去重处理的判断中，如果抓拍图像检索的结果记录判断对应人脸ID的图像数量未超出预设保留数，则获取检索结果记录的最近抓拍时间，判断所述最近抓拍时间与本次抓拍图像的抓拍时间的时间差是否在预设的时间段范围内，如果在预设时间段范围内，则舍弃该抓拍记录，如果超出预设的时间段范围，则保存该抓拍记录，所述预设时间段在云端进行配置。

现场设备持续开启对客户人脸进行抓拍，如果客户在现场到访时间较长，可能针对该客户抓取的人脸图像数据较多，造成数据的冗余，增加检索量影响检索速度，根据预设时间段进行图像数据的去重处理，减少了大量冗余数据，减轻的系统存储和检索压力。

进一步的，所述图片转储和所述图像数据、NVR的上传通过多线程进行处理，并且在数据上传成功后对数据进行销毁。

图像数据和视频流数据的转储和上传采用多线程处理方式，提高了数据处理的速度，提高系统的稳定性。

本发明还提供了一种用于房产交易的人脸抓拍、筛选和存储的系统，具体技术方案如下：

系统包括设备端、本地端和云端，所述设备端与所述本地端通过线路连接，所述本地端与所述云端通过无线网络远程连接，所述设备端用来采集抓拍到访人员的人脸图像数据，并截取视频流传输到所述本地端，所述本地端设有操作平台能够可视化展示接收的数据，所述云端用来接收存储上传的人脸图像数据和视频流数据。

系统数据传输采用小型局域网架构，提升设备间的数据传输速率，降低对外网的依赖，在断网的情况下依然能够实现本地数据持久化存储，保证了数据的持久性、传输速率和安全性。

进一步的，所述本地端存储有本地算法并设有本地数据库，所述云端存储有云端算法并提供有云端数据库。

云端算法与本地算法在检索时设定的阈值参数不同，云端数据库的存储量要大于本地数据库的存储量，减小了本地算法处理压力和存储压力。

区别现有技术，本发明的有益效果如下：

1、将抓取的人脸图像数据转储到本地，并将转储的文件根据抓拍设备信息、IP、抓拍时间和抓拍图片分值等属性作为标识对图片文件进行重命名，能清楚方便的掌握采集的图像数据的具体信息，同时所述图像文件按照项目、设备、抓拍时间分类存储，便于数据的查询。

2、抓拍的图片数据会进行人脸检测，筛选出抓拍的较于识别人脸的图像数据，便于后续人脸图像对比识别，提高了识别的精准度，根据人脸图像的检索结果判定新老客户，并对新客户人脸数据进行注册存储，确保了能够采集到的所有到场客户的人脸数据，不会造成遗漏。

3、人脸识别采用了本地算法和云端算法进行对比识别，当本地数据库中检索不到目标结果时，则在云端进行检索，两种算法进行检索时，设定的相似阈值不同，提高了检索响应速度的同时，提高了识别的准确性，且相似阈值的设定均在云端进行设定同步，可根据不同的人流量进行调整，方便快捷，现场适用性更强。

4、对采集的人脸数据进行了多点位去重处理和预设时间段去重处理，避免了不同点位的采集设备获取大量同一客户的人脸数据存储在本地，同时也避免了一定时间段内多次采集获取同一客户的人脸数据，减少了数据存储压力。

5、由于云端数据库中的数据量较大，在云端数据库中进行检索时可能会识别到多个满足预设相似阈值的结果，将检索结果按照相似值降序排列，返回相似值最高的结果数据，避免阈值设定过高检索不到对比结果，同时保证当出现多个检索结果时，返回数据的准确性。

6、系统设备端还会根据抓拍的图像，截取抓拍时前后的视频流数据，并上传至云端数据库，当出现对别识别结果错误，或者当数据统计的某一环节工作人员发现异常，通过对应图片的抓拍时间快速调出视频流数据进行进一步确认、佐证。

7、图像的转储和上传以及视频流数据的上传都采用多线程方式处理，提高了数据处理速度，增强了系统的稳定性。

附图说明

图1是本发明的方法流程示意图；

图2是本发明的系统结构示意图。

具体实施方式

在下面的描述中对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明的实施例1提供了用于房产交易的人脸抓拍、筛选和存储的方法，如图1所示，方法的具体流程如下：

S1：客户到访后，抓拍设备采集来访人员的人脸图像数据，图像存储线程会循环检测数据库是否有抓拍回调数据，本实施例中采用Redis缓存数据，数据以json的格式进行缓存，如果检测到回调数据，则将抓拍数据缓存至本地数据库，并同步转储缓存数据到本地文件夹中，图片转储时，根据图片抓拍的所属设备，IP以及抓拍时间等数据对转储的图片文件进行重命名，本实施例中文件夹按照项目、设备和抓拍时间依次分级进行分类管理缓存数据。

S2：数据缓存后，则发起人脸检测请求，根据抓拍的人脸数据进行检测、对比及搜索，根据检索结果的分值判断是否有相似的人脸数据；

图片筛选线程会循环去访问本地抓拍文件夹，对抓拍图片进行排序，顺序检索图片，当图片需要进行检索时，首先对抓拍的人脸图像进行检测，检测抓拍的图像时候有人脸，避免抓拍时，客户突然出现转头或者其它行为导致抓拍的图像不便于识别出人脸，舍弃抓拍不清晰的图像；

之后调用本地算法对抓拍的图像在本地人脸数据库中进行对比识别，本实施例中本地算法采用虹软算法，本地算法检索的相似阈值设为90分，检索的图像对比识别的相似值大于90则认为检索到相似人脸，判定该人脸所属为老客户，并将检索的对比结果反馈展示；如果对别识别的相似值小于90，则认为与抓拍图像不是同一人脸图像数据，进而通过云端算法再次进行检索；

所述云端算法采用云眸算法或腾讯人脸识别算法，检索的相似阈值设为86分，当检索的图像对比识别的相似值大于86分则认为检索到的数据为相似人脸，判定该人脸所属为老客户，如果未检索到相似值大于86的结果，判定抓拍图像为新人脸，并对该抓拍图像进行人脸注册，同时本地端会根据云端的注册规则，在本地人脸数据库进行人脸注册，保证本地端和云端注册人脸一致；当在云端数据库中检索到相似值大于86的图片数据后，按照相似值降序进行排列，并将相似值最高的数据返回展示，同时将结果中分值最高的人脸作为这张图片的人脸底图，即与对应的图像进行绑定，其它的结果数据会保存为该抓拍图像的相似人脸，即与抓拍图像进行关联。

S3：去重处理，检索到图像识别的相似值大于预设的相似阈值的图像数据，则对该数据依次进行多点位去重和时间段去重处理，首先通过云端服务中配置的点位保留数量，根据抓拍图像检索的结果记录判断对应人脸ID的图像数量是否超出预设保留数，本实施例中预设点位数为3，如果超出预设点位数则舍弃当前抓拍图像数据，如果未超出则所述时间段去重处理；

获取检索结果记录的最近抓拍时间，标记为时间点A，获取抓拍图像的抓拍时间，标记为时间点B，判断所述最近抓拍时间与本次抓拍图像的抓拍时间的时间差，即所述时间点A与所述时间点B的差值是否在预设的时间段范围内，本实施例中预设时间段为4小时，如果时间差小于4小时，则舍弃该抓拍记录，如果时间差超出4小时，则保存该抓拍记录，并将抓拍数据进行上传。

S4：抓拍图像数据保存上传，判定为新人脸并注册的抓拍图像以及经过去重处理后需要上传的抓拍图像上传时，会将图像信息上传到oss云端数据库，同时将该人脸抓拍图的设备、人脸标识、图片信息等相关信息存储到项目云端数据库中。

S5：对上传的抓拍图像，判断该图像数据抓拍时是否配置了NVR，如果项目配置了NVR或本地视频流时，则将对应的抓拍图像的视频流数据保存下载到本地缓存数据库中，系统会根据存储的任务队列，登录到NVR或对本地存储的视频原始文件进行视频截取，根据待存储抓拍图像的抓拍时间，截取图像前后5s的视频，同时会存储一个10s的视频流数据，视频下载完成后，会将视频上传到oss云端数据库中，并将该视频对应的设备、人脸标识、图片信息等相关信息存储到项目云端数据库中。

实施例2

本发明的实施例2基于上述实施例1提供了用于房产交易的人脸抓拍、筛选和存储的系统，如图2所示，系统包括设备端、本地端和云端，系统采用小型局域网架构，数据传输支持断点续传，所述设备端与所述本地端通过线路连接，所述本地端与所述云端通过无线网络远程连接；

本实施例中所述设备端包括抓拍设备和NVR设备，所述抓拍设备设有多个分布设置到现场，用来采集抓拍到访人员的人脸图像数据，所述NVR设备与所述抓拍设备线路连接根据抓拍时间截取视频；

所述本地端包括本地数据库、操作平台和处理器，可采用智能移动终端或PC端设备，所述本地数据库用来接收存储抓拍图像数据，所述操作平台提供给工作人员进行数据展示和操作，所述处理器存储有本地人脸识别算法和执行程序；

所述云端包括OSS云端服务、项目云端服务和云眸服务，所述OSS云端服务用来接收存储上传的抓拍图像和截取视频数据，所述项目云服务用来存储上传的对应客户、图片等相关数据信息，所述云眸服务为云端云眸算法，根据抓拍图像在云端数据库中进行对比识别，并将检索结果返回到所述本地端。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，包括：

设备采集端通过抓拍设备采集来访人员的人脸数据，本地数据管理端接收所述抓拍设备采集抓拍的人脸数据图像，并将数据进行图片转储缓存到本地；

本地数据管理端接收到抓拍的人脸数据后发起人脸检测请求，根据上述抓拍的人脸数据进行检测及搜索，根据检索结果判断是否有高于设定分值的人脸数据，从而进行新老人脸的判定；

根据上述检索判定结果，如果未检索到高于设定分值的人脸数据，则对该抓拍的人脸数据进行人脸注册，并将注册后的人脸图像上传至OSS云存储，图像对应的抓拍设备、人脸标识的数据信息上传存储至云端mongoDB数据库；如果检索到高于设定分值的人脸数据，则根据抓拍时间判断是否在预设的验证时间内存储过该人脸的抓拍图像，若存储过，则将该图像舍弃，如果在预设时间内并未存储过该人脸的抓拍图像，则将图像及相关信息进行上传；

检测项目是否配置NVR或者本地视频流，如果检测到有相关配置，则根据抓拍时间点截取抓拍时间前后5s的视频，并将视频上传至oss云存储，视频地址信息上传至云端mongoDB数据库的抓拍记录的视频位置字段。

2.根据权利要求1所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述抓拍的人脸数据图像在转储为图片文件时，会将抓拍属性进行分割附着为所述图片文件的文件名，所述抓拍属性包括设备信息、IP、抓拍时间和抓拍图片分值，所述图片文件根据抓拍时间进行归档存储。

3.根据权利要求1所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述人脸检测请求处理过程包括人脸检测、人脸检索和人脸注册，所述人脸检测请求处理的算法包括两个，分别为本地算法和云端算法；

首先对图片中的人脸进行分析，根据识别结果判断所述图片中是否有人脸；

当检测到人脸数据后先通过本地算法搜索本地人脸数据库中是否有相似人脸，如果检索到相似人脸，则判定该人脸所属为老客户，如果未检索到目标结果则通过云端算法再次进行检索，如果检索到识别结果则判定该人脸所属为老客户，如果未检索到结果则进行人脸注册；

当判定需要对该人脸数据进行注册时，所述人脸数据所属被判定为新客户，并将人脸注册在云端，且本地端会根据所述云端注册规则将该人脸数据注册到本地人脸数据库中。

4.根据权利要求3所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述人脸检索的过程中，通过图片的对比识别的相似值判断检索的人脸图像是否为相似人脸，当对数据库中的人脸图片的对比识别的相似值高于预设的相似阈值时，判定该人脸图片与目标图片中的人脸为相似人脸，在本地人脸数据库中和云端人脸数据库中检索时，在本地检索中判定图像为相似图像的相似阈值要高于在云端检索时的相似阈值，所述相似阈值均在云端服务中进行配置。

5.根据权利要求4所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述人脸检索时，当在云端人脸数据库中检索到相似人脸图像后，则将检索到的相似人脸图像按照所述相似值由高到低进行排序，并将所述相似值最高的人脸图像作为人脸底图，其它人脸图像作为相似人脸，一起保存至云端，并返回到本地端，再对抓拍图像进行去重处理。

6.根据权利要求5所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述去重处理包括多点位去重和时间段去重，所述多点位去重，通过云端服务中配置的点位保留数量，根据抓拍图像检索的结果记录判断对应人脸ID的图像数量是否超出预设保留数，如果超出则舍弃当前抓拍图像数据，如果未超出则所述时间段去重处理。

7.根据权利要求6所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述时间段去重在所述多点位去重处理之后执行，当所述多点位去重处理的判断中，如果抓拍图像检索的结果记录判断对应人脸ID的图像数量未超出预设保留数，则获取检索结果记录的最近抓拍时间，判断所述最近抓拍时间与本次抓拍图像的抓拍时间的时间差是否在预设的时间段范围内，如果在预设时间段范围内，则舍弃该抓拍记录，如果超出预设的时间段范围，则保存该抓拍记录，所述预设时间段在云端进行配置。

8.根据权利要求1所述的用于房产交易的人脸抓拍、筛选和存储的方法，其特征在于，所述图片转储和人脸数据图像、NVR的上传通过多线程进行处理，并且在数据上传成功后对数据进行销毁。

9.一种基于权利要求1-8任一所述方法的用于房产交易的人脸抓拍、筛选和存储的系统，其特征在于，包括设备端、本地端和云端，所述设备端与所述本地端通过局域网部署连接，所述本地端与所述云端通过网络连接，所述设备端用来采集抓拍到访人员的人脸数据图像，并截取视频流传输到所述本地端，所述云端用来接收存储上传的人脸图像数据和视频流数据。

10.根据权利要求9所述的用于房产交易的人脸抓拍、筛选和存储的系统，其特征在于，所述本地端存储有本地算法并设有本地数据库，所述云端存储有云端算法并提供有云端数据库。

Images