CN114584617A - 一种基于汇聚处理平台的抓拍数据分发方法及装置 - Google Patents

一种基于汇聚处理平台的抓拍数据分发方法及装置 Download PDF

Info

Publication number
CN114584617A
CN114584617A CN202210485396.8A CN202210485396A CN114584617A CN 114584617 A CN114584617 A CN 114584617A CN 202210485396 A CN202210485396 A CN 202210485396A CN 114584617 A CN114584617 A CN 114584617A
Authority
CN
China
Prior art keywords
data
snapshot
message
portrait
end user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210485396.8A
Other languages
English (en)
Other versions
CN114584617B (zh
Inventor
胡芃
王冲
朱云
王飞
林旺
张晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Dimension Software Co ltd
Original Assignee
Nanjing Dimension Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Dimension Software Co ltd filed Critical Nanjing Dimension Software Co ltd
Priority to CN202210485396.8A priority Critical patent/CN114584617B/zh
Publication of CN114584617A publication Critical patent/CN114584617A/zh
Application granted granted Critical
Publication of CN114584617B publication Critical patent/CN114584617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24568Data stream processing; Continuous queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于汇聚处理平台的抓拍数据分发方法及装置,包括如下步骤:采集抓拍点位的抓拍数据,并提取抓拍数据中的人像数据;对人像数据进行数据预处理,形成人像数据流;监控提供人像数据流的抓拍点位,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;搭建与后端用户的数据消息分发通道,将人像数据流按照后端用户订阅方式进行分发推送。本发明解决了海量人像抓拍数据汇聚、分析及分发推送的难度,简化各业务系统的数据使用成本,大大提升人像抓拍数据的服务支援能力。

Description

一种基于汇聚处理平台的抓拍数据分发方法及装置
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于汇聚处理的抓拍数据分发方法及装置。
背景技术
随人像识别技术的成熟以及路面监控设备的普及,对于像路面等抓拍点位的海量数据如何服务于侦查工作一直是抓拍数据分发领域的研究和探索方向。
传统的人像抓拍数据使用主要是采用事后人工查看视频,人工判断和分析抓拍点位提供的抓拍数据,结合具体需求以及抓拍点位的其它周边信息辅助分析,整个过程费时费力,并且无法在第一时间输出关键信息,严重制约了工作效率和质量。
因而,如公开日为2019年01月18日的专利CN109241111A给出了一种基于内存数据库的分布式人脸识别系统及方法,通过将图片流、人脸特征值等二值化数据使用中间键内存数据库Redis进行转发,将保存在Redis中的Key值附带在KAFKA消息中进行传输,收到消息的模块通过KAFKA消息中Redis Key从Redis中直接获取可用的图片流及特征值,减少网络开销,提高服务器的处理能力。但是,该方案对抓拍数据质量的把控和匹配完整度尚显不足,存在对抓拍点位数据的处理结果误差较大的风险,不利于根据抓拍数据分析辅助业务的判断。
因此,如何提升针对海量抓拍数据的数据质量、精确度、完整度以及分发效率,进而能有效的辅助侦查分析工作是本领域技术人员亟待解决的问题。
发明内容
针对上述现有技术中存在的缺陷,本发明提供了一种基于汇聚处理平台的抓拍数据分发方法及装置,利用汇聚处理平台的抓拍数据集成、人像数据识别、数据处理,同时结合对实时热数据的异常判断,实现数据流的实时监测和修复,针对用户的不同订阅需求对数据流进行智能精准的分发推送,完成有效人像数据从前端采集点位到后端用户的高效精准传送,提升辅助侦查分析的工作效率和质量。
第一方面,本发明提供一种基于汇聚处理平台的抓拍数据分发方法,包括如下步骤:
采集抓拍点位的抓拍数据,并提取抓拍数据中的人像数据;
对人像数据进行数据预处理,形成人像数据流;
监控提供人像数据流的抓拍点位,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;
在后端用户与汇聚处理平台之间建立第一消息队列和第二消息队列,其中,第一消息队列用于存储并传输后端用户订阅方式,第二消息队列用于存储并传输人像数据流;
融合第一消息队列和第二消息队列,搭建形成数据消息分发通道,根据第一消息队列中的后端用户订阅方式将第二消息队列中的人像数据流分发推送至后端用户。
进一步的,对人像数据进行数据预处理,形成人像数据流,具体包括:
将所有抓拍点位进行预先注册,生成相应的注册信息,根据注册信息补全初始的人像数据,得到第一预处理数据;
对第一预处理数据进行格式清洗和重复度筛选,得到第二预处理数据,其中,格式清洗按照预设的标准业务规范进行,使得人像数据的格式一致,重复度筛选的参数包括数据特征和业务内容,对筛选出的冗余人像数据进行清洗删除;
针对第二预处理数据中的数据特征进行校验,若满足设定的阈值要求则形成人像数据流,若不满足设定的阈值要求则将第二预处理数据作为初始的人像数据重新进行预处理,直至满足设定的阈值要求。
进一步的,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息,具体包括:
实时采集设定时段的各个抓拍点位的抓拍数据,形成抓拍数据集合;
将抓拍数据集合输入已建立的异常分析模型,分析各个抓拍点位的拍摄异常状况;
根据拍摄异常状况,给出异常拍摄的抓拍点位,生成异常状况告警信息。
进一步的,已建立的异常分析模型,具体包括:
预先统计各个抓拍点位的历史抓拍数据,形成历史抓拍数据集合;
分析各个抓拍点位历史抓拍数据的散度情况,逐个抓拍点位给出特征指标和至少两组数据变异指标,对特征指标和数据变异指标进行处理,形成各个抓拍点位的概率分布模型;
融合各个抓拍点位的概率分布模型,建立异常分析模型。
进一步的,融合各个抓拍点位的概率分布模型,建立异常分析模型,具体包括:
采用第一概率分布区间和第二概率分布区间判断所有抓拍点位的拍摄异常状况; 其中,采用第一概率分布区间判断拍摄异常状况的抓拍点位数量为
Figure 43286DEST_PATH_IMAGE001
,采用第二概率分布 区间判断拍摄异常状况的抓拍点位数量为
Figure 304634DEST_PATH_IMAGE002
融合
Figure 694158DEST_PATH_IMAGE001
个点位抓拍数据的第一概率分布区间,给出基于第一概率分布区间的第 一异常状况函数,具体为:
Figure 167996DEST_PATH_IMAGE003
其中,
Figure 575843DEST_PATH_IMAGE004
为第一异常状况函数,x i 为第一概率分布区间的抓拍点位中第i个点 位实时的抓拍数据,μ i 为第i个点位历史抓拍数据平均值,n i 为第i个点位的倍数,
Figure 476934DEST_PATH_IMAGE005
为 第i个点位n i 倍的历史抓拍数据标准差;
融合
Figure 353755DEST_PATH_IMAGE002
个点位抓拍数据的第二概率分布区间,给出基于第二概率分布区间的第 二异常状况函数,具体为:
Figure 880551DEST_PATH_IMAGE006
其中,
Figure 616339DEST_PATH_IMAGE007
为第二异常状况函数,x j 为第二概率分布区间的抓拍点位中第j个点 位实时的抓拍数据,m1j为第j个点位历史抓拍数据下四分位数,m2j为第j个点位历史抓拍数 据上四分位数;
将第一异常状况函数与第二异常状况函数进行融合,建立异常分析模型,其中,异 常分析模型为:
Figure 688332DEST_PATH_IMAGE008
表示出现抓拍点位拍摄异常。
进一步的,后端用户订阅方式中的订阅范围包括抓拍点位区域位置和/或抓拍点位设备信息,抓拍点位设备信息包括抓拍点位设备厂家、抓拍点位设备类型及抓拍点位设备ID中的至少一种。
进一步的,汇聚处理平台包括消息组件、协调组件和Redis集群,消息组件为Kafka大数据组件,协调组件为ZooKeeper分布式中间件,消息组件用于根据后端用户订阅方式将存储的人像数据流分发推送,协调组件用于将抓拍点位、消息组件及后端用户的配置信息达成一致, Redis集群用于存储消息组件分发推送的日志记录;
后端用户订阅方式中的订阅范围包括抓拍点位区域位置和/或抓拍点位设备信息,抓拍点位设备信息包括抓拍点位设备厂家、抓拍点位设备类型及抓拍点位设备ID中的至少一种。
进一步的,根据第一消息队列中的后端用户订阅方式将第二消息队列中的人像数据流分发推送至后端用户,具体包括:
消息组件接收到第一消息队列的信息后,识别并解析后端用户订阅方式,生成第一触发信号和第二触发信号;
基于第一触发信号,消息组件对储存的人像数据流进行分发前的处理,生成待分发的订阅人像数据流,将订阅人像数据流传递到第二消息队列;
基于第二触发信号,消息组件将预定人像数据流分发推送给发出订阅请求的后端用户;
其中,订阅人像数据流的数据量不大于消息组件中存储的人像数据流的数据量。
进一步的,识别并解析后端用户订阅方式,生成第一触发信号和第二触发信号,具体包括:
识别后端用户订阅方式中订阅内容和消息数据接收内容,并对订阅内容和消息数据接收内容分别进行解析;
依据订阅内容的解析结果,给出后端用户订阅方式中的订阅范围和数据消息过滤条件,生成第一触发信号;
解析消息数据接收内容中的消息接收地址和消息接收模式,并对消息接收模式进行分类,划分第一消息接收模式和第二消息接收模式,基于消息接收地址、第一消息接收模式和第二消息接收模式生成第二触发信号;
其中,第一消息接收模式为直推模式,消息组件自定义分发条件,并依据自定义分发条件推送订阅人像数据流,并将推送信息记录到Redis集群,第二消息接收模式为自拉模式,消息组件根据不同后端用户订阅请求标记分发推送相应主题方式。
第二方面,本发明还提供一种采用上述所述抓拍数据分发方法的装置,包括:
采集模块,被配置为采集抓拍点位的抓拍数据,提取抓拍数据中的人像数据以及对提供人像数据流的抓拍点位进行监控;
处理模块,被配置为对人像数据进行数据预处理,形成人像数据流,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;
分发模块,被配置为搭建与后端用户的数据消息分发通道,将人像数据流按照后端用户订阅方式进行分发推送。
本发明提供的基于汇聚处理平台的抓拍数据分发方法及装置,至少包括如下有益效果:
1、基于汇聚处理平台,将前端的海量抓拍数据与后端用户的订阅请求进行有效衔接,完成人像数据流的高效、精准传送。
2、通过数据补全、清洗及校验等数据前处理手段,有效提高抓拍数据质量,提升分析准确性。
3、对采集的人像数据,进行实时自动分析,针对抓拍点位的拍摄异常状况,及时进行修复处理,降低数据丢失和人员密集的风险,保障数据分析的完整度和全面性。
4、融合汇聚处理平台的抓拍数据分发装置,通过海量抓拍数据订阅分发推送,全面、准确的提供了及时新鲜的抓拍数据,提高了数据鲜活度,有力的支撑辅助了后端用户的侦查辅助工作。
附图说明
图1为本发明提供的一种基于汇聚处理平台的抓拍数据分发方法的流程图;
图2为本发明提供的某一实施例的形成人像数据流的流程图;
图3为本发明提供的某一实施例的生成异常状况告警信息的流程图;
图4为本发明提供的某一实施例的建立异常分析模型的流程图;
图5为本发明提供的某一实施例的人像数据流分发推送的流程图;
图6为本发明提供的一种抓拍数据分发装置的示意图。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
如图1所示,一种基于汇聚处理平台的抓拍数据分发方法,包括如下步骤:
采集抓拍点位的抓拍数据,并提取抓拍数据中的人像数据;
对人像数据进行数据预处理,形成人像数据流;
监控提供人像数据流的抓拍点位,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;
在后端用户与汇聚处理平台之间建立第一消息队列和第二消息队列,其中,第一消息队列用于存储并传输后端用户订阅方式,第二消息队列用于存储并传输人像数据流;
融合第一消息队列和第二消息队列,搭建形成数据消息分发通道,根据第一消息队列中的后端用户订阅方式将第二消息队列中的人像数据流分发推送至后端用户。其中,后端用户订阅方式中的订阅范围包括抓拍点位区域位置和/或抓拍点位设备信息,抓拍点位设备信息包括抓拍点位设备厂家、抓拍点位设备类型及抓拍点位设备ID中的至少一种。
本实施例利用汇聚处理平台的抓拍数据集成、人像数据识别、数据处理,结合对实时新鲜的热数据的异常判断,实现将人像数据的订阅分发。其中,前端的图像采集抓拍点位的来源较多,可以是人像卡口、车辆卡口、重点区域监控设备、人证合验设备、所有汽车站、火站车、商场监控、集宿区、旅馆网等,汇聚处理平台采集到该数据后,对分析的数据进行分析,分为人像数据、车辆数据、场景数据等,人像数据又可以分为人脸数据、人身数据,提取抓拍数据中的人像数据。
如图2所示,对人像数据进行数据预处理,形成人像数据流,具体包括:
将所有抓拍点位进行预先注册,生成相应的注册信息,根据注册信息补全初始的人像数据,得到第一预处理数据;
对第一预处理数据进行格式清洗和重复度筛选,得到第二预处理数据,其中,格式清洗按照预设的标准业务规范进行,使得人像数据的格式一致,重复度筛选的参数包括数据特征和业务内容,对筛选出的冗余人像数据进行清洗删除;
针对第二预处理数据中的数据特征进行校验,若满足设定的阈值要求则形成人像数据流,若不满足设定的阈值要求则将第二预处理数据作为初始的人像数据重新进行预处理,直至满足设定的阈值要求。
其中,对抓拍点位进行预先注册是基于统一管理平台,前期将所有的上线的抓拍点位设备进行集中注册管理,后期利用这些注册信息将抓拍数据中缺少的数据进行补全,主要是设备位置、设备名称、经纬度等关键信息。
数据的格式清洗包括三个方面,格式内容的清洗、时间日期的清洗和数值格式的清洗。
其中,格式内容的清洗包括:对不同类型点位设备(例如人像抓拍设备、车辆识别设备以及其他智能抓设备)的抓拍数据产生的内容或格式不一致清洗;对同一个品牌不同版本点位设备的抓拍数据产生的内容或格式不一致清洗;对不同品牌点位设备的抓拍数据内容和格式定义不一致清洗。
时间日期的清洗可以根据上层业务标准规范,将时间/日期数据转化成统一的标准格式。例如,‘2019-07-20’、‘20190720’、‘2019/07/20’、‘20/07/2019’等格式不一致,时间戳的计量单位不一致,无效的时间格式等等。
数值格式的清洗,例如1、2.0、3.21E3、四等数字表示方式或者有效数字位数的差异等,需要把数值转换成统一的表示方式。
重复度的筛选依据参数包括数据特征值和业务内容,其中特征值完全相同可能是由于设备网络异常,一次抓拍数据多次上传,此时直接删除并只保留其中一条数据;有些数据特征值虽不相同,但是从业务内容角度看属于同一数据,如人员或者车辆静止时,同一个点位设备多次抓拍的数据,此时只保留最后一次抓拍数据。
对数据特征进行校验,主要是针对不同类型的抓拍数据(如人脸抓的数据结构、车辆抓拍的数据结构)进行一些必要的关键业务数据校验,发现数据中的关键业务数据丢失的问题,例如抓拍数据没有设备位置、没有抓拍照片、没有车牌、没有时间等类似的关键业务属性,将此类抓拍数据进行特殊留存,问题定位。校验之后再进行数据的补充、格式清洗、重复度筛选等。校验后,将数据进行合格度的检查,检查结果满足设定的阈值要求则形成人像数据流,若不满足设定的阈值要求则将重新进行预处理,直至满足设定的阈值要求。阈值要求可以根据不同的场景和业务要求进行预先设定,在此不做特别的限定。
如图3所示,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息,具体包括:
实时采集设定时段的各个抓拍点位的抓拍数据,形成抓拍数据集合;
将抓拍数据集合输入已建立的异常分析模型,分析各个抓拍点位的拍摄异常状况;
根据拍摄异常状况,给出异常拍摄的抓拍点位,生成异常状况告警信息。
其中,如图4所示,已建立的异常分析模型,可以通过以下步骤建立:
预先统计各个抓拍点位的历史抓拍数据,形成历史抓拍数据集合;
分析各个抓拍点位历史抓拍数据的散度情况,逐个抓拍点位给出特征指标和至少两组数据变异指标,对特征指标和数据变异指标进行处理,形成各个抓拍点位的概率分布模型;
融合各个抓拍点位的概率分布模型,建立异常分析模型。
设定时段的历史抓拍数据可以是抓拍点位单日的抓拍量,统计一段时间的单日抓拍量,给出单日最高抓拍量、单日最低抓拍量、各抓拍量的概率分布等,根据对历史抓拍数据的分析进行建模,再以假定的模型,根据点的分布来确定是否异常。
其中,特征指标可以包括平均值、四分位数等,数据变异指标可以包括数据标准差、估算值等。
融合各个抓拍点位的概率分布模型,建立异常分析模型,具体包括:
采用第一概率分布区间和第二概率分布区间判断所有抓拍点位的拍摄异常状况; 其中,采用第一概率分布区间判断拍摄异常状况的抓拍点位数量为
Figure 770557DEST_PATH_IMAGE001
,采用第二概率分布 区间判断拍摄异常状况的抓拍点位数量为
Figure 851777DEST_PATH_IMAGE002
;在本实施例中,
Figure 453791DEST_PATH_IMAGE001
Figure 211531DEST_PATH_IMAGE002
的总和等于所有 抓拍点位的数量,该
Figure 531785DEST_PATH_IMAGE001
Figure 869226DEST_PATH_IMAGE002
也可以根据汇聚平台判断情况和后端用户要求进行调整;
融合
Figure 591325DEST_PATH_IMAGE001
个点位抓拍数据的第一概率分布区间,给出基于第一概率分布区间的第 一异常状况函数,具体为:
Figure 739541DEST_PATH_IMAGE009
其中,
Figure 530779DEST_PATH_IMAGE010
为第一异常状况函数,x i 为第一概率分布区间的抓拍点位中第i个点 位实时的抓拍数据,μ i 为第i个点位历史抓拍数据平均值,n i 为第i个点位的倍数,每个点位 的概率区间n的倍数数值可以根据统计历史抓拍数据预先设定,并根据具体情况进行调整,
Figure 688222DEST_PATH_IMAGE005
为第i个点位n i 倍的历史抓拍数据标准差;
融合
Figure 248516DEST_PATH_IMAGE002
个点位抓拍数据的第二概率分布区间,给出基于第二概率分布区间的第 二异常状况函数,具体为:
Figure 98792DEST_PATH_IMAGE011
其中,
Figure 111747DEST_PATH_IMAGE012
为第二异常状况函数,x j 为第二概率分布区间的抓拍点位中第j个点 位实时的抓拍数据,m1j为第j个点位历史抓拍数据下四分位数,m2j为第j个点位历史抓拍数 据上四分位数;
将第一异常状况函数与第二异常状况函数进行融合,建立异常分析模型,其中,异 常分析模型为:
Figure 807302DEST_PATH_IMAGE013
表示出现抓拍点位拍摄异常。
通过实时对拍摄异常状况的监测分析,可以实时发现异常,能及时有效的进行问题排查,修复出现故障的前端拍摄点位。同时,拍摄点位的异常信息可以引导汇聚平台进行相应的调整,呼应后端用户的订阅请求,不会降低根据人像数据流进行判断的完整度。
为了保证抓拍数据的传输和存储稳定,采用基于消息队列的方式进行抓拍数据的分发,将数据传输通过消息队列进行解藕,使用队列通信,即使因为暂时的不可用,数据会缓存在队列中,等待系统修复后再进行处理。
汇聚处理平台包括消息组件、协调组件和Redis集群,消息组件为Kafka大数据组件,协调组件为ZooKeeper分布式中间件,消息组件用于根据后端用户订阅方式将存储的人像数据流分发推送,协调组件用于将抓拍点位、消息组件及后端用户的配置信息达成一致,Redis集群用于存储消息组件分发推送的日志记录;
后端用户订阅方式中的订阅范围包括抓拍点位区域位置和/或抓拍点位设备信息,抓拍点位设备信息包括抓拍点位设备厂家、抓拍点位设备类型及抓拍点位设备ID中的至少一种。
消息组件采用Kafka 大数据组件,并使用ZooKeeper的分布式协调服务,将生产者,消费者,消息储存(broker,用于存储信息,消息读写等)结合在一起。同时借助于ZooKeeper,Kafka能够将生产者,消费者和broker在内的所有组件在无状态的条件下建立起生产者和消费者的订阅关系,实现生产者的负载均衡。
对于大量抓拍数据的落地存储,订阅和分发由Kafka组件完成,而针对这些数据的分发次数的日志记录,采用Redis集群进行存储,由于分发次数需要频繁计算,而Redis的特性正好可以胜任这个功能,统计进行日志的记录,占用空间不大,但实时性要求极高。
如图5所示,根据第一消息队列中的后端用户订阅方式将第二消息队列中的人像数据流分发推送至后端用户,具体包括:
消息组件接收到第一消息队列的信息后,识别并解析后端用户订阅方式,生成第一触发信号和第二触发信号;
基于第一触发信号,消息组件对储存的人像数据流进行分发前的处理,生成待分发的订阅人像数据流,将订阅人像数据流传递到第二消息队列;
基于第二触发信号,消息组件将已传递到第二消息队列中的订阅人像数据流分发推送给发出订阅请求的后端用户;
其中,订阅人像数据流的数据量不大于消息组件中存储的人像数据流的数据量。
识别并解析后端用户订阅方式,生成第一触发信号和第二触发信号,具体包括:
识别后端用户订阅方式中订阅内容和消息数据接收内容,并对订阅内容和消息数据接收内容分别进行解析;
依据订阅内容的解析结果,给出后端用户订阅方式中的订阅范围和数据消息过滤条件,生成第一触发信号;
解析消息数据接收内容中的消息接收地址和消息接收模式,并对消息接收模式进行分类,划分第一消息接收模式和第二消息接收模式,基于消息接收地址、第一消息接收模式和第二消息接收模式生成第二触发信号;
其中,第一消息接收模式为直推模式,消息组件自定义分发条件,并依据自定义分发条件推送订阅人像数据流,并将推送信息记录到Redis集群,第二消息接收模式为自拉模式,消息组件根据不同后端用户订阅请求标记分发推送相应主题方式。
第一消息接收模式中的消息组件自定义分发条件,可以将自定义的条件设置为次数,也可以设置为时间,若一次推送不成功,则推送一定的数次范围(比如3次,或者5次)或者在某个时间段内进行连续推送,如果全总重试都失败则将此次的相关信息写入Redis日志进行记录,并跳过此条数据继续剩余数据的分发推送。
但是,后端用户的消息接收需求是多种多样的,也可以根据具体的情况进行消息推送,进而给出了第二消息接收模式,在采用此模式下,消息组件会为每一个后端创建标记一个对应的主题(topic)方式 ,后端用户可以根据自身情况灵活的进行topic的消费,消息组件进行分发推送时只负责将对应的订阅人像数据流标记对应的topic方式中即可。
针对所有的设备抓拍数据,提供数据订阅分发方法,汇聚处理平台接收后端用户发送的订阅请求,会根据订阅条件将接数据实时推送给订阅者,从而使得后端用户可以根据需要按照字段订阅消息,可以直接订阅小于全量数据的设备列表,无需增加额外的流量对订阅的数据进行过滤处理,从而为后端用户节省了流量。
抓拍的数据只需要把数据写入一个消息队列即可,数据使用方根据各自需求订阅感兴趣的数据,不同数据团队所订阅的数据可以重复也可以不重复,互不干扰,也不必和数据产生方关联。
如图6所示,本发明还提供一种采用上述所述抓拍数据分发方法的装置,包括:
采集模块,被配置为采集抓拍点位的抓拍数据、提取抓拍数据中的人像数据以及对提供人像数据流的抓拍点位进行监控;
处理模块,被配置为对人像数据进行数据预处理,形成人像数据流,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;
分发模块,被配置为搭建与后端用户的数据消息分发通道,将人像数据流按照后端用户订阅方式进行分发推送。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于汇聚处理平台的抓拍数据分发方法,其特征在于,包括如下步骤:
采集抓拍点位的抓拍数据,并提取抓拍数据中的人像数据;
对人像数据进行数据预处理,形成人像数据流;
监控提供人像数据流的抓拍点位,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;
在后端用户与汇聚处理平台之间建立第一消息队列和第二消息队列,其中,第一消息队列用于存储并传输后端用户订阅方式,第二消息队列用于存储并传输人像数据流;
融合第一消息队列和第二消息队列,搭建形成数据消息分发通道,根据第一消息队列中的后端用户订阅方式将第二消息队列中的人像数据流分发推送至后端用户。
2.如权利要求1所述的抓拍数据分发方法,其特征在于,对人像数据进行数据预处理,形成人像数据流,具体包括:
将所有抓拍点位进行预先注册,生成相应的注册信息,根据注册信息补全初始的人像数据,得到第一预处理数据;
对第一预处理数据进行格式清洗和重复度筛选,得到第二预处理数据,其中,格式清洗按照预设的标准业务规范进行,使得人像数据的格式一致,重复度筛选的参数包括数据特征和业务内容,对筛选出的冗余人像数据进行清洗删除;
针对第二预处理数据中的数据特征进行校验,若满足设定的阈值要求则形成人像数据流,若不满足设定的阈值要求则将第二预处理数据作为初始的人像数据重新进行预处理,直至满足设定的阈值要求。
3.如权利要求1所述的抓拍数据分发方法,其特征在于,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息,具体包括:
实时采集设定时段的各个抓拍点位的抓拍数据,形成抓拍数据集合;
将抓拍数据集合输入已建立的异常分析模型,分析各个抓拍点位的拍摄异常状况;
根据拍摄异常状况,给出异常拍摄的抓拍点位,生成异常状况告警信息。
4.如权利要求3所述的抓拍数据分发方法,其特征在于,已建立的异常分析模型,具体包括:
预先统计各个抓拍点位的历史抓拍数据,形成历史抓拍数据集合;
分析各个抓拍点位历史抓拍数据的散度情况,逐个抓拍点位给出特征指标和至少两组数据变异指标,对特征指标和数据变异指标进行处理,形成各个抓拍点位的概率分布模型;
融合各个抓拍点位的概率分布模型,建立异常分析模型。
5.如权利要求4所述的抓拍数据分发方法,其特征在于,融合各个抓拍点位的概率分布模型,建立异常分析模型,具体包括:
采用第一概率分布区间和第二概率分布区间判断所有抓拍点位的拍摄异常状况;其中,采用第一概率分布区间判断拍摄异常状况的抓拍点位数量为ξ 1,采用第二概率分布区间判断拍摄异常状况的抓拍点位数量为ξ 2
融合ξ 1个点位抓拍数据的第一概率分布区间,给出基于第一概率分布区间的第一异常状况函数,具体为:
Figure 793255DEST_PATH_IMAGE001
其中,
Figure 345590DEST_PATH_IMAGE002
为第一异常状况函数,x i 为第一概率分布区间的抓拍点位中第i个点位实 时的抓拍数据,μ i 为第i个点位历史抓拍数据平均值,n i 为第i个点位的倍数,
Figure 642579DEST_PATH_IMAGE003
为第i 个点位n i 倍的历史抓拍数据标准差;
融合ξ 2个点位抓拍数据的第二概率分布区间,给出基于第二概率分布区间的第二异常状况函数,具体为:
Figure 672983DEST_PATH_IMAGE004
其中,
Figure 20919DEST_PATH_IMAGE005
为第二异常状况函数,x j 为第二概率分布区间的抓拍点位中第j个点位实 时的抓拍数据,m1j为第j个点位历史抓拍数据下四分位数,m2j为第j个点位历史抓拍数据上 四分位数;
将第一异常状况函数与第二异常状况函数进行融合,建立异常分析模型,其中,异常分 析模型为:
Figure 744155DEST_PATH_IMAGE006
表示出现抓拍点位拍摄异常。
6.如权利要求1所述的抓拍数据分发方法,其特征在于,后端用户订阅方式中的订阅范围包括抓拍点位区域位置和/或抓拍点位设备信息,抓拍点位设备信息包括抓拍点位设备厂家、抓拍点位设备类型及抓拍点位设备ID中的至少一种。
7.如权利要求1所述的抓拍数据分发方法,其特征在于,汇聚处理平台包括消息组件、协调组件和Redis集群,消息组件为Kafka大数据组件,协调组件为ZooKeeper分布式中间件,消息组件用于根据后端用户订阅方式将存储的人像数据流分发推送,协调组件用于将抓拍点位、消息组件及后端用户的配置信息达成一致, Redis集群用于存储消息组件分发推送的日志记录。
8.如权利要求7所述的抓拍数据分发方法,其特征在于,根据第一消息队列中的后端用户订阅方式将第二消息队列中的人像数据流分发推送至后端用户,具体包括:
消息组件接收到第一消息队列的信息后,识别并解析后端用户订阅方式,生成第一触发信号和第二触发信号;
基于第一触发信号,消息组件对储存的人像数据流进行分发前的处理,生成待分发的订阅人像数据流,将订阅人像数据流传递到第二消息队列;
基于第二触发信号,消息组件将已传递到第二消息队列中的订阅人像数据流分发推送给发出订阅请求的后端用户;
其中,订阅人像数据流的数据量不大于消息组件中存储的人像数据流的数据量。
9.如权利要求8所述的抓拍数据分发方法,其特征在于,识别并解析后端用户订阅方式,生成第一触发信号和第二触发信号,具体包括:
识别后端用户订阅方式中订阅内容和消息数据接收内容,并对订阅内容和消息数据接收内容分别进行解析;
依据订阅内容的解析结果,给出后端用户订阅方式中的订阅范围和数据消息过滤条件,生成第一触发信号;
解析消息数据接收内容中的消息接收地址和消息接收模式,并对消息接收模式进行分类,划分第一消息接收模式和第二消息接收模式,基于消息接收地址、第一消息接收模式和第二消息接收模式生成第二触发信号;
其中,第一消息接收模式为直推模式,消息组件自定义分发条件,并依据自定义分发条件推送订阅人像数据流,并将推送信息记录到Redis集群,第二消息接收模式为自拉模式,消息组件根据不同后端用户订阅请求标记分发推送相应主题方式。
10.一种采用如权利要求1-9任一所述抓拍数据分发方法的装置,其特征在于,包括:
采集模块,被配置为采集抓拍点位的抓拍数据,提取抓拍数据中的人像数据以及对提供人像数据流的抓拍点位进行监控;
处理模块,被配置为对人像数据进行数据预处理,形成人像数据流,实时分析抓拍点位的拍摄异常状况,生成异常状况告警信息;
分发模块,被配置为搭建与后端用户的数据消息分发通道,将人像数据流按照后端用户订阅方式进行分发推送。
CN202210485396.8A 2022-05-06 2022-05-06 一种基于汇聚处理平台的抓拍数据分发方法及装置 Active CN114584617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210485396.8A CN114584617B (zh) 2022-05-06 2022-05-06 一种基于汇聚处理平台的抓拍数据分发方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210485396.8A CN114584617B (zh) 2022-05-06 2022-05-06 一种基于汇聚处理平台的抓拍数据分发方法及装置

Publications (2)

Publication Number Publication Date
CN114584617A true CN114584617A (zh) 2022-06-03
CN114584617B CN114584617B (zh) 2022-08-02

Family

ID=81769259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210485396.8A Active CN114584617B (zh) 2022-05-06 2022-05-06 一种基于汇聚处理平台的抓拍数据分发方法及装置

Country Status (1)

Country Link
CN (1) CN114584617B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101178A (zh) * 2016-05-30 2016-11-09 海尔优家智能科技(北京)有限公司 一种订阅消息分发、接收方法、装置及相关系统
CN108090419A (zh) * 2017-11-30 2018-05-29 安徽四创电子股份有限公司 一种基于WebSocket协议的动态人脸识别方法
CN111787058A (zh) * 2020-05-26 2020-10-16 北京航空航天大学 跨域虚拟数据空间中轻量级信息订阅和推送方法
WO2021036832A1 (zh) * 2019-08-29 2021-03-04 杭州海康威视数字技术股份有限公司 网络摄像机、视频监控系统及方法
CN112995266A (zh) * 2019-12-18 2021-06-18 深圳云天励飞技术有限公司 一种信息推送方法及相关设备
CN113190700A (zh) * 2021-07-02 2021-07-30 成都旺小宝科技有限公司 用于房产交易的人脸抓拍、筛选和存储的方法及系统
CN114240826A (zh) * 2021-11-02 2022-03-25 浙江大华技术股份有限公司 拍摄设备异常检测方法、装置、系统和电子装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101178A (zh) * 2016-05-30 2016-11-09 海尔优家智能科技(北京)有限公司 一种订阅消息分发、接收方法、装置及相关系统
CN108090419A (zh) * 2017-11-30 2018-05-29 安徽四创电子股份有限公司 一种基于WebSocket协议的动态人脸识别方法
WO2021036832A1 (zh) * 2019-08-29 2021-03-04 杭州海康威视数字技术股份有限公司 网络摄像机、视频监控系统及方法
CN112995266A (zh) * 2019-12-18 2021-06-18 深圳云天励飞技术有限公司 一种信息推送方法及相关设备
CN111787058A (zh) * 2020-05-26 2020-10-16 北京航空航天大学 跨域虚拟数据空间中轻量级信息订阅和推送方法
CN113190700A (zh) * 2021-07-02 2021-07-30 成都旺小宝科技有限公司 用于房产交易的人脸抓拍、筛选和存储的方法及系统
CN114240826A (zh) * 2021-11-02 2022-03-25 浙江大华技术股份有限公司 拍摄设备异常检测方法、装置、系统和电子装置

Also Published As

Publication number Publication date
CN114584617B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN102651033B (zh) 一种在线资源的推荐方法和装置
CN107730647A (zh) 一种基于scada的智能手机巡检系统及其巡检方法
CN101620698A (zh) 试验检测、管理和监控一体化系统及方法
CN102497435A (zh) 数据业务数据的分发方法及装置
CN106407078A (zh) 基于信息交互的客户端性能监控装置及方法
CN111178778A (zh) 基于机器学习的安保活动方案生成方法、系统及安保活动管理系统
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
CN110929032B (zh) 一种软件系统的用户需求处理系统及处理方法
CN111277668A (zh) 一种适用于itcs车载日志智能分析的系统
CN114584617B (zh) 一种基于汇聚处理平台的抓拍数据分发方法及装置
CN112949798B (zh) 基于rfid技术的实验室设备管理方法及其系统
CN114786038A (zh) 基于深度学习的低俗直播行为监测方法
CN113470349A (zh) 一种城市垃圾清运车管理系统
CN112529466A (zh) 一种基于大数据的智慧城管方法及系统
CN100571357C (zh) 录像文件分类方法和装置
CN115330407A (zh) 农业生产溯源管理系统
CN114430413A (zh) 一种基于区块链的IIoT智慧运维管理方法
CN114037397A (zh) 一种电厂生产报表生成发送系统
CN109976285A (zh) 一种基于5g终端采集的安全管理系统及其控制方法
CN111597068A (zh) 一种it运维管理方法及it运维管理装置
CN113139736B (zh) 交通运输综合行政执法管理平台、方法
CN114553808B (zh) 信息处理系统
CN109493336B (zh) 基于人工智能的视频马赛克识别自动学习的系统及方法
CN118211951A (zh) 一种基于图像识别的保险代理人参会情况质检方法
CN116248729A (zh) 一种基于物联网生产技术的数字安监平台系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant