CN113239792A - 一种大数据分析处理系统和方法 - Google Patents

一种大数据分析处理系统和方法 Download PDF

Info

Publication number
CN113239792A
CN113239792A CN202110512805.4A CN202110512805A CN113239792A CN 113239792 A CN113239792 A CN 113239792A CN 202110512805 A CN202110512805 A CN 202110512805A CN 113239792 A CN113239792 A CN 113239792A
Authority
CN
China
Prior art keywords
big data
module
data
server
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110512805.4A
Other languages
English (en)
Inventor
饶晓冬
闫潇宁
缪迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd, Shenzhen Anruan Technology Co Ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202110512805.4A priority Critical patent/CN113239792A/zh
Publication of CN113239792A publication Critical patent/CN113239792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明实施例属于大数据技术领域，涉及一种大数据分析处理系统和方法，系统包括：数据采集模块、边缘计算服务器、人工智能处理模块、大数据分析模块、应用接入模块；所述数据采集模块用于实时获取各分布式采集点的视频图像数据，通过Kafka转发服务进行均衡转发；所述边缘计算服务器用于对视频图像数据进行预处理后推送到所述人工智能处理模块；缓存多路所述视频图像数据并对所述视频图像数据进行结构化分析处理，得到多维结构化图像信息后输出给所述大数据分析模块，进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为所述应用接入模块提供快速搜索接口；所述应用接入模块用于为应用平台接入系统提供接入接口。提高大数据应用的工作效率。

Description

一种大数据分析处理系统和方法
技术领域
本发明涉及大数据技术领域，尤其涉及一种大数据分析处理系统和方法。
背景技术
随着信息时代的高速发展，视频监控基本实现城市全覆盖，使我国在智慧公安警务系统、智慧城市建设和应用上取得了长足进步，但随着大数据时代的到来也带来了新的机遇和挑战。信息资源运用效率成为大数据时代重要的指标，如何解决海量的数据运用，从中快速挖掘出有效的信息价值，提升决策的效率和精准度，是公安向智慧化、信息化推进工作的重中之重。公安“大数据建设”工作是一个以信息化应用为支撑、以数据分析为主要内容、以服务于警务决策和实战为目标的工作体系。
目前，公安系统仅是将前端视频监控系统采集的视频图像以视频文件的形式存在公安视频专网，视频的应用仍以人工调取视频录像回放的方式为主，没有充分利用技术手段将高价值信息快速、准确地挖掘出来，造成人工作业模式，工作量巨大、效率极低。且随着智慧城市和公安视频应用建设进入新的阶段，以及社会治安管理对视频需求的进一步扩大，希望能够建立综合全面的大量视频数据实时获取、存储、高效搜索、分析利用等要求的呼声越来越高，而现存的视频图像监控系统存在的技术满足不了上述深层次应用的要求。
发明内容
本发明实施例的目的在于提出一种大数据分析处理系统，能够全面地满足大量视频数据实时获取、存储、高效搜索、分析利用的要求，提高基于视频大数据综合应用的工作效率。
为了解决上述技术问题，本发明实施例提供一种大数据分析处理系统，包括：数据采集模块、边缘计算服务器、人工智能处理模块、大数据分析模块、应用接入模块；
所述数据采集模块用于实时获取各分布式采集点的视频图像数据，然后将采集到的视频图像数据通过Kafka消息队列转发服务进行均衡转发；所述分布式采集点包括预设的智能摄像头和非智能摄像头，所述视频图像数据包括智能摄像头和非智能摄像头采集的实时视频流图像数据；
所述边缘计算服务器用于接收多路所述数据采集模块转发的视频图像数据，并对所述视频图像数据进行预处理后推送到所述人工智能处理模块；
所述人工智能处理模块用于缓存多路所述视频图像数据并对所述视频图像数据进行结构化分析处理，得到多维结构化图像信息后输出给所述大数据分析模块进行分析处理；
所述大数据分析模块用于对所述多维结构化图像信息通过高速高带宽的存储局域网络进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为所述应用接入模块提供快速搜索接口；
所述应用接入模块用于为应用平台接入系统提供接入接口。
可选的，所述边缘计算服务器包括图像预处理模块，用于对所述非智能摄像头采集的实时视频流图像数据进行实时解码和动态抽帧。
可选的，所述人工智能处理模块包括预训练的行人识别算法模型，所述行人识别算法模型对视频图像进行识别和分析，得到包括行人的特征信息、时空信息、穿着信息的多维结构化图像信息。
可选的，所述大数据分析模块包括图像存储服务器、数据库服务器和大数据搜索分析服务器；所述图像存储服务器用于提供针对图片、视频文件、结构化数据的存储环境；所述大数据搜索分析服务器用于为分布式实时的搜索引擎技术提供运行环境；所述数据库服务器用于提供关系型数据库、全文搜索引擎运行环境，通过建立索引服务环境保障数据按分类进行存储。
可选的，所述应用平台通过调用所述应用接入模块向系统发送指令获取数据，并提供数据查看、搜索、统计、布控预警。
为了解决上述技术问题，本发明实施例还提供一种大数据分析处理方法，包括：
通过预设的智能摄像头和非智能摄像头采集多路实时视频流图像数据，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；
通过所述边缘计算服务器对所述多路实时视频流图像数据进行实时解码和动态抽帧预处理后推送到人工智能处理模块；
所述人工智能处理模块缓存所述多路实时视频流图像数据并对视频流图像数据进行结构化分析处理，得到多维结构化图像信息后输出给大数据分析模块进行分析处理；
所述大数据分析模块对所述多维结构化图像信息通过高速高带宽的存储局域网络进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为应用接入模块提供快速搜索接口；
所述应用接入模块为应用平台接入系统提供接入接口。
可选的，所述人工智能处理模块包括预训练的行人识别算法模型，所述方法包括：通过所述行人识别算法模型对视频图像进行识别和分析，得到包括行人的特征信息、时空信息、穿着信息的多维结构化图像信息。
可选的，所述大数据分析模块包括图像存储服务器、数据库服务器和大数据搜索分析服务器，所述方法还包括：
利用所述图像存储服务器提供针对图片、视频文件、结构化数据的存储环境；
通过所述大数据搜索分析服务器为分布式实时的搜索引擎技术提供运行环境；
通过所述数据库服务器提供关系型数据库、全文搜索引擎运行环境，并建立索引服务环境保障数据按分类进行存储。
可选的，所述应用平台通过调用所述应用接入模块向系统发送指令获取数据，并进行数据查看、搜索、统计、布控预警。
与现有技术相比，本发明实施例主要有以下有益效果：通过数据采集模块采集多路实时视频流图像数据，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；通过边缘计算服务器对实时视频流图像数据进行实时解码和动态抽帧预处理后推送到人工智能处理模块进行结构化分析处理，得到多维结构化图像信息后并通过高速高带宽的存储局域网络输出给大数据分析模块进行专业级存储和进行大数据分析处理，并通过分布式实时的搜索引擎为应用接入模块提供快速搜索接口，以便于为各种应用平台接入系统提供接入接口，获取数据、展示数据并充分分析和应用数据，从而能够全面地满足大量视频数据实时获取、存储、高效搜索、分析利用的要求，提高基于视频大数据综合应用的工作效率。
附图说明
为了更清楚地说明本发明中的方案，下面将对本发明实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明的实施例提供的一种大数据分析处理系统的结构示意图；
图2示出了根据本发明的实施例提供的一种大数据分析处理方法的一个实施例的流程图；
图3示出了根据本发明的实施例提供的一种计算机设备的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。而本发明所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，图1示出了根据本发明的大数据分析处理系统的一个实施例的结构示意图。所述的大数据分析处理系统100包括：数据采集模块101、边缘计算服务器102、人工智能处理模块103、大数据分析模块104、应用接入模块105；
其中，所述数据采集模块101用于实时获取各分布式采集点的视频图像数据，然后将采集到的视频图像数据通过Kafka消息队列转发服务进行均衡转发；所述数据采集模块101包括多个分布式采集点，所述分布式采集点包括预设的智能摄像头和非智能摄像头，所述视频图像数据包括智能摄像头和非智能摄像头采集的实时视频流图像数据。在本发明中可以收集前端监控摄像头的点位名称、点位IP、点位经纬度、设备编码、设备型号、登录帐号密码等信息，为视频图像数据进行预处理搭建RTSP实时取流抽帧环境作准备。上述摄像头采集的实时视频流图像数据可以通过Kafka（一种高吞吐量的分布式发布订阅消息系统）消息队列转发服务数据分发给负载均衡服务器，把采集的多路实时视频流图像数据发送的数据进行负载处理，均衡的分发到上述人工智能处理模块103，有效的处理了高并发，数据量大等问题，做到合理分配使用结构化算力。
所述边缘计算服务器102用于接收多路所述数据采集模块转发的视频图像数据，并对视频图像数据进行预处理后推送到所述人工智能处理模块103；所述边缘计算服务器包括图像预处理模块，用于对所述非智能摄像头采集的实时视频流图像数据进行实时解码和动态抽帧。通过图像预处理模块可以对视频图像数据进行预处理，包括对现存非智能摄像头的实时视频流进行解码抽帧，将采集到的图片数据输出给人工智能处理模块103临时存储并分析，并为进行结构化分析作准备，使得本发明可以不用改变原来建设好的监控设备，继续整合利用旧资源，减少硬件采购资金投入。
上述图像预处理模块的预处理步骤包括：（1）实时视频流解码：基于边缘计算技术，针对非智能摄像头的实时码流进行接入处理，实现快速高效的视频编解码，完成视频码流向图像信息的快速转换；（2）动态抽帧：在不影响前端视频监控摄像头实时码流完整性、保密性、流畅性的基础上，实现对视频码流的帧提取，具有运动检测动态上传的功能。
所述人工智能处理模块103用于缓存多路所述视频图像数据并对所述视频图像数据进行结构化分析处理，得到多维结构化图像信息后输出给所述大数据分析模块进行分析处理；所述人工智能处理模块103包括预训练的行人识别算法模型，所述行人识别算法模型可以对上述多路视频图像数据进行行人识别和分析并可以基于视频进行行人追踪，得到包括行人的特征信息、时空信息、穿着信息的多维结构化图像信息。行人识别算法模型包括YOLO系列模型、Fast-RCNN系列模型等可以提取行人特征、属性并识别和追踪行人的神经网络模型。
上述人工智能处理模块103与上述边缘计算服务器102通过网络相连接，把边缘计算服务器102推送过来的视频图像数据，按照行人算法模型对每张图片进行分析，进行识别、抠取、结构化属性标记，同时记录采集点位的地点信息、时间信息，形成时间、空间两个维度的时空信息数据，并生成行人目标小图的特征信息，生成性别、上衣颜色、上衣款式、裤子颜色、裤子款式、鞋子颜色、鞋子款式、是否骑车产七种属性信息，然后将所述特征信息、时空信息、穿着信息的多维结构化图像信息通过网络输出给所述大数据分析模块进行分析处理104进行进一步的分析处理。通过人工智能处理模块103可以对视频图像进行分析，代替部分人力去查看视频图像工作任务，提高了效率，节省了人力成本。
所述大数据分析模块104用于对所述多维结构化图像信息通过高速高带宽的存储局域网络进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为所述应用接入模块提供快速搜索接口；进一步的，所述大数据分析模块104包括图像存储服务器、数据库服务器和大数据搜索分析服务器；所述图像存储服务器用于提供大量存储容量，为海量图片、视频文件、结构化数据提供存储环境；所述大数据搜索分析服务器用于为分布式实时的搜索引擎技术提供运行环境；所述数据库服务器用于提供关系型数据库、全文搜索引擎运行环境，通过建立索引服务环境保障数据按分类进行存储。上述大数据分析模块104通过网络与上述人工智能处理模块103相连接，把上述多维结构化图像信息分析处理后分别以图片数据、属性标签数据进行存储到上述图像存储服务器，与常见的结构化数据不同，多维结构化图像信息数据如果仅根据属性标签内容将无法进行精确比对和快速检索，所以提供专业级的关系型数据库作为上述数据库服务器存储海量数据，并使用大数据搜索分析服务器提供的分布式实时全文搜索引擎进行亿级数据集中快速搜索相似多媒体文件，保障按数据分类存储，建立索引服务环境，从而为应用平台的应用提供了迅速的搜索服务，缩短了操作访问时间。
所述应用接入模块105用于为各种应用平台106接入系统提供统一的接入接口，并通过Kafka消息队列帮助应用平台从系统的各个模块获取数据，然后可视化展示数据并充分分析和应用数据。所述应用平台通过调用所述应用接入模块向系统发送指令获取数据，并提供数据查看、搜索、统计、布控预警等上层应用操作。
例如，通过上述应用平台106可以在地图上提供点选、框选、圈选、多边选，可以单个点位选择或多个点位选择，并提供时间区间选择，发送至数据库服务器和大数据搜索分析服务器，目的是方便操作指定搜索区域范围和时间范围，快速查找出要搜索的范围，通过应用平台对智能摄像头、普通摄像头进行管理，能够为运维人员提供高效方便的运维管理。
还可以通过应用平台106在地图上选择好的摄像头点位路数和时间段，发送给数据库服务器，匹配出边缘计算服务器102解码抽帧以及通过人工智能处理模块103进行结构化识别出来点位信息、时间信息，包括关联出原图及小图,还可以选择一张目标小图或多张小图发送给大数据分析模块的搜索引擎识别出目标小图的特征信息，再发送给数据库服务器匹配处理好的特征信息匹配；搜索出来的结果按相似度高低排序显示，从而做到以图搜图的效果；进一步的，可以根据摄像头抓拍到的重点人员图像，通过上述大数据分析模块进行数据分析，对重点关注人员、未知身份人员、未识别特征人员进行分类监控、追踪和布控预警，具体可以通过公安应用上传人脸图片到系统进行人脸识别，若摄像头抓拍到类似该人的特征图片，通过一种在单个TCP连接上进行全双工通信的协议，进行实时报警，为民警提供第一时间破案的线索。本发明改变视频图像传统查看模式，提供了查看图片、按条件搜索（如以图搜图）等方式与查看历史视频播放方式相结合，节省了查看时间，快速查找到可疑人及运动轨迹，提高了办案效率，节省了人力成本。
综上所述，本发明的大数据分析处理系统通过数据采集模块采集多路实时视频流图像数据，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；通过边缘计算服务器对实时视频流图像数据进行实时解码和动态抽帧预处理后推送到人工智能处理模块进行结构化分析处理，得到多维结构化图像信息后并通过高速高带宽的存储局域网络输出给大数据分析模块进行专业级存储和进行大数据分析处理，并通过分布式实时的搜索引擎为应用接入模块提供快速搜索接口，以便于为各种应用平台接入系统提供接入接口，获取数据、展示数据并充分分析和应用数据，从而能够全面地满足大量视频数据实时获取、存储、高效搜索、分析利用的要求，提高基于视频大数据综合应用的工作效率。
进一步的，如图2所示，图2示出了根据本发明的大数据分析处理方法的一个实施例的流程图。本发明实施例提供的一种大数据分析处理方法，包括以下步骤：
201、通过预设的智能摄像头和非智能摄像头采集多路实时视频流图像数据，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；
202、通过所述边缘计算服务器对所述多路实时视频流图像数据进行实时解码和动态抽帧预处理后推送到人工智能处理模块；
203、所述人工智能处理模块缓存所述多路实时视频图像数据并对视频图像数据进行结构化分析处理，得到多维结构化图像信息后输出给所述大数据分析模块进行分析处理；
204、所述大数据分析模块对所述多维结构化图像信息通过高速高带宽的存储局域网络进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为所述应用接入模块提供快速搜索接口；
205、所述应用接入模块为各种应用平台接入系统提供接入接口。
所述人工智能处理模块包括预训练的行人识别算法模型，所述方法还包括：通过所述行人识别算法模型对视频图像进行识别和分析，得到包括行人的特征信息、时空信息、穿着信息的多维结构化图像信息。
所述大数据分析模块包括图像存储服务器、数据库服务器和大数据搜索分析服务器，所述方法还包括：
利用所述图像存储服务器提供的大量存储容量为海量图片、视频文件、结构化数据提供存储环境；
通过所述大数据搜索分析服务器为分布式实时的搜索引擎技术提供运行环境；
通过所述数据库服务器提供关系型数据库、全文搜索引擎运行环境，并建立索引服务环境保障数据按分类进行存储。
所述应用平台通过调用所述应用接入模块向系统发送指令获取数据，并进行数据查看、搜索、统计、布控预警上层应用操作。
需要说明的是，本发明实施例提供的大数据分析处理方法可以应用于可以进行大数据分析处理的手机、监控器、计算机、服务器等设备，以及实现相应的有益效果。为避免重复，这里不再赘述。
应该理解的是，虽然附图的结构示意图中的各个子系统按照箭头的指示依次显示，但是这些子系统并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些子系统的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的结构示意图中的至少一部分子系统在执行时可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图3，图3为本实施例提供的计算机设备3的基本结构框图。
所述计算机设备3包括通过系统总线相互通信连接存储器31、处理器32、网络接口33。需要指出的是，图中仅示出了具有组件31-33的计算机设备3，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器31至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器31可以是所述计算机设备3的内部存储单元，例如该计算机设备3的硬盘或内存。在另一些实施例中，所述存储器31也可以是所述计算机设备3的外部存储设备，例如该计算机设备3上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（FlashCard）等。当然，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括其外部存储设备。本实施例中，所述存储器31通常用于存储安装于所述计算机设备3的操作系统和各类应用软件，例如大数据分析处理系统的程序代码等。此外，所述存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器32在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制所述计算机设备3的总体操作。本实施例中，所述处理器32用于运行所述存储器31中存储的程序代码或者处理数据，例如上述大数据分析处理系统的程序代码。
所述网络接口33可包括无线网络接口或有线网络接口，该网络接口33通常用于在所述计算机设备3与其他电子设备之间建立通信连接。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (9)

1.一种大数据分析处理系统，其特征在于，包括：数据采集模块、边缘计算服务器、人工智能处理模块、大数据分析模块、应用接入模块；
所述数据采集模块用于实时获取各分布式采集点的视频图像数据，然后将采集到的视频图像数据通过Kafka消息队列转发服务进行均衡转发；所述分布式采集点包括预设的智能摄像头和非智能摄像头，所述视频图像数据包括智能摄像头和非智能摄像头采集的实时视频流图像数据；
所述边缘计算服务器用于接收多路所述数据采集模块转发的视频图像数据，并对所述视频图像数据进行预处理后推送到所述人工智能处理模块；
所述人工智能处理模块用于缓存多路所述视频图像数据并对所述视频图像数据进行结构化分析处理，得到多维结构化图像信息后输出给所述大数据分析模块进行分析处理；
所述大数据分析模块用于对所述多维结构化图像信息通过高速高带宽的存储局域网络进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为所述应用接入模块提供快速搜索接口；
所述应用接入模块用于为应用平台接入系统提供接入接口。
2.如权利要求1所述的大数据分析处理系统，其特征在于，所述边缘计算服务器包括图像预处理模块，用于对所述非智能摄像头采集的实时视频流图像数据进行实时解码和动态抽帧。
3.如权利要求2所述的大数据分析处理系统，其特征在于，所述人工智能处理模块包括预训练的行人识别算法模型，所述行人识别算法模型对视频图像进行识别和分析，得到包括行人的特征信息、时空信息、穿着信息的多维结构化图像信息。
4.如权利要求3所述的大数据分析处理系统，其特征在于，所述大数据分析模块包括图像存储服务器、数据库服务器和大数据搜索分析服务器；所述图像存储服务器用于提供针对图片、视频文件、结构化数据的存储环境；所述大数据搜索分析服务器用于为分布式实时的搜索引擎技术提供运行环境；所述数据库服务器用于提供关系型数据库、全文搜索引擎运行环境，通过建立索引服务环境保障数据按分类进行存储。
5.如权利要求4所述的大数据分析处理系统，其特征在于，所述应用平台通过调用所述应用接入模块向系统发送指令获取数据，并提供数据查看、搜索、统计、布控预警。
6.一种大数据分析处理方法，其特征在于，包括：
通过预设的智能摄像头和非智能摄像头采集多路实时视频流图像数据，并通过Kafka消息队列转发服务进行均衡转发到边缘计算服务器；
通过所述边缘计算服务器对所述实时视频流图像数据进行实时解码和动态抽帧预处理后推送到人工智能处理模块；
所述人工智能处理模块缓存所述预处理后的多路实时视频流图像数据并对视频流图像数据进行结构化分析处理，得到多维结构化图像信息后输出给大数据分析模块进行分析处理；
所述大数据分析模块对所述多维结构化图像信息通过高速高带宽的存储局域网络进行专业级存储和大数据分析，并通过分布式实时的搜索引擎为应用接入模块提供快速搜索接口；
所述应用接入模块为应用平台接入系统提供接入接口。
7.如权利要求6所述的大数据分析处理方法，其特征在于，所述人工智能处理模块包括预训练的行人识别算法模型，所述方法包括：通过所述行人识别算法模型对视频图像进行识别和分析，得到包括行人的特征信息、时空信息、穿着信息的多维结构化图像信息。
8.如权利要求7所述的大数据分析处理方法，其特征在于，所述大数据分析模块包括图像存储服务器、数据库服务器和大数据搜索分析服务器，所述方法还包括：
利用所述图像存储服务器提供的针对图片、视频文件、结构化数据的存储环境；
通过所述大数据搜索分析服务器为分布式实时的搜索引擎技术提供运行环境；
通过所述数据库服务器提供关系型数据库、全文搜索引擎运行环境，并建立索引服务环境保障数据按分类进行存储。
9.如权利要求8所述的大数据分析处理方法，其特征在于，所述应用平台通过调用所述应用接入模块向系统发送指令获取数据，并进行数据查看、搜索、统计、布控预警。
CN202110512805.4A 2021-05-11 2021-05-11 一种大数据分析处理系统和方法 Pending CN113239792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110512805.4A CN113239792A (zh) 2021-05-11 2021-05-11 一种大数据分析处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110512805.4A CN113239792A (zh) 2021-05-11 2021-05-11 一种大数据分析处理系统和方法

Publications (1)

Publication Number Publication Date
CN113239792A true CN113239792A (zh) 2021-08-10

Family

ID=77133533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110512805.4A Pending CN113239792A (zh) 2021-05-11 2021-05-11 一种大数据分析处理系统和方法

Country Status (1)

Country Link
CN (1) CN113239792A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统
CN114827677A (zh) * 2022-03-08 2022-07-29 浙江微能科技有限公司 一种人工智能分析负载均衡方法及装置
CN115981874A (zh) * 2023-03-20 2023-04-18 天津大学四川创新研究院 基于云边协同的去中心化ai分析与数据存储方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803112A (zh) * 2017-11-16 2019-05-24 中兴通讯股份有限公司 基于大数据的视频分析管理方法、装置及系统、存储介质
CN110287189A (zh) * 2019-06-25 2019-09-27 浪潮卓数大数据产业发展有限公司 一种基于spark streaming处理流动车辆数据的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803112A (zh) * 2017-11-16 2019-05-24 中兴通讯股份有限公司 基于大数据的视频分析管理方法、装置及系统、存储介质
CN110287189A (zh) * 2019-06-25 2019-09-27 浪潮卓数大数据产业发展有限公司 一种基于spark streaming处理流动车辆数据的方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统
CN114827677A (zh) * 2022-03-08 2022-07-29 浙江微能科技有限公司 一种人工智能分析负载均衡方法及装置
CN114827677B (zh) * 2022-03-08 2024-02-09 浙江微能科技有限公司 一种人工智能分析负载均衡方法及装置
CN115981874A (zh) * 2023-03-20 2023-04-18 天津大学四川创新研究院 基于云边协同的去中心化ai分析与数据存储方法及系统
CN115981874B (zh) * 2023-03-20 2023-06-13 天津大学四川创新研究院 基于云边协同的去中心化ai分析与数据存储方法及系统

Similar Documents

Publication Publication Date Title
CN109117714B (zh) 一种同行人员识别方法、装置、系统及计算机存储介质
CN113239792A (zh) 一种大数据分析处理系统和方法
CN112562161A (zh) 一种基于5g物联网及ai智能门禁综合管理系统
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
US20210357678A1 (en) Information processing method and apparatus, and storage medium
CN107222660B (zh) 一种分布式网络视觉监控系统
CN109033440A (zh) 一种视频侦查多维轨迹分析方法
US20130243249A1 (en) Electronic device and method for recognizing image and searching for concerning information
CN101655860A (zh) 一种刑侦破案视频辅助分析方法及系统
CN111930868A (zh) 一种基于多维数据采集的大数据行为轨迹分析方法
CN108563651B (zh) 一种多视频的目标搜索方法、装置及设备
CN109905423B (zh) 一种智能管理系统
CN110177255B (zh) 一种基于案件调度的视频信息发布方法及系统
US20210073577A1 (en) Image processing method and device, electronic device and storage medium
US20130343618A1 (en) Searching for Events by Attendants
CN113255477A (zh) 一种行人视频图像的综合管理系统及方法
CN113378616A (zh) 视频分析方法、视频分析的管理方法及相关设备
CN202120402U (zh) 基于云计算的海量视频分析与快速检索系统
CN115103157A (zh) 基于边云协同的视频分析方法、装置、电子设备及介质
CN104484651A (zh) 人像动态对比方法及系统
Li et al. A city monitoring system based on real-time communication interaction module and intelligent visual information collection system
CN113065016A (zh) 线下门店信息处理方法、装置、设备及系统
CN112001322A (zh) 一种用于确定标签人员聚集的方法、装置及存储介质
CN112306985A (zh) 一种数字视网膜多模态特征联合精准检索方法
CN112364683A (zh) 一种案件证据固定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210810

RJ01 Rejection of invention patent application after publication