CN109033447B - 一种人脸识别数据可视化系统 - Google Patents

Abstract

本发明公开了一种人脸识别数据可视化系统，属于数据处理技术领域，包括：基础设施层、数据层、服务层以及展示层；基础设施层中设置服务器集群以及存储设备，数据层中设有分布式文件系统、分布式缓存系统、前置数据库、核心数据库以及分布式NoSQL数据库，数据层的输出端与服务器集群连接，核心数据库的输出端分别与分布式NoSQL数据库连接以及与存储设备连接，服务层中设置etl数据分析引擎、图形报表中间件集成和业务数据接口，展示层中设置多个客户端，etl数据分析引擎用于根据所述客户端的请求抽取所述总表中的数据，并通过清洗、转换形成数据分析表；图形报表中间件集成用于将所述数据分析表的数据可视化并通过所述客户端进行展示。

Description

一种人脸识别数据可视化系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种人脸识别数据可视化系统。

背景技术

目前，市面上的人脸识别系统功能相对单一、开放性差，；各系统的数据分析机制不健全而且参差不齐，未能形成统一标准，缺乏智能分析的管理，自动化水平较低，在一定程度上约束了相关工作的时效性和规范性；另外大多数数据分析系统在扩展性和实用性上比较薄弱，严重制约着相关工作的进一步发展。

发明内容

本发明的目的在于提供一种人脸识别数据可视化系统，以实现人脸识别数据可视化系统中相关数据的快速建模、智能分析、数据大屏展示的高效地流转。

为实现以上目的，本发明采用一种人脸识别数据可视化系统，包括：基础设施层、数据层、服务层以及展示层；

基础设施层中设置服务器集群以及存储设备，数据层中设有分布式文件系统、分布式缓存系统、前置数据库、核心数据库以及分布式NoSQL数据库，数据层的输出端与服务器集群连接，核心数据库的输出端分别与分布式NoSQL数据库连接以及与存储设备连接，其中：

数据库层根据用户填写数据的格式在数据库中自动建表、建立表字段，生成总表，该数据的格式包括Excel文件、txt文本以及xml文件；

所述服务器集群和存储设备用于对所述总表和用户输入的多种数据格式文件进行存储；

服务层中设置etl数据分析引擎、图形报表中间件集成和业务数据接口，展示层中设置多个客户端，其中：

业务数据接口与数据层连接进行通信；

etl数据分析引擎用于根据所述客户端的请求抽取所述总表中的数据，并通过清洗、转换形成数据分析表；

图形报表中间件集成用于将所述数据分析表的数据可视化并通过所述客户端进行展示。

进一步地，所述分布式文件系统包括内容模板文件、图片/数据文件以及文件索引，其中：

内容模板文件用于存放平台生成的静态化页面HTML及生成时的静态模板文件，并由脚本解析模板文件；

图片/数据文件用于存放用户上传的图片、Excel、txt及xml文件；

文件索引用于快速检索图片/数据文件；

所述分布式缓存系统包括用户SESSION和验证码，其中：

用户SESSION用于存储当前登录用户信息以用于session信息共享；

验证码用于系统安全验证，访问恶意攻击系统；

所述前置数据库为数据库分表分库，用做接口对接，比如接入人脸识别硬件数据或其它第三方系统数据等；

所述核心数据库包括Write和Read，Write用于写入数据，Read用于读取数据，Write和Read之间进行数据同步；

所述分布式NoSQL数据库用于存储系统运行日志、归档数据和非核心数据，该非核心数据包括系统支撑数据。

进一步地，在所述服务层中，所述图形报表中间件集成包括ETL中间件、报表中间件以及FTP文件传输中间件；

ETL中间件用于对数据加工，对用户分批次上传的数据可以进行比对、转换、整合；

报表中间件用于对ETL加工后的数据进行分析，并展现相应的图表，包括了线形图、饼状图、柱状图、环形图等；

FTP文件传输中间件用于excel、txt、xml文件上传。

进一步地，在所述数据层中配置多个数据库，该多个数据库连接并放到连接池中以等待所述多个终端调用，连接池的输入端与对象池连接，对象池的输入端分别与所述应用服务器和所述多个终端连接。

进一步地，所述客户端包括站点管理模块、栏目管理模块以及栏目新增模块；

站点管理模块用于对每项业务的数据可视化进行多站点管理，每个站点的信息独立维护，该站点的信息包括域名和访问路径；

栏目管理模块用于对业务进行分类管理，根据业务类别在每个站点下建立不同的栏目，每个栏目填写有栏目名称、路径、关键字以及栏目描述；

栏目新增模块用于在站点下建立新增栏目。

进一步地，所述客户端还包括模板配置模块、主题管理模块、内容页配置模块以及模板分类管理模块；

模板配置模块用于定义文字模板、图片模板、表格模板、Echarts/AntV图表模板、地理图形模板，以供供用户拖拽使用配置主题模板；

主题管理模块用于对用户配置的主题模板进行修改；

内容页配置模块用于设置所述主题模板内容页的大小以及数据接入；

模板分类管理模块用于对模板进行分类管理。

进一步地，所述客户端还包括图形控件，以供用户自行拖拽生成相应的图形报表。

与现有技术相比，本发明存在以下技术效果：本发明可以对Excel文件、txt文本、xml文件等数据的格式在数据库中自动建表、建立表字段，并且引入文件中的数据进行导入；系统集成etl数据分析引擎，根据用户需要抽取不同数据表中的数据，通过集中清洗、转换的过程形成数据分析表，通过集成图形报表中间件引用服务端已清洗转换过的数据分析表中的数据在客户端进行展示。本发明基于互联网云平台搭建整体运行环境，应用“报表中间件”、“图形中间件”等技术，使业务数据可视化，从而大大提高人脸识别数据的智能分析以及数据大屏展示的高效地流转。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种人脸识别数据可视化系统的架构设计示意图；

图2是一种人脸识别数据可视化系统的体系结构示意图；

图3是客户端的结构示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种人脸识别数据可视化系统，包括：

基础设施层、数据层、服务层以及展示层；

基础设施层中设置服务器集群以及存储设备，数据层中设有分布式文件系统、分布式缓存系统、前置数据库、核心数据库以及分布式NoSQL数据库，数据层的输出端与服务器集群连接，核心数据库的输出端分别与分布式NoSQL数据库连接以及与存储设备连接，其中：

数据库层根据用户填写数据的格式在数据库中自动建表、建立表字段，生成总表，该数据的格式包括Excel文件、txt文本以及xml文件；

具体地，Excel文件、txt文本以及xml文件中存储的为平台日常运行的所有数据，包括人脸识别数据等。

由服务层的业务数据接口接入平台日常运行的所有数据，接入的数据存放在前置数据库中，再由ETL中间件进行统一处理，处理后的数据生成总表。

所述服务器集群和存储设备用于对所述总表和用户输入的多种数据格式文件进行存储；

服务层中设置etl数据分析引擎、图形报表中间件集成和业务数据接口，展示层中设置多个客户端，其中：

业务数据接口与数据层连接进行通信；

etl数据分析引擎用于根据所述客户端的请求抽取所述总表中的数据，并通过清洗、转换形成数据分析表；

图形报表中间件集成用于将所述数据分析表的数据可视化并通过所述客户端进行展示。

进一步地，所述分布式文件系统包括内容模板文件、图片/数据文件以及文件索引，其中：

内容模板文件用于存放平台生成的静态化页面（HTML）及生成时的静态模板文件，由脚本解析模板文件；

图片/数据文件用于存放用户上传的图片、Excel、txt、xml文件等；

文件索引用于快速检索图片/数据文件；

所述分布式缓存系统包括用户SESSION和验证码，其中：

用户SESSION用于存储当前登录用户信息，便于session信息共享；

验证码用于系统安全验证，访问恶意攻击系统；

所述前置数据库为数据库分表分库，用于做接口对接，比如接入人脸识别硬件数据或其它第三方系统数据等；

所述核心数据库包括Write和Read（读写分离），Write用于写入数据，Read用于读取数据，Write和Read之间进行数据同步；

所述分布式NoSQL数据库用于存储系统运行日志、归档数据和非核心数据，该非核心数据包括系统支撑数据，比如组织机构、数据字典、用户角色、资源菜单表。

进一步地，在所述服务层中，所述图形报表中间件集成包括ETL中间件、报表中间件以及FTP文件传输中间件；

ETL中间件用于对数据加工，对用户分批次上传的数据可以进行比对、转换、整合；

报表中间件用于对ETL加工后的数据进行分析，并展现相应的图表，包括了线形图、饼状图、柱状图、环形图等；

FTP文件传输中间件用于excel、txt、xml文件上传。

进一步地，在所述数据层中配置多个数据库（包括Oracle、mysql、mssql等），该多个数据库连接并放到连接池中以等待所述多个终端调用，连接池的输入端与对象池连接，对象池的输入端分别与所述应用服务器和所述多个终端连接。用户可以通过填写数据库地址、用户、密码、端口动态建立数据库连接池，达到多数据库共享的目的。

需要说明的是，如图2所示，本实施例利用多台应用服务采用集群方式部署应用系统，各服务器资源可任意切换，极大地减少单点故障数量，并且实现了群集化资源的高可用性。利用两台数据库服务器，采用双机热备方式（共享存储设备），当主数据库服务器出现故障时，备用数据库服务器能够迅速自动接管续航，确保数据库服务不间断。

另外，考虑到数据安全方面，采用一台存储设备，能够定时备份结构化和非结构化数据。结构化数据是指数据库中存放的数据，非结构化数据是指应用系统中存放的用户上传的文件。

配备数据接口前置服务器（根据实际情况按需配置），实现与外部系统之间的数据（结构化、非结构化）共享交换。

配备一台文件服务器，将系统中的文件进行转储。

进一步地，本系统基于国际先进的企业级应用开发平台J2EE，采用B/S三层架构、SOA等技术，采用MVC设计模式，基于MySQL数据库管理系统设计开发，遵循Web Services和标准化编码等技术标准，支持二次应用扩展，满足基础数据与业务流程可定制的系统灵活性、可扩展性需求。方便与其他应用系统的集成和数据传递，并能实现与各应用系统的统一身份认证和单点登录应用。

系统基于MySQL数据库进行开发，MySQL是一种关系数据库管理系统，是将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。其特点和优势在于体积小、速度快、应用范围广，在 WEB 应用方面，MySQL是最好的RDBMS应用软件。

本系统采用SOA技术，即基于服务的框架结构（Service-OrientedArchitecture）。本项目利用SOA技术将各功能模块封装成一个个服务，对外提供统一访问接口。通过此技术构建的应用有助于应用扩展与重组，并可以很容易实现与异构外部系统的无缝应用集成。

本系统通过Web Service/RestFul接口技术实现对平台内部各系统之间以及与外部联动系统之间的协同应用和数据交换，此技术具有与平台、系统、数据库具有无关性等特点，接口实现不用关心各系统内部实现细节，从而大大降低了系统对接的难度，也确保了系统整体架构的松耦合性和稳定性。

本系统采用的工作流引擎是整个平台非常重要的组成部分，平台通过工作流实现系统业务工作流程的灵活定制，确保在业务流程有变动的情况下，不需要对软件进行修改，就可以轻松实现流程改变，使系统具有了强大的生命力和可扩展性。

本系统通过图形报表中间件（以下简称“ECharts”）进行报表设计，报表设计器是一个“所见即所得”的可视化报表设计工具，可轻松完成各种报表的设计工作。

ECharts是一个HTML5的图表组件，它可以用来制作数据动画图表， 可用于任何网页的脚本语言类似于HTML、 .NET，ASP 、JSP、PHP 、 ColdFusion等，提供互动性和强大的图表。使用JSON作为其数据接口， ECharts充分利用流体美丽的HTML5创建紧凑，互动性和视觉逮捕图表。

ECharts将图表与AJAX应用程序或JavaScript模块结合起来，调用JavaScript函数的热点链接，或要求作出动态JSON数据到服务器不涉及任何页面刷新。同时，ECharts图形报表还提供了数据钻取功能。

进一步地，本实施例在数据层和应用层之间增加数据缓存层，提供全局数据服务，大大减少数据库往返次数，可以充分利用大内存，而共享内存更能实现数据并发访问。

进一步地，如图3所示，客户端包括站点管理模块、栏目管理模块以及栏目新增模块；

站点管理模块用于对每项业务的数据可视化进行多站点管理，每个站点的信息独立维护，该站点的信息包括域名和访问路径。通过使用云平台进行部署，满足SaaS服务的模式，达到统一管理的目的。

栏目管理模块用于对业务进行分类管理，根据业务类别在每个站点下建立不同的栏目，每个栏目填写有栏目名称、路径、关键字以及栏目描述；最终实现信息化的业务分离模式。

栏目新增模块用于在站点下建立新增栏目。

进一步地，所述客户端还包括模板配置模块、主题管理模块、内容页配置模块以及模板分类管理模块；

模板配置模块用于定义文字模板、图片模板、表格模板、Echarts/AntV图表模板、地理图形模板，以供供用户拖拽使用配置主题模板；

主题管理模块用于在内容页中保存的主题模板，可通过主题模板管理功能进行修改、删除操作；另外还提供了配色方案管理，用户在添加后，在内容页配置中可选择相应的配色方案当做背景图、模板配色等。

内容页配置模块用于用户可自行定义系统已配置好的主题、配色方案；之后拖拽相应的模板置于相应的位置，并设置其大小、数据接入；完成后可预览、发布或保存至主题模板，供下次使用。

模板分类管理模块用于对模板进行分类管理，目前规划的分类有文字模板、图片模板、表格模板、Echarts/AntV图表模板、地理图形模板等，通过基础信息管理，保证了模板分类的动态扩展。

进一步地，所述客户端还包括图形控件，以供用户自行拖拽生成相应的图形报表。本系统提供丰富多彩的控件，可供用户自行拖拽生成相应的图形报表，另外针对数据层，用户可根据页面引导的方式添加相应的数据源，产生的数据流结合图形控件，最终形成可视化分析页面。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种人脸识别数据可视化系统，其特征在于，包括：基础设施层、数据层、服务层以及展示层；

基础设施层中设置服务器集群以及存储设备，数据层中设有分布式文件系统、分布式缓存系统、前置数据库、核心数据库以及分布式NoSQL数据库，数据层的输出端与服务器集群连接，核心数据库的输出端分别与分布式NoSQL数据库连接以及与存储设备连接，其中：

数据层根据用户填写数据的格式在数据库中自动建表、建立表字段，生成总表，所述数据的格式包括Excel文件、txt文本以及xml文件；

所述服务器集群和存储设备用于对所述总表和用户输入的多种数据格式文件进行存储；

服务层中设置ETL数据分析引擎、图形报表中间件集成和业务数据接口，展示层中设置多个客户端，其中：

业务数据接口与数据层连接进行通信；

ETL数据分析引擎用于根据所述客户端的请求抽取所述总表中的数据，并通过清洗、转换形成数据分析表；

图形报表中间件集成用于将所述数据分析表的数据可视化并通过所述客户端进行展示；

在所述数据层中，所述分布式文件系统包括内容模板文件、图片/数据文件以及文件索引，其中：

内容模板文件用于存放平台生成的静态化页面HTML及生成时的静态模板文件，并由脚本解析模板文件；

图片/数据文件用于存放用户上传的图片、Excel、txt及xml文件；

文件索引用于快速检索图片/数据文件；

所述分布式缓存系统包括用户SESSION和验证码，其中：

用户SESSION用于存储当前登录用户信息以用于session信息共享；

验证码用于系统安全验证，访问恶意攻击系统；

所述前置数据库为数据库分表分库，用做接口对接以接入人脸识别硬件数据或第三方系统数据；

所述核心数据库包括Write和Read，Write用于写入数据，Read用于读取数据，Write和Read之间进行数据同步；

所述分布式NoSQL数据库用于存储系统运行日志、归档数据和非核心数据，所述非核心数据包括系统支撑数据；

在所述服务层中，所述图形报表中间件集成包括ETL中间件、报表中间件以及FTP文件传输中间件；

ETL中间件用于对数据加工，对用户分批次上传的数据进行比对、转换、整合；

报表中间件用于对ETL加工后的数据进行分析，并展现相应的图表，包括线形图、饼状图、柱状图、环形图；

FTP文件传输中间件用于Excel、txt、xml文件上传。

2.如权利要求1所述的人脸识别数据可视化系统，其特征在于，在所述数据层中配置多个数据库，所述多个数据库连接并放到连接池中以等待多个终端调用，连接池的输入端与对象池连接，对象池的输入端分别与应用服务器和所述多个终端连接。

3.如权利要求1所述的人脸识别数据可视化系统，其特征在于，所述客户端包括站点管理模块、栏目管理模块以及栏目新增模块；

站点管理模块用于对每项业务的数据可视化进行多站点管理，每个站点的信息独立维护，所述站点的信息包括域名和访问路径；

栏目管理模块用于对业务进行分类管理，根据业务类别在每个站点下建立不同的栏目，每个栏目填写有栏目名称、路径、关键字以及栏目描述；

栏目新增模块用于在站点下建立新增栏目。

4.如权利要求1所述的人脸识别数据可视化系统，其特征在于，所述客户端还包括模板配置模块、主题管理模块、内容页配置模块以及模板分类管理模块；

模板配置模块用于定义文字模板、图片模板、表格模板、Echarts/AntV图表模板、地理图形模板，以供供用户拖拽使用配置主题模板；

主题管理模块用于对用户配置的主题模板进行修改；

内容页配置模块用于设置所述主题模板内容页的大小以及数据接入；

模板分类管理模块用于对模板进行分类管理。

5.如权利要求1所述的人脸识别数据可视化系统，其特征在于，所述客户端还包括图形控件，以供用户自行拖拽生成相应的图形报表。

Images