CN117033889B - 一种智慧园区生产数据统计方法及相关装置 - Google Patents

一种智慧园区生产数据统计方法及相关装置 Download PDF

Info

Publication number
CN117033889B
CN117033889B CN202310959938.5A CN202310959938A CN117033889B CN 117033889 B CN117033889 B CN 117033889B CN 202310959938 A CN202310959938 A CN 202310959938A CN 117033889 B CN117033889 B CN 117033889B
Authority
CN
China
Prior art keywords
data
tag
real
time data
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310959938.5A
Other languages
English (en)
Other versions
CN117033889A (zh
Inventor
高胜
胡杨雄风
赵超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanneng Technology Co Ltd
Original Assignee
Hanneng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanneng Technology Co Ltd filed Critical Hanneng Technology Co Ltd
Priority to CN202310959938.5A priority Critical patent/CN117033889B/zh
Publication of CN117033889A publication Critical patent/CN117033889A/zh
Application granted granted Critical
Publication of CN117033889B publication Critical patent/CN117033889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/30Control
    • G16Y40/35Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)

Abstract

本申请涉及物联网管理技术领域,为一种智慧园区管理,具体涉及一种智慧园区生产数据统计方法及相关装置;所述方法包括:基于与所述服务器关联的网关处获取硬件设备采集到的实时数据,所述硬件设备为注册后的硬件设备基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为;将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据;基于所述第一标签和所述第二标签判断将所述关键数据进行保存。

Description

一种智慧园区生产数据统计方法及相关装置
技术领域
本申请涉及物联网管理技术领域,为一种智慧园区管理,具体涉及一种智慧园区生产数据统计方法及相关装置。
背景技术
园区的管理是全方位、多层次的管理。一般而言,园区规模都比较大,领导者管理半径与管理纵深相应变大,做出准确决策的难度大大增加。从项目、公司、到各行业、各部门的逐级监控管理问题,不同市场环境的兼顾适应与风险控制问题,专业分工细化带来的资源整合及协调问题等等,都是园区在管理中所面临的挑战。
随着日新月异的科技发展,智慧园区也在全国各地逐步开展起来,但是信息化建设程度却不尽相同。鉴于没有前面的顶层设计做基础,以及各地园区的种类特征不同。绝大多数园区只是考虑到覆盖部分园区功能的信息化需求。例如物业管理的一套系统,停车一套系统、水电又一套系统。各个系统之前存在着信息壁垒,功能上不能互通,数据无法统计。单一功能性服务不能完全满足园区用户需求的同时,不同部门(系统)之间的信息传达等更是耗费大量人力物力,是导致运维效率低的主要原因。
发明内容
为了解决以上的技术问题,本申请提供一种智慧园区生产数据统计方法及系统,能够实现对于多部门之间的数据统计,并且通过在数据统计过程中设置敏感信息过滤机制和方法,能够在满足数据统计解决信息孤岛的及基础之上提高对于数据安全性的保障,降低了数据泄密的风险,实现了对于关键信息隐私的保护。
为了达到上述目的,本申请实施例采用的技术方案如下:
第一方面,提供一种智慧园区生产数据统计方法,所述方法应用于服务器,所述方法包括:基于与所述服务器关联的网关处获取硬件设备采集到的实时数据,所述硬件设备为注册后的硬件设备;基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为;将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据;基于所述第一标签和所述第二标签判断将所述关键数据进行保存。
进一步的,所述第一标签和所述第二标签的获得,包括以下方法:将所述实时数据通过第一映射关系以及第二映射关系分别得到所述第一标签和所述第二标签。
进一步的,基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,包括:将所述第一标签和所述第二标签与预设的第一标签数据库和第二标签数据库进行比对,基于比对结果判断所述实时数据是否为敏感数据,所述第一标签数据库和所述第二标签数据库配置有多个第一敏感标签和多个第二敏感标签。
进一步的,将所述第一标签和所述第二标签与预设的第一标签数据库和第二标签数据库进行比对,基于比对结果判断所述实时数据是否为敏感数据,包括:将所述第一标签与所述第一标签数据库中的多个第一敏感标签进行比较,确定所述第一标签是否处于多个第一标签数据库中的范围内;将所述第二标签与所述第二标签数据库中的多个第二敏感标签进行比较,确定所述第二标签是否处于多个第二标签数据库中的范围内。
进一步的,将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据,包括:对具有第二标签的实时数据进行降维压缩处理,并将降维压缩处理后的实时数据进行归一化处理得到关键数据。
进一步的,对具有第二标签的实时数据进行降维压缩处理,包括:获取所述实时数据中的至少部分第一数据;将至少部分第一数据映射到向量空间,得到第一向量数据,其中,所述第一向量数据包括多维度的第一向量;将所述第一向量数据降维压缩,得到第二向量数据,其中,所述第二向量数据为所述第一实时数据;将所述第一实时数据进行降维压缩处理得到所述关键数据。
进一步的,将所述第一实时数据进行降维压缩处理得到所述关键数据,包括:获取所述第一实时数据中的至少部分第一数据;将至少部分第一数据映射到向量空间,得到第三向量数据,其中,所述第三向量数据包括多维度的第三向量;将所述第三向量数据降维压缩,得到第四向量数据,其中,所述第二向量数据为所述关键数据。
进一步的,所述关键数据保存至数据中心,所述数据统计中心内配置有多个关联硬件设备标签,所述关联硬件设备设置有第一关联标签、第二关联标签和第三关联标签;所述第一关联标签用于表征关联硬件设备信息,所述第二关联标签用于表针所述关联硬件设备的实时数据信息,所述第三关联标签用于表征所述关联硬件设备对应的用户端。
进一步的,基于所述第一标签和所述第二标签判断将所述关键数据进行保存,包括:遍历多个所述关联设备标签中的第一关联标签和第二关联标签确定对应的与所述第一标签和所述第二标签关联的目标硬件设备,基于所述目标硬件设备的第三标签确定对应的用户端。
第二方面,提供一种智慧园区的数据统计相关装置,并通过网关与多个硬件设备和多个用户端连接;所述硬件设备用于采集对应的实时数据,所述装置用于对所述实时数据处理得到关键数据,并将所述关键数据发送至对应的所述用户端;所述装置包括:数据采集模块,基于与所述服务器关联的网关处获取硬件设备采集到的实时数据,所述硬件设备为注册后的硬件设备;选择模块,用于基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为;数据抽取模块,用于将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据;保存模块,基于所述第一标签和所述第二标签判断将所述关键数据进行保存。
第三方面,提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求上述任一项所述的方法。
本申请实施例提供的技术方案中,通过设置数据识别方法,得到可以进行统计的非敏感数据,并且通过数据压缩方法实现对于非敏感数据的压缩降低了数据传输以及数据管理的成本,提高了统计效率。并降低了在对数据统计以及保存中对于敏感生产数据的保密处理。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例,其中示例数字在附图的各个视图中代表相似的机构。
图1是本申请实施例提供的智慧园区生产数据统计方法流程示意图。
图2是本申请实施例提供的智慧园区的数据统计相关装置结构图。
图3是本申请实施例提供的智慧园区的数据统计设备结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中,通过实例阐述了许多具体细节,以便提供对相关指导的全面了解。然而,对于本领域的技术人员来说,显然可以在没有这些细节的情况下实施本申请。在其他情况下,公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述,没有细节,以避免不必要的模糊本申请的方面。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是,流程图的执行过程可以不按顺序执行。相反,这些执行过程可以以相反的顺序或同时执行。另外,可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
(1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
(2)基于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
(3)边缘服务器,边缘服务器为用户提供一个进入网络的通道和与其它服务器设备通讯的功能,通常边缘服务器是一组完成单一功能的服务器。
(4)物联网,物联网(Internet ofThings,简称IoT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络
本申请实施例提供的技术方案,主要的应用场景为对于基于物联网技术的智慧园区数据管理以及提供对应的服务。针对于智慧园区主要是通过采集各种智能设备中的数据进行智能化应用的实现,以及智慧化管理的实现。目前在智慧园区的建立、管理以及运营过程中,主要的技术实时手段为安装较多的智能硬件,例如安装摄像头以及数据采集装置,然后将采集到的数据上传至运动实现远程可看。而针对于此,主要的技术核心为获取对应的技术,但针对于智慧园区的实现不仅在于获取对应的数字化信息,更重要的是将信息进行统计汇总得到运营管理的方法。本申请实施例提供的技术方案主要的背景基于在进行智慧园区中的智能设备将采集到的数据通过具体的数据分享方法实现数据的汇总从而实现后续的信息的处理以及整体管理的实现。
而针对于信息的统计和汇总,不仅在于将实时数据进行上传至服务器,更重要的是因为智能硬件的设置,根据不同的场景能够获得不同场景下的多种数据,而针对于每一智能设备其采集到的数据因为具有一定的隐私性,所以为了用户的数据安全要将采集到的实时数据进行识别从而确定数据的类型以及是否可以统计。
针对于以上的背景信息,本申请实施例提供一种智慧园区的数据统计方法,具体包括以下方法:
步骤S110.基于与服务器关联的网关处获取硬件设备采集到的实时数据。
在本申请实施例中,对于硬件设备为注册后的硬件设备。
在本实施例中,硬件设备包括多种传感器以及数据采集装置,包括但不限于各种传感器对应的传感数据,其中硬件设备与服务器之间的通信基于网关进行实现。因为数据采集以及硬件设备、网关和服务器之间的通信属于现有技术,在本实施例中不再进行详细的描述。
步骤S120.基于实时数据的第一标签和第二标签选择是否对实时数据进行统计处理,得到待统计数据。
在本实施例中,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为。其中第一标签中的硬件设备主要为硬件设备的类型以及赢硬件设备的名称,在本实施例中,因为需要待统计数据确定是否为敏感属于还是非敏感数据,而针对于敏感数据的确定可以基于对应的硬件设备的类型以及硬件设备的具体信息来判断,其中第一标签用于说明硬件设备的设置原因在于,通过第一标签确定对应的硬件设备的类型以及硬件设备的名称,通过对于硬件设备的类型以及硬件设备的名称可以确定哪些设备为敏感设备,例如可以在方法过程中的设置前期确定设备A为敏感设备,通过对设备的数据采集中第一标签判断是否为A设备,如果判断为A设备,则确定此数据属于敏感设备采集到的敏感数据。
同理,针对于第二标签用于表征数据的行为,即采集到的数据的特征,通过特征的比对确定此特征是否为敏感特征以及特征对应的实时数据是否为敏感数据。
以上两种判断过程会具有误读的结果,尤其是针对于硬件设备的判断,当硬件设备为敏感设备,但其采集到的数据为非敏感数据时,则会造成数据的漏判。所以,针对于此问题,需要通过第一标签和第二标签同步判断进行实现,即通过第一标签判断采集到的数据是否为敏感设备,当判断为敏感设备时,再判断采集到的数据的第二标签确定是否为敏感数据,当判断结果分别为敏感设备以及敏感数据时则确定此数据不进行统计。
以上的过程具体包括以下步骤:
将所述第一标签和所述第二标签与预设的第一标签数据库和第二标签数据库进行比对,基于比对结果判断所述实时数据是否为敏感数据,所述第一标签数据库和所述第二标签数据库配置有多个第一敏感标签和多个第二敏感标签。在本实施例中,针对于第一标签和第二标签的比对主要基于第一标签数据库和第二标签数据库中搞的第一敏感标签和第二敏感标签进行比对实现,而针对于第一敏感标签和第二敏感标签的设置基于在先的敏感行为的判断进行设置,为经验设置方法,在本实施例中不再进行详细的描述。
而针对于以上的比对过程,主要为:将所述第一标签与所述第一标签数据库中的多个第一敏感标签进行比较,确定所述第一标签是否处于多个第一标签数据库中的范围内;将所述第二标签与所述第二标签数据库中的多个第二敏感标签进行比较,确定所述第二标签是否处于多个第二标签数据库中的范围内。
通过以上的过程判断,能够在采集到的实时数据中过筛选出非敏感信息,而后续进行处理的数据即为非敏感信息。而针对于对非敏感信息的处理包括一下过程。
步骤S130.将能够进行统计处理的实时数据对进行数据抽取处理,得到关键数据。
在筛选出非敏感信息并对非敏感信息进行处理时,因为非敏感信息所对应的实时数据中具有较高的噪音,而进行数据统计以及数据存储中为了降低处理的数据量,提高数据处理的效率,需要对于实时数据中的非重要数据进行剔除,仅保留关键的与分析和管理相关联的数据。所以针对于,获取到的非敏感信息中的实时数据需要进行处理,得到关键数据。
针对于此方法和目的,主要包括以下过程:对具有第二标签的实时数据进行降维压缩处理,并将降维压缩处理后的实时数据进行归一化处理得到关键数据。其中,针对于对于第二标签的事实数据进行降维压缩包括两次降维压缩处理,第一次降维压缩是将实时数据中的部分第一数据进行降维压缩处理得到第一实时数据,然后再将第一实时数据进行降维压缩处理,并将降维压缩处理后的实时数据进行归一化处理得到关键数据。
其中,在本申请实施例中针对于降维压缩处理的次数至少为两次,根据数据结构不同其中降维压缩处理的数量可以对应性的增加。如果实时数据结构较为复杂的情况下,则可进行大于两次的降维压缩处理,此过程在本申请实施例中不再进行赘述。
其中,针对于以上处理的详细过程为:
获取所述实时数据中的至少部分第一数据。
将至少部分第一数据映射到向量空间,得到第一向量数据,其中,所述第一向量数据包括多维度的第一向量。
将所述第一向量数据降维压缩,得到第二向量数据,其中,所述第二向量数据为所述第一实时数据。
针对于第二实时数据的得到包括以下过程:
获取所述第二实时数据中的至少部分第二数据。
将至少部分第二数据映射到向量空间,得到第三向量数据,其中,所述第三向量数据包括多维度的第三向量。
将所述第三向量数据降维压缩,得到第四向量数据,其中,所述第二向量数据为所述关键数据。
在本申请实施例中,针对于在对实时数据进行第一次降维压缩处理时选取的第一实时数据为抽选,在完成第一实时数据进行降维压缩处理后,还可以针对实时数据中的剩余实时数据执行相同的降维压缩方法。
其中,针对于映射的此过程可以理解为对于数据的预处理,即将获取的数据组织成一个标准的形式,而针对于此过程主要为了降低数据存储的空间,在原始的数据中包含较多的数据信息,不仅包括具体的数据值还包括对于数据值的定义标签。其中针对于采集到的第一实时数据和第二实时数据进行获取第一数据和第二数据主要是将由设备获取的第一实时数据和第二实时数据中的除具体数值以外的文字或者符号数据进行剔除,得到只含有数值的第一数据和第二数据,其中第一数据和第二数据为矩阵结构数据,而针对于映射的过程具体为将矩阵结构的第一数据和第二数据组织成一个标准的形式,在本实施例中,具体的处理方法为通过归一化处理方法进行实现。
在本实施例中,以上方法具体处理过程基于以下公式进行:
P_New=(P-MI)/(MA-MI),其中P是原始数据,MI是这一属性中的最小值,MA是这一属性中的最大值。通过以上处理,所有的值都会限定在0-1之间,得到一个标准结构的数据。
在本实施例中,第三向量数据为一个初始矩阵,而针对于降维压缩的方法为对于标准化处理后的数据进行处理,其中标准化处理的数据为矩阵结构,即将标准化处理的数据处理则为对初始矩阵进行处理得到目标矩阵,而针对以上的方法包括以下步骤:
对初始矩阵C进行零均值化处理处理,得到n个特征的协方差矩阵,其中针对于协方差的定义式子为:
通过零均值化处理之后,协方差定义式子为:
而针对于初始矩C所对应的协方差矩阵为:
在本实施例中/>表示n个样本的特征X与特征Y的初始数据值。
对协方差矩阵进行处理,得到协方差矩阵的n个标准正交特征向量,并按照大小排列,在本实施例中针对于此处理过程为获取寻找让协方差矩阵C对角化的矩阵P,具体通过以下公式进行获得:
其中PA为:其中/>表示的n个样本在新构建的特征下的取值。
基于获取的对角化的矩阵P进行投影到A方向获取新的n个特征值,然后基于新的n特征值进行方差的获取,将获取的n个特征值对应的方差最大的特征值进行保留,方差越大,数据分布程度越大,特征所包含的信息量越大。所以我们应该保留方差较大的一组数据,完成整体的压缩处理过程。
在本实施例中,通过映射关系提取第一实时数据以及基于映射关系提取对应于第一实时数据的第二实时数据从而得到关键数据,其中映射关系为数据与行为之间的映射,其映射关系基于数据结构所构建的映射关系,在本实施例中不再进行详细的描述。
并且,通过在处理过程中以降维压缩的方式进行数据量压缩得到数据量较小的数据,提高了后续数据处理的效率降低数据处理的成本。
步骤S140.基于第一标签和第二标签判断将关键数据进行保存。
在本申请实施例中,关键数据保存至数据中心,其中数据统计中心内配置有多个关联硬件设备标签,所述关联硬件设备设置有第一关联标签、第二关联标签和第三关联标签;所述第一关联标签用于表征关联硬件设备信息,所述第二关联标签用于表针所述关联硬件设备的实时数据信息,所述第三关联标签用于表征所述关联硬件设备对应的用户端。具体的方法包括:
遍历多个所述关联设备标签中的第一关联标签和第二关联标签确定对应的与所述第一标签和所述第二标签关联的目标硬件设备,基于目标硬件设备的第三标签确定对应的用户端。
参阅图2,提供一种智慧园区的数据统计相关装置200,在本申请实施例中,装置通过网关与多个硬件设备和多个用户端连接;所述硬件设备用于采集对应的实时数据,所述装置用于对所述实时数据处理得到关键数据,并将所述关键数据发送至对应的所述用户端,其中装置包括:
数据采集模块210,基于与所述服务器关联的网关处获取硬件设备采集到的实时数据,所述硬件设备为注册后的硬件设备;
选择模块220,用于基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为;
数据抽取模块230,用于将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据;
保存模块240,基于所述第一标签和所述第二标签判断将所述关键数据进行保存。
在本申请实施例中,针对于服务器优先选择为边缘计算服务器。实际工程应用中,对于边缘计算服务器与云计算相比,边缘计算具有安全性、时延、可靠性等诸多优点。因为边缘计算设备很少将数据传输到基于云的系统,所以很少对敏感数据进行攻击。缺少传输意味着攻击者必须直接访问设备本身,而不能攻击、攻击服务器本身或对服务器进行欺骗。把数据保存在设备上也给设计者提供了更多的机会,通过使用内存加密和专门的安全硬件来收集数据,以保护数据。还可以在边缘计算设备上对敏感数据进行部分处理,然后再将其发送给基于云的系统进行进一步处理,这有助于模糊数据,从而减少其对攻击者的用处(即,一个训练有素的神经网络远没有摄像机的视觉数据敏感)。并且在设备上进行局部数据处理还意味着数据本身的延迟会大大减少,这对需要快速结果的应用是非常有益的。局部处理数据的能力还可以消除因特网上不断连接的需求,从而提高设计的可靠性。互联网的可靠性仍然影响着全球许多地方,而且互联网的速度也可能会发生巨大的变化。利用边缘计算有助于提高本地网络的可用带宽,从而改善其他服务,例如本地服务器和其他物联网设备,从而增加单个网络上设备的最大数量(通过这样做可以集成更多的物联网设备)。所以针对于本系统的处理环境,优先选择边缘计算服务器。
参阅图3,还可以将上述方法集成于提供的智慧园区的数据统计设备300中,针对于设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器301和存储器302,存储器302中可以存储有一个或一个以上存储应用程序或数据。其中,存储器302可以是短暂存储或持久存储。存储在存储器302的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括智慧园区的数据统计设备中的一系列计算机可执行指令。更进一步地,处理器301可以设置为与存储器302通信,智慧园区的数据统计设备上执行存储器302中的一系列计算机可执行指令。智慧园区的数据统计设备还可以包括一个或一个以上电源303,一个或一个以上有线或无线网络接口304,一个或一个以上输入/输出接口305,一个或一个以上键盘306等。
在一个具体的实施例中,智慧园区的数据统计设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对智慧园区的数据统计设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
基于与服务器关联的网关处获取硬件设备采集到的实时数据;
基于实时数据的第一标签和第二标签选择是否对实时数据进行统计处理,得到待统计数据;
将能够进行统计处理的实时数据对进行数据抽取处理,得到关键数据;
基于第一标签和第二标签判断将关键数据进行保存。
下面对处理器的各个构成部件进行具体的介绍:
其中,在本实施例中,处理器是特定集成电路(application specificintegrated circuit,ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signalprocessor,DSP),或,一个或者多个现场可编程门阵列(fieldprogrammable gate array,FPGA)。
可选地,处理器可以通过运行或执行存储在存储器内的软件程序,以及调用存储在存储器内的数据,执行各种功能,例如执行上述图1所示的方法。
在具体的实现中,作为一种实施例,处理器可以包括一个或多个微处理器。
其中,所述存储器用于存储执行本申请方案的软件程序,并由处理器来控制执行,具体实现方式可以参考上述方法实施例,此处不再赘述。
可选地,存储器可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以和处理器集成在一起,也可以独立存在,并通过处理器的接口电路与处理单元进行耦合,本申请实施例对此不作具体限定。
需要说明的是,在本实施例中示出的处理器的结构并不构成对该装置的限定,实际的装置可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
此外,处理器的技术效果可以参考上述方法实施例所述的方法的技术效果,此处不再赘述。
应理解,在本申请实施例中的处理器可以是其他通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现成可编程门阵列(fieldprogrammable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-onlymemory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种智慧园区生产数据统计方法,其特征在于,应用于服务器,所述方法包括:
基于与所述服务器关联的网关处获取硬件设备采集到的实时数据,所述硬件设备为注册后的硬件设备;
基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为;
将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据;
基于所述第一标签和所述第二标签判断将所述关键数据进行保存;
其中,基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,包括:
将所述第一标签和所述第二标签与预设的第一标签数据库和第二标签数据库进行比对,基于比对结果判断所述实时数据是否为敏感数据,所述第一标签数据库和所述第二标签数据库配置有多个第一敏感标签和多个第二敏感标签;
将所述第一标签和所述第二标签与预设的第一标签数据库和第二标签数据库进行比对,基于比对结果判断所述实时数据是否为敏感数据,包括:
将所述第一标签与所述第一标签数据库中的多个第一敏感标签进行比较,确定所述第一标签是否处于多个第一标签数据库中的范围内;将所述第二标签与所述第二标签数据库中的多个第二敏感标签进行比较,确定所述第二标签是否处于多个第二标签数据库中的范围内;
将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据,包括:对具有第二标签的实时数据进行降维压缩处理,并将降维压缩处理后的实时数据进行归一化处理得到关键数据;
对具有第二标签的实时数据进行降维压缩处理,包括:
获取所述实时数据中的至少部分第一数据;
将至少部分第一数据映射到向量空间,得到第一向量数据,其中,所述第一向量数据包括多维度的第一向量;
将所述第一向量数据降维压缩,得到第二向量数据,其中,所述第二向量数据为第一实时数据;
将所述第一实时数据进行降维压缩处理得到所述关键数据。
2.根据权利要求1所述的智慧园区生产数据统计方法,其特征在于,所述第一标签和所述第二标签的获得,包括以下方法:
将所述实时数据通过第一映射关系以及第二映射关系分别得到所述第一标签和所述第二标签。
3.根据权利要求2所述的智慧园区生产数据统计方法,其特征在于,其特征在于,将所述第一实时数据进行降维压缩处理得到所述关键数据,包括:
获取所述第一实时数据中的至少部分第一数据;
将至少部分第一数据映射到向量空间,得到第三向量数据,其中,所述第三向量数据包括多维度的第三向量;
将所述第三向量数据降维压缩,得到第四向量数据,其中,所述第二向量数据为所述关键数据。
4.根据权利要求1所述的智慧园区生产数据统计方法,其特征在于,所述关键数据保存至数据中心,所述数据统计中心内配置有多个关联硬件设备标签,所述关联硬件设备设置有第一关联标签、第二关联标签和第三关联标签;所述第一关联标签用于表征关联硬件设备信息,所述第二关联标签用于表针所述关联硬件设备的实时数据信息,所述第三关联标签用于表征所述关联硬件设备对应的用户端。
5.根据权利要求4所述的智慧园区生产数据统计方法,其特征在于,基于所述第一标签和所述第二标签判断将所述关键数据进行保存,包括:
遍历多个所述关联硬件设备标签中的第一关联标签和第二关联标签确定对应的与所述第一标签和所述第二标签关联的目标硬件设备,基于所述目标硬件设备的第三标签确定对应的用户端。
6.一种基于权利要求1-5任一项所述智慧园区的数据统计方法的相关装置,其特征在于,通过网关与多个硬件设备和多个用户端连接;所述硬件设备用于采集对应的实时数据,所述装置用于对所述实时数据处理得到关键数据,并将所述关键数据发送至对应的所述用户端;所述装置包括:
数据采集模块,基于与所述服务器关联的网关处获取硬件设备采集到的实时数据,所述硬件设备为注册后的硬件设备;
选择模块,用于基于所述实时数据的第一标签和第二标签选择是否对所述实时数据进行统计处理,得到待统计数据,所述第一标签用于表征所述硬件设备,所述第二标签用于表征实时数据的行为;
数据抽取模块,用于将能够进行统计处理的所述实时数据对进行数据抽取处理,得到关键数据;
保存模块,基于所述第一标签和所述第二标签判断将所述关键数据进行保存。
CN202310959938.5A 2023-08-02 2023-08-02 一种智慧园区生产数据统计方法及相关装置 Active CN117033889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310959938.5A CN117033889B (zh) 2023-08-02 2023-08-02 一种智慧园区生产数据统计方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310959938.5A CN117033889B (zh) 2023-08-02 2023-08-02 一种智慧园区生产数据统计方法及相关装置

Publications (2)

Publication Number Publication Date
CN117033889A CN117033889A (zh) 2023-11-10
CN117033889B true CN117033889B (zh) 2024-04-05

Family

ID=88634665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310959938.5A Active CN117033889B (zh) 2023-08-02 2023-08-02 一种智慧园区生产数据统计方法及相关装置

Country Status (1)

Country Link
CN (1) CN117033889B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059967A (zh) * 2019-04-23 2019-07-26 北京相数科技有限公司 一种应用于城市辅助决策分析的数据处理方法及装置
WO2020192460A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 数据处理的方法、端侧设备、云侧设备和端云协同系统
CN112434877A (zh) * 2020-12-09 2021-03-02 曾李 一种基于云计算的智慧城市数据处理方法及装置
CN113780847A (zh) * 2021-09-16 2021-12-10 苏州绿萃筑信息科技有限公司 基于物联网的智慧社区信息处理方法及服务器
CN113868497A (zh) * 2021-09-28 2021-12-31 绿盟科技集团股份有限公司 一种数据分类方法、装置和存储介质
CN113869703A (zh) * 2021-09-24 2021-12-31 罗乾鹏 一种基于云计算的智慧城市管理方法及系统
CN114830054A (zh) * 2019-12-13 2022-07-29 巴斯夫欧洲公司 用于监视和/或控制一个或多个化工厂的制造系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020192460A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 数据处理的方法、端侧设备、云侧设备和端云协同系统
CN110059967A (zh) * 2019-04-23 2019-07-26 北京相数科技有限公司 一种应用于城市辅助决策分析的数据处理方法及装置
CN114830054A (zh) * 2019-12-13 2022-07-29 巴斯夫欧洲公司 用于监视和/或控制一个或多个化工厂的制造系统
CN112434877A (zh) * 2020-12-09 2021-03-02 曾李 一种基于云计算的智慧城市数据处理方法及装置
CN113780847A (zh) * 2021-09-16 2021-12-10 苏州绿萃筑信息科技有限公司 基于物联网的智慧社区信息处理方法及服务器
CN113869703A (zh) * 2021-09-24 2021-12-31 罗乾鹏 一种基于云计算的智慧城市管理方法及系统
CN113868497A (zh) * 2021-09-28 2021-12-31 绿盟科技集团股份有限公司 一种数据分类方法、装置和存储介质

Also Published As

Publication number Publication date
CN117033889A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US10547618B2 (en) Method and apparatus for setting access privilege, server and storage medium
Zawoad et al. Digital forensics in the age of big data: Challenges, approaches, and opportunities
CN111738244A (zh) 图像检测方法、装置、计算机设备和存储介质
CN110322349B (zh) 一种数据的处理方法、装置及设备
Yue et al. Deep Learning‐Based Security Behaviour Analysis in IoT Environments: A Survey
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
CN106294219B (zh) 一种设备识别、数据处理方法、装置及系统
CN110163061B (zh) 用于提取视频指纹的方法、装置、设备和计算机可读介质
CN111371778B (zh) 攻击团伙的识别方法、装置、计算设备以及介质
WO2016070673A1 (zh) 用户属性分析方法及装置
CN111159413A (zh) 日志聚类方法、装置、设备及存储介质
US10083194B2 (en) Process for obtaining candidate data from a remote storage server for comparison to a data to be identified
CN113222930A (zh) 基于图像分析的恶意流量检测方法、终端设备及存储介质
Yin et al. Anomaly traffic detection based on feature fluctuation for secure industrial internet of things
CN117609992A (zh) 一种数据泄密检测方法、装置及存储介质
Apurva et al. Redefining cyber security with big data analytics
CN117033889B (zh) 一种智慧园区生产数据统计方法及相关装置
CN116738369A (zh) 一种流量数据的分类方法、装置、设备及存储介质
CN116702220A (zh) 基于加密特征分析的数据比对方法及系统
CN115544555A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN114021112A (zh) 密码算法能量分析方法及装置、存储介质及电子设备
CN113779473A (zh) 一种基于人工智能的互联网大数据处理方法及系统
CN112036501A (zh) 基于卷积神经网络的图片的相似度检测方法及其相关设备
CN111061903A (zh) 图像特征搜索方法、装置、电子设备及存储介质
CN116821428B (zh) 基于数据中台的业务数据智能存储方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant