CN115292743B - 一种基于智群感知技术的大数据应用系统 - Google Patents

一种基于智群感知技术的大数据应用系统 Download PDF

Info

Publication number
CN115292743B
CN115292743B CN202210796944.9A CN202210796944A CN115292743B CN 115292743 B CN115292743 B CN 115292743B CN 202210796944 A CN202210796944 A CN 202210796944A CN 115292743 B CN115292743 B CN 115292743B
Authority
CN
China
Prior art keywords
data
perception
sensing
information
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210796944.9A
Other languages
English (en)
Other versions
CN115292743A (zh
Inventor
吴晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210796944.9A priority Critical patent/CN115292743B/zh
Publication of CN115292743A publication Critical patent/CN115292743A/zh
Application granted granted Critical
Publication of CN115292743B publication Critical patent/CN115292743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于智群感知技术的大数据应用系统,包括:数据感知模块:用于接收感知任务,通过移动智能设备采集感知数据,并将所述感知数据存储在感知数据库;数据聚合模块:用于通过双线程聚合对所述感知数据库的感知数据进行数据聚合,获得聚合数据;所述双线程聚合包括:有效感知数据信息聚合、隐私感知数据信息聚合;数据服务模块:用于通过大数据应用平台进行感知数据完整性校验,将校验后的感知数据通过信息查询点进行查询反馈,本发明基于移动群智感知技术作为大数据采集方式,具有成本低廉、感知时空覆盖度大、数据公共化、商业模式清晰的优点。

Description

一种基于智群感知技术的大数据应用系统
技术领域
本发明涉及大数据应用技术领域,特别涉及一种基于智群感知技术的大数据应用系统。
背景技术
目前,无线传感器已被应用于各类移动智能产品上,无线传感器在满足各类移动智能产品的需求的同时,还导致大部分的资源被闲置浪费,随着群智感知技术的出现和成熟,移动智能产品上的无线传感器被多次使用了起来,通过移动智能产品的无线传感器进行感知数据的采集,将采集的感知数据通过大数据平台进行分析,获得有价值的感知数据,但是目前,各类基于群智感知技术的大数据系统和平台具有数据局限性,例如:群智感知的车联网大数据系统,只在汽车领域进行感知数据收集,不具有通用性,同时论文Popa R A,Li F H,Zeldovich N.An ideal security protocol for order-preserving encoding[C].In Proceedings of the IEEE Symposium on Security and Privacy(S&P),Berkeley,中指出由于群智感知技术为新出现的技术,在感知数据采集,聚合和上传时,没有对用户隐私数据进行保护,造成用户身份的泄漏,因此,在感知数据采集、聚合和数据服务中,对感知数据隐私数据进行分离和保护、通用型的基于智群感知技术的大数据应用系统,是我们需要探究的方向。
发明内容
本发明提供一种基于智群感知技术的大数据应用系统,用以解决大数据应用系统不具备通用性和隐私数据容易暴露的情况。
一种基于智群感知技术的大数据应用系统,包括:
数据感知模块:用于接收感知任务,通过移动智能设备采集感知数据,并将所述感知数据存储在感知数据库;
数据聚合模块:用于通过双线程聚合对所述感知数据库的感知数据进行数据聚合,获得聚合数据;所述双线程聚合包括:有效感知数据信息聚合、隐私感知数据信息聚合;
数据服务模块:用于通过大数据应用平台进行感知数据完整性校验,将校验后的感知数据通过信息查询点进行查询反馈。
作为本发明的一种实施例:所述数据感知模块:包括:
感知任务生成单元:用于收集大数据应用平台上的发布任务,根据所述发布任务生成感知任务,所述感知任务类型包括:车辆数据感知任务、空气质量感知任务、人体运动数据感知任务、交通数据感知任务;
感知数据收集单元:用于通过移动智能设备进行多方式感知数据采集,获得感知数据;其中,所述多方式感知数据采集包括:主动数据感知采集,被动数据感知采集,所述感知数据包括:车辆感知数据、空气质量感知数据、人体运动感知数据、交通运输感知数据;
感知数据库单元:用于将所述感知任务的感知数据存储在对应感知数据库中,所述对应感知数据库的类型包括:车辆感知数据库、空气质量感知数据库、人体运动感知数据库、交通运输感知数据库;
感知数据激励单元:用于根据感知数据的质量进行混合激励,所述混合激励以发放虚拟货币的方式进行;其中,所述混合激励包括:感知数据质量激励、数据隐私保护激励,所述质量包括:感知数据完整性、感知数据真实性;
感知数据防篡改单元:用于对各类型感知数据库中的感知数据设置不同类型数据认证码,所述不同类型数据认证码对所述感知数据进行数据完整性校验;所述不同类型数据认证码包括:感知数据加密、感知数据认证、哈希函数。
作为本发明的一种实施例:所述数据感知模块还包括:数据隐私保护单元:用于通过隐匿技术和加密技术对参与者的隐私信息进行保护;其中,所述数据隐私保护单元包括:
地理位置保护子单元:用于通过将参与者的地理位置通过空间隐匿技术放在隐匿区域内,进行参与者地理位置保护;
身份信息保护子单元:用于为每个参与者设置多个周期性可更改的虚拟账号,通过所述虚拟账号上传感知数据;其中,所述虚拟账号包括:虚拟名称、虚拟IP、虚拟SIM卡;
数据保护子单元:用于将感知数据进行数据切片,生成感知数据片,并对所述感知数据片进行编码,将编码后的感知数据片与其它感知数据片进行数据混合,获得混和感知数据片;
数据关联保护子单元:用于通过盲签名技术去除感知数据与参与者的关联性。
作为本发明的一种实施例:所述数据聚合模块:包括:
所述数据聚合模块:包括:
感知数据重构单元:用于当接收的混和感知数据片的数量达到预设数量值时,对所述混和感知数据片进行数据解码,将解码后的感知数据进行感知数据聚合,获得数据聚合结果;
感知数据提取单元:用于对所述感知数据进行感知粒度划分,获得粒度数据,在所述粒度数据中获得感知数据信息;其中,所述粒度数据包括:粗粒度感知数据、细粒度感知数据,所述感知数据信息包括:有效感知数据信息、隐私感知数据信息。
作为本发明的一种实施例:所述数据聚合模块,还包括:感知数据信息处理单元:用于通过双线程数据聚合对所述感知数据信息进行协议数据聚合;其中,
有效感知数据信息聚合子单元:用于在参与者和大数据应用平台中间设置中继节点,用于提取所述感知数据中的有效感知数据;其中,所述有效感知数据信息包括:感知目标、感知目标数据;
隐私感知数据信息聚合子单元:用于在所述中继节点上,提取所述感知数据中的隐私感知数据信息;其中,所述隐私感知数据信息包括:地理位置、身份信息。
作为本发明的一种实施例:所述数据服务模块,包括:
感知数据信息查询单元:用于对所述有效感知数据信息进行信息加密,并将加密的有效感知数据信息的通过信息通道与信息查询点连接起来,当用户通过查询点进行感知数据信息查询时,通过安全查询协议对所述有效感知数据信息进行信息解密,获得解密后的有效感知数据信息;其中,所述信息加密包括:信息密文模运算、信息密文乘法运算。
作为本发明的一种实施例:所述数据服务模块还包括:
感知数据信息完整性判断单元:用于在参与者上传所述感知数据时,在所述感知数据上附加数据认证码,所述大数据应用平台接收到查询请求后,进行两路感知数据反馈,获得数据服务模块的有效感知数据信息和数据感知模块的原始感知数据,根据所述原始感知数据对所述有效感知数据信息进行完整性校验,获得校验结果。
作为本发明的一种实施例:所述数据聚合模块还包括:
感知数据迭代单元:用于对感知数据聚合完成后,将聚合结果从数据聚合模块进行移除,并重新接收所述混和感知数据片,对感知数据进行周期性的更新;所述感知数据迭代的步骤为:
步骤一:接收混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片;
步骤二:预设聚合结果集,当生成一个聚合结果后,将所述聚合结果放置在所述预设聚合结果集的第一个位置,此时聚合指针指向后一个位置,当聚合指针到达更新节点时,将聚合结果集的聚合结果传送至感知数据提取单元,并清空所述预设聚合结果集;
步骤三:清空混和感知数据片,接收新的混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片。
作为本发明的一种实施例:所述数据服务模块还包括:
参与者信誉评价单元:用于根据参与者上传的感知数据的质量和数量通过信誉累计规则进行参与者信誉等级划分;其中,所述信誉等级包括:一级信誉参与者、二级信誉参与者、三级信誉参与者。
作为本发明的一种实施例:大数据应用系统还包括:
恶意感知数据处理模块:用于对所述感知数据进行数据聚合,获得聚合感知数据值,当所述感知数据值偏离预设感知数据值范围,在所述中继节点上通过AC追踪获得感知数据的发布者的真实身份,对所述发布者的账号进行信誉降级和扣除虚拟货币处理。
本发明有益效果为:本发明中,通过参与者发现大数据平台上发布感知任务,可收集各类数据进行大数据分析,体现了本系统的通用性,针对感知任务及进行感知数据主动感知数据感知采集,通过多元化的感知数据采集,可以采集多种感知数据,对感知数据进行数据切片和数据混合,保护感知数据,通过将混和感知数据片进行数据片分离和双线程数据聚合,生成有效感知数据信息聚合和隐私感知数据信息聚合,有利于对参与者隐私的保护,获得原始感知数据,对原始感知数据进行聚合和数据处理,获得有用感知数据信息,在数据服务模块,通过查询点对有用感知数据信息进行查询和数据信息为完整性确认,基于移动群智感知技术作为大数据采集方式,具有成本低廉、感知时空覆盖度大、数据公共化、商业模式清晰的特点。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于智群感知技术的大数据应用系统的示意图;
图2为本发明实施例中一种基于智群感知技术的大数据应用系统的数据隐私保护单元示意图;
图3为本发明实施例中一种基于智群感知技术的大数据应用系统的数据服务模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
需说明的是,当部件被称为“固定于”或“设置于”另一个部件,它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件,它可以是直接或者间接连接至该另一个部件上。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,“多个”的含义是两个或两个以上,除非另有明确具体的限定。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
实施例1:
本发明实施例提供了一种基于智群感知技术的大数据应用系统,包括:
数据感知模块:用于接收感知任务,通过移动智能设备采集感知数据,并将所述感知数据存储在感知数据库;
数据聚合模块:用于通过双线程聚合对所述感知数据库的感知数据进行数据聚合,获得聚合数据;所述双线程聚合包括:有效感知数据信息聚合、隐私感知数据信息聚合;
数据服务模块:用于通过大数据应用平台进行感知数据完整性校验,将校验后的感知数据通过信息查询点进行查询反馈。
在一个实际的场景中:在传统的智群感知技术的大数据应用系统中,通过移动智能产品的无线传感器进行感知数据的采集,将采集的感知数据通过大数据平台进行分析,获得有价值的感知数据,但是目前,各类基于群智感知技术的大数据系统和平台具有数据局限性,例如:群智感知的车联网大数据系统,只在汽车领域进行感知数据收集,不具有通用性,同时,各类大数据系统不注重用户隐私的保护,一味地获取用户的感知数据的所有内容,造成用户隐私数据被暴露;
本发明在进行实施的时候,首先通过移动智能设备根据感知任务进行感知数据的采集,感知任务包括:车辆感知数据收集、水域污染情况收集、空气质量数据收集、骑行人的身体状况数据收集等等,通过发布各类感知任务收集不同的数据进行大数据分析,当参与者发现大数据应用平台上发布感知任务时,针对感知任务及进行感知数据主动感知数据感知采集,被动感知数据感知采集的,并对上传的感知数据质量进行确认和用户隐私数据隐藏,大数据应用平台将采集的感知数据进行数据切片,并与其他感知数据片进行数据混合,获得混和感知数据片,将混和感知数据片进行数据片分离并进行双线程数据聚合,生成有效感知数据信息聚合和隐私感知数据信息聚合,获得原始感知数据,根据感知任务对感知数据进行提取有用感知数据,保护感知数据中用户隐私数据,并对有用的感知数据信息进行完整性确认,通过查询业务对感知任务的结果进行查询。
上述技术方案的有益效果为:本发明中,通过参与者发现大数据平台上发布感知任务,可收集各类数据进行大数据分析,体现了本系统的通用性,针对感知任务及进行感知数据主动感知数据感知采集,通过多元化的感知数据采集,可以采集多种感知数据,对感知数据进行数据切片和数据混合,保护感知数据,通过将混和感知数据片进行数据片分离和双线程数据聚合,生成有效感知数据信息聚合和隐私感知数据信息聚合,有利于对参与者隐私的保护,获得原始感知数据,对原始感知数据进行聚合和数据处理,获得有用感知数据信息,在数据服务模块,通过查询点对有用感知数据信息进行查询和数据信息为完整性确认,基于移动群智感知技术作为大数据采集方式,具有成本低廉、感知时空覆盖度大、数据公共化、商业模式清晰的特点。
实施例2:
在一个实施例中,所述数据感知模块:包括:
感知任务生成单元:用于收集大数据应用平台上的发布任务,根据所述发布任务生成感知任务,所述感知任务类型包括:车辆数据感知任务、空气质量感知任务、人体运动数据感知任务、交通数据感知任务;
感知数据收集单元:用于通过移动智能设备进行多方式感知数据采集,获得感知数据;其中,所述多方式感知数据采集包括:主动数据感知采集,被动数据感知采集,所述感知数据包括:车辆感知数据、空气质量感知数据、人体运动感知数据、交通运输感知数据;
感知数据库单元:用于将所述感知任务的感知数据存储在对应感知数据库中,所述对应感知数据库的类型包括:车辆感知数据库、空气质量感知数据库、人体运动感知数据库、交通运输感知数据库;
感知数据激励单元:用于根据感知数据的质量进行混合激励,所述混合激励以发放虚拟货币的方式进行;其中,所述混合激励包括:感知数据质量激励、数据隐私保护激励,所述质量包括:感知数据完整性、感知数据真实性;
感知数据防篡改单元:用于对各类型感知数据库中的感知数据设置不同类型数据认证码,所述不同类型数据认证码对所述感知数据进行数据完整性校验;所述不同类型数据认证码包括:感知数据加密、感知数据认证、哈希函数。在一个实际的场景中:大数据应用系统具有局限性,例如:智慧交通大数据应用系统,远程医疗大数据应用系统,但是他们都是在一个领域进行大数据收集,不具备通用性,智群感知在感知数据收集时也只对这一领域的数据进行收集,不具有普遍性;
本发明在进行实施的时候,首先,用户接收感知任务后查看任务目标,根据任务目标进行感知数据的采集,采集方式有两种,一种是通过主动数据感知采集,例如通过摄像头拍照,进行主动录音,另一种是被动数据感知采集,通过移动智能设备在隐私保护机制下进行自动收集感知数据,将感知数据上传到大数据平台,平台根据感知数据的质量和隐私保护是否全面通过发放虚拟货币的方式进行激励,并通过在感知数据上以数据认证码的方式进行对感知数据进行防篡改保护。
上述技术方案的有益效果为:本发明中,通过主动数据感知采集方式采集感知数据,获取的感知数据精高,通过被动数据感知采集方式采集感知数据,移动智能设备在在隐私保护机制下进行自动收集感知数据,不需要参与者亲自采集,通过感知数据激励可以吸引更多的参与者,同时获得跟多的感知数据,通过对更多的大数据进行分析,可以获得更准确客观的数据信息。
实施例3:
在一个实施例中,所述数据感知模块还包括:数据隐私保护单元:用于通过隐匿技术和加密技术对参与者的隐私信息进行保护;其中,所述数据隐私保护单元包括:
地理位置保护子单元:用于通过将参与者的地理位置通过空间隐匿技术放在隐匿区域内,进行参与者地理位置保护;
身份信息保护子单元:用于为每个参与者设置多个周期性可更改的虚拟账号,通过所述虚拟账号上传感知数据;其中,所述虚拟账号包括:虚拟名称、虚拟IP、虚拟SIM卡;
数据保护子单元:用于将感知数据进行数据切片,生成感知数据片,并对所述感知数据片进行编码,将编码后的感知数据片与其它感知数据片进行数据混合,获得混和感知数据片;
数据关联保护子单元:用于通过盲签名技术去除感知数据与参与者的关联性。
在一个实际的场景中:大多数通过智群感知技术手机感知数据时,不注重隐私数据的保护,导致隐私数据被随意泄露,可能会造成隐私信息的贩卖;
本发明在进行实施的时候,在感知数据采集的时候,参与者可能将隐私信息暴露在感知数据中,当大数据平台根据感知任务对感知数据进行分析后,发现感知数据中包含参与者的隐私数据,对参与者的隐私进行隐私保护,感知任务不需要获取参与者的位置时,对参与者上传的感知数据中的精确位置放在隐匿区域内,进行参与者地理位置保护,并通过设置多个周期性可更改的虚拟账号进行参与者真实身份保护,将运输感知数据进行数据切割,每个感知数据分成三个感知数据片,并与其他感知数据片进行混合,生成混和感知数据片,同时也通过对盲签名技术,断开参与者与感知数据的关联。
上述技术方案的有益效果为:本发明中,通过将参与者的精确位置放在隐匿区域内,进行参与者地理位置保护,通过虚拟名称、虚拟IP、虚拟SIM卡对参与者的真实身份进行保护,通过对感知数据进行数据切割和混合,实现了感知数据的保护,通过盲签名技术,将参与者和感知数据的关联性进行去除。
实施例4:
在一个实施例中,所述数据聚合模块:包括:
感知数据重构单元:用于当接收的混和感知数据片的数量达到预设数量值时,对所述混和感知数据片进行数据解码,将解码后的感知数据进行感知数据聚合,获得数据聚合结果;
感知数据提取单元:用于对所述感知数据进行感知粒度划分,获得粒度数据,在所述粒度数据中获得感知数据信息;其中,所述粒度数据包括:粗粒度感知数据、细粒度感知数据,所述感知数据信息包括:有效感知数据信息、隐私感知数据信息。
在一个实际的场景中:数据聚合有多种方法,可以通过数据切片混合方法、给感知数据加噪、给感知数据进行同态加密,但是给感知数据加噪效率高,可能会暴露参与者的隐私,给感知数据进行同态加密,适合在单一的大数据应用系统,不适合通用型的大数据应用系统;
本发明在进行实施的时候,首先在数据聚合模块下,当重构单元接收到的混和感知数据片达到预设数量值时,对混和感知数据片进行数据重组,获得聚合感知数据,并根据感知数据内容的大小,对感知数据进行粗粒度感知数据、细粒度感知数据分配,再从每个粗粒度感知数据、细粒度感知数据中获得有用感知数据信息、隐私感知数据信息。
上述技术方案的有益效果为:本发明中,对混和感知数据片的数量达到预设数量值时,对所述混和感知数据片进行重组和聚合,提高了数据采集和聚合的效率,不需要实时对混和感知数据片进行解码,并通过分配节点对粒度数据进行划分,通过划分获得粗粒度和细粒度,在每个粒度中可以快速对感知数据信息进行分析和提取。
在一个具体的实施例中,在对感知数据进行数据分配时,
步骤一:通过分配节点进行数据分配,通过预设的粒度数据划分值,对所有感知数据进行粗粒度感知数据、细粒度感知数据的划分:
Figure GDA0004136214960000141
其中,WE表示感知数据粒度系数,E表示感知数据,Xi表示感知数据粒度的起始位置长度,i表示感知数据的计数,Xo表示预设的粒度数据划分值的数据起始长度,Yi表示感知数据力度的结束位置长度,Yo表示预设的粒度数据划分值的数据结束位置长度,∪表示感知数据的位长度;E表示感知数据;
步骤二:对粒度数据进行有用感知数据信息、隐私感知数据信息的提取:
Figure GDA0004136214960000142
其中,rc表示感知数据分配函数,c表示数据分配点,τ表示分配因素,
Figure GDA0004136214960000143
表示感知数据的数据分离式,HK表示有用感知数据信息,TK表示隐私感知数据信息,E表示感知数据,B表示感知数据的解码信息;K表示感知数据信息;H表示有用;T表示隐私;
步骤三:感知数据的数据分离式:
Figure GDA0004136214960000144
其中,J表示感知数据的分离因素,UE表示感知数据的位长度,B(UE)表示对位长度上的感知数据的进行解密的解密函数;
本技术方案的工作原理:本技术方案通过分配节点进行数据分配,通过预设的粒度数据划分值,将所有感知数据根据为长度划分出粗粒度感知数据和细粒度感知数据,并对感知数据根据分配因素将感知数据分成有用感知数据信息、隐私感知数据信息两类数据;
上述技术方案的有益效果为:将将所有感知数据根据为长度划分出粗粒度感知数据和细粒度感知数据,有利于在各个粒度中快速识别分配因素,对感知数据根据分配因素将感知数据分成有用感知数据信息、隐私感知数据信息两类数据,有利于保护参与者的隐私数据。
实施例5:
在一个实施例中,所述数据聚合模块,还包括:感知数据信息处理单元:用于通过双线程数据聚合对所述感知数据信息进行协议数据聚合;其中,
有效感知数据信息聚合子单元:用于在参与者和大数据应用平台中间设置中继节点,用于提取所述感知数据中的有效感知数据;其中,所述有效感知数据信息包括:感知目标、感知目标数据;
隐私感知数据信息聚合子单元:用于在所述中继节点上,提取所述感知数据中的隐私感知数据信息;其中,所述隐私感知数据信息包括:地理位置、身份信息。
在一个实际的场景中:在数据聚合的时候,一般使用单线程对感知数据进行全部数据聚合,不会将感知数据分为有用感知数据信息聚合和隐私感知数据信息聚合;
本发明在进行实施的时候,在感知数据信息处理方面,通过双线程进行有用感知数据信息和隐私感知数据信息聚合,在中继节点上根据感知任务的任务目标和任务数据提取感知数据的感知目标、感知目标数据,同时将除感知目标和感知目标数据的隐私数据提取出来,进行隐私感知数据信息聚合,这部分感知数据客户不会查询到。
上述技术方案的有益效果为:本发明中,通过双线程进行有用感知数据信息和隐私感知数据信息聚合,将感知数据信息一分为二,一方面获取有效的感知数据信息,另一方面对参与者的隐私数据进行保护。
实施例6:
在一个实施例中,所述数据服务模块,包括:
感知数据信息查询单元:用于对所述有效感知数据信息进行信息加密,并将加密的有效感知数据信息的通过信息通道与信息查询点连接起来,当用户通过查询点进行感知数据信息查询时,通过安全查询协议对所述有效感知数据信息进行信息解密,获得解密后的有效感知数据信息;其中,所述信息加密包括:信息密文模运算、信息密文乘法运算。
在一个实际的场景中:在用户对感知数据进行查询的时候,直接可以查询到参与者上传的所有感知数据,并不对感知数据进行处理,并且在查询的时候,不对查询结果进行密码保护;
本发明在进行实施的时候,在数据服务模块中,通过查询模块,用户可以对用感知数据信息进行查询,查询模块由查询点、信息通道和有用感知数据信息三部分组成,有用感知数据信息通过信息密文模运算、信息密文乘法运算的加密方式对数据信息进行加密保护,当大数据平台接收到用户的查询请求时,通过安全查询协议对所述有用感知数据信息进行信息解密,获得有用感知数据信息。
上述技术方案的有益效果为:本发明中,在有用感知数据信息被查询的时候,容易被恶意攻击,导致有用感知数据信息不完整或者被篡改,通过密文保护,可以防止有用感知数据信息在通过信息通道是被攻击,提高有用感知数据信息的安全性。
在一个具体的实施例中,当接收到查询请求后,通过信息通道对感知数据进行获取,并通过安全查询协议对数据信息进行解密,获取有用感知数据信息;
步骤一:对有用感知数据信息进行信息密文模运算解码:
EV=|(Xe-jk)d|
其中,EV表示对感知数据密文模运算解码结果,v表示密文模运算结果,X表示公钥,j表示素因子,k表示密文,d表示明文因子;
步骤二:对有用感知数据信息进行信息密文乘法运算解码:
EI=Xe×jk
其中,EI表示对感知数据密文乘法运算解码结果;
本技术方案的工作原理:通过对有用感知数据信息通过获得公钥和素因子,对密文进行模运算解密,解密后,通过对数据密文进行乘积运算解码,获得双重解码后的有用感知数据信息;
本技术方案的有益效果:通过对有用感知数据信息的双重解码,将有用感知数据信息安全通过信息通道发送到查询者,避免了在信息通道中被恶意攻击和数据篡改。
实施例7:
在一个实施例中,所述数据服务模块,还包括:
感知数据信息完整性判断单元:用于在参与者上传所述感知数据时,在所述感知数据上附加数据认证码,所述大数据应用平台接收到查询请求后,进行两路感知数据反馈,获得数据服务模块的有效感知数据信息和数据感知模块的原始感知数据,根据所述原始感知数据对所述有效感知数据信息进行完整性校验,获得校验结果。
在一个实际的场景中:在数据服务模块,一般不对感知数据进行完整性判断,只需要对将感知数据进行调节;
本发明在进行实施的时候,大数据应用系统在参与者上传感知数据的时候,对每个感知数据随机附加消息认证码,当大数据应用平台接收到查询请求后,通过调取有用感知数据信息进行查询反馈,同时用户返回消息认证码的验证信息,可以看到原始感知信息的用户同时返回消息认证码的验证信息,通过这种方式进行有用感知数据信息完整性的验证和确定。
上述技术方案的有益效果为:本发明中,通过在参与者上传感知数据的时候,对每个感知数据随机附加消息认证码,在后续查询结果完整性确认中起到调取原始感知数据中有用感知数据信息,防止有用感知数据信息在信息通道中被篡改和破坏。
实施例8:
在一个实施例中,所述数据聚合模块还包括:
感知数据迭代单元:用于对感知数据聚合完成后,将聚合结果从数据聚合模块进行移除,并重新接收所述混和感知数据片,对感知数据进行周期性的更新;所述感知数据迭代的步骤为:
步骤一:接收混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片;
步骤二:预设聚合结果集,当生成一个聚合结果后,将所述聚合结果放置在所述预设聚合结果集的第一个位置,此时聚合指针指向后一个位置,当聚合指针到达更新节点时,将聚合结果集的聚合结果传送至感知数据提取单元,并清空所述预设聚合结果集;
步骤三:清空混和感知数据片,接收新的混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片。
在一个实际的场景中:一般在感知数据聚合时,只要接收到混和感知数据片就看是对感知数据进行数据聚合,但是,这种能过整合出一个完整的感知数据使用的时间很长,导致效率低下;
本发明在进行实施的时候,首先接收一定数量的混和感知数据片后停止接收混和感知数据片,对感知数据片进行聚合,将聚合结果放置在聚合结果集中,当聚合结果集的聚合指针到达更新节点时,将聚合结果集的聚合结果传送至感知数据提取单元,并清空所述预设聚合结果集,同时清空混和感知数据片,接收新的混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片。
上述技术方案的有益效果为:本发明中,通过将聚合结果发送到数据服务模块中,并对已经发送的聚合结果进行删除,进行感知数据聚合更新操作,通过对感知数据进行周期性的更新,进行周而复始的数据聚合。
实施例9:
在一个实施例中,所述数据服务模块,还包括:
参与者信誉评价单元:用于根据参与者上传的感知数据的质量和数量通过信誉累计规则进行参与者信誉等级划分;其中,所述信誉等级包括:一级信誉参与者、二级信誉参与者、三级信誉参与者。
在一个实际的场景中:参与者上传的感知数据可能存在虚假数据的情况,如果系统不采取措施降低虚假数据的存在,可能导致大数据应用系统的数据不具有参考价值;
本发明在进行实施的时候,大数据应用系统中,难免遇到恶意参与者上传虚假感知数据,获取虚拟货币,破坏大数据分析结果,使数据分析结果不准确,远离真实值,通过根据参与者上传的感知数据质量进行评估,进行信誉累计,进行信誉评估,一级信誉参与者上传的的感知数据中没有虚假感知数据,二级信誉参与者上传的感知数据中有三个数量内的虚假感知数据,三级信誉参与者上传的感知数据中有超过三个数量的虚假感知数据。
上述技术方案的有益效果为:本发明中,为了提高参与者的感知数据的质量,减少意参与者上传虚假感知数据,获取虚拟货币的行为,对参与者进行信誉评估,提高参与者的感知数据质量。
实施例10:
在一个实施例中,大数据应用系统,还包括:
恶意感知数据处理模块:用于对所述感知数据进行数据聚合,获得聚合感知数据值,当所述感知数据值偏离预设感知数据值范围,在所述中继节点上通过AC追踪获得感知数据的发布者的真实身份,对所述发布者的账号进行信誉降级和扣除虚拟货币处理。
本发明在进行实施的时候,在出现有恶意客户进行频率将虚假感知数据上传,获取虚拟货币后,对中继节点上通过AC追踪获得感知数据的发布者的真实身份,并查对该真实身份的所有虚拟账户进行信誉降级和扣除虚拟货币处理,当连续5次上传虚假信息时,对该真实身份的所有虚拟账户进行虚拟账户冻结一个月的惩罚。
上述技术方案的有益效果为:本发明为了遏制恶意客户频率将虚假感知数据上传,成立了恶意感知数据处理模块,通过对参与者的该真实身份的所有虚拟账户进行信誉降级和扣除虚拟货币处理,通过这种方法,减少和清除恶意客户。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于智群感知技术的大数据应用系统,其特征在于,包括:
数据感知模块:用于接收感知任务,通过移动智能设备采集感知数据,并将所述感知数据存储在感知数据库;
数据聚合模块:用于通过双线程聚合对所述感知数据库的感知数据进行数据聚合,获得聚合数据;所述双线程聚合包括:有效感知数据信息聚合、隐私感知数据信息聚合;
数据服务模块:用于通过大数据应用平台进行感知数据完整性校验,将校验后的感知数据通过信息查询点进行查询反馈;
其中,所述数据感知模块:包括:
感知任务生成单元:用于收集大数据应用平台上的发布任务,根据所述发布任务生成感知任务;其中,
所述感知任务包括:车辆数据感知任务、空气质量感知任务、人体运动数据感知任务、交通数据感知任务;
感知数据收集单元:用于通过移动智能设备进行多方式感知数据采集,获得感知数据;其中,
所述多方式感知数据采集包括:主动数据感知采集,被动数据感知采集,所述感知数据包括:车辆感知数据、空气质量感知数据、人体运动感知数据、交通运输感知数据;
感知数据库单元:用于将所述感知任务的感知数据存储在对应感知数据库中;其中,
所述对应感知数据库的类型包括:车辆感知数据库、空气质量感知数据库、人体运动感知数据库、交通运输感知数据库;
感知数据激励单元:用于根据感知数据的质量进行混合激励,所述混合激励以发放虚拟货币的方式进行;其中,
所述混合激励包括:感知数据质量激励、数据隐私保护激励,所述质量包括:感知数据完整性、感知数据真实性;
感知数据防篡改单元:用于对各类型感知数据库中的感知数据设置不同类型数据认证码,通过所述不同类型数据认证码对所述感知数据进行感知数据完整性校验;其中,
所述不同类型数据认证码包括:感知数据加密、感知数据认证、哈希函数;
其中,所述数据感知模块还包括:
数据隐私保护单元:用于通过隐匿技术和加密技术对感知任务中的非感知目标信息进行保护;其中,
所述数据隐私保护单元包括:地理位置保护子单元、身份信息保护子单元、数据保护子单元和数据关联保护子单元;
地理位置保护子单元:用于通过将参与者的地理位置通过空间隐匿技术放在隐匿区域内,进行参与者地理位置保护;
身份信息保护子单元:用于为每个参与者设置多个周期性可更改的虚拟账号,通过所述虚拟账号上传感知数据;其中,
所述虚拟账号包括:虚拟名称、虚拟IP、虚拟SIM卡;
数据保护子单元:用于将感知数据进行数据切片,生成感知数据片,并对所述感知数据片进行编码,将编码后的感知数据片与其它感知数据片进行数据混合,获得混和感知数据片;
数据关联保护子单元:用于通过盲签名技术去除感知数据与参与者的关联性;
其中,所述数据聚合模块包括:
感知数据重构单元:用于当接收的混和感知数据片的数量达到预设数量值时,对所述混和感知数据片进行数据解码,将解码后的感知数据进行感知数据聚合,获得数据聚合结果;
感知数据提取单元:用于对所述感知数据进行感知粒度划分,获得粒度数据,在所述粒度数据中获得感知数据信息;其中,
所述粒度数据包括:粗粒度感知数据、细粒度感知数据,所述感知数据信息包括:有效感知数据信息、隐私感知数据信息;
其中,所述数据聚合模块还包括:
感知数据信息处理单元:用于通过双线程数据聚合对所述感知数据信息进行协议数据聚合;其中,
所述感知数据信息处理单元包括:有效感知数据信息聚合子单元和隐私感知数据信息聚合子单元;
所述有效感知数据信息聚合子单元用于在参与者和大数据应用平台中间设置中继节点,用于提取所述感知数据中的有效感知数据;其中,
所述有效感知数据信息包括:感知目标、感知目标数据;
所述隐私感知数据信息聚合子单元:用于在所述中继节点上,提取所述感知数据中的隐私感知数据信息;其中,
所述隐私感知数据信息包括:地理位置、身份信息;
其中,所述数据服务模块,包括:
感知数据信息查询单元:用于对所述有效感知数据信息进行信息加密,并将加密的有效感知数据信息的通过信息通道与信息查询点连接起来,当用户通过查询点进行感知数据信息查询时,通过安全查询协议对所述有效感知数据信息进行信息解密,获得解密后的有效感知数据信息;其中,
所述信息加密包括:信息密文模运算、信息密文乘法运算;
其中,所述数据服务模块还包括:
感知数据信息完整性判断单元:用于在参与者上传所述感知数据时,在所述感知数据上附加数据认证码,所述大数据应用平台接收到查询请求后,进行两路感知数据反馈,获得数据服务模块的有效感知数据信息和数据感知模块的原始感知数据,根据所述原始感知数据对所述有效感知数据信息进行完整性校验,获得校验结果。
2.如权利要求1所述的一种基于智群感知技术的大数据应用系统,其特征在于,所述数据聚合模块还包括:
感知数据迭代单元:用于对感知数据聚合完成后,将聚合结果从数据聚合模块进行移除,并重新接收所述混和感知数据片,对感知数据进行周期性的更新;
所述感知数据周期性的更新的步骤为:
步骤一:接收混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片;
步骤二:预设聚合结果集,当生成一个聚合结果后,将所述聚合结果放置在所述预设聚合结果集的第一个位置,此时聚合指针指向后一个位置,当聚合指针到达更新节点时,将聚合结果集的聚合结果传送至感知数据提取单元,并清空所述预设聚合结果集;
步骤三:清空混和感知数据片,接收新的混和感知数据片,当混和感知数据片数量达到预设混和感知数据片数量时,停止接收混和感知数据片。
3.如权利要求1所述的一种基于智群感知技术的大数据应用系统,其特征在于,所述数据服务模块还包括:
参与者信誉评价单元:用于根据参与者上传的感知数据的质量和数量通过信誉累计规则进行参与者信誉等级划分;其中,
所述信誉等级包括:一级信誉参与者、二级信誉参与者、三级信誉参与者。
4.如权利要求1所述的一种基于智群感知技术的大数据应用系统,其特征在于,所述大数据应用系统还包括:
恶意感知数据处理模块:用于对所述感知数据进行数据聚合,获得聚合感知数据值,当所述感知数据值偏离预设感知数据值范围,在所述中继节点上通过AC追踪获得感知数据的发布者的真实身份,对所述发布者的账号进行信誉降级和扣除虚拟货币处理。
CN202210796944.9A 2022-07-06 2022-07-06 一种基于智群感知技术的大数据应用系统 Active CN115292743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796944.9A CN115292743B (zh) 2022-07-06 2022-07-06 一种基于智群感知技术的大数据应用系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796944.9A CN115292743B (zh) 2022-07-06 2022-07-06 一种基于智群感知技术的大数据应用系统

Publications (2)

Publication Number Publication Date
CN115292743A CN115292743A (zh) 2022-11-04
CN115292743B true CN115292743B (zh) 2023-05-09

Family

ID=83821405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796944.9A Active CN115292743B (zh) 2022-07-06 2022-07-06 一种基于智群感知技术的大数据应用系统

Country Status (1)

Country Link
CN (1) CN115292743B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087237A (zh) * 2019-04-30 2019-08-02 苏州大学 基于数据扰动的隐私保护方法、装置及相关组件
CN114386043A (zh) * 2021-12-09 2022-04-22 北京理工大学 一种面向群智感知的去中心隐私保持信誉评估方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707530B (zh) * 2017-09-12 2020-07-31 福建师范大学 一种移动群智感知的隐私保护方法及系统
CN110443065B (zh) * 2019-07-22 2023-07-04 西北工业大学 一种基于许可链的群智感知位置隐私保护支付方法
CN111491367B (zh) * 2020-04-20 2021-03-30 电子科技大学 一种基于群智感知和多融合技术的室内定位方法
CN111562972A (zh) * 2020-04-24 2020-08-21 西北工业大学 一种面向群智感知的泛在操作系统
CN112995181B (zh) * 2021-03-04 2021-12-14 广州大学 一种基于可信环境与区块链的群智感知系统及其激励方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087237A (zh) * 2019-04-30 2019-08-02 苏州大学 基于数据扰动的隐私保护方法、装置及相关组件
CN114386043A (zh) * 2021-12-09 2022-04-22 北京理工大学 一种面向群智感知的去中心隐私保持信誉评估方法

Also Published As

Publication number Publication date
CN115292743A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US11238669B2 (en) System and method for toll transactions utilizing a distributed ledger
CN103782293B (zh) 用于数据分区的多维集群
CN112632129B (zh) 一种码流数据管理方法、装置及存储介质
CN108512653A (zh) 一种基于区块链的电子证据采集和服务方法
CN103718170A (zh) 用于事件的分布式基于规则的相关的系统和方法
CN102750494A (zh) 自加密
CN109743177B (zh) 一种基于区块链以及共享环境的物联网数据管理系统
CN103139155A (zh) 举报信息的处理方法、设备及系统
EP2993607A1 (en) Privacy compliant event analysis
KR102213120B1 (ko) 블록체인 기반의 무결성 검증을 위한 콘텐츠 공유 스마트 계약 구현 시스템 및 방법
CN113160604A (zh) 一种基于人工智能公交管理方法及系统
CN113139884B (zh) 智能建筑管理系统方法、系统、存储介质及电子设备
CN113505260A (zh) 人脸识别方法、装置、计算机可读介质及电子设备
KR20160082935A (ko) 미디어 데이터의 제공, 관리, 거래 방법 및 그 장치
CN113872751B (zh) 业务数据的监控方法、装置、设备及存储介质
CN115292743B (zh) 一种基于智群感知技术的大数据应用系统
CN102063660A (zh) 电子相片采集处理方法、客户端、服务器和系统
CN111107298A (zh) 一种视频会议加密方法
CN114338007B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN113660080B (zh) 一种安全多方计算与联邦分析技术
CN112468285B (zh) 基于隐私保护的数据处理方法、装置和服务器
AU2012200542B2 (en) Method for validating a road traffic control transaction
CN114429615A (zh) 用于检测室内入侵的方法、装置及存储介质
Alam et al. Functionality, privacy, security and rewarding based on fog assisted cloud computing techniques in Internet of Vehicles
CN102355375A (zh) 具有隐私保护功能的分布式异常流量检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant