CN106933946A - 一种基于移动终端的大数据管理方法及系统 - Google Patents

一种基于移动终端的大数据管理方法及系统 Download PDF

Info

Publication number
CN106933946A
CN106933946A CN201710042761.7A CN201710042761A CN106933946A CN 106933946 A CN106933946 A CN 106933946A CN 201710042761 A CN201710042761 A CN 201710042761A CN 106933946 A CN106933946 A CN 106933946A
Authority
CN
China
Prior art keywords
mobile terminal
user
clouds
computing engines
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710042761.7A
Other languages
English (en)
Inventor
项振峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SANT TECHNOLOGY (SHENZHEN) Co Ltd
Original Assignee
SANT TECHNOLOGY (SHENZHEN) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SANT TECHNOLOGY (SHENZHEN) Co Ltd filed Critical SANT TECHNOLOGY (SHENZHEN) Co Ltd
Priority to CN201710042761.7A priority Critical patent/CN106933946A/zh
Publication of CN106933946A publication Critical patent/CN106933946A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及大数据处理技术领域，具体涉及一种基于移动终端的大数据管理方法，包括步骤：移动终端获取用户行为数据；多个移动终端计算引擎将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端；多个云端计算引擎将用户标签进行计算、分析和优化，整理获得用户画像。本发明还涉及一种基于移动终端的大数据管理系统。本发明通过设计一种基于移动终端的大数据管理方法及系统，在移动终端处将用户行为数据进行处理获得具有用户属性的用户标签，只将用户标签上传至云端，减少上传数据量，降低用户的带宽要求；同时，上传的数据仅为计算所得结果，而非用户的行为数据，减少了用户个人信息泄露的风险。

Description

一种基于移动终端的大数据管理方法及系统
技术领域
本发明涉及大数据处理技术领域，具体涉及一种基于移动终端的大数据管理方法及系统。
背景技术
大数据处理技术具有五个主要的技术特点：
1、大体量，大数据由大量数据组成，从几个TB到几个ZB甚至更多；
2、多样性，即大数据包括各种格式和形态的数据；
3、时效性，即很多大数据需要在一定的时间限度下得到及时处理；
4、准确性，即处理的结果要保证一定的准确性；
5、大价值，即大数据包含很多深度的价值，大数据分析挖掘和利用将带来巨大的商业价值。
现有的大数据处理技术主要是从用户端收集用户的行为数据信息，通过网络传输至云端服务器；数以百计的云端服务器对所收集到的信息进行计算、分析和优化。
但是，通过上述方法，需要收集大量的用户行为数据，大量的数据传输至云端服务器，对网络速度要求高或者需要占用用户大量的时间来进行传输。用户行为数据传输至云端服务器，一旦服务器受到攻击，可能会泄露用户的敏感信息，给用户带来不可估计的损失。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于移动终端的大数据管理方法，减少上传数据量，同时降低用户个人信息泄露的风险。
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于移动终端的大数据管理系统，减少上传数据量，同时降低用户个人信息泄露的风险。
本发明解决其技术问题所采用的技术方案是：提供一种基于移动终端的大数据管理方法，包括步骤：
移动终端获取用户行为数据；
多个移动终端计算引擎将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端；
多个云端计算引擎将用户标签进行计算、分析和优化，整理获得用户画像。
其中，较佳方案是：该用户画像包括用户的各种行为属性，该云端根据行为属性推送消息到移动终端。
其中，较佳方案是：该用户行为数据至少为位置信息及变化数据、网络状态数据、应用程序的使用数据和移动终端传感器的传感数据中的任意一种。
其中，较佳方案是：该移动终端传感器至少为温度传感器、陀螺仪、摄像头、麦克风、距离传感器和光敏传感器中的任意一种。
其中，较佳方案是，移动终端获取用户行为数据前还包括步骤：经过用户授权，并注明为匿名采集。
其中，较佳方案是：该移动终端获取用户行为数据，并将用户行为数据根据不同类别的移动终端计算引擎进行分组，不同的移动终端计算引擎分别将对应组别的用户行为数据进行计算、分析和优化。
其中，较佳方案是：该云端计算引擎与移动终端计算引擎匹配设置，该云端计算引擎将用户标签中对应类别的数据信息进行计算、分析和优化。
其中，较佳方案是：该云端还包括具有复杂算法的云端计算引擎，并通过具有复杂算法的云端计算引擎获取各维度数据之间的关联，整理获得用户画像。
其中，较佳方案是：该移动终端将用户标签进行加密、压缩后再上传到云端。
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于移动终端的大数据管理系统，包括：移动终端，该移动终端获取用户行为数据；多个移动终端计算引擎，该多个移动终端计算引擎设置在移动终端中，该多个移动终端计算引擎将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端；云端，该云端接收用户标签；多个云端计算引擎，该多个云端计算引擎设置在云端中，该多个云端计算引擎将用户标签进行计算、分析和优化，整理获得用户画像。
本发明的有益效果在于，与现有技术相比，本发明通过设计一种基于移动终端的大数据管理方法及系统，在移动终端处将用户行为数据进行处理获得具有用户属性的用户标签，只将用户标签上传至云端，减少上传数据量，降低用户的带宽要求；同时，上传的数据仅为计算所得结果，而非用户的行为数据，减少了用户个人信息泄露的风险。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明大数据管理方法的流程示意图；
图2是本发明大数据管理系统的结构框图。
具体实施方式
现结合附图，对本发明的较佳实施例作详细说明。
如图1所述，本发明提供一种基于移动终端的大数据管理方法的优选实施例。
一种基于移动终端的大数据管理方法，包括步骤：
S01、移动终端获取用户行为数据；
S02、多个移动终端计算引擎将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端；
S03、多个云端计算引擎将用户标签进行计算、分析和优化，整理获得用户画像。
其中，移动终端优选手机和智能手环。
在步骤S01中，用户行为数据至少为位置信息及变化数据、网络状态数据、应用程序的使用数据和移动终端传感器的传感数据中的任意一种。
具体地，位置信息及变化数据为移动终端的定位信息变化，与时间配合采集；网络状态数据为移动终端的网络状态，如连接WIFI，或移动网络的上网时间及时长；应用程序的使用数据，包括应用程序的使用时间及时长，以及应用程序的流浪内容，如搜索的内容，观看的网页，查看的商品等；移动终端传感器至少为温度传感器、陀螺仪、摄像头、麦克风、距离传感器和光敏传感器中的任意一种。
或者，用户行为数据包括移动终端中的传感器数据、任务管理器数据和其它运行状态数据。
在步骤S02中，移动终端获取用户行为数据，并将用户行为数据根据不同类别的移动终端计算引擎进行分组，不同的移动终端计算引擎分别将对应组别的用户行为数据进行计算、分析和优化。
具体地，用户行为数据可以分成若干组别，如运动数据、APP使用数据、地理位置数据等，具体分组可通过预设进行。而各移动终端计算引擎分别专门负责一项组别的数据，如专门负责运动数据处理的移动终端计算引擎，根据运动数据的参数，如时间、路程、地理位置，计算、分析和优化，形成相应的用户标签。
进一步地，每一移动终端计算引擎生产对应的用户标签，最后再整理形成一汇总的用户标签，移动终端将汇总后的用户标签发送到云端中。或者，不同的移动终端计算引擎生产对应的用户标签，直接通过移动终端发送到云端中。
进一步地，移动终端将用户标签进行加密、压缩后再上传到云端，提高用户数据的隐秘性，安全性。
同时，在步骤S02中，移动终端计算引擎会定期对特征明显的用户行为数据进行处理，获得用户标签，减少无关联的用户标签的产生。
在步骤S03中，云端计算引擎与移动终端计算引擎匹配设置，该云端计算引擎将用户标签中对应类别的数据信息进行计算、分析和优化。
具体地，各云端计算引擎分别专门负责一项分类的用户标签，如专门负责运动用户标签处理的云端计算引擎，根据运动用户标签，进行计算、分析和优化，获得对应用于参数，如时间、路程、地理位置；再对用户参数进行处理，形成用户画像。
进一步地，云端还包括具有复杂算法的云端计算引擎，并通过具有复杂算法的云端计算引擎获取各维度数据之间的关联，整理获得用户画像。
其中，用户画像包括用户的各种行为属性，该云端根据行为属性推送消息到移动终端。
在本实施例中，提供一种运动数据的管理方案。
1、通过事先研究好的专门处理用户运动数据的移动终端计算引擎，通过移动终端采集运动数据，如通过方向传感器、陀螺仪、位置信息等，移动终端计算引擎在本地计算、分析出用户的运动状态，如静止、步行、骑行、坐车等。
2、移动终端会定期整理统计用户的运动信息，并且根据本地的移动终端计算引擎给特征明显的用户打上标签；如在非工作时间每天骑行距离超过若干公里的为骑行爱好者。
3、移动终端通过筛选，只把少量的计算分析结果通过优化和压缩，再上传到服务端，供进一步的计算分析使用。
在本实施例中，提供一种APP使用情况的管理方案。
1、通过事先研究好的专门处理APP使用情况的移动终端计算引擎，通过移动终端采集APP使用情况，如APP使用时间、使用时长、浏览的网页、浏览的商品、搜索的内容等，移动终端计算引擎在本地计算、分析出用户的APP使用情况，如爱购物、某种兴趣爱好者、喜欢观看漫画小说等。
2、移动终端会定期整理统计用户的APP使用情况，并且根据本地的移动终端计算引擎给特征明显的用户打上标签；如在非工作时间喜欢观看小说。
3、移动终端通过筛选，只把少量的计算分析结果通过优化和压缩，再上传到服务端，供进一步的计算分析使用。
如图2所示，本发明提供一种基于移动终端的大数据管理系统的较佳实施例。
一种基于移动终端10的大数据管理系统，包括移动终端10、多个移动终端计算引擎11、云端20和多个云端计算引擎21，多个移动终端计算引擎11设置在移动终端10的处理器中，多个云端计算引擎21设置在云端20服务器的处理器中。
具体地，该移动终端10获取用户行为数据；该多个移动终端计算引擎11设置在移动终端10中，该多个移动终端计算引擎11将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端20；该云端20接收用户标签；该多个云端计算引擎21设置在云端20中，该多个云端计算引擎21将用户标签进行计算、分析和优化，整理获得用户画像。
其中，移动终端10优选手机和智能手环。
其中，用户行为数据至少为位置信息及变化数据、网络状态数据、应用程序的使用数据和移动终端10传感器的传感数据中的任意一种。
具体地，位置信息及变化数据为移动终端10的定位信息变化，与时间配合采集；网络状态数据为移动终端10的网络状态，如连接WIFI，或移动网络的上网时间及时长；应用程序的使用数据，包括应用程序的使用时间及时长，以及应用程序的流浪内容，如搜索的内容，观看的网页，查看的商品等；移动终端10传感器至少为温度传感器、陀螺仪、摄像头、麦克风、距离传感器和光敏传感器中的任意一种。
或者，用户行为数据包括移动终端10中的传感器数据、任务管理器数据和其它运行状态数据。
以上所述者，仅为本发明最佳实施例而已，并非用于限制本发明的范围，凡依本发明申请专利范围所作的等效变化或修饰，皆为本发明所涵盖。

Claims (10)

1.一种基于移动终端的大数据管理方法，其特征在于，包括步骤：
移动终端获取用户行为数据；
多个移动终端计算引擎将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端；
多个云端计算引擎将用户标签进行计算、分析和优化，整理获得用户画像。
2.根据权利要求1所述的大数据管理方法，其特征在于：该移动终端计算引擎会定期对特征明显的用户行为数据进行处理，获得用户标签。
3.根据权利要求1所述的大数据管理方法，其特征在于：该用户行为数据至少为位置信息及变化数据、网络状态数据、应用程序的使用数据和移动终端传感器的传感数据中的任意一种。
4.根据权利要求3所述的大数据管理方法，其特征在于：该移动终端传感器至少为温度传感器、陀螺仪、摄像头、麦克风、距离传感器和光敏传感器中的任意一种。
5.根据权利要求1所述的大数据管理方法，其特征在于，移动终端获取用户行为数据前还包括步骤：经过用户授权，并注明为匿名采集。
6.根据权利要求1所述的大数据管理方法，其特征在于：该移动终端获取用户行为数据，并将用户行为数据根据不同类别的移动终端计算引擎进行分组，不同的移动终端计算引擎分别将对应组别的用户行为数据进行计算、分析和优化。
7.根据权利要求6所述的大数据管理方法，其特征在于：该云端计算引擎与移动终端计算引擎匹配设置，该云端计算引擎将用户标签中对应类别的数据信息进行计算、分析和优化。
8.根据权利要求1或7所述的大数据管理方法，其特征在于：该云端还包括具有复杂算法的云端计算引擎，并通过具有复杂算法的云端计算引擎获取各维度数据之间的关联，整理获得用户画像。
9.根据权利要求1所述的大数据管理方法，其特征在于：该移动终端将用户标签进行加密、压缩后再上传到云端。
10.一种基于移动终端的大数据管理系统，其特征在于，包括：
移动终端，该移动终端获取用户行为数据；
多个移动终端计算引擎，该多个移动终端计算引擎设置在移动终端中，该多个移动终端计算引擎将对应类别的用户行为数据进行计算、分析和优化，整理获得用户标签，并上传到云端；
云端，该云端接收用户标签；
多个云端计算引擎，该多个云端计算引擎设置在云端中，该多个云端计算引擎将用户标签进行计算、分析和优化，整理获得用户画像。
CN201710042761.7A 2017-01-20 2017-01-20 一种基于移动终端的大数据管理方法及系统 Pending CN106933946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710042761.7A CN106933946A (zh) 2017-01-20 2017-01-20 一种基于移动终端的大数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710042761.7A CN106933946A (zh) 2017-01-20 2017-01-20 一种基于移动终端的大数据管理方法及系统

Publications (1)

Publication Number Publication Date
CN106933946A true CN106933946A (zh) 2017-07-07

Family

ID=59422892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710042761.7A Pending CN106933946A (zh) 2017-01-20 2017-01-20 一种基于移动终端的大数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN106933946A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086377A (zh) * 2018-07-24 2018-12-25 江苏通付盾科技有限公司 设备画像的生成方法、装置及计算设备
CN109325076A (zh) * 2018-06-07 2019-02-12 北京百度网讯科技有限公司 物联网中的数据管理方法、设备、计算机设备及可读介质
CN109992982A (zh) * 2019-04-11 2019-07-09 北京信息科技大学 大数据访问授权方法、装置和大数据平台
CN110035108A (zh) * 2018-12-26 2019-07-19 阿里巴巴集团控股有限公司 一种信息推送方法及系统
WO2019140702A1 (zh) * 2018-01-22 2019-07-25 华为技术有限公司 一种用户画像的生成方法及装置
CN110431585A (zh) * 2018-01-22 2019-11-08 华为技术有限公司 一种用户画像的生成方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297503A (zh) * 2013-05-08 2013-09-11 南京邮电大学 基于分层次信息提取服务器的移动终端群智感知架构
CN105447147A (zh) * 2015-11-26 2016-03-30 晶赞广告（上海）有限公司 一种数据处理方法及装置
CN105608171A (zh) * 2015-12-22 2016-05-25 青岛海贝易通信息技术有限公司 用户画像构建方法
CN105718579A (zh) * 2016-01-22 2016-06-29 浙江大学 一种基于上网日志挖掘和用户活动识别的信息推送方法
CN105869015A (zh) * 2016-03-28 2016-08-17 联想(北京)有限公司 一种信息处理方法及系统
CN106095833A (zh) * 2016-06-01 2016-11-09 竹间智能科技（上海）有限公司 人机对话内容处理方法
CN106202534A (zh) * 2016-07-25 2016-12-07 十九楼网络股份有限公司 一种基于社区用户行为的内容推荐方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297503A (zh) * 2013-05-08 2013-09-11 南京邮电大学 基于分层次信息提取服务器的移动终端群智感知架构
CN105447147A (zh) * 2015-11-26 2016-03-30 晶赞广告（上海）有限公司 一种数据处理方法及装置
CN105608171A (zh) * 2015-12-22 2016-05-25 青岛海贝易通信息技术有限公司 用户画像构建方法
CN105718579A (zh) * 2016-01-22 2016-06-29 浙江大学 一种基于上网日志挖掘和用户活动识别的信息推送方法
CN105869015A (zh) * 2016-03-28 2016-08-17 联想(北京)有限公司 一种信息处理方法及系统
CN106095833A (zh) * 2016-06-01 2016-11-09 竹间智能科技（上海）有限公司 人机对话内容处理方法
CN106202534A (zh) * 2016-07-25 2016-12-07 十九楼网络股份有限公司 一种基于社区用户行为的内容推荐方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈竹秋 等: "《通信网络与信息技术2015》", 31 July 2015 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019140702A1 (zh) * 2018-01-22 2019-07-25 华为技术有限公司 一种用户画像的生成方法及装置
CN110431535A (zh) * 2018-01-22 2019-11-08 华为技术有限公司 一种用户画像的生成方法及装置
CN110431585A (zh) * 2018-01-22 2019-11-08 华为技术有限公司 一种用户画像的生成方法及装置
CN110431585B (zh) * 2018-01-22 2024-03-15 华为技术有限公司 一种用户画像的生成方法及装置
CN109325076A (zh) * 2018-06-07 2019-02-12 北京百度网讯科技有限公司 物联网中的数据管理方法、设备、计算机设备及可读介质
CN109086377A (zh) * 2018-07-24 2018-12-25 江苏通付盾科技有限公司 设备画像的生成方法、装置及计算设备
CN109086377B (zh) * 2018-07-24 2021-02-02 江苏通付盾科技有限公司 设备画像的生成方法、装置及计算设备
CN110035108A (zh) * 2018-12-26 2019-07-19 阿里巴巴集团控股有限公司 一种信息推送方法及系统
CN110035108B (zh) * 2018-12-26 2022-01-28 创新先进技术有限公司 一种信息推送方法及系统
CN109992982A (zh) * 2019-04-11 2019-07-09 北京信息科技大学 大数据访问授权方法、装置和大数据平台

Similar Documents

Publication Publication Date Title
CN106933946A (zh) 一种基于移动终端的大数据管理方法及系统
CN104915392B (zh) 一种微博转发行为预测方法及装置
CN105224623B (zh) 数据模型的训练方法及装置
CN103970752B (zh) 独立访问者数量估算方法和系统
CN103649999B (zh) 用于确定光流的内容自适应系统、方法和设备
CN103631787B (zh) 网页类型识别方法以及网页类型识别装置
CN103970866B (zh) 基于微博文本的微博用户兴趣发现方法及系统
Gao et al. Federated region-learning for environment sensing in edge computing system
CN114092920B (zh) 一种模型训练的方法、图像分类的方法、装置及存储介质
CN107273496A (zh) 一种微博网络地域突发事件的检测方法
CN103258027A (zh) 基于智能终端的情境感知服务平台
Feng et al. Estimate air quality based on mobile crowd sensing and big data
CN104615765A (zh) 一种移动用户上网记录的数据处理方法及装置
CN109002789A (zh) 一种应用于摄像头的人脸识别方法
CN103440328B (zh) 一种基于鼠标行为的用户分类方法
CN105653550B (zh) 网页过滤方法和装置
CN110399564B (zh) 帐号分类方法和装置、存储介质及电子装置
CN113704373B (zh) 基于移动轨迹数据的用户识别方法、装置及存储介质
WO2017173456A1 (en) Systems and methods for enabling situational awareness for events via data visualization
CN115242684A (zh) 全链路压测方法、装置、计算机设备及存储介质
CN113610215B (zh) 任务处理网络生成、任务处理方法、装置及电子设备
CN115294648A (zh) 一种人机手势交互方法、装置、移动终端及存储介质
Huang et al. Multisource data acquisition based on single-chip microcomputer and sensor technology
CN107169088B (zh) 一种基于时空交互的用户社交关系强度计算方法及系统
JP2011227720A (ja) 推薦システム、推薦方法、及び推薦プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707

RJ01 Rejection of invention patent application after publication