CN109032537A - 基于社交网络大数据的用户的数据分布式云存储方法及系统 - Google Patents
基于社交网络大数据的用户的数据分布式云存储方法及系统 Download PDFInfo
- Publication number
- CN109032537A CN109032537A CN201811082430.7A CN201811082430A CN109032537A CN 109032537 A CN109032537 A CN 109032537A CN 201811082430 A CN201811082430 A CN 201811082430A CN 109032537 A CN109032537 A CN 109032537A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- cloud storage
- indicate
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000005012 migration Effects 0.000 claims abstract description 65
- 238000013508 migration Methods 0.000 claims abstract description 65
- 230000002452 interceptive effect Effects 0.000 claims abstract description 45
- 230000005540 biological transmission Effects 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 25
- 210000003813 thumb Anatomy 0.000 claims description 14
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 claims description 12
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于社交大数据的用户数据分布式云存储方法及系统,为了获得较好的用户数据存储配置而设计。本发明基于社交大数据的用户数据分布式云存储方法包括:根据社交网络大数据,找到与中心用户u亲密度最高的M个交互用户v;分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
Description
技术领域
本发明具体涉及一种基于社交网络大数据的用户的数据分布式云存储方法及系统。
背景技术
社交网络(SocialNetworkServices)即社会性网络服务,专指旨在帮助人们(一群拥有相同兴趣与活动的人)建立社会性网络的互联网应用服务。这类服务往往是基于互联网,为用户提供各种互相联系、交流的方式,比如电子邮件、即时消息服务QQ、微博、微信等等。在国内,代表性的社交网络之一是微信,其已经成为目前国内最具影响力的社交平台之一。
社交网络的内部交互信息对CDN是透明的,CDN并不了解用户间的交互情况,它仅根据数据访问频度来决定缓存哪些社交用户的数据,无法对跨地域用户访问提供精准的、可靠的支持,在用户进行其他用户的访问操作时,由于社交用户的数据间分布式存储,会产生巨大的网络开销。
鉴于上述的缺陷,本设计人积极加以研究创新,以期创设一种基于社交网络大数据的用户的数据分布式云存储方法及系统,使其更具有产业上的利用价值。
发明内容
为解决上述技术问题,本发明的目的是提供一种用户数据分配放置合理、方便用户访问的基于社交大数据的用户数据分布式云存储方法及系统。
本发明基于社交大数据的用户数据分布式云存储方法,包括:
S1获取社交网络大数据,根据社交网络大数据,以一用户为中心用户u,以及与该中心用户u有交互关系的用户构建一社交群体,在各社交群体内分别找到与中心用户u亲密度最高的M个交互用户v;
S2将中心用户u的数据存放于至少一个可用云存储端,其中所述可用云存储端满足中心用户u、与该中心用户u有交互关系的M个用户v对访问延迟的要求;
S3找出满足与中心用户u亲密度最高的M个交互用户v访问延迟要求的云存储端集合B,对所有云存储端集合B求交集得到候选迁移目标集合Bj,将存储中心用户u的数据的云存储端集合A分别与每一个集合B求交集,求得结果的集合再合并求并集,得到候选迁移源集合Ai;分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;所述中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
进一步地,S3中的迁移费用的计算方法包括:
计算云存储端间的传输费用,包括读操作费用和写操作费用,用户u的读、写费用分别表示为:
其中Nu表示与用户u有交互关系的用户v的集合,ptrans表示传输单价,|Du|表示存储用户u的数据的云存储端数目,φ(u,v)表示存储用户u和与用户u有交互关系的用户v的云存储端是否存在重合,若不存在,则取值为1,若存在,则取值为0;
与用户u相关的传输费用表示为πu=Cu-read+Cu-write
计算一次迁移导致的传输费用的变化,用π'u表示迁移后与用户u相关的传输费用,则迁移变化表示为:
计算将用户u的数据从云存储端i迁移到j的迁移费用
若迁移的目标数据中心已存储用户u的副本,即j∈Du,则此次迁移操作等价于删除操作,将u的数据从源数据中心i删除,费用为
进一步地,所述用户亲密度是采用社交网站中两个用户之间发生的语音或视频通话、短信信息、转发、评论、点赞操作的次数来度量,以第一公式计算用户u对用户v的互动频繁度,以第二公式计算用户v对用户u的互动频繁度,以第三公式计算中心用户u和用户v之间的亲密度,
第一公式:I(u→v)=a*num1(u,v)+b*num2(u,v)+c*num3(u,v)+d*num4(u,v)+e*num5(u,v);
第二公式:I(v→u)=a*num1(v,u)+b*num2(v,u)+c*num3(v,u)+d*num4(v,u)+e*num5(v,u);
第三公式:Q(u,v)=I(u→v)*I(v→u)
以I(u→v)表示用户u对用户v的互动频繁度,以I(v→u)表示用户v对用户u的互动频繁度;
num1(u,v)表示用户u对用户v发起主叫的次数,num2(u,v)表示用户u对用户v发出短信信息的次数,num3(u,v)表示用户u对用户v的数据进行转发的次数,num4(u,v)表示用户u对用户v进行评论的次数,num5(u,v)表示用户u对用户v点赞的次数;
num1(v,u)表示用户v对用户u发起主叫的次数,num2(v,u)表示用户v对用户u发出短信信息的次数,num3(v,u)表示用户v对用户u的数据进行转发的次数,num4(v,u)表示用户v对用户u进行评论的次数,num5(v,u表示用户v对用户u点赞的次数;
a、b、c、d、e分别表示语音、视频通话、短信信息、转发、评论或点赞操作的权重,其中,a+b+c+d+e=1,a>b>c>d>e。
本发明基于社交大数据的用户数据分布式云存储系统,包括:
交互用户亲密度确定单元,用于获取社交网络大数据,根据社交网络大数据,以一用户为中心用户u,以及与该中心用户u有交互关系的用户构建一社交群体,在各社交群体内分别找到与中心用户u亲密度最高的M个交互用户v;
中心用户数据放置单元,用于将中心用户u的数据存放于至少一个可用云存储端,其中所述可用云存储端满足中心用户u、与该中心用户u有交互关系的M个用户v对访问延迟的要求;
源、目的,迁移集合确定单元,用于找出满足与中心用户u亲密度最高的M个交互用户v访问延迟要求的云存储端集合B,对所有云存储端集合B求交集得到候选迁移目标集合Bj,将存储中心用户u的数据的云存储端集合A分别与每一个集合B求交集,求得结果的集合再合并求并集,得到候选迁移源集合Ai;
数据迁移实施单元,用于分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;所述中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
进一步地,所述数据迁移实施单元包括:
读、写费用计算模块,用于计算云存储端间的传输费用,包括读操作费用和写操作费用,用户u的读、写费用分别表示为:
其中Nu表示与用户u有交互关系的用户v的集合,ptrans表示传输单价,|Du|表示存储用户u的数据的云存储端数目,φ(u,v)表示存储用户u和与用户u有交互关系的用户v的云存储端是否存在重合,若不存在,则取值为1,若存在,则取值为0;
最终费用输出模块,与用户u相关的传输费用表示为πu=Cu-read+Cu-write
一次迁移导致的传输费用的变化,用π'u表示迁移后与用户u相关的传输费用,则迁移变化表示为:
计算将用户u的数据从云存储端i迁移到j的迁移费用
若迁移的目标数据中心已存储用户u的副本,即j∈Du,则此次迁移操作等价于删除操作,将u的数据从源数据中心i删除,费用为
进一步地,交互用户亲密度确定单元包括:
互动数据分析模块,用于分析社交网站中两个用户之间发生的语音、视频通话、短信信息、转发、评论或点赞操作的次数来度量;
亲密度确定单元,以第一公式计算用户u对用户v的互动频繁度,以第二公式计算用户v对用户u的互动频繁度,以第三公式计算中心用户u和用户v之间的亲密度,
第一公式:I(u→v)=a*num1(u,v)+b*num2(u,v)+c*num3(u,v)+d*num4(u,v)+e*num5(u,v);
第二公式:I(v→u)=a*num1(v,u)+b*num2(v,u)+c*num3(v,u)+d*num4(v,u)+e*num5(v,u);
第三公式:Q(u,v)=I(u→v)*I(v→u)
以I(u→v)表示用户u对用户v的互动频繁度,以I(v→u)表示用户v对用户u的互动频繁度;
num1(u,v)表示用户u对用户v发起主叫的次数,num2(u,v)表示用户u对用户v发出短信信息的次数,num3(u,v)表示用户u对用户v的数据进行转发的次数,num4(u,v)表示用户u对用户v进行评论的次数,num5(u,v)表示用户u对用户v点赞的次数;
num1(v,u)表示用户v对用户u发起主叫的次数,num2(v,u)表示用户v对用户u发出短信信息的次数,num3(v,u)表示用户v对用户u的数据进行转发的次数,num4(v,u)表示用户v对用户u进行评论的次数,num5(v,u表示用户v对用户u点赞的次数;
a、b、c、d、e分别表示语音或视频通话、短信信息、转发、评论、点赞操作的权重,其中,a+b+c+d+e=1,a>b>c>d>e。
借由上述方案,本发明基于社交网络大数据的用户的数据分布式云存储方法及系统至少具有以下优点:
本发明考虑了用户之间关系的亲密度对用户v访问用户u的数据的影响,在满足与用户u亲密度比较高的用户v对用户u的数据延时访问的前提下,采用了更为合理的分布式云存储,降低数据云存储端间网络通信量的开支。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
图1为本发明基于社交大数据的社交用户的数据分布式存储方法流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
本实施例基于社交大数据的用户数据分布式云存储方法,如图1所示,包括:
S1获取社交网络大数据,根据社交网络大数据,以一用户为中心用户u,以及与该中心用户u有交互关系的用户构建一社交群体,在各社交群体内分别找到与中心用户u亲密度最高的M个交互用户v;
S2将中心用户u的数据存放于至少一个可用云存储端,其中所述可用云存储端满足中心用户u、与该中心用户u有交互关系的M个用户v对访问延迟的要求;
S3找出满足与中心用户u亲密度最高的M个交互用户v访问延迟要求的云存储端集合B,对所有云存储端集合B求交集得到候选迁移目标集合Bj,将存储中心用户u的数据的云存储端集合A分别与每一个集合B求交集,求得结果的集合再合并求并集,得到候选迁移源集合Ai;分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;所述中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
本实施例中,所述用户亲密度是采用社交网站中两个用户之间发生的语音或视频通话、短信信息、转发、评论、点赞操作的次数来度量,以第一公式计算用户u对用户v的互动频繁度,以第二公式计算用户v对用户u的互动频繁度,以第三公式计算中心用户u和用户v之间的亲密度,
第一公式:I(u→v)=a*num1(u,v)+b*num2(u,v)+c*num3(u,v)+d*num4(u,v)+e*num5(u,v);
第二公式:I(v→u)=a*num1(v,u)+b*num2(v,u)+c*num3(v,u)+d*num4(v,u)+e*num5(v,u);
第三公式:Q(u,v)=I(u→v)*I(v→u)
以I(u→v)表示用户u对用户v的互动频繁度,以I(v→u)表示用户v对用户u的互动频繁度;
num1(u,v)表示用户u对用户v发起主叫的次数,num2(u,v)表示用户u对用户v发出短信信息的次数,num3(u,v)表示用户u对用户v的数据进行转发的次数,num4(u,v)表示用户u对用户v进行评论的次数,num5(u,v)表示用户u对用户v点赞的次数;
num1(v,u)表示用户v对用户u发起主叫的次数,num2(v,u)表示用户v对用户u发出短信信息的次数,num3(v,u)表示用户v对用户u的数据进行转发的次数,num4(v,u)表示用户v对用户u进行评论的次数,num5(v,u表示用户v对用户u点赞的次数;
a、b、c、d、e分别表示语音或视频通话、短信信息、转发、评论、点赞操作的权重,其中,a+b+c+d+e=1,a>b>c>d>e。本实施例中,a、b、c、d、e分别为0.5、0.2、0.1、0.1、0.1。
本实施例中,所用的社交工具为微信,短信信息包括文字信息、图片信息、语音信息,转发指的是对用户u或用户v发表在朋友圈内的内容进行转发,所述评论指的对用户u或用户v发表在朋友圈内的内容进行评论,所述点赞是指对用户u或用户v发表在朋友圈内的内容进行评论。
本实施例,考虑了用户之间关系的亲密度对用户v访问用户u的数据的影响,在满足与用户u亲密度比较高的用户v对用户u的数据延时访问的前提下,采用了更为合理的分布式云存储,降低数据云存储端间网络通信量的开支。
实施例2
本实施例基于社交大数据的用户数据分布式云存储方法,在实施例1的基础上,S3中的迁移费用的计算方法包括:
计算云存储端间的传输费用,包括读操作费用和写操作费用,用户u的读、写费用分别表示为:
其中Nu表示与用户u有交互关系的用户v的集合,ptrans表示传输单价,|Du|表示存储用户u的数据的云存储端数目,φ(u,v)表示存储用户u和与用户u有交互关系的用户v的云存储端是否存在重合,若不存在,则取值为1,若存在,则取值为0;
与用户u相关的传输费用表示为πu=Cu-read+Cu-write
计算一次迁移导致的传输费用的变化,用π'u表示迁移后与用户u相关的传输费用,则迁移变化表示为:
计算将用户u的数据从云存储端i迁移到j的迁移费用
若迁移的目标数据中心已存储用户u的副本,即j∈Du,则此次迁移操作等价于删除操作,将u的数据从源数据中心i删除,费用为
实施例3
本实施例基于社交大数据的用户数据分布式云存储系统,可以用于运行上述实施例1或2所述的方法,所述系统包括:
交互用户亲密度确定单元,用于获取社交网络大数据,根据社交网络大数据,以一用户为中心用户u,以及与该中心用户u有交互关系的用户构建一社交群体,在各社交群体内分别找到与中心用户u亲密度最高的M个交互用户v;
中心用户数据放置单元,用于将中心用户u的数据存放于至少一个可用云存储端,其中所述可用云存储端满足中心用户u、与该中心用户u有交互关系的M个用户v对访问延迟的要求;
源、目的,迁移集合确定单元,用于找出满足与中心用户u亲密度最高的M个交互用户v访问延迟要求的云存储端集合B,对所有云存储端集合B求交集得到候选迁移目标集合Bj,将存储中心用户u的数据的云存储端集合A分别与每一个集合B求交集,求得结果的集合再合并求并集,得到候选迁移源集合Ai;
数据迁移实施单元,用于分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;所述中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
本实施例中,所述数据迁移实施单元包括:
读、写费用计算模块,用于计算云存储端间的传输费用,包括读操作费用和写操作费用,用户u的读、写费用分别表示为:
其中Nu表示与用户u有交互关系的用户v的集合,ptrans表示传输单价,|Du|表示存储用户u的数据的云存储端数目,φ(u,v)表示存储用户u和与用户u有交互关系的用户v的云存储端是否存在重合,若不存在,则取值为1,若存在,则取值为0;
最终费用输出模块,与用户u相关的传输费用表示为πu=Cu-read+Cu-write
一次迁移导致的传输费用的变化,用π'u表示迁移后与用户u相关的传输费用,则迁移变化表示为:
计算将用户u的数据从云存储端i迁移到j的迁移费用
若迁移的目标数据中心已存储用户u的副本,即j∈Du,则此次迁移操作等价于删除操作,将u的数据从源数据中心i删除,费用为
本实施例中,交互用户亲密度确定单元包括:
互动数据分析模块,用于分析社交网站中两个用户之间发生的语音或视频通话、短信信息、转发、评论、点赞操作的次数来度量;
亲密度确定单元,以第一公式计算用户u对用户v的互动频繁度,以第二公式计算用户v对用户u的互动频繁度,以第三公式计算中心用户u和用户v之间的亲密度,
第一公式:I(u→v)=a*num1(u,v)+b*num2(u,v)+c*num3(u,v)+d*num4(u,v)+e*num5(u,v);
第二公式:I(v→u)=a*num1(v,u)+b*num2(v,u)+c*num3(v,u)+d*num4(v,u)+e*num5(v,u);
第三公式:Q(u,v)=I(u→v)*I(v→u)
以I(u→v)表示用户u对用户v的互动频繁度,以I(v→u)表示用户v对用户u的互动频繁度;
num1(u,v)表示用户u对用户v发起主叫的次数,num2(u,v)表示用户u对用户v发出短信信息的次数,num3(u,v)表示用户u对用户v的数据进行转发的次数,num4(u,v)表示用户u对用户v进行评论的次数,num5(u,v)表示用户u对用户v点赞的次数;
num1(v,u)表示用户v对用户u发起主叫的次数,num2(v,u)表示用户v对用户u发出短信信息的次数,num3(v,u)表示用户v对用户u的数据进行转发的次数,num4(v,u)表示用户v对用户u进行评论的次数,num5(v,u表示用户v对用户u点赞的次数;
a、b、c、d、e分别表示语音或视频通话、短信信息、转发、评论、点赞操作的权重,其中,a+b+c+d+e=1,a>b>c>d>e。
以上所述仅是本发明的优选实施方式,并不用于限制本发明,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。
Claims (6)
1.一种基于社交大数据的用户数据分布式云存储方法,其特征在于,包括:
S1获取社交网络大数据,根据社交网络大数据,以一用户为中心用户u,以及与该中心用户u有交互关系的用户构建一社交群体,在各社交群体内分别找到与中心用户u亲密度最高的M个交互用户v;
S2将中心用户u的数据存放于至少一个可用云存储端,其中所述可用云存储端满足中心用户u、与该中心用户u有交互关系的M个用户v对访问延迟的要求;
S3找出满足与中心用户u亲密度最高的M个交互用户v访问延迟要求的云存储端集合B,对所有云存储端集合B求交集得到候选迁移目标集合Bj,将存储中心用户u的数据的云存储端集合A分别与每一个集合B求交集,求得结果的集合再合并求并集,得到候选迁移源集合Ai;分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;所述中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
2.根据权利要求1所述的基于社交大数据的用户数据分布式云存储方法,其特征在于,S3中的迁移费用的计算方法包括:
计算云存储端间的传输费用,包括读操作费用和写操作费用,用户u的读、写费用分别表示为:
其中Nu表示与用户u有交互关系的用户v的集合,ptrans表示传输单价,|Du|表示存储用户u的数据的云存储端数目,φ(u,v)表示存储用户u和与用户u有交互关系的用户v的云存储端是否存在重合,若不存在,则取值为1,若存在,则取值为0;
与用户u相关的传输费用表示为
πu=Cu-read+Cu-write
计算一次迁移导致的传输费用的变化,用π′u表示迁移后与用户u相关的传输费用,则迁移变化表示为:
计算将用户u的数据从云存储端i迁移到j的迁移费用
若迁移的目标数据中心已存储用户u的副本,即j∈Du,则此次迁移操作等价于删除操作,将u的数据从源数据中心i删除,费用为
3.根据权利要求1所述的基于社交大数据的用户数据分布式云存储方法,其特征在于,所述用户亲密度是采用社交网站中两个用户之间发生的语音或视频通话、短信信息、转发、评论、点赞操作的次数来度量,以第一公式计算用户u对用户v的互动频繁度,以第二公式计算用户v对用户u的互动频繁度,以第三公式计算中心用户u和用户v之间的亲密度,
第一公式:I(u→v)=a*num1(u,v)+b*num2(u,v)+c*num3(u,v)+d*num4(u,v)+e*num5(u,v);
第二公式:I(v→u)=a*num1(v,u)+b*num2(v,u)+c*num3(v,u)+d*num4(v,u)+e*num5(v,u);
第三公式:Q(u,v)=I(u→v)*I(v→u)
以I(u→v)表示用户u对用户v的互动频繁度,以I(v→u)表示用户v对用户u的互动频繁度;
numl(u,v)表示用户u对用户v发起主叫的次数,num2(u,v)表示用户u对用户v发出短信信息的次数,num3(u,v)表示用户u对用户v的数据进行转发的次数,num4(u,v)表示用户u对用户v进行评论的次数,num5(u,v)表示用户u对用户v点赞的次数;
num1(v,u)表示用户v对用户u发起主叫的次数,num2(v,u)表示用户v对用户u发出短信信息的次数,num3(v,u)表示用户v对用户u的数据进行转发的次数,num4(v,u)表示用户v对用户u进行评论的次数,num5(v,u表示用户v对用户u点赞的次数;
a、b、c、d、e分别表示语音、视频通话、短信信息、转发、评论或点赞操作的权重,其中,a+b+c+d+e=1,a>b>c>d>e。
4.一种基于社交大数据的用户数据分布式云存储系统,其特征在于,包括:
交互用户亲密度确定单元,用于获取社交网络大数据,根据社交网络大数据,以一用户为中心用户u,以及与该中心用户u有交互关系的用户构建一社交群体,在各社交群体内分别找到与中心用户u亲密度最高的M个交互用户v;
中心用户数据放置单元,用于将中心用户u的数据存放于至少一个可用云存储端,其中所述可用云存储端满足中心用户u、与该中心用户u有交互关系的M个用户v对访问延迟的要求;
源、目的,迁移集合确定单元,用于找出满足与中心用户u亲密度最高的M个交互用户v访问延迟要求的云存储端集合B,对所有云存储端集合B求交集得到候选迁移目标集合Bj,将存储中心用户u的数据的云存储端集合A分别与每一个集合B求交集,求得结果的集合再合并求并集,得到候选迁移源集合Ai;
数据迁移实施单元,用于分别计算候选迁移源集合Ai与候选迁移目标集合Bj组成的各个候选迁移方案的迁移费用,选择其中费用最小的迁移方案执行中心用户A的数据的数据迁移;所述中心用户A的数据为当前时刻前一天往前推N天这段时间内中心用户u生成的新的数据。
5.根据权利要求4所述的基于社交大数据的用户数据分布式云存储系统,其特征在于,所述数据迁移实施单元包括:
读、写费用计算模块,用于计算云存储端间的传输费用,包括读操作费用和写操作费用,用户u的读、写费用分别表示为:
其中Nu表示与用户u有交互关系的用户v的集合,ptrans表示传输单价,|Du|表示存储用户u的数据的云存储端数目,φ(u,v)表示存储用户u和与用户u有交互关系的用户v的云存储端是否存在重合,若不存在,则取值为1,若存在,则取值为0;
最终费用输出模块,与用户u相关的传输费用表示为
πu=Cu-read+Cu-write
一次迁移导致的传输费用的变化,用π′u表示迁移后与用户u相关的传输费用,则迁移变化表示为:
计算将用户u的数据从云存储端i迁移到j的迁移费用
若迁移的目标数据中心已存储用户u的副本,即j∈Du,则此次迁移操作等价于删除操作,将u的数据从源数据中心i删除,费用为
6.根据权利要求4所述的基于社交大数据的用户数据分布式云存储系统,其特征在于,交互用户亲密度确定单元包括:
互动数据分析模块,用于分析社交网站中两个用户之间发生的语音或视频通话、短信信息、转发、评论、点赞操作的次数来度量;
亲密度确定单元,以第一公式计算用户u对用户v的互动频繁度,以第二公式计算用户v对用户u的互动频繁度,以第三公式计算中心用户u和用户v之间的亲密度,
第一公式:I(u→v)=a*num1(u,v)+b*num2(u,v)+c*num3(u,v)+d*num4(u,v)+e*num5(u,v);
第二公式:I(v→u)=a*num1(v,u)+b*num2(v,u)+c*num3(v,u)+d*num4(v,u)+e*num5(v,u);
第三公式:Q(u,v)=I(u→v)*I(v→u)
以I(u→v)表示用户u对用户v的互动频繁度,以I(v→u)表示用户v对用户u的互动频繁度;
num1(u,v)表示用户u对用户v发起主叫的次数,num2(u,v)表示用户u对用户v发出短信信息的次数,num3(u,v)表示用户u对用户v的数据进行转发的次数,num4(u,v)表示用户u对用户v进行评论的次数,num5(u,v)表示用户u对用户v点赞的次数;
numl(v,u)表示用户v对用户u发起主叫的次数,num2(v,u)表示用户v对用户u发出短信信息的次数,num3(v,u)表示用户v对用户u的数据进行转发的次数,num4(v,u)表示用户v对用户u进行评论的次数,num5(v,u表示用户v对用户u点赞的次数;
a、b、c、d、e分别表示语音、视频通话、短信信息、转发、评论或点赞操作的权重,其中,a+b+c+d+e=1,a>b>c>d>e。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811082430.7A CN109032537A (zh) | 2018-09-17 | 2018-09-17 | 基于社交网络大数据的用户的数据分布式云存储方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811082430.7A CN109032537A (zh) | 2018-09-17 | 2018-09-17 | 基于社交网络大数据的用户的数据分布式云存储方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109032537A true CN109032537A (zh) | 2018-12-18 |
Family
ID=64622522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811082430.7A Withdrawn CN109032537A (zh) | 2018-09-17 | 2018-09-17 | 基于社交网络大数据的用户的数据分布式云存储方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109032537A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948846A (zh) * | 2019-03-15 | 2019-06-28 | 山东大学 | 基于时间和成本自适应的在线社交网络数据存储方法及装置 |
CN112965957A (zh) * | 2021-03-22 | 2021-06-15 | 广州汇量信息科技有限公司 | 一种数据迁移方法、装置、设备及存储介质 |
CN115865712A (zh) * | 2022-11-15 | 2023-03-28 | 重庆邮电大学 | 一种基于时效亲密模型的边缘数据存储方法 |
CN116567001A (zh) * | 2023-05-16 | 2023-08-08 | 上海凯翔信息科技有限公司 | 一种基于云端nas的数据迁移系统 |
-
2018
- 2018-09-17 CN CN201811082430.7A patent/CN109032537A/zh not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948846A (zh) * | 2019-03-15 | 2019-06-28 | 山东大学 | 基于时间和成本自适应的在线社交网络数据存储方法及装置 |
CN112965957A (zh) * | 2021-03-22 | 2021-06-15 | 广州汇量信息科技有限公司 | 一种数据迁移方法、装置、设备及存储介质 |
CN115865712A (zh) * | 2022-11-15 | 2023-03-28 | 重庆邮电大学 | 一种基于时效亲密模型的边缘数据存储方法 |
CN116567001A (zh) * | 2023-05-16 | 2023-08-08 | 上海凯翔信息科技有限公司 | 一种基于云端nas的数据迁移系统 |
CN116567001B (zh) * | 2023-05-16 | 2023-12-29 | 上海凯翔信息科技有限公司 | 一种基于云端nas的数据迁移系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109032537A (zh) | 基于社交网络大数据的用户的数据分布式云存储方法及系统 | |
Coroama et al. | Assessing Internet energy intensity: A review of methods and results | |
US9953079B2 (en) | Preference based system and method for multiple feed aggregation and presentation | |
AU2013230825B2 (en) | Propagating user feedback on shared posts | |
KR20120126093A (ko) | 네트워크에서 프렌드 피드를 관리하는 방법, 시스템 및 서버 | |
WO2011008145A1 (en) | Providing content by using a social network | |
WO2013081051A1 (ja) | レコメンド装置、レコメンドシステム、レコメンド方法およびプログラム | |
US11558333B1 (en) | Organizing self-replying messages | |
CN104111981B (zh) | 一种用于提供发布信息的方法与设备 | |
KR101664941B1 (ko) | 국지적 공간 의존성 지표를 이용하여 특정 키워드에 대한 트위터 상의 유력지역 탐색방법 | |
Wehden et al. | So far, yet so close: Examining translocal Twitter audiences of regional newspapers in Germany | |
CN103383703A (zh) | 一种微博用户组推荐方法 | |
US9529855B2 (en) | Systems and methods for point of interest data ingestion | |
US8931011B1 (en) | Systems and methods for streaming media content | |
Blanc et al. | Safety perceptions, roadway characteristics, and cyclists’ demographics: A study of crowdsourced smartphone bicycle safety data | |
WO2018218058A1 (en) | Systems and methods for providing real-time discrepancies between disparate execution platforms | |
Knepper et al. | Comparing the consumption of CPU hours with scientific output for the extreme science and engineering discovery environment (XSEDE) | |
Wu et al. | Exploring city social interaction ties in the big data era: Evidence based on location-based social media data from China | |
Hallingby et al. | Convergence in action: A case study of the Norwegian Internet | |
KR101115907B1 (ko) | 웹 서비스의 사용자 체감 성능 모니터링 방법과 이를 위한 프로그램이 기록된 기록매체 및 컴퓨팅 장치 | |
Cosic et al. | Hydrological conflicts risk estimation in Vojvodina, Serbia. | |
Andrade et al. | Environmental perception of residents about the use of the dam's water in District of Galante, Campina Grande, Paraiba, Brazil. | |
Raskit et al. | Cytomegalovirus (CMV) seroprevalence in the adult population of Germany. | |
Currans et al. | Exploring ITE’s Trip Generation Handbook: Assessing Age of Data and Land Use Taxonomy in Vehicle Trip Generation for Transportation Impact Analyses | |
Frendo-Cumbo et al. | Searching for and Sharing Research in the Information Age: A Trainee's Perspective |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20181218 |
|
WW01 | Invention patent application withdrawn after publication |