CN109472115A

CN109472115A - 基于地理信息的大规模复杂网络建模方法及装置

Info

Publication number: CN109472115A
Application number: CN201811534862.7A
Authority: CN
Inventors: 陈彬; 艾川; 董健; 刘亮; 李祯; 马亮; 宁丹丹; 张芳
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2018-12-14
Filing date: 2018-12-14
Publication date: 2019-03-15
Anticipated expiration: 2038-12-14
Also published as: CN109472115B

Abstract

本发明公开了一种基于地理信息的大规模复杂网络建模方法及装置，本发明实施步骤包括：针对输入的社交网络数据进行数据清洗，从完成数据清洗后的社交网络数据提取用户列表和连边得到网络，根据网络中结点的地理信息进行网络划分得到多个子网，从划分得到的子网中提取区域网络参数、区域间网络参数，根据区域网络参数拟合构建区域网络，根据区域间网络参数拟合构建区域间网络，将区域网络、区域间网络融合得到目标网络。本发明针对大规模复杂网络建模的适用多种社交网络，与地理信息密切相关，具有适应多种社交网络、用户定制能力强、网络拟合好、开发过程简单高效的优点。

Description

基于地理信息的大规模复杂网络建模方法及装置

技术领域

本发明涉及大规模复杂网络建模领域，具体涉及一种基于地理信息的大规模复杂网络建模方法及装置，适用于多种社交网络的建模。

背景技术

社交网站用户构成的社会媒体网络称为在线社会网络，或者在线社交网络(Online Social Network, OSN)。在线社交网络的测量与分析是指通过采集、整理OSN的原始数据，利用复杂网络、社会网络和数据挖掘的理论方法和技术，挖掘和提取OSN的结构特征和用户行为特征。微信是在线社交网络的一种。近年来学术界对OSN的研究日益深入，内容也多种多样，包括网络拓扑、用户行为、用户隐私和安全、系统架构、社团挖掘、信息传播等。从空间网络的角度，基于手机通信数据有两个最为突出的地域科学研究。其一是城市中心之间的交互密度可以用引力定律 (gravity law) 来很好地拟合。另一个是有关社团探测的，相关的研究发现，网络中探测得到的社团通常与行政区划的边界吻合的非常好，进而可以研究网络舆情传播在地域上的特性，并与地域上经济的特性进行对比，尝试找出经济与舆情的联系。

研究表明，规则网络具有大的簇系数和大的平均距离，随机网络具有小的聚类系数和小的平均距离。1998年，Watts和Strogats构造的WS网络，以及随后Newman和Watts给出的NW网络，同时具有大的聚类系数和小的平均距离，因此既不能当作规则网络处理，也不能被看作是随机网络。后来物理学家把大的聚类系数和小的平均距离两个统计特征合在一起称为小世界效应，具有这种效应的网络就是小世界网络。同时科学家发现大量真实网络的节点度服从幂律分布，这里某节点的度是指该节点拥有相邻节点的数目，或者说与该节点关联的边的数目。节点度服从幂律分布就是说，具有某个特定度的节点数目与这个特定的度之间的关系可以用一个幂函数近似地表示。这些发现启发我们考虑单个行政单位内部的交互网络是不是也具有小世界或者无标度特性。

根据相关研究可以知道行政单位内部交互比外部密集。因此，由于我国幅员辽阔，社交网络受地理信息影响非常显著，对包含地理信息的社交媒体网络建模就可以基于行政单位划分来进行，即首先建立单个行政单位内（如一个城市）的用户交互网络（区域网络），然后考虑城际的用户交互网络（区域间网络），而不是按照传统的将网络考虑为一个整体进行建模。因此，如何实现基于地理信息的大规模复杂网络建模，已成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于地理信息的大规模复杂网络建模方法及装置，本发明针对大规模复杂网络建模的适用多种社交网络，与地理信息密切相关，具有适应多种社交网络、用户定制能力强、网络拟合好、开发过程简单高效的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于地理信息的大规模复杂网络建模方法，实施步骤包括：

1）针对输入的社交网络数据进行数据清洗得到语义、语法、语构统一的社交网络数据；

2）从完成数据清洗后的社交网络数据提取用户列表和连边得到网络；

3）根据网络中结点的地理信息进行网络划分得到多个子网；

4）从划分得到的子网中提取区域网络参数、区域间网络参数；

5）根据区域网络参数拟合构建区域网络，根据区域间网络参数拟合构建区域间网络；

6）将区域网络、区域间网络融合得到目标网络。

可选地，步骤1）中针对输入的社交网络数据进行数据清洗包括对输入的社交网络数据进行一致性检查、无效值处理、缺失值处理、重复值及错误值处理。

可选地，步骤2）中提取用户列表和连边得到网络的详细步骤包括：确定网络节点和连边在社交网络数据中对应的表现形式、提取用户节点列表、提取边列表、边权重、进行编码，从而得到由用户列表和连边构成的网络，且网络中的连边具有边权重信息。

可选地，步骤3）的详细步骤包括：

3.1）针对用户列表中的用户，根据IP地址库通过用户IP找到用户地址，根据地址划分用户，输出不同区域的节点集合；

3.2）根据节点集合进行网络划分得到多个子网，子网构成区域网络，针对每一个连边，如果连边的源节点和目标节点都属于某一个节点集合则该连边属于该子网，否则该连边连接在两个子网之间属于区域间网络，所述区域间网络为区域网络两两之间连接的网络。

可选地，步骤4）中从划分得到的子网中提取区域网络参数、区域间网络参数时，所述区域网络参数包括网络的模型以及模型的参数，所述区域间网络参数包括网络的规模、连边的数量以及在两个区域中选节点的策略。

可选地，所述区域网络参数中网络的模型包括无边度网络模型BA和随机网络模型，其中无边度网络模型BA用于拟合区域网络，随机网络模型用于作为部分节点异常稀疏的网络的模型。

可选地，步骤5）中根据区域网络参数拟合构建区域网络的详细步骤包括：根据区域网络参数生成度序列，然后根据度序列采用网络生成算法生成区域网络。

可选地，所述根据区域网络参数生成度序列具体是指：在预设的区间下限kmin～上限kmax之间，对递增的序号i分别计算i^-λ并进行累计求和得到递增的数组Cumpro，其中λ为预设的度指数，度指数为常数；然后将数组Cumpro中的所有元素除以元素中的最大值后替代原值得到新的数组Cumpro，最终对每一个节点取一个0到1之间的随机数P，并计算新的数组Cumpro中小于随机数P的元素个数作为该节点的度d，从而得到度序列；所述根据度序列采用网络生成算法生成配置区域网络具体是指：将度序列映射为新的列表，度序列中每个元素都是一个节点在网络中的度d，该元素的编号即节点编号index，对应在新的列表中生成d个index，然后将新的列表中的元素随机两两取出配对作为源节点和目标节点之间形成的边，从而得到由边构成的区域网络。

可选地，步骤5）中根据区域间网络参数拟合构建区域间网络的详细步骤包括：针对区域间网络中的边，将其在两个区域网络中按照优先选择的办法选出节点形成边，度越大选中概率越大，然后在两个区域网络中将孤立节点随机连接形成边，最后组合成为区域间网络。

本发明还提供一种基于地理信息的大规模复杂网络建模装置，包括计算机设备，所述计算机设备被编程以执行本发明前述基于地理信息的大规模复杂网络建模方法的步骤。

和现有技术相比，本发明具有下述优点：本发明针对输入的社交网络数据进行数据清洗，从完成数据清洗后的社交网络数据提取用户列表和连边得到网络，根据网络中结点的地理信息进行网络划分得到多个子网，从划分得到的子网中提取区域网络参数、区域间网络参数，根据区域网络参数拟合构建区域网络，根据区域间网络参数拟合构建区域间网络，将区域网络、区域间网络融合得到目标网络。本发明针对大规模复杂网络建模的适用多种社交网络，与地理信息密切相关，使用本发明可以很少的开发工作完成大规模的复杂网络建模，同时该网络包含比较丰富的地理信息，在进行传播仿真实验时能提供地理上的信息支撑，为地理相关的舆情分析提供支撑，具有适应多种社交网络、用户定制能力强、网络拟合好、开发过程简单高效的优点。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例方法的逻辑框图。

图3为本发明实施例中步骤1）的流程图。

图4为本发明实施例中步骤2）的流程图。

图5为本发明实施例中步骤3）的流程图。

图6为本发明实施例中网络模拟拟合的流程图。

图7为本发明实施例中生成度序列的流程图。

图8为本发明实施例中生成配置网络的流程图。

图9为本发明实施例中生成区域间网络的流程图。

具体实施方式

下文以针对某一社交网络数据进行基于地理学信息的复杂网络建模为例，对本实施例的基于地理信息的复杂网络计算方法进行说明。需要说明的是，本实施例仅仅是以某一社交网络数据为例进行说明，毫无疑问地，本实施例还可以应用到其它各种通用复杂网络建模中去，在此不再赘述。

如图1所示，本实施例基于地理信息的大规模复杂网络建模方法的实施步骤包括：

3）根据网络中结点的地理信息进行网络划分得到多个子网；

6）将区域网络、区域间网络融合得到目标网络。

如图2所示，社交网络数据（简称数据）经过清洗后得到实证网络，实证网络进行网络划分得到多个子网，从而可以得到子网包括：区域网络1～区域网络，以及区域间网络(1,1)～区域间网络(N,N)。在此基础上，提取网络参数并分别进行网络模型拟合，即可完成网络构建，包括：区域网络1～区域网络，以及区域间网络(1,1)～区域间网络(N,N)。

社交网络平台的原始数据质量参差不齐，需要经过数据清洗得到语法、语义、语构统一的数据。数据通常有一致性问题、无效值、缺失值、重复值及错误值等，需要根据具体的数据情况设计数据清洗。如图3所示，步骤1）中针对输入的社交网络数据进行数据清洗包括对输入的社交网络数据进行一致性检查、无效值处理、缺失值处理、重复值及错误值处理。

一致性检查：一致性检查(consistency check)是根据每个变量的合理取值范围和相互关系，检查数据是否合乎要求，发现超出正常范围、逻辑上不合理或者相互矛盾的数据。例如，人的身高为负数，体重出现了负数，都应视为超出正常值域范围。Excel等计算机软件都能够根据定义的取值范围，自动识别每个超出范围的变量值。具有逻辑上不一致性的答案可能以多种形式出现：例如，许多调查对象说自己开车上班，又报告没有汽车；或者调查对象报告自己是某品牌的重度购买者和使用者，但同时又在熟悉程度量表上给了很低的分值。

无效值、缺失值处理：由于调查、编码和录入误差，数据中可能存在一些无效值和缺失值，需要给予适当的处理。常用的处理方法有：估算，整例删除，变量删除和成对删除。估算 (estimation)。最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值；整例删除 (casewise deletion) 是剔除含有缺失值的样本。由于很多问卷都可能存在缺失值，这种做法的结果可能导致有效样本量大大减少，无法充分利用已经收集到的数据。因此，只适合关键变量缺失，或者含有无效值或缺失值的样本比重很小的情况；变量删除(variable deletion)。如果某一变量的无效值和缺失值很多，而且该变量对于所研究的问题不是特别重要，则可以考虑将该变量删除。这种做法减少了供分析用的变量数目，但没有改变样本量。

重复值及错误值处理：数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录（即合并/清除)。合并/清除是消重的基本方法。错误数据产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写字符检测的方式找出来，然后进行删除。日期格式不正确的或者是日期越界的这一类错误会导致错误，这一类错误需要挑出来修正或者删除。

对清洗后的数据提取网络，首先需要确定数据中哪些信息可以作为用户节点和节点之间的连边，通常数据中用户的用户名、ID等唯一标识可以作为网络中节点的ID编码的依据，对用户节点进行编码之后需要确定有向边在数据中的对应形式，如用户A转发一条用户B的信息，那么对应的网络中应该有一条用户B到用户A的边。按这种方式提取出所有的边列表，并按节点编码的格式重新编码。

如图4所示，步骤2）中提取用户列表和连边得到网络的详细步骤包括：确定网络节点和连边在社交网络数据中对应的表现形式、提取用户节点列表、提取边列表、边权重、进行编码，从而得到由用户列表和连边构成的网络，且网络中的连边具有边权重信息。网络提取的重点是确定用户节点唯一标识和用户交互关系在数据中的表现形式，确定用户节点唯一标识之后可以对其进行编码，进而将用户的交互关系转化为编码表现形式的用户边列表。

取得网络之后需要按照地理信息进行网络划分。地理信息的来源是用户信息中的IP地址，根据IP通过查找IP库就可以定位用户所在的地址，根据地址可以将所有的用户节点划分为一个个的节点集合，每个集合表示一个区域内的所有用户。根据节点集合，可以将所有的边划分为区域内的网络和区域间的网络。方法是如果两个节点都属于一个区域，那这条边就属于该区域内部网络，如果属于不同的区域，这条边就是区域间网络。

如图5所示，步骤3）的详细步骤包括：

3.1）针对用户列表中的用户，根据IP地址库通过用户IP找到用户地址，根据地址划分用户，输出不同区域的节点集合（节点集合1～节点集合N）；

参见图5，根据用户节点划分结果，将所有的网络边进行划分，输出每个地级市的用户网络即区域网络，和地级市两两之间连接网络，即区域间网络。每条边有源节点和目标节点，如果两个节点都属于某一个节点集合，那这条边就属于该区域网络，如果两个节点属于不同的用户节点集合(i,j)，这条边就属于区域间网络(i,j)。参见图5，最终划分得到的子网包括：区域网络1～区域网络，以及区域间网络(1,1)～区域间网络(N,N)。

本实施例中，步骤4）中从划分得到的子网中提取区域网络参数、区域间网络参数时，所述区域网络参数包括网络的模型以及模型的参数，所述区域间网络参数包括网络的规模、连边的数量以及在两个区域中选节点的策略。本实施例中，所述区域网络参数中网络的模型包括无边度网络模型BA和随机网络模型，其中无边度网络模型BA用于拟合区域网络，随机网络模型用于作为部分节点异常稀疏的网络的模型。

如图6所示，关于区域网络和区域间网络的分析与建模过程，涉及区域网络和区域间网络两个部分。针对区域网络主要是对一个城市的交互网络建立模型、构建网络。区域网络建模的重点主要是每个城市的网络都有所不同，需要对网络的规模、平均度以及度分布进行特定分析然后选择合适的网络模型，并设定模型的相关参数。本实施例中划分得到的区域网络基本符合幂律分布，符合优先连接的规律，采用无边度网络模型BA就可以进行拟合，有部分节点异常稀疏的网络直接采取随机网络模型。参见图5，在确定网络规模、平均度后即可确定网络度分布图，然后就可以采用无边度网络模型BA拟合区域网络。针对区域间网络需要对两个不同城市的用户之间的交互网络进行建模，然后对每一对城市的交互网络构建新的网络。区域间网络建模的重点是对网络的规模、边的数量以及在两个区域中选节点的策略进行确定。网络规模和边的数量很容易确定，但连个区域中如何筛选节点有很多可用的方法，如随机网络建模方法，类似于BA网络的优先连接方法等。本实例中选择优先连接的方法。简单说就是度越大的节点越有机会被选择产生连边。参见图5，在确定网络节点规模、边规模后即可进行节点连边规律分析，然后就可以拟合区域间网络。

区域网络和区域间网络需要经过分析、提取相关的参数来进行网络模型的拟合。针对区域网络，经过分析会发现该网络呈现明显的幂律分布的特性，除了规模和平均度以外，不同区域的网络幂律分布具体特征也略有不同，据此可以用生成配置网络的方法先生成符合特定度分布网络的度序列，然后生成配置网络。区域间网络的特性比较难以捉摸，但也符合有线连接的特性，于是在规模、平均度确定的情况下可以按优先连接的方式在两个区域中选择节点形成连边。

本实施例中，步骤5）中根据区域网络参数拟合构建区域网络的详细步骤包括：根据区域网络参数生成度序列，然后根据度序列采用网络生成算法生成区域网络。首先输入参数生成度序列和然后根据度序列根据网络生成算法生成配置网络。生成度序列包括累计求和取得数组Cumpro，计算Cumpro中小于某随机值等步骤。生成配置网络需要对度序列做一个关于节点序号和度的映射，最后得到网络。

如图7所示，根据区域网络参数生成度序列具体是指：在预设的区间下限kmin～上限kmax之间，对递增的序号i分别计算i^-λ并进行累计求和得到递增的数组Cumpro，其中λ为预设的度指数，度指数为常数；例如当序号i=0时，Cumpro[0]= 0^-λ，当序号i=1时，Cumpro[1]= 0^-λ+1^-λ，当序号i=3时，Cumpro[3]= 0^-λ+1^-λ+2^-λ，依次类推；然后将数组Cumpro中的所有元素除以元素中的最大值（Cumpro[max]）后替代原值得到新的数组Cumpro，即将数组Cumpro进行归一化得到新的数组Cumpro，最终对每一个节点取一个0到1之间的随机数P，并计算新的数组Cumpro中小于随机数P的元素个数作为该节点的度d，从而得到度序列Degree。例如针对随机数为P_j，新的数组Cumpro中小于随机数P_j的数量即为Degree[j]。

本实施例中，根据度序列采用网络生成算法生成配置区域网络具体是指：将度序列映射为新的列表，度序列中每个元素都是一个节点在网络中的度d，该元素的编号即节点编号index，对应在新的列表中生成d个index，然后将新的列表中的元素随机两两取出配对作为源节点和目标节点之间形成的边，从而得到由边构成的区域网络。

如图8所示，根据度序列采用网络生成算法生成配置区域网络的详细步骤包括：

5.1）初始化变量i等于预设序号极小值kmin，初始化变量index的值为0、循环次数j的值为1，其中变量i、index为步骤5）中的局部变量；

5.2）判断变量i大于预设的循环次数n是否成立，如果成立则跳转执行步骤5.3）；否则，跳转执行步骤5.4）；

5.3）将数组Nodelist中元素进行随机排序，然后按照编号为偶数的元素及其下一个的元素作为一对节点编号配对组合形成边，从而得到网络的边列表构成的网络；结束；

5.4）判断循环次数j大于节点度的序列Degree第i个元素是否成立，如果成立则将变量i加1，然后跳转执行步骤5.2）；否则，将新的数组Nodelist中第index个元素赋值为变量i（生成配置网络的节点编号），然后增加变量index的值、增加循环次数j的值，并跳转执行步骤5.4）。

如图9所示，步骤5）中根据区域间网络参数拟合构建区域间网络的详细步骤包括：针对区域间网络中的边，将其在两个区域网络中按照优先选择的办法选出节点形成边，度越大选中概率越大，然后在两个区域网络中将孤立节点随机连接形成边，最后组合成为区域间网络。根据区域间网络参数拟合构建区域间网络时，需要先获取该网络的规模和权重，对优先选择的规律进行检验和参数提取，首先在两个区域网络中分别按照优先选择的办法，即度越大，选中概率越大，选出节点形成边，然后在两个区域网络中将孤立节点随机连接形成边，最后组合成为区域间网络。

此外，本实施例还提供一种基于地理信息的大规模复杂网络建模装置，包括计算机设备，计算机设备被编程以执行本实施例前述基于地理信息的大规模复杂网络建模方法的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于地理信息的大规模复杂网络建模方法，其特征在于实施步骤包括：

3）根据网络中结点的地理信息进行网络划分得到多个子网；

6）将区域网络、区域间网络融合得到目标网络。

2.根据权利要求1所述的基于地理信息的大规模复杂网络建模方法，其特征在于，步骤1）中针对输入的社交网络数据进行数据清洗包括对输入的社交网络数据进行一致性检查、无效值处理、缺失值处理、重复值及错误值处理。

3.根据权利要求1所述的基于地理信息的大规模复杂网络建模方法，其特征在于，步骤2）中提取用户列表和连边得到网络的详细步骤包括：确定网络节点和连边在社交网络数据中对应的表现形式、提取用户节点列表、提取边列表、边权重、进行编码，从而得到由用户列表和连边构成的网络，且网络中的连边具有边权重信息。

4.根据权利要求1所述的基于地理信息的大规模复杂网络建模方法，其特征在于，步骤3）的详细步骤包括：

5.根据权利要求1所述的基于地理信息的大规模复杂网络建模方法，其特征在于，步骤4）中从划分得到的子网中提取区域网络参数、区域间网络参数时，所述区域网络参数包括网络的模型以及模型的参数，所述区域间网络参数包括网络的规模、连边的数量以及在两个区域中选节点的策略。

6.根据权利要求5所述的基于地理信息的大规模复杂网络建模方法，其特征在于，所述区域网络参数中网络的模型包括无边度网络模型BA和随机网络模型，其中无边度网络模型BA用于拟合区域网络，随机网络模型用于作为部分节点异常稀疏的网络的模型。

7.根据权利要求1所述的基于地理信息的大规模复杂网络建模方法，其特征在于，步骤5）中根据区域网络参数拟合构建区域网络的详细步骤包括：根据区域网络参数生成度序列，然后根据度序列采用网络生成算法生成区域网络。

8.根据权利要求7所述的基于地理信息的大规模复杂网络建模方法，其特征在于，所述根据区域网络参数生成度序列具体是指：在预设的区间下限kmin～上限kmax之间，对递增的序号i分别计算i^-λ并进行累计求和得到递增的数组Cumpro，其中λ为预设的度指数，度指数为常数；然后将数组Cumpro中的所有元素除以元素中的最大值后替代原值得到新的数组Cumpro，最终对每一个节点取一个0到1之间的随机数P，并计算新的数组Cumpro中小于随机数P的元素个数作为该节点的度d，从而得到度序列；所述根据度序列采用网络生成算法生成配置区域网络具体是指：将度序列映射为新的列表，度序列中每个元素都是一个节点在网络中的度d，该元素的编号即节点编号index，对应在新的列表中生成d个index，然后将新的列表中的元素随机两两取出配对作为源节点和目标节点之间形成的边，从而得到由边构成的区域网络。

9.根据权利要求1所述的基于地理信息的大规模复杂网络建模方法，其特征在于，步骤5）中根据区域间网络参数拟合构建区域间网络的详细步骤包括：针对区域间网络中的边，将其在两个区域网络中按照优先选择的办法选出节点形成边，度越大选中概率越大，然后在两个区域网络中将孤立节点随机连接形成边，最后组合成为区域间网络。

10.一种基于地理信息的大规模复杂网络建模装置，包括计算机设备，其特征在于：所述计算机设备被编程以执行权利要求1～9中任意一项所述基于地理信息的大规模复杂网络建模方法的步骤。