CN110858954B - 数据处理方法、装置、设备和介质 - Google Patents

数据处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN110858954B
CN110858954B CN201810961249.7A CN201810961249A CN110858954B CN 110858954 B CN110858954 B CN 110858954B CN 201810961249 A CN201810961249 A CN 201810961249A CN 110858954 B CN110858954 B CN 110858954B
Authority
CN
China
Prior art keywords
moving point
point quantity
grid
preset
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810961249.7A
Other languages
English (en)
Other versions
CN110858954A (zh
Inventor
姚春芬
李彦光
李昶
刘毅
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Hebei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Hebei Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201810961249.7A priority Critical patent/CN110858954B/zh
Publication of CN110858954A publication Critical patent/CN110858954A/zh
Application granted granted Critical
Publication of CN110858954B publication Critical patent/CN110858954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports

Abstract

本发明实施例公开了一种数据处理方法、装置、设备和介质，该数据处理方法包括：依据目标区域的数字地图信息，对目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数；根据由基站在预设第一时间段内获取的目标区域的位置数据，确定每个栅格区域的移动点量；对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到目标区域的完整移动点量，其中，片段移动点量是一个栅格区域在一个预设时长内的移动点量，预设时长是在预设第一时间段内的时间段。

Description

数据处理方法、装置、设备和介质
技术领域
本发明涉及无线通信领域，尤其涉及一种数据处理方法、装置、设备和介质。
背景技术
4G网络(the 4Generation mobile communication technology)时代的到来，无线网络提供了更为丰富的发现和分析人群聚集状况的手段及方法。测量报告(MeasurementReport，MR)数据主要来自用户(UE)和基站(eNodeB)的物理层，能够精确定位手机用户的位置，通过分析采集的MR数据能够较好地监测人群的聚集状况。
但MR数据为保障用户对4G信号的使用，一般采用抽样上报的模式，且抽样时间不确定性和空间不确定性，造成MR数据缺失严重，很难直接利用MR数据估计全天人群聚集变化情况。
目前常用的缺失数据处理方法有线性回归插补法、比率插补法和归因补全方法等，但是这些方法补全缺失效果比较差。忽略了比较多的因素，比如：忽略了交通事故等引起的突变等。因此，如何提高补全效果是亟待解决的问题。
发明内容
本发明实施例提供一种数据处理方法，可以在数据缺失时，提高缺失数据的补全效果。
本发明实施例第一方面，提供一种数据处理方法，该数据处理方法包括：
依据目标区域的数字地图信息，对所述目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数；
根据由基站在预设第一时间段内获取的所述目标区域的位置数据，确定每个栅格区域的移动点量；
对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到所述目标区域的完整移动点量，其中，所述片段移动点量是一个栅格区域在一个预设时长内的移动点量，所述预设时长是在所述预设第一时间段内的时间段。
本发明实施例的第二方面，提供一种数据处理装置，所述数据处理装置包括：
栅格处理模块，用于依据目标区域的数字地图信息，对所述目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数；
确定栅格移动点量模块，用于根据由基站在预设第一时间段内获取的所述目标区域的位置数据，确定每个栅格区域的移动点量；
确定完整移动点量模块，用于对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到所述目标区域的完整移动点量，其中，所述片段移动点量是一个栅格区域在一个预设时长内的移动点量，所述预设时长是在所述预设第一时间段内的时间段。
本发明实施例的第三方面，提供一种终端设备，包括：
存储器、处理器、通信接口和总线；
存储器、处理器和通信接口通过总线连接并完成相互间的通信；
存储器用于存储程序代码；
处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行如第一方面的方法。
本发明实施例的第四方面，提供一种计算机存储介质，包括指令，当指令在计算机上运行时，使计算机执行如第一方面的方法。
根据本发明实施例中的数据处理方法、装置、设备和介质，通过对MR数据对应的数字地图信息进行栅格化处理，能够更加具体地分析目标区域每个预设时长内的移动点量的流动细节，并对MR数据连续丢失的栅格区域进行补全处理，使得补全处理更加准确，补全效果更加好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出本发明实施例的数据处理方法的流程图；
图2是示出本发明实施例的栅格化处理的示意图；
图3是示出本发明实施例中进行空间维度补全的示意图；
图4(a)是示出本发明实施例中空间维度补全前的示意图；
图4(b)是示出本发明实施例中空间维度补全后的示意图；
图5是示出本发明实施例提供的数据处理装置的结构示意图；
图6是示出本发明实施例中确定完整移动点量模块的示意图；
图7是示出能够实现根据本发明实施例的数据处理方法和装置的计算设备的示例性硬件架构的结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如每个和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前大多使用MR数据定位手机用户位置，通过分析采集的MR数据，能够较好地监测人群的聚集状况。但是目前分析人群聚集状况，只是仅仅汇总某一范围内人群起始位置的变化情况，这样的时间粒度太大，丢失了用户移动过程中的细节信息。另外，MR数据由基站负责收集，根据第三代合作伙伴计划(3rd Generation Partnership Project，3GPP)规范，只有激活态用户才会上报MR数据。又因为为了减少对用户的影响，一般采用抽样上报的模式，这样的采集方式造成了MR数据一天之中只有几个时间段的采集MR数据。而且由于基站关闭的时间不确定性和空间不确定性，造成直接利用MR数据统计人群聚集状况的困难。
由于以上MR数据存在缺失的问题，本发明实施例对MR数据存在缺失的问题进行了改进。首先获取目标区域范围内的所有MR数据，接着通过数字地图信息对目标区域进行栅格化处理，将区域划分成相同大小的栅格，统计每个栅格区域人群的流入和流出两个指标。将当天缺失严重的MR数据剔除掉，将缺失不严重的MR数据，采取时间-空间双维度补全方法，获得完整时间的人群聚集变化。
为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的数据处理方法、装置、设备和介质，应注意，这些实施例并不是用来限制本发明公开的范围。
图1是示出本发明实施例的数据处理方法的流程图。图2是示出本发明实施例的栅格化处理的示意图。
如图1所示，本实施例中的数据处理方法100包括以下步骤：
步骤S110，依据目标区域的数字地图信息，对目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数。
在该步骤中，如图2所示，将目标区域对应的数字地图信息进行栅格化处理，数字地图信息可以为百度地图信息。图2(a)是未进行栅格化处理的数字地图信息，图中的黑圆点代表的是手机用户，也可以代表的是车辆等移动的物体。图2(b)进行栅格化处理后的数字地图信息。图2(b)中有些栅格区域是有黑圆点的，即代表该栅格区域有手机用户；有些区域是没有黑圆点的，即代表该栅格区域没有手机用户。
栅格区域中黑圆点数密集的区域，即代表手机用户较多，栅格区域中黑圆点数稀疏的，即代表手机用户较少。
具体的，栅格化处理可以是通过采用地理信息系统GIS技术对所述目标区域进行等面积划分。地理信息系统技术(Geographic Information Systems，GIS)是多种学科交叉的产物，它以地理空间为基础，采用地理模型分析方法，实时提供多种空间和动态的地理信息，是一种为地理研究和地理决策服务的计算机技术系统。其基本功能是将表格型数据转换为地理图形显示，然后对显示结果浏览，操作和分析
步骤S120，根据由基站在预设第一时间段内获取的目标区域的位置数据，确定每个栅格区域的移动点量。
在该步骤中，如图2(b)所示，确定出每个栅格区域的移动点量，即每个栅格区域的手机用户数量。
预设第一时间段内可以是一天24小时，基站监控的就是一天24小时内目标区域的手机用户的位置数据。
步骤S130，对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到目标区域的完整移动点量，其中，片段移动点量是一个栅格区域在一个预设时长内的移动点量，预设时长是在预设第一时间段内的时间段。
在该步骤中，一天24小时内，假设在10:00-10:15中栅格区域A缺失了移动点量即MR数据，例如：在10:00-10:15时间内没有获取到栅格区域A的手机用户的MR数据，那么就需要补全这时间段内栅格区域A的手机用户的MR数据。同理，对所有栅格区域出现缺失的，都需要做同样的处理，最后得到目标区域的完整移动点量。
确定需要补全处理的栅格区域，由于有的栅格区域没有MR数据采样点，因此一直没有MR数据，这样的栅格区域需要单独筛选出来，不进行处理，以减少计算工作。判断这种栅格区域需要依据历史的MR数据，以确定是否一直没有MR数据。判断公式如下(1)：
Figure BDA0001773885060000061
其中，i、j均为按照栅格区域的栅格编号，当D(i,j)＝0时，说明该栅格区域没有MR采样点，没有记录；当D(i,j)＝1时说明该栅格区域有MR采样点，有MR数据，需要进行补全处理。
根据本发明实施例的数据处理方法，通过对MR数据对应的数字地图信息进行栅格化处理，更加具体地分析目标区域每个预设时长内的移动点量的流动细节，并对MR数据连续丢失的栅格区域进行补全处理，使得补全处理更加准确，补全效果更加好。
在一实施例中，对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到目标区域的完整移动点量之前，还包括：
确定在预设第一时间段内所有栅格区域缺失的片段移动点量的片段数目M小于等于预设阈值，M为大于等于1的整数。具体的，预设阈值等于1/3×S×N，N为大于等于1的整数。
需要说明的是，统计一天之中每个栅格区域每个时间段内MR数据缺失状况，当一天之中缺失的MR数据的片段数目之和超过一天所有栅格区域的MR数据的片段数目总数的三分之一时，将这一整天MR数据剔除。
例如：一天24小时，15分钟为一个时间段，假设有9个栅格区域，则片段移动点量的片段数目总数为4×24×9＝864。若是缺失了288个片段移动点量，则这一天的MR数据都作废，不使用。
在一实施例中，步骤S130对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到目标区域的完整移动点量，包括：
步骤S131，对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量。
步骤S132，将所有栅格区域的完整移动点量融合，得到目标区域的完整移动点量。
在一实施例中，对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量，包括两种方式。
第一种，对每个栅格区域在连续W个预设时长内缺失的片段移动点量进行时间维度的历史数据补全处理，其中，W为小于N且大于0的整数。
需要说明的是，本实施例以3个时间段为例，即W＝3，假设栅格区域A在10：00-10:15、10:16-10:30和10:31-10:45这3个连续的时间段内缺失MR数据，则需要对栅格区域A进行时间维度的历史数据补全处理。
具体的，对每个栅格区域在连续W个所述预设时长内缺失的片段移动点量进行时间维度的历史数据补全处理，包括：
对历史记录的第一时间段中，每个栅格区域在同一预设时长的片段移动点量进行归一化处理和均值处理，得到每个栅格区域的片段移动点量的历史均值。
可以理解的是，假设栅格区域A在10：00-10:15、10:16-10:30和10:31-10:45这3个连续的时间段内缺失MR数据。那么获取的历史MR数据也需要是一天时间中10：00-10:15、10:16-10:30和10:31-10:45这3个连续的时间段的MR数据。
上述矩阵D，对每一个D(i,j)＝1，即上文中提出的有MR采样点的栅格区域，对这些有MR采样点的栅格区域且3个连续的时间段缺失MR数据，则需要进行历史数据补全处理。
为了减少数量级引起的差异，记录该栅格区域A当天起至之前的k-1天每天的手机用户的流入量和流出量的最大峰值集合，其中流入量是指该栅格区域在一个预设时长中增加的手机用户数，即增加的MR数据，流出量是指该栅格区域在一个预设时长中减少的手机用户数。如公式(2)和公式(3)所示：
Figure BDA0001773885060000071
Figure BDA0001773885060000072
其中，k指的是历史记录MR数据到当天的日期数，第k天是当天，
Figure BDA0001773885060000073
和
Figure BDA0001773885060000074
分别为第i天在96个预设时长内手机用户的流入量和流出量的最大值。
由于每天手机用户的流入量和流出量最小值为0，那么对数据进行最大和最小归一化，如下公式(4)-(7)所示，
Figure BDA0001773885060000081
Figure BDA0001773885060000082
Figure BDA0001773885060000083
Figure BDA0001773885060000084
其中，
Figure BDA0001773885060000085
和
Figure BDA0001773885060000086
分别为栅格G(i,j)第m天归一化后的手机用户的流入量和流出量。
其中，每个栅格区域手机用户的流入量Inflow和流出量Outflow为如下公式(8)和公式(9)：
Figure BDA0001773885060000087
Figure BDA0001773885060000088
需要对公式(8)和公式(9)说明的是，假设预设时长为15分钟，统计每15分钟内每个栅格区域手机用户的流入量和流出量时，首先需要统计每个手机用户在这15分钟时间段内路径变化TRi＝g1→g2→…→g|TR|，其中g1指的是在这15分钟时间段内手机用户i在第一个时刻出现的位置，|TR|指的是手机用户i在15分钟时间段内出现的记录次数。然后计算手机用户i相应的位置变化，即如果gt属于栅格区域G(i,j)，而gt+1不属于栅格区域G(i,j)，则认为手机用户i在t时间发生了栅格区域的移动。
对于缺失MR数据的栅格区域A，利用该栅格区域A历史k-1天对应时间段MR数据的均值进行补全处理，为了保证手机用户的流入量和流出量与日期变化的非相关性，计算k-1天手机用户的流入量和流出量的归一化后的均值，采用该均值进行补全数据。
Figure BDA0001773885060000091
Figure BDA0001773885060000092
其中，
Figure BDA0001773885060000093
和
Figure BDA0001773885060000094
分别为计算缺失的栅格区域A对应的历史手机用户的流入量均值和流出量均值。
利用当前在预设第一时间段内每个栅格区域的移动点量的最大值与最小值，对每个栅格区域的片段移动点量的历史均值进行反归一化处理，得到每个栅格区域的长周期补全的片段移动点量。
可以理解的是，将均值
Figure BDA0001773885060000095
和
Figure BDA0001773885060000096
利用第k天即当天的流入量和流出量的最大值
Figure BDA0001773885060000097
和
Figure BDA0001773885060000098
反归一化得到长周期的补全数据T(x)in/out。
Figure BDA0001773885060000099
Figure BDA00017738850600000910
为了便于后面的融合，将T(x)in/out的维度扩展到手机用户的流入量和流出量的维度。定义若栅格区域A缺失MR数据，则T(x)in/out按照上面计算，若没有缺失MR数据则T(x)in/out＝0，这样保证了只有在缺失的时间段有值。
利用长周期补全的片段移动点量，对每个栅格区域进行时间维度的补全处理。
第二种，对每个栅格区域在连续L个预设时长内缺失的片段移动点量进行时间维度的插值补全处理，其中，L为小于W且大于0的整数。
需要说明的是，假设L＝2，假设栅格区域A在10：00-10:15和10:16-10:30这2个连续的时间段内缺失MR数据，则需要对栅格区域A进行时间维度的插值补全处理。
具体的，对每个栅格区域在连续L个预设时长缺失的片段移动点量进行时间维度的插值补全处理，包括：
确定在相邻的两个预设时长之间每个栅格区域的片段移动点量的变化趋势。
依据变化趋势，采用拉格朗日线性插值对每个栅格区域缺失的片段移动点量进行时间维度的补全处理。
可以理解的是，对于连续缺失数据不足3个时间段的位置，采用拉格朗日线性插值进行补全，同理便于后面的数据融合，在这也将t(x)in/out扩展维度与每天的手机用户的流入量和流出量的维度相同，未缺失MR数据的t(x)in/out＝0。
Figure BDA0001773885060000101
Figure BDA0001773885060000102
Figure BDA0001773885060000103
其中，每个l(x)m为拉格朗日基本多项式，x为第m天t时刻缺失的手机用户的流入量或流出量，通过取t时刻前后手机用户的流入量和流出量计算拉格朗日算子。
在一实施例中，每个栅格区域G(i,j)的流入量F(x)in和流出量F(x)out，即每个栅格区域的完整移动点量为原始数据Inflow(i,j)或Outflow(i,j)融合上长周期的补全数据T(x)in/out以及短周期的补全数据t(x)in/out：
F(x)in＝Inflow(i,j)+T(x)in+t(x)in (17)
F(x)out＝Outflow(i,j)+T(x)out+t(x)out (18)
在一实施例中，对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量，包括：
对在预设第一时间段内每个栅格区域缺失的片段移动点量进行时间维度的补全处理，确定每个栅格区域的时间维度的完整移动点量。
统计缺失前每个栅格区域的片段移动点量、与每个栅格区域周边相邻的栅格区域的片段移动点量，以及缺失后与每个栅格区域周边相邻的栅格区域的片段移动点量，对每个栅格区域的时间维度的完整移动点量进行空间维度的补全处理，确定每个栅格区域的完整移动点量。
需要说明的是，只利用历史数据补全或插值补全，都只是从时间维度进行考虑，会产生误差，比如：如果这个时间段内发生了交通事故等，当天数据会与历史变化差距较大。因此，只利用时间维度补全数据显然是不够的。为了提高补全数据的稳定性与准确性，本发明实施例还从空间纬度进行补全调整。利用某一栅格区域的流入量来源于其周围栅格区域的原理，计算缺失MR数据的栅格区域的周边栅格区域的流入量和流出量。使用周边栅格区域的卷积核对缺失MR数据的栅格区域进行空间维度的补全调整，具体方法及效果如下。
图3是示出本发明实施例中进行空间维度补全的示意图。
通过基站工作原理，一个基站关闭，附近周围的基站正常仍在工作，当前栅格区域内的流入量和流出量，可以通过周围栅格区域的流入量和流出量变化间接表示。
某一栅格区域的流入量必定是周围相邻的栅格区域的流出量。某一栅格区域的流入量可以近似认为只与周围相邻层即3*3＝9个栅格区域的流出量相关。
如图3所示，图3(a)中观察栅格区域5的流入量是1-4和6-9这八个栅格区域的流出量，同时栅格区域5的流出量是这八个栅格区域的流入量，因此假设这八个栅格区域的流入量和流出量平均，则这八个栅格区域1-4和6-9各有1/8的流入量是栅格区域5的流出量，同时各有1/8的流出量是栅格区域5的流入量。
采用图3(b)中的卷积核对缺失MR数据的栅格区域进行空间维度的补全处理，具体公式如下(18)-(19)：
S(x)in＝α·conv*F(x)out+β·F(x)in (18)
S(x)out＝α·conv*F(x)in+β·F(x)out (19)
其中，conv为图3(b)提到的卷积核，F(x)in和F(x)out为栅格的流入量和流出量，α和β为相关系数，α和β为相关系数分别取值为0.2和0.8。
图4(a)是示出本发明实施例中空间维度补全前的示意图。
图4(b)是示出本发明实施例中空间维度补全后的示意图。。
图4(a)为空间维度补全前的视图，图4(b)为空间维度补全后的视图。
图4(a)中空白处表示空间维度补全前的缺失的部分，图4(b)中黑粗线框为空间维度补全后的部分。
通过对比图4(a)和图4(b)，可以得出空间维度的补全比利用插值或历史数据均值补全的效果明显很多。通过分析由于缺失的数据时间连续比较长，直接采用插值方式不如历史数据均值代替，但是每天数据量变化比较大，只采用的归一化补全忽略了数据量的影响，而利用空间维度补全的调整了由于直接利用历史数据归一化补全的缺陷。
通过本发明实施例利用MR数据栅格化处理，统计每个栅格区域的流入量和流出量，更加具体地分析目标区域时间段内流动细节。对MR数据连续丢失，采用历史长周期的数据均值与当天短周期线性插值相结合的方式补全。采用3*3相邻层流入量和流出量进行空间维度的补全处理，使得补全处理更加准确，补全效果更加好。
下面结合附图，详细介绍根据本发明实施例的装置。
图5是示出本发明实施例提供的数据处理装置的结构示意图。如图5所示，数据处理装置500包括：
栅格处理模块510，用于依据目标区域的数字地图信息，对目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数。
确定栅格移动点量模块520，用于根据由基站在预设第一时间段内获取的目标区域的位置数据，确定每个栅格区域的移动点量。
确定完整移动点量模块530，用于对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到目标区域的完整移动点量，其中，片段移动点量是一个栅格区域在一个预设时长内的移动点量，预设时长是在预设第一时间段内的时间段。
本发明实施例中的数据处理装置，通过对MR数据进行栅格化处理，更加具体地分析目标区域每个预设时长内的移动点量流动细节，并对MR数据连续丢失的栅格区域进行补全处理，使得补全处理更加准确。
在一实施例中，栅格化处理是通过采用地理信息系统GIS技术对目标区域进行等面积划分。
在一实施例中，确定栅格移动点量模块520，还用于确定在预设第一时间段内所有栅格区域缺失的片段移动点量的片段数目M小于等于预设阈值，M为大于等于1的整数。
在一实施例中，预设第一时间段的时长大于等于N个连续的预设时长，N为大于等于1的整数。
在一实施例中，预设阈值等于1/3×S×N，N为大于等于1的整数。
图6是示出本发明实施例中确定完整移动点量模块的示意图。
在一实施例中，如图6所示，确定完整移动点量模块530包括：
栅格区域处理单元531和目标区域处理单元532。
栅格区域处理单元531，具体用于对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量。
目标区域处理单元532，用于将所有栅格区域的完整移动点量融合，得到目标区域的完整移动点量。
在一实施例中，栅格区域处理单元531，具体用于对每个栅格区域在连续W个预设时长内缺失的片段移动点量进行时间维度的历史数据补全处理，其中，W为小于N且大于0的整数。
在一实施例中，栅格区域处理单元531，具体用于对每个栅格区域在连续L个预设时长内缺失的片段移动点量进行时间维度的差值补全处理，其中，L为小于W且大于0的整数。
在一实施例中，栅格区域处理单元531，具体用于对历史记录的第一时间段中，每个栅格区域在同一预设时长的片段移动点量进行归一化处理和均值处理，得到每个栅格区域的片段移动点量的历史均值；
用于利用当前在预设第一时间段内所述每个栅格区域的移动点量的最大值与最小值，对每个栅格区域的片段移动点量的历史均值进行反归一化处理，得到每个栅格区域的长周期补全的片段移动点量；
以及用于利用长周期补全的片段移动点量，对每个栅格区域进行时间维度的补全处理。
在一实施例中，栅格区域处理单元531，具体用于确定在相邻的两个预设时长之间每个栅格区域的片段移动点量的变化趋势；以及用于依据变化趋势，采用拉格朗日线性插值对每个栅格区域缺失的片段移动点量进行时间维度的补全处理。
在一实施例中，确定完整移动点量模块530，还用于对在预设第一时间段内每个栅格区域缺失的片段移动点量进行时间维度的补全处理，确定每个栅格区域的时间维度的完整移动点量；以及用于统计缺失前每个栅格区域的片段移动点量、与每个栅格区域周边相邻的栅格区域的片段移动点量，以及缺失后与每个栅格区域周边相邻的栅格区域的片段移动点量，对每个栅格区域的时间维度的完整移动点量进行空间维度的补全处理，确定每个栅格区域的完整移动点量。
根据本发明实施例的数据处理装置，可以利用MR数据栅格化处理，统计每个栅格区域的流入量和流出量，更加具体的分析目标区域时间段内流动细节。对MR数据连续丢失，采用历史长周期的MR数据均值与当天短周期线性插值相结合的方式补全。采用3*3相邻层流入量和流出量进行空间维度的补全处理，使得补全处理更加准确，补全效果更加好。
根据本发明实施例的数据处理装置的其他细节与以上结合图1至图4描述的根据本发明实施例的方法类似，在此不再赘述。
图7是示出能够实现根据本发明实施例的数据处理方法和装置的计算设备的示例性硬件架构的结构图。
如图7所示，计算设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与计算设备700的其他组件连接。具体地，输入设备701接收来自外部的输入信息，并通过输入接口702将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备707；输出设备707将输出信息输出到计算设备700的外部供用户使用。
在一个实施例中，图7所示的计算设备700可以被实现为一种终端设备，包括：存储器和处理器；存储器用于储存有可执行程序代码；处理器用于读取存储器中存储的可执行程序代码以执行上述实施例的处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品或计算机可读存储介质的形式实现。所述计算机程序产品或计算机可读存储介质包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (13)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：
依据目标区域的数字地图信息，对所述目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数；
根据由基站在预设第一时间段内获取的所述目标区域的位置数据，确定每个栅格区域的移动点量；
对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到所述目标区域的完整移动点量，其中，所述片段移动点量是一个栅格区域在一个预设时长内的移动点量，所述预设时长是在所述预设第一时间段内的时间段；
所述预设第一时间段的时长大于等于N个连续的所述预设时长，N为大于等于1的整数；
所述对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到所述目标区域的完整移动点量，包括：
对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量；
将所有栅格区域的完整移动点量融合，得到所述目标区域的完整移动点量；
所述对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，包括：
对每个栅格区域在连续W个所述预设时长内缺失的所述片段移动点量进行时间维度的历史数据补全处理，其中，W为小于N且大于0的整数；
对每个栅格区域在连续L个所述预设时长内缺失的所述片段移动点量进行时间维度的插值补全处理，其中，L为小于W且大于0的整数。
2.根据权利要求1所述的数据处理方法，其特征在于，所述栅格化处理是通过采用地理信息系统GIS技术对所述目标区域进行等面积划分。
3.根据权利要求1所述的数据处理方法，其特征在于，所述对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到所述目标区域的完整移动点量之前，还包括：
确定在所述预设第一时间段内所有栅格区域缺失的所述片段移动点量的片段数目M小于等于预设阈值，M为大于等于1的整数。
4.根据权利要求3所述的数据处理方法，其特征在于，所述预设阈值等于1/3×S×N，N为大于等于1的整数。
5.根据权利要求1所述的数据处理方法，其特征在于，所述对每个栅格区域在连续W个所述预设时长内缺失的所述片段移动点量进行时间维度的历史数据补全处理，包括：
对历史记录的第一时间段中，所述每个栅格区域在同一所述预设时长的片段移动点量进行归一化处理和均值处理，得到所述每个栅格区域的片段移动点量的历史均值；
利用当前在所述预设第一时间段内所述每个栅格区域的移动点量的最大值与最小值，对所述每个栅格区域的片段移动点量的历史均值进行反归一化处理，得到所述每个栅格区域的长周期补全的片段移动点量；
利用所述长周期补全的片段移动点量，对所述每个栅格区域进行时间维度的补全处理。
6.根据权利要求1所述的数据处理方法，其特征在于，所述对每个栅格区域在连续L个所述预设时长缺失的所述片段移动点量进行时间维度的插值补全处理，包括：
确定在相邻的两个所述预设时长之间所述每个栅格区域的片段移动点量的变化趋势；
依据所述变化趋势，采用拉格朗日线性插值对所述每个栅格区域缺失的所述片段移动点量进行时间维度的补全处理。
7.根据权利要求1所述的数据处理方法，其特征在于，所述对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量，包括：
对在预设第一时间段内每个栅格区域缺失的片段移动点量进行时间维度的补全处理，确定每个栅格区域的时间维度的完整移动点量；
统计缺失前所述每个栅格区域的片段移动点量、与所述每个栅格区域周边相邻的栅格区域的片段移动点量，以及缺失后与所述每个栅格区域周边相邻的栅格区域的片段移动点量，对所述每个栅格区域的时间维度的完整移动点量进行空间维度的补全处理，确定所述每个栅格区域的完整移动点量。
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
栅格处理模块，用于依据目标区域的数字地图信息，对所述目标区域进行栅格化处理，得到等面积的S个栅格区域，S为大于等于1的整数；
确定栅格移动点量模块，用于根据由基站在预设第一时间段内获取的所述目标区域的位置数据，确定每个栅格区域的移动点量；
确定完整移动点量模块，用于对在预设第一时间段内所有栅格区域缺失的片段移动点量进行补全处理，得到所述目标区域的完整移动点量，其中，所述片段移动点量是一个栅格区域在一个预设时长内的移动点量，所述预设时长是在所述预设第一时间段内的时间段；
所述预设第一时间段的时长大于等于N个连续的所述预设时长，N为大于等于1的整数；
所述确定完整移动点量模块，具体用于对在预设第一时间段内每个栅格区域缺失的片段移动点量进行补全处理，确定每个栅格区域的完整移动点量；
将所有栅格区域的完整移动点量融合，得到所述目标区域的完整移动点量；
所述确定完整移动点量模块，还具体用于对每个栅格区域在连续W个所述预设时长内缺失的所述片段移动点量进行时间维度的历史数据补全处理，其中，W为小于N且大于0的整数；
对每个栅格区域在连续L个所述预设时长内缺失的所述片段移动点量进行时间维度的插值补全处理，其中，L为小于W且大于0的整数。
9.根据权利要求8所述的数据处理装置，其特征在于，所述栅格化处理是通过采用地理信息系统GIS技术对所述目标区域进行等面积划分。
10.根据权利要求8所述的数据处理装置，其特征在于，所述确定栅格移动点量模块，还用于确定在所述预设第一时间段内所有栅格区域缺失的所述片段移动点量的片段数目M小于等于预设阈值，M为大于等于1的整数。
11.根据权利要求10所述的数据处理装置，其特征在于，所述预设阈值等于1/3×S×N，N为大于等于1的整数。
12.一种终端设备，其特征在于，包括：
存储器、处理器、通信接口和总线；
所述存储器、所述处理器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器用于存储程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1至7任一项所述的数据处理方法。
13.一种计算机存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使所述计算机执行如权利要求1至7任一项所述的数据处理方法。
CN201810961249.7A 2018-08-22 2018-08-22 数据处理方法、装置、设备和介质 Active CN110858954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810961249.7A CN110858954B (zh) 2018-08-22 2018-08-22 数据处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810961249.7A CN110858954B (zh) 2018-08-22 2018-08-22 数据处理方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110858954A CN110858954A (zh) 2020-03-03
CN110858954B true CN110858954B (zh) 2021-07-27

Family

ID=69634964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810961249.7A Active CN110858954B (zh) 2018-08-22 2018-08-22 数据处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN110858954B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464938B (zh) * 2020-03-30 2021-04-23 滴图(北京)科技有限公司 定位方法、装置、电子设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790982A (zh) * 2012-07-19 2012-11-21 华为技术服务有限公司 识别数据业务热点、潜在数据业务热点的方法及通信设备
US8380220B2 (en) * 2007-02-05 2013-02-19 Andrew Llc System and method for generating a location estimate using a method of intersections
CN104217244A (zh) * 2014-08-14 2014-12-17 长安通信科技有限责任公司 基于地理网格的人数测定方法和人群态势监测方法及系统
CN105516928A (zh) * 2016-01-15 2016-04-20 中国联合网络通信有限公司广东省分公司 一种基于位置人群特征的位置推荐方法和系统
CN105682025A (zh) * 2016-01-05 2016-06-15 重庆邮电大学 基于移动信令数据的用户驻留地识别方法
WO2017020273A1 (en) * 2015-08-05 2017-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for positioning and method of generating a positioning database in multicarrier network
CN108280441A (zh) * 2018-02-09 2018-07-13 北京天元创新科技有限公司 一种人群流量预测方法及系统
CN108388852A (zh) * 2018-02-09 2018-08-10 北京天元创新科技有限公司 一种基于深度学习的区域人群密度预测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380220B2 (en) * 2007-02-05 2013-02-19 Andrew Llc System and method for generating a location estimate using a method of intersections
CN102790982A (zh) * 2012-07-19 2012-11-21 华为技术服务有限公司 识别数据业务热点、潜在数据业务热点的方法及通信设备
CN104217244A (zh) * 2014-08-14 2014-12-17 长安通信科技有限责任公司 基于地理网格的人数测定方法和人群态势监测方法及系统
WO2017020273A1 (en) * 2015-08-05 2017-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for positioning and method of generating a positioning database in multicarrier network
CN105682025A (zh) * 2016-01-05 2016-06-15 重庆邮电大学 基于移动信令数据的用户驻留地识别方法
CN105516928A (zh) * 2016-01-15 2016-04-20 中国联合网络通信有限公司广东省分公司 一种基于位置人群特征的位置推荐方法和系统
CN108280441A (zh) * 2018-02-09 2018-07-13 北京天元创新科技有限公司 一种人群流量预测方法及系统
CN108388852A (zh) * 2018-02-09 2018-08-10 北京天元创新科技有限公司 一种基于深度学习的区域人群密度预测方法及装置

Also Published As

Publication number Publication date
CN110858954A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
US10482158B2 (en) User-level KQI anomaly detection using markov chain model
CN106685750B (zh) 系统异常检测方法和装置
US8861691B1 (en) Methods for managing telecommunication service and devices thereof
CN108363657B (zh) 监控app客户端埋点数据采集完整性的方法、设备以及介质
US20200120003A1 (en) System and method for predicting and reducing subscriber churn
KR20190139130A (ko) 피셀 알고리즘을 이용하여 실시간 유동 인구 데이터의 제공이 가능한 유동인구 정보 분석 방법
CN109120463B (zh) 流量预测方法及装置
CN109117087A (zh) 采集监控数据的方法、装置、存储介质及电子设备
CN107135090A (zh) 一种实现网络质差问题定位的方法及装置
CN110858954B (zh) 数据处理方法、装置、设备和介质
Smolak et al. The impact of human mobility data scales and processing on movement predictability
JP6499216B2 (ja) 通信帯域算出装置、通信帯域算出方法、及びプログラム
US20180196900A1 (en) System and Method for Forecasting Values of a Time Series
CN108900339B (zh) 一种度量业务质量的方法、装置及电子设备
EP3192061B1 (en) Measuring and diagnosing noise in urban environment
US20160034824A1 (en) Auto-analyzing spatial relationships in multi-scale spatial datasets for spatio-temporal prediction
CN116756522A (zh) 概率预报方法、装置、存储介质及电子设备
WO2022057501A1 (zh) 异常终端的识别方法、分析装置及设备、存储介质
JP6488266B2 (ja) 通信帯域算出装置、通信帯域算出方法、及びプログラム
KR101699158B1 (ko) 멀티프랙탈 탈경향 요동분석과 네트워크 이론을 이용한 기상관측지점 선정 방법
CN115412852A (zh) 移动终端的运动轨迹确定方法及系统
JP6238565B2 (ja) 平滑化方法及び平滑化装置
CN117593096B (zh) 产品信息智能推送方法、装置、电子设备和计算机介质
CN112583768A (zh) 一种用户异常行为检测方法及装置
CN110096518A (zh) 知识库元数据发送方法及装置、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant