CN112367608B - 一种大数据环境下固定传感器空间位置挖掘方法 - Google Patents

一种大数据环境下固定传感器空间位置挖掘方法 Download PDF

Info

Publication number
CN112367608B
CN112367608B CN202011164171.XA CN202011164171A CN112367608B CN 112367608 B CN112367608 B CN 112367608B CN 202011164171 A CN202011164171 A CN 202011164171A CN 112367608 B CN112367608 B CN 112367608B
Authority
CN
China
Prior art keywords
space
fixed
fixed sensor
time
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011164171.XA
Other languages
English (en)
Other versions
CN112367608A (zh
Inventor
张颖
顾高翔
刘杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI SHIMAI INFORMATION TECHNOLOGY CO LTD
Original Assignee
SHANGHAI SHIMAI INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI SHIMAI INFORMATION TECHNOLOGY CO LTD filed Critical SHANGHAI SHIMAI INFORMATION TECHNOLOGY CO LTD
Priority to CN202011164171.XA priority Critical patent/CN112367608B/zh
Publication of CN112367608A publication Critical patent/CN112367608A/zh
Application granted granted Critical
Publication of CN112367608B publication Critical patent/CN112367608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/18Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • H04W8/183Processing at user equipment or user record carrier
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明的目的是基于同一EPID所对应的车辆GPS记录数据和移动运营商固定传感器信令数据,通过关联个体通信行为发生时对应的系列GPS空间位置,推算各个固定传感器实际服务范围之间的分界点,以此为基础,设计最陡坡收敛启发式空间运筹算法,可低成本、自动化、便捷地计算出固定传感器的空间位置及其具体的空间服务范围。

Description

一种大数据环境下固定传感器空间位置挖掘方法
技术领域
本发明涉及一种大数据环境下固定传感器空间位置挖掘方法,属于大数据分析技术领域。
背景技术
近年来,随着信息技术的发展,数据信息量呈现爆炸式增长,其中,网络相对稳定、位置相对固定的固定传感器网络,如移动通信、WIFI或物联网等,所采集获取到的信号控制指令数据(即,信令数据),能够较为完整地从时间上和空间上还原个体的出行活动情况,从而较为客观、精准地描述人们的出行活动分布与需求情况,已经成为时空大数据分析中最重要的数据源之一。
由于与个体设备相互通信的是位置相对固定的固定传感器(简称固定传感器,如基站设备、WIFI路由器设备等),最终信令数据实际能够记录的只是时间序列的固定传感器编号,并不能直接获取移动个体真实的空间位置坐标,而是需要关联固定传感器的空间位置坐标来得到移动个体的时间序列空间位置。固定传感器的空间位置,一般采集至固定传感器运维厂商录入的设备的安装位置坐标。分析统计时,将信令数据与事先采集的固定传感器空间位置表映射关联,从而开展具体分析工作。因此,固定传感器空间位置的准确与否,直接决定了大数据分析成果的合理性、可信性与准确性。然而,从现有的分析效果来看,这种方式得到的固定传感器的空间位置存在较多的缺陷。一方面,固定传感器设备安装位置与实际信号覆盖范围的中心点偏离较远,导致与移动个体的实际空间位置相差较大。另一方面,由于硬件运维效率不高,空间位置表更新往往滞后较多,不能及时更新至计算分析环境内。
目前,公交车辆、出租车辆、“两客一危”车辆等车辆均装载有车载GPS设备,用以实时记录并监控车辆的运行轨迹与行驶状况。车载GPS设备可以每10秒甚至每秒上报一次车辆GPS记录数据,其直接与通讯卫星进行通信,其通信时间间隔极短,完整地记录了车辆在空间上的连续活动行为。数据上报需要依赖运营商的固定传感器网络,才能进行通信与数据传输,这样车载GPS均至少安装了某一家运营商的SIM卡,每张SIM均有该运营商的MSISDN号码,即,移动用户的唯一识别号码,Mobile Station ISDN Number,简称MSISDN。通过车载GPS设备定期采集获取车辆实际车辆GPS记录数据,并将MSISDN按运营商统一加密规则加密成为EPID(即匿名单向加密全球唯一移动终端标识码,EncryPtion international mobilesubscriber Identity,EPID)。因此,采取一定的算法,利用同一EPID的同一时期的车辆GPS记录数据和移动运营商固定传感器信令数据,以海量GPS轨迹推算固定传感器空间位置坐标,从而得到固定传感器的信号覆盖范围,在此基础上推算各个固定传感器的空间位置并获得其服务范围,具有重要的现实意义和实用价值。
发明内容
本发明的目的是基于同一EPID(即匿名单向加密全球唯一移动终端标识码,EncryPtion international mobile subscriber Identity,EPID)所对应的车辆GPS记录数据和移动运营商固定传感器信令数据,通过关联个体通信行为发生时对应的系列GPS空间位置,推算各个固定传感器实际服务范围之间的分界点,以此为基础,设计一种最陡坡收敛的启发式空间运筹算法,从而计算获得各个固定传感器的高精度空间坐标及其具体服务范围。
为了达到上述目的,本发明的技术方案是提供了一种大数据环境下固定传感器空间位置挖掘方法,包括以下步骤:
步骤1、获取一段时期内的车辆GPS记录数据,使用移动运营商的MSISDN(移动用户的唯一识别号码,MS ISDN Number,MSISDN)号码标识。将此数据导入到移动运营商计算环境,并按移动运营商统一加密规则将MSISDN加密成为EPID以关联其移动运营商固定传感器信令数据,获得同一用户、同一时段、同一路径轨迹下的车辆GPS记录数据与移动运营商固定传感器信令数据,并将其分别按时间排序,构建车辆GPS轨迹出行时空序列和用户信令出行时空序列。整理每个EPID的车辆GPS记录数据进行线性函数拟合,获得任意GPS通信节点之间车辆空间位置相对于时间的函数表达式,即GPS时空轨迹拟合函数;
步骤2、根据GPS时空轨迹拟合函数,计算用户信令出行时空序列中信令数据产生的实时空间位置,对用户信令出行时空序列进行整理,若用户信令出行时空序列中存在连续多条的与某一固定传感器之间的信令数据,则只保留首尾两个通信信令数据,去掉中间连续的信令数据,根据节点空间位置计算车辆轨迹与两个固定传感器服务边界的交点,记为固定传感器边界节点;
步骤3、通过空间聚类算法处理两个固定传感器边界节点不唯一的情况,将空间位置临近的边界节点聚类,采用加权方法处理聚类内的边界节点空间坐标,获得聚类核,作为相邻两个固定传感器服务范围分界点;
步骤4、构建一个最陡坡收敛的启发式空间运筹算法,以分界点在固定传感器的距离为约束条件,以固定传感器的空间位置为求解变量,通过反复迭代,优化出各个固定传感器的空间位置;
步骤5、根据算法计算获得的固定传感器空间位置,计算其泰森多边形,获得每个固定传感器的服务范围。
优选地,所述步骤1包括:
步骤1.1、车载设备MSISDN号码加密后获得其用户编号EPID,并从移动运营商获取同一时间范围内该EPID与固定传感器之间的信令数据。其中车辆GPS记录数据包括:用户个体唯一编号EPID、记录编号RECORDID、通信动作发生时刻TIME、固定传感器所处经纬度(X,Y);移动运营商固定传感器信令数据包括:用户个体唯一编号EPID、通信动作类型TYPE、通信动作发生时刻TIMESTAMP、固定传感器所处大区REGIONCODE、固定传感器具体编号SENSORID;
步骤1.2、根据用户编号EPID,查询指定时间段内车辆GPS记录数据,对其按时间排序,构建车辆GPS轨迹出行时空序列;
步骤1.3、根据用户编号EPID,查询指定时间段内和固定传感器交互的信令数据,对其按时间排序,构建用户信令出行时空序列;
步骤1.4、将车辆GPS轨迹出行时空序列,基于其经纬度坐标,叠加在同坐标系的道路路网上,获得车辆在道路交通网上的轨迹;
车辆的在道路交通网上的轨迹获得方法参见申请号为2018111808848的中国专利。具体方法为根据构建的个体出行时空序列,识别其各次出行的O/D端点,以O/D端点裁剪得到各个出行路段,计算个体在出行路段中两两节点之间的距离、耗时和平均速度,从而基于实际路网推算个体在两两节点间的出行路径,最终,整理和空间融合所有两两节点间最可能出行路径,获得个体具体的出行轨迹。使用该方法,以步骤1.2所构建车辆GPS轨迹出行时空序列为输入,获得车辆的在道路交通网上的实际轨迹。
对车辆轨迹的空间位置在时间轴上的变化趋势进行函数化处理,获取车辆的GPS时空轨迹拟合函数;由于车辆GPS记录数据样点密集,对车辆轨迹的函数化可直接采用线性拟合即可满足要求,以获得任意车辆GPS通信节点之间车辆空间位置相对于时间的函数表达式,拟合的方式是以两个相邻的通信节点为样点,分别以其X、Y坐标为因变量,以时间为自变量,获得个体在两两节点之间任意时间k的空间位置Xk和Yk
Figure BDA0002745209910000041
Figure BDA0002745209910000042
式中,X和Y是车辆的坐标,i和j是两个相邻的车辆GPS轨迹节点,k是i、j之间的一个点,T表示时间;
优选地,所述步骤2包括:
步骤2.1、根据步骤1.4获得的GPS时空轨迹拟合函数,计算用户信令出行时空序列中各个信令数据的时间节点上车辆的空间位置(即X-Y坐标),将空间位置添加到用户信令出行时空序列中;
步骤2.2、对用户信令出行时空序列进行整理,当用户信令出行时空序列出现连续多条的与同一固定传感器通信的信令数据时,仅保留时间排序下的首末两条信令数据,删除中间的信令数据;
步骤2.3、遍历整理后的用户信令出行时空序列,查找两两连续的固定传感器不同的信令数据,则两个固定传感器之间的服务边界即为用户信令出行时空序列中一对前后发生固定传感器变化的通信节点的中点,可表示为:
Figure BDA0002745209910000043
Figure BDA0002745209910000044
式中,a、b表示前后两个相邻的固定传感器发生变化的信令记录编号,z表示这两个固定传感器服务范围的一个分界点;
步骤2.4、将分界点两边的固定传感器编号赋予分界点;
优选地,所述步骤3包括:
步骤3.1、以两侧固定传感器编号为依据对分界点进行分类,同类的分界点的分布范围即为其两侧固定传感器服务区分界点的分布范围,以此作为空间聚类的数据基础;
步骤3.2、由于两个固定传感器的服务区存在多个分界点,因此采用节点密度的DB-SCAN算法进行计算,计算过程为:
步骤3.2.1、设算法的扫描半径为m米,聚类密度为1,遍历筛选出来的分界点,从第一个分界点1开始,以其为聚类核,搜索其m米半径内的分界点;
步骤3.2.2、若分界点x与分界点1之间的距离小于m米,则将分界点x和分界点1聚为1类,形成初级聚类;
步骤3.2.3、遍历所有同类分界点,生成以所有分界点为核心的空间聚类,将节点分为核心点和噪声点两类;
步骤3.2.4、遍历所有初级聚类,若两个初级聚类包含了相同节点,则对聚类进行合并,形成一个新的聚类;
步骤3.2.5、反复遍历、合并聚类后,形成最终的空间聚类;
步骤3.3、遍历所有聚类,对聚类内的节点空间坐标求均值,得到聚类核心的空间位置,作为两个固定传感器服务范围分界点空间坐标;
优选地,所述步骤4包括:
步骤4.1、针对每个固定传感器,整理与其相关的所有分界点,获取与其相邻的固定传感器的编号;
步骤4.2、提取分界点的空间位置信息(X-Y坐标),作为算法的数据基础;
步骤4.3、设计一种最陡坡收敛启发式空间运筹算法,根据分界点的X-Y坐标,采用多次迭代的方法计算所有固定传感器的空间位置,从初始的空间位置出发,由目标函数控制,不断向最优点收敛,直到所有固定传感器的空间位置收敛到能够满足目标函数的最优值,结束算法;固定传感器集合S中的一个固定传感器A,与其相邻的固定传感器集合为N,分界点集合P,则固定传感器A和固定传感器Ni与分界点Pi的距离分别为:
Figure BDA0002745209910000051
Figure BDA0002745209910000052
式中XA和YA是固定传感器A的空间坐标,XPi和YPi是分界点Pi的空间坐标,XNi和YNi是邻接固定传感器Ni的空间坐标,若固定传感器A和固定传感器Ni的位置准确,则:
dA,Pi=dNi,Pi
因此,算法的目标函数是使所有的|dA,Pi-dNi,Pi|加和后数值最小,其表达式为:
Figure BDA0002745209910000061
为简化起见,目标函数可改为:
Figure BDA0002745209910000062
展开后得到:
Figure BDA0002745209910000063
对上式就XA和YA求偏导,令其等于0,得到
Figure BDA0002745209910000064
Figure BDA0002745209910000065
Figure BDA0002745209910000066
Figure BDA0002745209910000067
同理,
Figure BDA0002745209910000068
时,
Figure BDA0002745209910000069
固定传感器集合S中其他的固定传感器的坐标也和XA和YA的形式一致;
步骤4.3.1、算法初始化,令迭代次数t=0,给出固定传感器A的初始位置:
Figure BDA0002745209910000071
Figure BDA0002745209910000072
式中,n为与固定传感器A相关的分界点的数量,其他固定传感器的初始空间位置与固定传感器A的形式一样,记为
Figure BDA0002745209910000073
Figure BDA0002745209910000074
步骤4.3.2、根据
Figure BDA0002745209910000075
Figure BDA0002745209910000076
计算得到各个ds,Pi,将ds,Pi代入TC,计算距离偏差;
步骤4.3.3、使用各个ds,Pi更新dNi,Pi,代入XA和YA的表达式,获得新的
Figure BDA0002745209910000077
Figure BDA0002745209910000078
式中,t为迭代次数;
步骤4.3.4、每次迭代得到
Figure BDA0002745209910000079
Figure BDA00027452099100000710
后,更新ds,Pi和dNi,Pi,代入TC方程,计算其距离偏离度,若本次迭代TC的值与上次迭代的TC值之差的绝对值|TCt-TCt-1|小于阈值R,则终止算法,当前获得的各个固定传感器的空间坐标即为其真实坐标,若大于R,则回到步骤4.3.2,继续进行下一次迭代;
优选地,所述步骤5包括:
步骤5.1、整理步骤4获得的各个固定传感器的空间位置,将其导入ArcGIS;
步骤5.2、使用生成泰森多边形的工具,获得以连接相邻固定传感器线段的垂直平分线组成的连续多边形,各个多边形即为各个固定传感器的服务范围。
本发明基于以EPID为标识的车辆GPS记录数据与移动通信固定传感器信令数据,通过对车辆GPS记录数据的线性函数拟合,获得在时间上连续的车辆时空轨迹;根据移动运营商固定传感器信令数据中的时间信息,获得GPS设备与固定传感器通信时所产生信令数据的实时空间位置,对其进行整理,计算得到相邻的固定传感器服务范围的分界点;通过空间聚类算法处理两个固定传感器分界点不唯一的问题;设计一种最陡坡收敛的启发式空间运筹算法,计算各个固定传感器的空间位置;计算其泰森多边形,获得每个传感器的服务范围。
本发明的优点是:充分利用现有的同一EPID的车辆GPS记录数据和移动运营商固定传感器信令数据,即能低成本、自动化、便捷地获取指定时间点车辆的真实空间位置和与其通信的固定传感器的编号,采用空间聚类和启发式空间运筹算法,计算各个固定传感器的空间位置,进而获得每个固定传感器的服务范围。
附图说明
图1为本发明的总体流程图;
图2为固定传感器空间服务范围-虚线;
图3为固定传感器道路服务范围。
具体实施方式
为使本发明更明显易懂,兹以优选实施例,并配合附图作详细说明如下。
步骤1、获取一段时期内的车辆GPS记录数据,使用移动运营商的MSISDN(移动用户的唯一识别号码,MS ISDN Number,MSISDN)号码标识。将此数据导入到移动运营商计算环境,并按移动运营商统一加密规则将MSISDN加密成为EPID以关联其移动运营商固定传感器信令数据,获得同一用户、同一时段、同一路径轨迹下的车辆GPS记录数据与移动运营商固定传感器信令数据,并将其分别按时间排序,构建车辆GPS轨迹出行时空序列和用户信令出行时空序列。整理每个EPID的车辆GPS记录数据进行线性函数拟合,获得任意GPS通信节点之间车辆空间位置相对于时间的函数表达式,即GPS时空轨迹拟合函数;
步骤1.1、车载设备MSISDN号码加密后获得其用户编号EPID,并从移动运营商获取同一时间范围内该EPID与固定传感器之间的信令数据。其中车辆GPS记录数据包括:用户个体唯一编号EPID、记录编号RECORDID、通信动作发生时刻TIME、固定传感器所处经纬度(X,Y);移动运营商固定传感器信令数据包括:用户个体唯一编号EPID、通信动作类型TYPE、通信动作发生时刻TIMESTAMP、固定传感器所处大区REGIONCODE、固定传感器具体编号SENSORID;
以EPID为E1的终端数据为例,其车辆GPS记录数据和移动运营商固定传感器信令数据的样例见表1和表2:
表1:车辆GPS记录数据
Figure BDA0002745209910000081
Figure BDA0002745209910000091
表2:移动运营商固定传感器信令数据
EPID RECORDID TYPE TIMESTAMP REGIONCODE SENSORID
…… …… …… …… …… ……
E1 R2503 T2 2018-8-22 12:10:42 9878 6343
E1 R2504 T3 2018-8-22 12:19:22 9880 1242
E1 R2505 T3 2018-8-22 12:28:49 9880 1253
E1 R2506 T3 2018-8-22 12:41:12 9880 1454
E1 R2507 T2 2018-8-22 12:09:23 9880 7645
E1 R2508 T1 2018-8-22 12:29:59 9880 7645
E1 R2509 T1 2018-8-22 12:45:11 9880 7661
E1 R2509 T1 2018-8-22 12:47:21 9880 7661
E1 R2510 T2 2018-8-22 12:58:21 9880 7645
E1 R2511 T3 2018-8-22 13:15:54 9880 7645
…… …… …… …… …… ……
步骤1.2、对指定时间段内车辆GPS记录数据按时间排序,构建车辆GPS轨迹出行时空序列;
在本例中,车辆GPS轨迹出行时空序列见表3:
表3:车辆GPS轨迹出行时空序列
Figure BDA0002745209910000092
Figure BDA0002745209910000101
步骤1.3、对指定时间段内移动运营商固定传感器信令数据按时间排序,构建用户信令出行时空序列;
在本例中,用户信令出行时空序列见表4:
表4:用户信令出行时空序列
Figure BDA0002745209910000102
Figure BDA0002745209910000111
步骤1.4、将车辆GPS轨迹出行时空序列基于其经纬度坐标叠加在同坐标系的道路路网上,获得车辆在道路交通网上的轨迹,由于GPS记录样点密集,对车辆轨迹的函数化可直接采用线性拟合即可满足要求,拟合的方式是以两个相邻的通信节点为样点,分别以其经纬度坐标X、Y坐标为因变量,以时间为自变量,获得个体在两两节点之间任意时间k的空间位置Xk和Yk,即GPS时空轨迹拟合函数;
Figure BDA0002745209910000112
Figure BDA0002745209910000113
式中,X和Y是车辆的坐标,i和j是两个相邻的GPS轨迹节点,k是i、j之间的一个点,T表示时间;
在本例中,编号V1的车辆GPS记录数据部分的函数化结果见表5:
表5编号V1的车辆GPS记录数据函数化
ID TIMES X Y
…… …… …… …… ……
R361 R362 2291 X=121.4686+0.001/48*(t-1691) Y=31.2455-0.0012/48*(t-1691)
R362 R363 2339 X=121.4696+0.0005/35*(t-1739) Y=31.2443-0.0013/35*(t-1739)
R363 R364 2314 X=121.4701+0.0004/48*(t-1774) Y=31.243-0.0014/48*(t-1774)
R364 R365 2302 X=121.4705+0.0002/33*(t-1822) Y=31.2416-0.0013/33*(t-1822)
R365 R366 2335 X=121.4707+0.0008/12*(t-1855) Y=31.2403-0.0012/12*(t-1855)
…… …… …… …… ……
步骤2、根据GPS时空轨迹拟合函数,计算用户信令出行时空序列中信令数据产生的实时空间位置,对用户信令出行时空序列进行整理,若用户信令出行时空序列中存在连续多条的与某一固定传感器之间的通信信令数据,则只保留首尾两个通信信令数据,去掉中间连续的信令数据,根据节点空间位置计算车辆轨迹与两个固定传感器服务边界的交点,记为固定传感器边界节点;
步骤2.1、根据步骤1.4获得的GPS时空轨迹拟合函数
Figure BDA0002745209910000114
Figure BDA0002745209910000121
Figure BDA0002745209910000122
计算用户信令出行时空序列中各个信令数据的时间节点上车辆的空间位置(即X-Y坐标),将空间位置添加到用户信令出行时空序列中;
步骤2.2、对用户信令出行时空序列进行整理,当用户信令出行时空序列出现连续多条的与同一固定传感器通信的信令数据时,仅保留时间排序下的首末两条信令数据,删除中间的信令数据;
在本例中,剔除连续节点之后的用户信令出行时空序列见表6:
表6剔除连续节点之后的用户信令出行时空序列
NodeNum REGIONCODE SENSORID X Y
…… …… …… …… ……
431 9880 4657 1545.24 -30.91
432 9880 4653 1268.23 439.77
433 9880 4653 1316.03 364.45
434 9880 4662 654.35 344.37
435 9880 4662 794.86 399.60
436 9880 4659 1257.50 470.33
437 9880 4658 1497.28 160.86
438 9880 4658 1533.03 16.83
439 9880 4674 1342.53 371.88
440 9880 4674 1465.07 293.87
441 9880 4673 1472.31 263.87
442 9880 4673 1490.79 187.31
443 9880 4654 1009.79 487.27
444 9880 4654 1237.37 516.59
445 9880 4663 618.83 334.49
446 9880 4655 812.22 407.76
447 9880 4655 991.79 479.88
…… …… …… …… ……
步骤2.3、遍历整理后的用户信令出行时空序列,查找两两连续的固定传感器不同的信令数据,则两个固定传感器之间的服务边界即为用户信令出行时空序列中一对前后发生固定传感器变化的通信节点的中点,可表示为:
Figure BDA0002745209910000131
Figure BDA0002745209910000132
式中,a、b表示前后两个相邻的固定传感器发生变化的信令记录编号,z表示这两个固定传感器服务范围的一个分界点;
步骤2.4、将分界点两边的固定传感器编号赋予分界点;
在本例中,由表4中的节点计算得到的分界点见表7
表7由用户信令出行时空序列得到的固定传感器间的分界点
DNum REGIONCODE1 SENSORID1 REGIONCODE2 SENSORID2 X Y
…… …… …… …… …… …… ……
235 9880 4657 9880 4653 1406.738 204.4278
236 9880 4653 9880 4662 985.1931 354.4133
237 9880 4662 9880 4659 1026.183 434.9633
238 9880 4659 9880 4658 1377.39 315.5979
239 9880 4658 9880 4664 1437.778 194.3528
240 9880 4664 9880 4663 1468.69 278.8688
241 9880 4663 9880 4654 1250.291 337.2909
242 9880 4654 9880 4663 928.0978 425.5385
243 9880 4663 9880 4655 715.5215 371.126
…… …… …… …… …… …… ……
步骤3、通过空间聚类算法处理两个固定传感器边界节点不唯一的情况,将空间位置临近的边界节点聚类,采用加权方法处理聚类内的边界节点空间坐标,获得聚类核,作为相邻两个固定传感器服务范围分界点;
步骤3.1、以两侧固定传感器编号为依据对分界点进行分类,同类的分界点的分布范围即为其两侧固定传感器服务区分界点的分布范围,以此作为空间聚类的数据基础;
在本例中,各固定传感器间的分界点见表8:
表8固定传感器间的分界点
Figure BDA0002745209910000141
Figure BDA0002745209910000151
Figure BDA0002745209910000161
步骤3.2、由于两个固定传感器的服务区存在多个分界点,因此采用节点密度的DB-SCAN算法进行计算,计算过程为:
步骤3.2.1、设算法的扫描半径为m米,聚类密度为1,遍历筛选出来的分界点,从第一个分界点1开始,以其为聚类核,搜索其m米半径内的分界点;
步骤3.2.2、若分界点x与分界点1之间的距离小于m米,则将分界点x和分界点1聚为1类,形成初级聚类;
步骤3.2.3、遍历所有同类分界点,生成以所有分界点为核心的空间聚类,将节点分为核心点和噪声点两类;
步骤3.2.4、遍历所有初级聚类,若两个初级聚类包含了相同节点,则对聚类进行合并,形成一个新的聚类;
步骤3.2.5、反复遍历、合并聚类后,形成最终的空间聚类;
在本例中,编号9880-4652和编号9880-4668的固定传感器之间的分界点,经过聚类之后得到的结果见表9:
表9分界点空间聚类结果
Figure BDA0002745209910000162
Figure BDA0002745209910000171
步骤3.3、遍历所有聚类,对聚类内的节点空间坐标求均值,得到聚类核心的空间位置,作为两个固定传感器服务范围分界点空间坐标;
在本例中,固定传感器间分界点聚类核心的空间坐标见表10:
表10固定传感器间分界点聚类核心空间坐标
Figure BDA0002745209910000181
Figure BDA0002745209910000191
步骤4、构建一个最陡坡收敛的启发式空间运筹算法,以分界点在固定传感器的距离为约束条件,以固定传感器的空间位置为求解变量,通过反复迭代,优化出各个固定传感器的空间位置;
步骤4.1、针对每个固定传感器,整理与其相关的所有分界点,获取与其相邻的固定传感器的编号;
步骤4.2、提取分界点的空间位置信息(X-Y坐标),作为算法的数据基础;
步骤4.3、设计一种最陡坡收敛启发式空间运筹算法,根据分界点的X-Y坐标,采用多次迭代的方法计算所有固定传感器的空间位置,从初始的空间位置出发,由目标函数控制,不断向最优点收敛,直到所有固定传感器的空间位置收敛到能够满足目标函数的最优值,结束算法;固定传感器集合S中的一个固定传感器A,与其相邻的固定传感器集合为N,分界点集合P,则固定传感器A和固定传感器Ni与分界点Pi的距离分别为:
Figure BDA0002745209910000192
Figure BDA0002745209910000193
式中XA和YA是固定传感器A的空间坐标,XPi和YPi是分界点Pi的空间坐标,XNi和YNi是邻接固定传感器Ni的空间坐标,若固定传感器A和固定传感器Ni的位置准确,则:
dA,Pi=dNi,Pi
因此,算法的目标函数是使所有的|dA,Pi-dNi,Pi|加和后数值最小,其表达式为:
min TC=∑Si|dA,Pi-dNi,Pi|
为简化起见,目标函数可改为:
Figure BDA0002745209910000194
展开后得到:
Figure BDA0002745209910000201
对上式就XA和YA求偏导,令其等于0,得到
Figure BDA0002745209910000202
Figure BDA0002745209910000203
Figure BDA0002745209910000204
Figure BDA0002745209910000205
同理,
Figure BDA0002745209910000206
时,
Figure BDA0002745209910000207
固定传感器集合S中其他的固定传感器的坐标也和XA和YA的形式一致;
步骤4.3.1、算法初始化,令迭代次数t=0,给出固定传感器A的初始位置:
Figure BDA0002745209910000208
Figure BDA0002745209910000209
式中,n为与固定传感器A相关的分界点的数量,其他固定传感器的初始空间位置与固定传感器A的形式一样,记为
Figure BDA00027452099100002010
Figure BDA00027452099100002011
步骤4.3.2、根据
Figure BDA00027452099100002012
Figure BDA00027452099100002013
计算得到各个ds,Pi,将ds,Pi代入TC,计算距离偏差;
步骤4.3.3、使用各个ds,Pi更新dNi,Pi,代入XA和YA的表达式,获得新的
Figure BDA00027452099100002014
Figure BDA00027452099100002015
式中,t为迭代次数;
步骤4.3.4、每次迭代得到
Figure BDA0002745209910000211
Figure BDA0002745209910000212
后,更新ds,Pi和dNi,Pi,代入TC方程,计算其距离偏离度,若本次迭代TC的值与上次迭代的TC值之差的绝对值|TCt-TCt-1|小于阈值R,则终止算法,当前获得的各个固定传感器的空间坐标即为其真实坐标,若大于R,则回到步骤4.3.2,继续进行下一次迭代;
在本例中,通过计算获得的各个固定传感器的空间位置见表11:
表11固定传感器空间位置
Figure BDA0002745209910000213
Figure BDA0002745209910000221
步骤5、根据算法计算获得的固定传感器空间位置,计算其泰森多边形,获得每个固定传感器的服务范围;
步骤5.1、整理步骤4获得的各个固定传感器的空间位置,将其导入地理信息系统(Geographic Information System,GIS)专业软件;
步骤5.2、使用生成泰森多边形的工具,获得以连接相邻固定传感器线段的垂直平分线组成的连续多边形,各个多边形即为各个固定传感器的服务范围。
在本例中,根据固定传感器空间位置得到的其空间服务范围和道路服务范围见图2和图3。

Claims (8)

1.一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,包括以下步骤:
步骤1、获取一段时期内的车辆GPS记录数据,使用移动运营商的移动用户的唯一识别号码MSISDN号码标识,将此数据导入到移动运营商计算环境,并按移动运营商统一加密规则将MSISDN加密成为EPID以关联其移动运营商固定传感器信令数据,获得同一用户、同一时段、同一路径轨迹下的车辆GPS记录数据与移动运营商固定传感器信令数据,并将其分别按时间排序,构建车辆GPS轨迹出行时空序列和用户信令出行时空序列,整理每个EPID的车辆GPS记录数据进行线性函数拟合,获得任意GPS通信节点之间车辆空间位置相对于时间的函数表达式,即GPS时空轨迹拟合函数;
步骤2、根据GPS时空轨迹拟合函数,计算用户信令出行时空序列中信令数据产生的实时空间位置,对用户信令出行时空序列进行整理,若用户信令出行时空序列中存在连续多条的与某一固定传感器之间的通信信令数据,则只保留首尾两个通信信令数据,去掉中间连续的信令数据,根据节点空间位置计算车辆轨迹与两个固定传感器服务边界的交点,记为固定传感器边界节点;
步骤3、通过空间聚类算法处理两个固定传感器边界节点不唯一的情况,将空间位置临近的边界节点聚类,采用加权方法处理聚类内的边界节点空间坐标,获得聚类核,作为相邻两个固定传感器服务范围分界点;
步骤4、整理固定传感器之间的分界点,提取分界点的空间位置信息构建最陡坡收敛的启发式空间运筹算法,以固定传感器的空间位置为待求解变量,以相邻固定传感器到分界点的距离差为最小化为目标函数,采用多次迭代的方法从固定传感器的初始空间位置向准确位置收敛,直到满足固定传感器集合中所有固定传感器与其相邻传感器至分界点距离差最小的求解目标,从而得到各个固定传感器准确的空间位置;
步骤5、根据算法计算获得的固定传感器空间位置,计算其泰森多边形,获得每个固定传感器的服务范围。
2.如权利要求1所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤1包括:
步骤1.1、车载设备MSISDN号码加密后获得其用户编号EPID,并从移动运营商获取同一时间范围内该EPID与固定传感器之间的信令数据;
步骤1.2、根据用户编号EPID,查询指定时间段内车辆GPS记录数据,对其按时间排序,构建车辆GPS轨迹出行时空序列;
步骤1.3、根据用户编号EPID,查询指定时间段内和固定传感器交互的信令数据,对其按时间排序,构建用户信令出行时空序列;
步骤1.4、将车辆GPS轨迹出行时空序列,基于其经纬度坐标,叠加在同坐标系的道路路网上,获得车辆在道路交通网上的轨迹,由于GPS记录样点密集,对车辆轨迹的函数化可直接采用线性拟合即可满足要求,以获得任意GPS通信节点之间车辆空间位置相对于时间的函数,即GPS时空轨迹拟合函数。
3.如权利要求1所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤2包括:
步骤2.1、根据GPS时空轨迹拟合函数,计算用户信令出行时空序列中各个信令数据的时间节点上车辆的空间位置,即X-Y坐标,将空间位置添加到用户信令出行时空序列中;
步骤2.2、对用户信令出行时空序列进行整理,当用户信令出行时空序列出现连续多条的与同一固定传感器通信的信令数据时,仅保留时间排序下的首末两条信令数据,删除中间的信令数据;
步骤2.3、遍历整理后的用户信令出行时空序列,查找两两连续的固定传感器不同的信令数据,则两个固定传感器之间的服务边界即为用户信令出行时空序列中一对前后发生固定传感器变化的通信节点的中点,可表示为:
Figure FDA0003743432040000021
Figure FDA0003743432040000022
式中,a、b表示前后两个相邻的固定传感器发生变化的信令记录编号,z表示这两个固定传感器服务范围的一个分界点;
步骤2.4、将分界点两边的固定传感器编号赋予分界点。
4.如权利要求1所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤3包括:
步骤3.1、以两侧固定传感器编号为依据对分界点进行分类,同类的分界点的分布范围即为其两侧固定传感器服务区分界点的分布范围,以此作为空间聚类的数据基础;
步骤3.2、由于两个固定传感器的服务区存在多个分界点,因此采用节点密度的DB-SCAN算法进行计算;
步骤3.3、遍历所有聚类,对聚类内的节点空间坐标求均值,得到聚类核心的空间位置,作为两个固定传感器服务范围分界点空间坐标。
5.如权利要求4所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤3.2包括:
步骤3.2.1、设算法的扫描半径为m米,聚类密度为1,遍历筛选出来的分界点,从第一个分界点1开始,以其为聚类核,搜索其m米半径内的分界点;
步骤3.2.2、若分界点x与分界点1之间的距离小于m米,则将分界点x和分界点1聚为1类,形成初级聚类;
步骤3.2.3、遍历所有同类分界点,生成以所有分界点为核心的空间聚类,将节点分为核心点和噪声点两类;
步骤3.2.4、遍历所有初级聚类,若两个初级聚类包含了相同节点,则对聚类进行合并,形成一个新的聚类;
步骤3.2.5、反复遍历、合并聚类后,形成最终的空间聚类。
6.如权利要求1所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤4包括:
步骤4.1、针对每个固定传感器,整理与其相关的所有分界点,获取与其相邻的固定传感器的编号;
步骤4.2、提取分界点的空间位置信息,即X-Y坐标,作为算法的数据基础;
步骤4.3、设计一种最陡坡收敛启发式空间运筹算法,根据分界点的X-Y坐标,采用多次迭代的方法计算所有固定传感器的空间位置,从初始的空间位置出发,由目标函数控制,不断向最优点收敛,直到所有固定传感器的空间位置收敛到能够满足目标函数的最优值,结束算法;固定传感器集合S中的一个固定传感器A,与其相邻的固定传感器集合为N,分界点集合P,则固定传感器A和固定传感器Ni与分界点Pi的距离分别为:
Figure FDA0003743432040000041
Figure FDA0003743432040000042
式中XA和YA是固定传感器A的空间坐标,XPi和YPi是分界点Pi的空间坐标,XNi和YNi是邻接固定传感器Ni的空间坐标,若固定传感器A和固定传感器Ni的位置准确,则:
dA,Pi=dNi,Pi
因此,算法的目标函数是使所有的|dA,Pi-dNi,Pi|加和后数值最小,其表达式为:
Figure FDA0003743432040000043
为简化起见,目标函数可改为:
Figure FDA0003743432040000044
展开后得到:
Figure FDA0003743432040000045
对上式就XA和YA求偏导,令其等于0,得到
Figure FDA0003743432040000046
Figure FDA0003743432040000047
Figure FDA0003743432040000048
Figure FDA0003743432040000051
同理,
Figure FDA0003743432040000052
时,
Figure FDA0003743432040000053
固定传感器集合S中其他的固定传感器的坐标也和XA和YA的形式一致。
7.如权利要求6所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤4.3包括:
步骤4.3.1、算法初始化,令迭代次数t=0,给出固定传感器A的初始位置:
Figure FDA0003743432040000054
Figure FDA0003743432040000055
式中,n为与固定传感器A相关的分界点的数量,其他固定传感器的初始空间位置与固定传感器A的形式一样,记为
Figure FDA0003743432040000056
Figure FDA0003743432040000057
步骤4.3.2、根据
Figure FDA0003743432040000058
Figure FDA0003743432040000059
计算得到各个ds,Pi,将ds,Pi代入TC,计算距离偏差;
步骤4.3.3、使用各个ds,Pi更新dNi,Pi,代入XA和YA的表达式,获得新的
Figure FDA00037434320400000510
Figure FDA00037434320400000511
式中,t为迭代次数;
步骤4.3.4、每次迭代得到
Figure FDA00037434320400000512
Figure FDA00037434320400000513
后,更新ds,Pi和dNi,Pi,代入TC方程,计算其距离偏离度,若本次迭代TC的值与上次迭代的TC值之差的绝对值|TCt-TCt-1|小于阈值R,则终止算法,当前获得的各个固定传感器的空间坐标即为其真实坐标,若大于R,则回到步骤4.3.2,继续进行下一次迭代。
8.如权利要求1所述的一种大数据环境下固定传感器空间位置挖掘方法,其特征在于,所述步骤5包括:
步骤5.1、根据整理后各个固定传感器的空间位置,将其导入地理信息系统专业软件;
步骤5.2、使用生成泰森多边形的工具,获得以连接两相邻固定传感器线段的垂直平分线组成的连续多边形,各个多边形即为各个固定传感器的服务范围。
CN202011164171.XA 2020-10-27 2020-10-27 一种大数据环境下固定传感器空间位置挖掘方法 Active CN112367608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011164171.XA CN112367608B (zh) 2020-10-27 2020-10-27 一种大数据环境下固定传感器空间位置挖掘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011164171.XA CN112367608B (zh) 2020-10-27 2020-10-27 一种大数据环境下固定传感器空间位置挖掘方法

Publications (2)

Publication Number Publication Date
CN112367608A CN112367608A (zh) 2021-02-12
CN112367608B true CN112367608B (zh) 2022-09-20

Family

ID=74510727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011164171.XA Active CN112367608B (zh) 2020-10-27 2020-10-27 一种大数据环境下固定传感器空间位置挖掘方法

Country Status (1)

Country Link
CN (1) CN112367608B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542809B2 (en) * 2001-02-26 2003-04-01 Honeywell International Inc. Method and system for displaying target vehicle position information
CN101547450B (zh) * 2009-05-08 2010-09-29 广东省电信规划设计院有限公司 移动通信网络的位置区划分方法及装置
US8612134B2 (en) * 2010-02-23 2013-12-17 Microsoft Corporation Mining correlation between locations using location history
CN105488120B (zh) * 2015-11-23 2018-11-23 上海川昱信息科技有限公司 基于手机大数据实时采集人口空间分布与大客流预警方法
US10489716B2 (en) * 2016-07-08 2019-11-26 Intellergy, Inc. Method for performing automated analysis of sensor data time series
CN106547894B (zh) * 2016-11-03 2019-12-24 浙江夏农信息技术有限公司 基于移动通信信令大数据挖掘职住位置标签的系统及方法
CN107241693B (zh) * 2017-05-08 2020-06-30 上海世脉信息科技有限公司 一种大数据环境下无坐标传感器位置确定方法
CN107609682B (zh) * 2017-08-22 2020-09-11 上海世脉信息科技有限公司 一种大数据环境下人口集聚中短期预警方法
CN107818332B (zh) * 2017-09-26 2020-08-07 清华大学 高速公路互通立交服务范围分析方法及装置
CN109190685A (zh) * 2018-08-15 2019-01-11 西南交通大学 融合空间聚类和基站序列规则的轨道出行特征提取方法
CN109348404B (zh) * 2018-10-09 2020-10-09 上海世脉信息科技有限公司 一种大数据环境下个体出行道路轨迹提取的方法
GB2590730B (en) * 2020-01-03 2022-08-17 Valerann Ltd Automatically tracking a trajectory of a vehicle

Also Published As

Publication number Publication date
CN112367608A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US9904932B2 (en) Analyzing semantic places and related data from a plurality of location data reports
Thuillier et al. Clustering weekly patterns of human mobility through mobile phone data
Yin et al. A generative model of urban activities from cellular data
Li et al. Reconstruction of human movement trajectories from large-scale low-frequency mobile phone data
CN106931974B (zh) 基于移动终端gps定位数据记录计算个人通勤距离的方法
CN104902438B (zh) 一种基于移动通信终端分析客流特征信息的统计方法及其系统
CN108170793A (zh) 基于车辆语义轨迹数据的停留点分析方法及其系统
US6975939B2 (en) Mapping patterns of movement based on the aggregation of spatial information contained in wireless transmissions
Horn et al. Detecting outliers in cell phone data: correcting trajectories to improve traffic modeling
CN106790468A (zh) 一种分析用户WiFi活动轨迹规律的分布式实现方法
CN112905576B (zh) 一种基于农机作业轨迹确定农田和道路的方法及系统
CN106899306A (zh) 一种保持移动特征的车辆轨迹线数据压缩方法
KR20080084504A (ko) 도로 네트워크 공간에서 이동객체의 유사 궤적 클러스터링방법
Burkhard et al. On the requirements on spatial accuracy and sampling rate for transport mode detection in view of a shift to passive signalling data
KR20130077754A (ko) 위치정보 표현방법, 위치정보 처리방법, 위치정보모델 생성방법, 및 위치정보처리장치
Horn et al. QZTool—automatically generated origin-destination matrices from cell phone trajectories
Huang et al. CTS: A cellular-based trajectory tracking system with GPS-level accuracy
Chen et al. An analysis of movement patterns between zones using taxi GPS data
Cruz et al. Trajectory prediction from a mass of sparse and missing external sensor data
CN112367608B (zh) 一种大数据环境下固定传感器空间位置挖掘方法
St Reconstructing trajectories from sparse call detail records
Wen et al. Adaptive spatio-temporal mining for route planning and travel time estimation
Zhu et al. A data-driven sequential localization framework for big telco data
CN111177294B (zh) 基于车辆轨迹数据求解交叉口中介中心性的方法
Tang et al. Spatio-temporal reachable area calculation based on urban traffic data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant