CN112383878B - 一种协同计算方法及电子装置 - Google Patents
一种协同计算方法及电子装置 Download PDFInfo
- Publication number
- CN112383878B CN112383878B CN202011031876.4A CN202011031876A CN112383878B CN 112383878 B CN112383878 B CN 112383878B CN 202011031876 A CN202011031876 A CN 202011031876A CN 112383878 B CN112383878 B CN 112383878B
- Authority
- CN
- China
- Prior art keywords
- data
- computing platform
- collaborative computing
- latest
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请提供一种协同计算方法及电子装置,该方法包括:构建第一协同计算平台;业务系统向第一协同计算平台中的管理节点发起任务请求;管理节点将任务请求分发至匹配的执行节点中;执行节点确定对应任务请求的数据资源;在数据资源位于与第一协同计算平台对应的第一数据中心时,执行节点直接基于数据资源执行计算任务,并返回执行结果至业务系统;在数据资源位于第二数据中心时,执行节点将任务请求发送至第二协同计算平台中,由第二协同计算平台的执行节点基于基于数据资源执行计算任务,并返回执行结果至第一协同计算平台,由其将执行结果返回至业务系统。本申请的协同计算方法能够基于多数据中心协同实现目标用户的实时定位。
Description
技术领域
本申请实施例涉及云定位技术领域,特别涉及一种协同计算方法及电子装置。
背景技术
《2019年通信业统计公报》显示,我国移动电话用户普及率达114.4部/百人,全国已有26个省市的移动电话普及率超过100部/百人。随着移动电话用户规模的日趋庞大,利用移动终端进行定位也得到了推广,其中,运营商可以通过用户在进行通话、短信、上网等各类行为中所处的基站编号来确定用户的位置。这种基站定位技术可以实现实时获取用户的位置信息,数据的可靠性跟连续性比较高,但是与基站的分布密度关联密切。若在基站与基站之间距离较远的乡镇,则会出现基站密度不够无法精准定位的问题;而当基站距离足够近,又会出现同一移动端收到数个基站发射的信号,移动端在各基站之间切换从而导致定位位置的漂移。通过对移动端用户的位置信息进行大数据分析,其结果对经济运营、资源规划及社会生产等各个领域都有巨大的参考意义。
许乃利等人基于某地用户话单中的基站信息,建立了用户常住地模型,通过分析用户过去一年中的话单信息,对用户的居住地、上班地及活动地进行定位,实现了基于用户位置区域的服务信息推送和营销推荐应用。可以通过输入经纬度及位置半径查询范围内基站数及基站附着人群信息,从而利用该功能进行营业厅及商超门店的客户引流与推广,促进客户到店消费。但是该功能需要遍历过去一年的历史数据,并且具有时效性,对于不断更新的实时位置数据并未提出解决方法。
黄涛等人针对高速公路上的二义性路径,即车辆从路网内的甲地至乙地存在多条可选路径,从而导致通行费收取的不便的问题,提出了在高速公路通行卡中嵌入GSM移动通信模块并接收途径基站位置信息数据,从而判断车辆实际行驶路径的方法。通行卡平时处于休眠状态,在收费站入口时激活,每隔一段时间采集基站ID并记录,在收费站出口时收费系统即可通过读取沿途基站信息确定行驶路径及计算收费金额。
正如上述研究中,车辆在高速公路上行驶可能会跨越不同地市、不同省份,出现需要接收不同地市、省份的多个不同数据中心的数据的情形。而跨数据中心进行运算时,会面临数据中心之间网络不通、数据的复制与同步困难及服务器/虚拟机之间如何协同等系列问题,从而导致运算耗时较长。
目前国内多为采用基于存储的双活数据中心,两数据中心互为灾备,在一个数据中心发生故障或灾难的情况下,其他数据中心可以正常运行,提升系统的可靠性及连续性。魏明月等人对于上海市儿童医院两个异地院区建立了双活数据中心模式,实现了两院区患者医疗服务、临床数据的共享及医疗协同管理等资源的互联互通,同时保障医疗数据的准确性。隋军等人在重庆银行的核心业务系统采用了同城双活建设部署,实现了两数据中心负载均衡同时提供服务,并能在一数据中心出现问题时以秒级速度将核心业务引导至另一数据中心以保障交易业务的正常进行。
这种双活数据中心模式适用于医院、银行、军事等对数据的一致性要求高的应用场合,双活数据中心用于保障业务功能的稳定性。但是对于类似上述的跨数据中心定位需求,此时并不需要每个地区的数据中心都存储相同数据,而更多强调多数据中心的可用性,也即是如何快速地处理跨数据中心的移动端位置信息,并通过协同计算得到准确的实时定位。
综合上述对现有技术以及目前的一些应用的描述,可总结出现有的通过基站定位的方法主要存在如下问题:
(1)在通讯基站分布密度不足时,由于通讯基站辐射半径较大,无法通过通讯基站得到精确的定位;
(2)在某位置,单移动端被多个通讯基站同时吸附从而导致定位位置漂移、产生偏差;
(3)进行移动位置的统计计算时,需要遍历历史数据,代价较高;
(4)当目标运动轨迹跨多个省级数据中心时,目前常用的双活数据中心并不适用,无法快速获取目标用户的最新位置。
发明内容
本申请提供了一种基于多数据中心协同实现目标用户实时定位,使能够提供全国统一、高效、精准的实时定位服务的协同计算方法及电子装置。
为了解决上述技术问题,本申请实施例提供了一种协同计算方法,包括:
构建第一协同计算平台;
业务系统向所述第一协同计算平台中的管理节点发起包括查询目标用户移动轨迹或实时位置的任务请求;
所述管理节点响应所述任务请求,并将所述任务请求分发至由所述管理节点进行管理的执行节点中;
所述执行节点确定对应所述任务请求的数据资源;
在所述数据资源位于与所述第一协同计算平台相匹配的第一数据中心的情况下,所述执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述业务系统;
在所述数据资源位于第二数据中心的情况下,所述执行节点将所述任务请求发送至与所述第二数据中心相匹配的第二协同计算平台中,由所述第二协同计算平台的执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述第一协同计算平台,经所述第一协同计算平台将所述执行结果返回至所述业务系统。
作为优选,所述第一数据中心为部级数据中心,所述第二数据中心为省级数据中心,所述第二数据中心为多个,所述方法还包括:
在所述数据资源分布在多个数据中心的情况下,所述第一协同计算平台的执行节点将所述任务请求发送至所述多个数据中心中,由所述多个数据中心中的执行节点执行所述任务求中与其对应的计算任务,并生成及返回执行结果至所述第一协同计算平台中,所述多个数据中心包括所述第一数据中心,或仅包括所述第二数据中心;
所述第一协同计算平台的执行节点汇总接收的所有执行结果,并将汇总后的执行结果返回至所述业务系统中;
所述业务系统基于接收的所述汇总后的执行结果进行合并处理。
作为优选,所述管理节点响应所述任务请求,并将所述任务请求分发至由所述管理节点进行管理的执行节点中,包括:
所述管理节点确定所述执行节点的运行状态;
所述管理节点基于所述运行状态将所述任务请求分发至目标执行节点中。
作为优选,所述执行节点确定对应所述任务请求的数据资源,包括:
所述执行节点根据所述任务请求确定所需的数据资源;
所述执行节点根据所述第一协同计算平台中存储的第一元数据对所述数据资源进行定位,所述第一元数据包括省份名称、城市名称、省份代码、城市编码、第二数据中心的互联网协议地址中的一种或多种。
作为优选,所述第二协同计算平台存储有第二元数据,所述方法还包括:
所述第一协同计算平台中的管理节点确定所述第一元数据变化时,通知所述第二协同计算平台中的管理节点,使其控制所述第二元数据根据所述第一元数据进行同步更新,以保证所述第一元数据与第二元数据相同。
作为优选,所述执行节点基于所述数据资源执行所述计算任务,包括:
基于所述数据资源确定所述目标用户移动的最后位置,所述数据资源通过通讯基站获得所述目标用户的移动终端的位置信息,所述移动终端的位置信息与所述目标用户的位置信息一致;
在基于所述数据资源确定所述目标用户具有最新位置的情况下,确定所述最新位置是否满足预设条件集,若满足,则确定所述最新位置为所述目标用户的实际位置或至少部分轨迹的新轨迹点;
将所述实际位置或包含所述新轨迹点的轨迹数据返回至所述业务系统或第一协同计算平台。
作为优选,所述确定所述最新位置是否满足预设条件集,包括:
确定所述目标用户由所述最后位置移动至所述最新位置的速度及距离;
基于所述速度及距离确定所述最新位置是否满足漂移条件;
若满足,则确定所述最新位置异常,剔除所述最新位置,并确定所述最后位置为所述目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定所述最新位置是否满足停留条件,若满足,则确定所述最新位置满足所述预设条件集。
作为优选,所述确定所述最新位置是否满足停留条件,包括:
确定所述目标用户在所述最后位置的初始停留时间与结束停留时间;
确定所述目标用户在停留期间内产生的位于预设范围内的位置点;
确定所述最新位置是否为所述位于预设范围内的位置点;
若是,则将所述位于预设范围内的位置点进行聚合,并取其均值更新所述最后位置,并确定所述更新后的最后位置为所述目标用户的实际位置或至少部分轨迹的新轨迹点;
若否,则确定所述最新位置是否满足逗留条件,若满足,则确定所述最新位置满足所述预设条件集。
作为优选,所述确定所述最新位置是否满足逗留条件,包括:
确定所述最新位置与最后位置、最新位置与所述最后位置的前一位置的时间间隔;
确定所述最新位置与所述最后位置的前一位置的距离;
基于所述时间间隔以及距离确定所述最新位置是否满足所述逗留条件;
若满足,则将所述最新位置与所述最后位置的前一位置进行聚合,并基于聚合结果更新所述最后位置,使所述更新后的最后位置形成所述目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定所述最新位置满足所述预设条件集。
本发明另一实施例提供一种电子设备,包括:
第一协同计算平台,其包括管理节点及工作节点,所述管理节点用于接收业务系统发起的包括查询目标用户移动轨迹或实时位置的任务请求,并响应所述任务请求,将所述任务请求分发至由所述管理节点进行管理的执行节点中;
所述执行节点用于确定对应所述任务请求的数据资源,在所述数据资源位于与所述第一协同计算平台相匹配的第一数据中心的情况下,所述执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述业务系统;而在所述数据资源位于第二数据中心的情况下,所述执行节点将所述任务请求发送至与所述第二数据中心相匹配的第二协同计算平台中,由所述第二协同计算平台的执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述第一协同计算平台,经所述第一协同计算平台将所述执行结果返回至所述业务系统。
基于上述实施例的公开可以获知,本申请实施例具备的有益效果包括
1)采用多数据中心协同计算,解决了跨数据中心获取目标用户实时位置或轨迹数据的问题,且显著提高了运算速度;
2)提高了多数据中心协同实时计算架构的可用性、重用性,除能获取目标用户的最新位置,还能够获得目标用户的最后位置及其前一位置,从而可以无需遍历历史数据来实时确定最后位置及其前一位置,即可对目标用户的位置及轨迹进行相关分析;
3)通过聚合算法减少同一移动端因为多个通讯基站吸附而导致漂移产生的偏差,得到更接近实际的用户位置/移动端位置,提高了定位的精准性;
4)本申请通过多数据中心的多种数据源的接入来辅助通讯基站对目标用户的定位,从而有效解决了通讯基站密度较小,无法精准定位的问题,实现了提高准确定位用户实际位置的技术效果。
附图说明
图1为本发明实施例中的协同计算方法的流程图。
图2为本发明实施例中的协同计算方法在实际应用时的处理流程图。
图3为本发明实施例中的第一协同计算平台与第二协同计算平台的框架结构图。
图4为本发明实施例中的元数据示例图。
图5为本发明实施例中的第一协同计算平台与第二协同计算平台在应用时的交互流程图。
图6为本发明实施例中的工作节点对数据的处理流程图。
图7为本发明实施例中的电子装置的结构框图。
具体实施方式
下面,结合附图对本申请的具体实施例进行详细的描述,但不作为本申请的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,下述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
下面,结合附图详细的说明本申请实施例。
如图1和图2所示,本发明实施例提供一种协同计算方法,包括:
构建第一协同计算平台;
业务系统向第一协同计算平台中的管理节点发起包括查询目标用户实时位置或移动轨迹的任务请求;
管理节点响应任务请求,并将任务请求分发至由管理节点进行管理的执行节点中;
执行节点确定对应任务请求的数据资源;
在数据资源位于与第一协同计算平台相匹配的第一数据中心的情况下,执行节点基于任务请求确定计算任务,并基于数据资源执行计算任务,生成且返回执行结果至业务系统;
在数据资源位于第二数据中心的情况下,执行节点将任务请求发送至与第二数据中心相匹配的第二协同计算平台中,由第二协同计算平台的执行节点基于任务请求确定计算任务,并基于数据资源执行计算任务,生成且返回执行结果至第一协同计算平台,经第一协同计算平台将执行结果返回至业务系统。
基于上述实施例的公开可以获知,本申请实施例具备的有益效果包括采用多数据中心协同计算,解决了跨数据中心获取目标用户实时位置或轨迹数据的问题,且显著提高了运算速度;另外,本申请通过多数据中心的多种数据源的接入来辅助通讯基站对目标用户的定位,从而有效解决了通讯基站密度较小,无法精准定位的问题,实现了提高准确定位用户实际位置的技术效果。
进一步地,本实施例中的第一协同计算平台均位于业务系统和多个数据中心,即大数据平台之间,起到承上启下的作用。业务系统中具有查询中心、报表中心等工作单元,在进行例如跨省、跨数据中心的协同工作时,业务系统调用第一协同计算平台的接口,并发起例如轨迹查询、实时流计算或者协同分析的请求,第一协同计算平台接收到该请求后会响应该请求,将对应请求的计算任务分派给各个数据中心,如交由第一数据中心,或第二数据中心,各个数据中心计算后将结果返回给第一协同计算平台,由其将计算结果汇总,并发送至发起请求的业务系统中。第二协同数据平台与第一协同数据功能平台相似,其不同点在于第二协同数据平台受控于第一协同数据平台。具体地,例如,需要对某一人员的实时位置进行查询时,可通过业务系统发起请求,业务系统将该请求发送至对应的协同计算平台中,经由该平台将请求发送至对应的数据中心,使该数据中心执行对应该请求的计算任务,确定出该人员的实时位置。当该人员的时位置并不在该数据中心负责的范畴内时,则该协同计算平台可通过向第一协同计算平台进行申请,以在全国范围内对该人员的位置进行查询。
进一步地,本实施例中的第一数据中心为部级数据中心,第二数据中心为省级数据中心,第二数据中心为多个,例如为31个省级数据中心。部级的协同计算平台(相当于第一协同计算平台)可以向31个省级数据中心发起协同计算请求;各省级数据中心可通过业务系统及省级协同计算平台(相当于第二协同计算平台)向部级数据中心或其他省级数据中心发起协同计算的请求。为了满足两级数据中心的计算需求,本实施例中的协同计算平台需要具有查询、分析、实时计算的功能,具体使用情形包括:
(1)部级协同计算平台能够对单个或多个省级数据中心中的数据可查、可分析。
(2)省级数据中心能够对本省数据资源可查、可分析。
(3)省级数据中心可通过省级协同计算平台发起跨省协同查询、分析数据的请求。
进一步地,本实施例中的方法还包括:
在数据资源分布在多个数据中心的情况下,第一协同计算平台的执行节点将任务请求发送至多个数据中心中,由多个数据中心中的执行节点执行任务求中与其对应的计算任务,并生成及返回执行结果至第一协同计算平台中,多个数据中心包括第一数据中心,或仅包括第二数据中心;
第一协同计算平台的执行节点汇总接收的所有执行结果,并将汇总后的执行结果返回至业务系统中;
业务系统基于接收的汇总后的执行结果进行合并处理。
也就是,第一协同计算平台在确定用于执行任务请求的数据资源分布在多个数据中心,而并非仅位于第一数据中心的情况下,就需要发起协同计算,具体可将任务请求直接复制多份,并分发至确定的多个数据中心中,由对应各数据中心的协同计算平台自行确定其数据中心能够执行的任务段,并匹配生成子结果/中间结果,最后由第一协同计算平台汇总多个子结果/中间结果后返回至业务系统中,尤其进行进一步处理,形成反馈给用户的最终结果。或者,本实施例中的第一协同计算平台可以具有能够跟据计算资源、数据资源(包括存储资源、网络资源)的分布情况,进行任务拆分,并将任务下推到合适的数据中心和执行节点上,之后再将中间结果汇聚起来,从而实现协同工作、协同解决问题的能力。也即,由第一协同计算平台根据数据资源的分布情况来预先对任务请求进行拆分,然后将各个任务段匹配发送至与各数据中心对应的第二协同计算平台中。
进一步地,如图3所示,本实施例中的协同计算平台采用采用分布式架构实现,包括管理节点(Master)和执行节点(Worker)。管理节点包括请求响应模块,业务分发模块,工作节点中包括业务执行模块,计算任务下发模块,查询业务处理模块以及结果汇总模块,其中第二协同计算平台的工作节点不具有计算任务下发模块,即,其不具有向其他数据中心分配任务的能力,仅第一协同计算平台中的执行节点具有该能力。具体地,管理节点主要负责元数据管理、任务分配功能,具有热备能力,即包括热备管理节点,用于预防单点故障问题;执行节点主要负责执行具体的数据查询、实时流消息/数据流转、代价估算优化、分析任务执行,本实施例中的执行节点具有可扩展能力,当执行节点处理能力不够时,可通过扩展执行节点来提升处理能力。各数据中心内具有大数据平台,其主要包括查询集群,实时流集群和分析集群。
进一步地,本实施例中管理节点响应任务请求,并将任务请求分发至由管理节点进行管理的执行节点中,包括:
管理节点确定执行节点的运行状态;
管理节点基于运行状态将任务请求分发至目标执行节点中。
例如,管理节点会根据当前执行节点的负载状态而对其分配计算任务,确保负载均衡。
进一步地,执行节点确定对应任务请求的数据资源,包括:
执行节点根据任务请求确定所需的数据资源;
执行节点根据第一协同计算平台中存储的第一元数据对数据资源进行定位,该第一元数据包括库表模型、省份名称、城市名称、省份代码、城市编码、第二数据中心的互联网协议地址中的一种或多种,也即,第一元数据即为一数据位置索引表,其具体可以参考图4所示。
进一步地,第二协同计算平台存储有第二元数据,本实施例中的方法还包括:
第一协同计算平台中的管理节点确定第一元数据变化时,通知第二协同计算平台中的管理节点,使其控制第二元数据根据第一元数据进行同步更新,以保证第一元数据与第二元数据相同。
也即,本实施例中的元数据的管理是级联方式,本实施例通过保证第一元数据与第二元数据相同,可有效减少数据查询路径,加快数据查询速度。
具体地,如图5所示,以下以具体实施例来进行详细说明:
以需要从部级协同计算平台(第一协同计算平台)发起查询为例,具体可分为如下几个步骤:
(1)在需要发起查询时,先由业务系统向部级协同计算平台的管理节点发起任务请求;
(2)在部级协同计算平台内部,由管理节点(Master)的请求响应模块响应任务请求后交至业务分发模块处理。
(3)业务分发模块根据Master所管理的执行节点(Worker)的状态分发到目标Worker来执行任务。
(4)Worker的业务执行模块接受任务请求后,根据元数据对数据资源进行定位,由计算任务下发模块(或称数据路由模块)建立与任务请求对应的查询任务,并将查询任务进行分发。
(5)如果查询任务可以在部级协同计算平台对应的第一数据中心内完成,数据路由模块将查询任务流转到查询业务处理模块,直接由查询业务处理模块得到查询结果并返回至业务系统。
(6)如果查询任务对应或者说所需的数据资源在省级数据中心(第二数据中心),数据路由模块将查询任务流转到对应的省级数据中心的第二协同计算平台,该平台内的Master接收任务后交至其管理的Worker进行处理,并返回查询结果集到发起任务查询的部级协同计算平台的Worker中。
(7)当查询任务需由多个省级数据中心返回结果时,即,数据资源分布在不同的数据中心时,部级协同计算平台的Worker需要对各个省级协同计算平台返回的结果进行合并,具体由部级协同计算平台的Worker的结果汇总模块接收所有返回的查询结果,然后转发给发起协同查询请求的业务系统服务端进行合并,最终由该服务端返回给用户。
进一步地,目前的实际场景中,由于通讯基站辐射范围较大,无法精准定位目标,加之通讯基站切变、数据漂移等原因,通过通讯基站对移动终端进行定位的准确性会受到比较大的干扰,对此目前常采用对定位点进行聚合的方法来提高定位的精准度。但是目前较多采用的定位点聚合方法如K-means聚类法等,虽然可以得到精度较高的结果,但所花费的时间也很长,无法实现快速实时定位。为了解决该问题,如图6所示,本实施例中的执行节点基于数据资源执行计算任务,包括:
基于数据资源确定目标用户的最后位置,数据资源通过通讯基站获得目标用户的移动终端的位置信息,移动终端的位置信息与目标用户的位置信息一致;
在数据资源确定目标用户具有最新位置的情况下,确定最新位置是否满足预设条件集,若满足,则确定最新位置为目标用户的实际位置或至少部分轨迹的新轨迹点;
将实际位置或包含所述新轨迹点的轨迹数据返回至所述业务系统或第一协同计算平台。
其中,最新位置,即程序目前正在处理的数据,未入数据库、未落地的数据;最后位置,即位于已落地、已入数据库的位置里的最后一条位置,也就是,最新位置是未经认定处理的位置,而最后位置及其前一位置均是经过认定处理后的位置,具体认定及处理的方法即为本实施例中执行节点基于数据资源所述计算任务时采用的方法,以下会具体介绍。本实施例中通过采用该方法对每个最新位置均进行认定、处理,可方便后续产生更新的位置点时可直接使用上一位置点数据,无需再次遍历所有零散的历史位置点并进行计算,故显著提高了计算速率,使能够更快速地响应用户请求。
进一步地,确定最新位置是否满足预设条件集,包括:
确定目标用户由最后位置移动至最新位置的速度及距离;
基于速度及距离确定最新位置是否满足漂移条件;
若满足,则确定所述最新位置异常,剔除最新位置,并确定最后位置为目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定最新位置是否满足停留条件,若满足,则确定最新位置满足所述预设条件集。
其中,基于速度及距离确定最新位置是否满足漂移条件,相当于确定该最新位置是否为漂移点。漂移点是指当移动终端从最后位置到达最新位置的方式明显异常时,最新位置会被定义为漂移点,因为移动终端接收数据时往往伴随着频繁的通讯基站切换,同一移动终端短时间内接收到多个不同位置的通讯基站的数据,如果接收数据的通讯基站距离移动终端较远时,就会出现通讯基站记录了位置偏远过远的数据,这些数据无疑会极大影响移动终端定位的准确性,需要进行剔除。漂移点的具体判断需通过距离与速度进行判断。计算从最后位置到最新位置的运动速度,计算方法如下:
应用时,可以设定当运动速度大于20m/s,且同时满足最后位置与最新位置的距离小于20km时,即可把此最新位置点作为漂移点,要进行剔除。
进一步地,在执行节点确定最新位置是否满足停留条件,包括:
确定目标用户在最后位置的初始停留时间与结束停留时间;
确定目标用户在停留期间内产生的位于预设范围内的位置点;
确定最新位置是否为位于预设范围内的位置点;
若是,则将位于预设范围内的位置点进行聚合,并取其均值更新最后位置,并确定更新后的最后位置为目标用户的实际位置或至少部分轨迹的新轨迹点;
若否,则确定最新位置是否满足逗留条件,若满足,则确定最新位置满足预设条件集。
具体地,上述停留点是指每个人大部分时候都是停留在某个小范围区域,如在办公室办公,在家休息等,在该范围内的一段时间内,即开始停留时间与结束停留时间之间的时间段内,用户通常还会产生多个位置点,对于该种情况,可以考虑对该多个位置点进行聚合,形成一个点,这个点即为停留点。应用时,上述的结束停留时间可以为最新位置的出现时间,接着可通过距离、时间两个维度分析移动终端是否为停留状态。例如,最新位置与最后位置距离在1km之内且最新位置时间与最后位置的停留结束时间间隔为10分钟之内,或者时间间隔超过10分钟但距离小于500m,此时可将最新位置视作为停留期间出现的位置点,需要做聚合处理,保留最新位置的经、纬度(保留时需去重),同时对聚合结果进行平均处理,取其均值来更新最后位置,接着将更新后的最后位置的停留结束时间更新为最新位置的出现时间。
进一步地,在执行节点确定最新位置是否满足逗留条件,包括:
确定最新位置与最后位置、最新位置与最后位置的前一位置的时间间隔;
确定所述最新位置与最后位置、最新位置与所述最后位置的前一位置的时间间隔;
确定最新位置与最后位置的前一位置的距离;
基于时间间隔以及距离确定最新位置是否满足逗留条件;
若满足,则将最新位置与最后位置的前一位置进行聚合,并基于聚合结果更新最后位置,使该更新后的最后位置形成目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定最新位置满足预设条件集。
具体地,本实施例中的逗留条件中所指的逗留是指用户在小范围内产生的活动逗留,也即移动终端实际上可能是在小范围内活动,故使得交互信号在两个通讯基站之间切换,于是使得最新位置点看上去不再是最后位置的停留点,因此当最新位置不满足最后位置的停留条件时,还要将最新位置与最后位置的前一位置,也即是第二最后位置,进行比较。例如,当最新位置与最后位置、最新位置与第二最后位置的时间间隔均小于15分钟,并且最新位置与第二最后位置的距离小于1km时,则认为移动终端是在小范围内活动,满足逗留条件,此时,将第二最后位置与最新位置进行聚合。如果最新位置满足第二最后位置的停留条件,则按照停留点的逻辑更新第二最后位置的经、纬度;如果最新位置不符合第二最后位置的停留条件,则将最新位置的数据作为最后位置的数据,同时移除最后位置的数据。也即,最新位置代替原最后位置,成为新的最后位置,即新轨迹点。实际上,本实施例中的新轨迹点是指除去上述偏移点、停留点和小范围活动逗留的情况后,剩余的最新位置点都可视作为新轨迹点。当确定最新位置点判断为新轨迹点时,则可将最后位置的到达时间作为停留开始时间,以最新位置的出现时间作为最后位置的停留结束时间,并计算出匹配该最后位置的停留时长记录在数据中心中,以供后续查询。
本实施例中采用的上述计算方法可避免服务器系统长时间的运算,而且通过停留点的聚合,可以使定位位置更接近目标用户的真实位置。另外,对明显有错误的位置点进行了剔除,进一步保证了位置计算的准确性。而对于每个落盘位置点,即已经经过本申请上述方法认证及处理的位置点,除了能够提供位置信息,还能提供到达时间、停留时长信息,极大地方便了后期用户的查询,减少重复计算。
如图7所示,本发明另一实施例同时提供一种电子装置,包括:
第一协同计算平台,其包括管理节点及工作节点,管理节点用于接收业务系统发起的用于查询目标用户位置的任务请求,并响应任务请求,将任务请求分发至由管理节点进行管理的执行节点中;
执行节点用于确定对应任务请求的数据资源,在数据资源位于与第一协同计算平台相匹配的第一数据中心的情况下,执行节点基于任务请求确定计算任务,并基于数据资源执行计算任务,生成且返回执行结果至业务系统;而在数据资源位于第二数据中心的情况下,执行节点将任务请求发送至与第二数据中心相匹配的第二协同计算平台中,由第二协同计算平台的执行节点基于任务请求确定计算任务,并基于数据资源执行计算任务,生成且返回执行结果至第一协同计算平台,经第一协同计算平台将执行结果返回至业务系统。
基于上述实施例的公开可以获知,本申请实施例具备的有益效果包括采用多数据中心协同计算,解决了跨数据中心获取目标用户实时位置或轨迹数据的问题,且显著提高了运算速度;另外,本申请通过多数据中心的多种数据源的接入来辅助通讯基站对目标用户的定位,从而有效解决了通讯基站密度较小,无法精准定位的问题,实现了提高准确定位用户实际位置的技术效果。
进一步地,第一数据中心为部级数据中心,第二数据中心为省级数据中心,第二数据中心为多个,第一协同计算平台还用于:
在数据资源分布在多个数据中心的情况下,第一协同计算平台的执行节点将任务请求发送至多个数据中心中,由多个数据中心中的执行节点执行任务求中与其对应的计算任务,并生成及返回执行结果至第一协同计算平台中,多个数据中心包括第一数据中心,或仅包括第二数据中心;
第一协同计算平台的执行节点汇总接收的所有执行结果,并将汇总后的执行结果返回至业务系统中;
业务系统基于接收的汇总后的执行结果进行合并处理。
进一步地,管理节点响应任务请求,并将任务请求分发至由管理节点进行管理的执行节点中,包括:
管理节点确定执行节点的运行状态;
管理节点基于运行状态将任务请求分发至目标执行节点中。
例如,管理节点会根据当前执行节点的负载状态而对其分配计算任务,确保负载均衡。
进一步地,执行节点确定对应任务请求的数据资源,包括:
执行节点根据任务请求确定所需的数据资源;
执行节点根据第一协同计算平台中存储的第一元数据对数据资源进行定位,该第一元数据包括库表模型、省份名称、城市名称、省份代码、城市编码、第二数据中心的互联网协议地址中的一种或多种,也即,第一元数据即为一数据位置索引表,其具体可以参考图所示。
进一步地,第二协同计算平台存储有第二元数据,方法还包括:
第一协同计算平台中的管理节点确定第一元数据变化时,通知第二协同计算平台中的管理节点,使其控制第二元数据根据第一元数据进行同步更新,以保证第一元数据与第二元数据相同。
也即,本实施例中的元数据的管理是级联方式,本实施例通过保证第一元数据与第二元数据相同,可有效减少数据查询路径,加快数据查询速度。
进一步地,进一步地,目前的实际场景中,由于通讯基站辐射范围较大,无法精准定位目标,加之通讯基站切变、数据漂移等原因,通过通讯基站对移动终端进行定位的准确性会受到比较大的干扰,对此目前常采用对定位点进行聚合的方法来提高定位的精准度。但是目前较多采用的定位点聚合方法如K-means聚类法等,虽然可以得到精度较高的结果,但所花费的时间也很长,无法实现快速实时定位。为了解决该问题,如图所示,本实施例中的执行节点基于数据资源执行计算任务,包括:
基于数据资源确定目标用户移动的最后位置,数据资源通过通讯基站获得目标用户的移动终端的位置信息,移动终端的位置信息与目标用户的位置信息一致;
在基于数据资源确定目标用户具有最新位置的情况下,确定最新位置是否满足预设条件集,若满足,则确定最新位置为目标用户的实际位置或至少部分轨迹的新轨迹点;
将实际位置或包含新轨迹点的轨迹数据返回至业务系统或第一协同计算平台。
进一步地,确定最新位置是否满足预设条件集,包括:
确定目标用户由最后位置移动至最新位置的速度及距离;
基于速度及距离确定最新位置是否满足漂移条件;
若满足,则确定最新位置异常,剔除最新位置,并确定最后位置为目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定最新位置是否满足停留条件,若满足,则确定最新位置满足预设条件集。
进一步地,确定最新位置是否满足停留条件,包括:
确定目标用户在最后位置的初始停留时间与结束停留时间;
确定目标用户在停留期间内产生的位于预设范围内的位置点;
确定最新位置是否为位于预设范围内的位置点;
若是,则将位于预设范围内的位置点进行聚合,并取其均值更新最后位置,并确定更新后的最后位置为目标用户的实际位置或至少部分轨迹的新轨迹点;
若否,则确定最新位置是否满足逗留条件,若满足,则确定最新位置满足预设条件集。
进一步地,确定最新位置是否满足逗留条件,包括:
确定最新位置与最后位置、最新位置与最后位置的前一位置的时间间隔;
确定最新位置与最后位置的前一位置的距离;
基于时间间隔以及距离确定最新位置是否满足逗留条件;
若满足,则将最新位置与最后位置的前一位置进行聚合,并基于聚合结果更新最后位置,使更新后的最后位置形成目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定最新位置满足预设条件集。
本实施例中的电子装置通过采用上述计算方法可避免服务器系统长时间的运算,而且通过停留点的聚合,可以使定位位置更接近目标用户的真实位置。另外,对明显有错误的位置点进行了剔除,进一步保证了位置计算的准确性。而对于每个落盘位置点,即已经经过本申请上述方法认证及处理的位置点,除了能够提供位置信息,还能提供到达时间、停留时长信息,极大地方便了后期用户的查询,减少重复计算。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种协同计算方法,用于对目标用户进行定位,包括:
构建第一协同计算平台;
业务系统向所述第一协同计算平台中的管理节点发起包括查询目标用户移动轨迹或实时位置的任务请求;
所述管理节点响应所述任务请求,并将所述任务请求分发至由所述管理节点进行管理的执行节点中;
所述执行节点确定对应所述任务请求的数据资源;
在所述数据资源位于与所述第一协同计算平台相匹配的第一数据中心的情况下,所述执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述业务系统;
在所述数据资源位于第二数据中心的情况下,所述执行节点将所述任务请求发送至与所述第二数据中心相匹配的第二协同计算平台中,由所述第二协同计算平台的执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述第一协同计算平台,经所述第一协同计算平台将所述执行结果返回至所述业务系统;
其中,所述第一协同计算平台控制所述第二协同计算平台,所述第一数据中心为部级数据中心,所述第二数据中心为省级数据中心,所述第二数据中心为多个。
2.根据权利要求1所述的方法,其中,所述方法还包括:
在所述数据资源分布在多个数据中心的情况下,所述第一协同计算平台的执行节点将所述任务请求发送至所述多个数据中心中,由所述多个数据中心中的执行节点执行所述任务请 求中与其对应的计算任务,并生成及返回执行结果至所述第一协同计算平台中,所述多个数据中心包括所述第一数据中心,或仅包括所述第二数据中心;
所述第一协同计算平台的执行节点汇总接收的所有执行结果,并将汇总后的执行结果返回至所述业务系统中;
所述业务系统基于接收的所述汇总后的执行结果进行合并处理。
3.根据权利要求1所述的方法,其中,所述管理节点响应所述任务请求,并将所述任务请求分发至由所述管理节点进行管理的执行节点中,包括:
所述管理节点确定所述执行节点的运行状态;
所述管理节点基于所述运行状态将所述任务请求分发至目标执行节点中。
4.根据权利要求2所述的方法,其中,所述执行节点确定对应所述任务请求的数据资源,包括:
所述执行节点根据所述任务请求确定所需的数据资源;
所述执行节点根据所述第一协同计算平台中存储的第一元数据对所述数据资源进行定位,所述第一元数据包括省份名称、城市名称、省份代码、城市编码、第二数据中心的互联网协议地址中的一种或多种。
5.根据权利要求4所述的方法,其中,所述第二协同计算平台存储有第二元数据,所述方法还包括:
所述第一协同计算平台中的管理节点确定所述第一元数据变化时,通知所述第二协同计算平台中的管理节点,使其控制所述第二元数据根据所述第一元数据进行同步更新,以保证所述第一元数据与第二元数据相同。
6.根据权利要求1所述的方法,其中,所述执行节点基于所述数据资源执行所述计算任务,包括:
基于所述数据资源确定所述目标用户移动的最后位置,所述数据资源通过通讯基站获得所述目标用户的移动终端的位置信息,所述移动终端的位置信息与所述目标用户的位置信息一致;
在基于所述数据资源确定所述目标用户具有最新位置的情况下,确定所述最新位置是否满足预设条件集,若满足,则确定所述最新位置为所述目标用户的实际位置或至少部分轨迹的新轨迹点;
将所述实际位置或包含所述新轨迹点的轨迹数据返回至所述业务系统或第一协同计算平台。
7.根据权利要求6所述的方法,其中,所述确定所述最新位置是否满足预设条件集,包括:
确定所述目标用户由所述最后位置移动至所述最新位置的速度及距离;
基于所述速度及距离确定所述最新位置是否满足漂移条件;
若满足,则确定所述最新位置异常,剔除所述最新位置,并确定所述最后位置为所述目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定所述最新位置是否满足停留条件,若满足,则确定所述最新位置满足所述预设条件集。
8.根据权利要求7所述的方法,其中,所述确定所述最新位置是否满足停留条件,包括:
确定所述目标用户在所述最后位置的初始停留时间与结束停留时间;
确定所述目标用户在停留期间内产生的位于预设范围内的位置点;
确定所述最新位置是否为所述位于预设范围内的位置点;
若是,则将所述位于预设范围内的位置点进行聚合,并取其均值更新所述最后位置,并确定所述更新后的最后位置为所述目标用户的实际位置或至少部分轨迹的新轨迹点;
若否,则确定所述最新位置是否满足逗留条件,若满足,则确定所述最新位置满足所述预设条件集。
9.根据权利要求8所述的方法,其中,所述确定所述最新位置是否满足逗留条件,包括:
确定所述最新位置与最后位置、最新位置与所述最后位置的前一位置的时间间隔;
确定所述最新位置与所述最后位置的前一位置的距离;
基于所述时间间隔以及距离确定所述最新位置是否满足所述逗留条件;
若满足,则将所述最新位置与所述最后位置的前一位置进行聚合,并基于聚合结果更新所述最后位置,使所述更新后的最后位置形成所述目标用户的实际位置或至少部分轨迹的新轨迹点;
若不满足,则确定所述最新位置满足所述预设条件集。
10.一种电子装置,用于对目标用户进行定位,包括:
第一协同计算平台,其包括管理节点及工作节点,所述管理节点用于接收业务系统发起的包括查询目标用户移动轨迹或实时位置的任务请求,并响应所述任务请求,将所述任务请求分发至由所述管理节点进行管理的执行节点中;
所述执行节点用于确定对应所述任务请求的数据资源,在所述数据资源位于与所述第一协同计算平台相匹配的第一数据中心的情况下,所述执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述业务系统;而在所述数据资源位于第二数据中心的情况下,所述执行节点将所述任务请求发送至与所述第二数据中心相匹配的第二协同计算平台中,由所述第二协同计算平台的执行节点基于所述任务请求确定计算任务,并基于所述数据资源执行所述计算任务,生成且返回执行结果至所述第一协同计算平台,经所述第一协同计算平台将所述执行结果返回至所述业务系统;
其中,所述第一协同计算平台控制所述第二协同计算平台,所述第一数据中心为部级数据中心,所述第二数据中心为省级数据中心,所述第二数据中心为多个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011031876.4A CN112383878B (zh) | 2020-09-27 | 2020-09-27 | 一种协同计算方法及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011031876.4A CN112383878B (zh) | 2020-09-27 | 2020-09-27 | 一种协同计算方法及电子装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112383878A CN112383878A (zh) | 2021-02-19 |
CN112383878B true CN112383878B (zh) | 2021-07-30 |
Family
ID=74579894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011031876.4A Active CN112383878B (zh) | 2020-09-27 | 2020-09-27 | 一种协同计算方法及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112383878B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114579190B (zh) * | 2022-02-17 | 2022-10-14 | 中国科学院计算机网络信息中心 | 基于流水线机制的跨中心协同计算的编排方法与系统 |
CN114896232B (zh) * | 2022-04-24 | 2023-05-23 | 重庆旅游云信息科技有限公司 | 一种支持多类型定位硬件数据采集及清洗的方法 |
CN115242865A (zh) * | 2022-07-11 | 2022-10-25 | 北京邮电大学 | 一种远程视频人工服务的切换标准 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475722B (zh) * | 2013-09-13 | 2016-08-17 | 中国联合网络通信集团有限公司 | 一种业务协同平台实现系统 |
US10581670B2 (en) * | 2015-10-02 | 2020-03-03 | Microsoft Technology Licensing, Llc | Cross-data center interoperation and communication |
CN106067154A (zh) * | 2016-05-30 | 2016-11-02 | 上海华企软件有限公司 | 一种基于手机大数据的城市间迁移客流分析方法 |
US11205136B2 (en) * | 2016-08-23 | 2021-12-21 | Microsoft Technology Licensing, Llc | Per-article personalized model feature transformation |
CN106405600A (zh) * | 2016-12-21 | 2017-02-15 | 东莞市极酷机电科技有限公司 | 一种智慧城市交通系统以及使用方法 |
CN109992373B (zh) * | 2017-12-29 | 2021-04-09 | 华为技术有限公司 | 资源调度方法、信息管理方法和装置及任务部署系统 |
CN110830310B (zh) * | 2019-11-28 | 2022-04-26 | 新华三大数据技术有限公司 | 一种跨数据中心的灾难备份方法及bras系统 |
-
2020
- 2020-09-27 CN CN202011031876.4A patent/CN112383878B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112383878A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112383878B (zh) | 一种协同计算方法及电子装置 | |
CN112070861B (zh) | 顾及地理特征的多用户实时同步协同地图编辑方法及系统 | |
CN104539681B (zh) | 分布式gis加速系统和gis服务的处理方法 | |
WO2021036464A1 (zh) | 地图数据查询方法、装置、计算机设备及存储介质 | |
CN106651247A (zh) | 基于gis拓扑分析的地址匹配区域块方法和系统 | |
CN111881223B (zh) | 数据管理方法、设备、系统及存储介质 | |
CN105956029B (zh) | 混合存储架构下的数据访问方法 | |
CN103890738A (zh) | 用于保留克隆分离操作之后的存储对象中的消重的系统和方法 | |
CN103067508A (zh) | 一种实时动态公交出行信息发布系统 | |
CN108121705A (zh) | 一种开放的多源二、三维地理信息数据聚合和发布系统 | |
KR20230148259A (ko) | 차량 궤적 편차 보정 방법, 장치 및 전자기기 | |
CN105989145B (zh) | 公交线路的自动更新方法、设备及系统 | |
CN103973791A (zh) | 物联网快速统一存储系统 | |
CN103491155A (zh) | 一种实现移动计算和获取移动数据的云计算方法及系统 | |
CN109542894B (zh) | 用户数据集中存储方法、装置、介质和计算机设备 | |
CN104298669A (zh) | 一种基于社交网络的人员地理信息挖掘模型 | |
CN112600914B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
CN107588779B (zh) | 一种基于任意两节点间行程时间的车辆智能导航方法 | |
CN116129643A (zh) | 一种公交车出行特征识别方法、装置、设备及介质 | |
CN109976944B (zh) | 数据处理方法和系统,存储介质和电子设备 | |
CN100563233C (zh) | 一种公共对象请求代理结构应用中的容错性方法 | |
CN104573948A (zh) | 基于分布式计算的配网拓扑分析方法 | |
CN104503846B (zh) | 一种基于云计算系统的资源管理系统 | |
CN105427589A (zh) | 一种高效范围查车电召的方法 | |
CN112235714A (zh) | 基于人工智能的poi定位方法、装置、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |