CN112507251B - 一种数据处理方法及装置、服务器、计算机可读存储介质 - Google Patents
一种数据处理方法及装置、服务器、计算机可读存储介质 Download PDFInfo
- Publication number
- CN112507251B CN112507251B CN202110153361.XA CN202110153361A CN112507251B CN 112507251 B CN112507251 B CN 112507251B CN 202110153361 A CN202110153361 A CN 202110153361A CN 112507251 B CN112507251 B CN 112507251B
- Authority
- CN
- China
- Prior art keywords
- data
- positioning data
- acquisition time
- moving object
- frequency reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Abstract
本发明公开了一种数据处理方法及装置、服务器、计算机可读存储介质。所述数据处理方法包括：从消息队列集群中获取运动物体的定位数据；若待确定的降频数据的排列顺序为非首个，则比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；若确定定位数据的采集时间大于或等于目标采集时间，则提取定位数据作为降频数据。本发明实施例提供的技术方案，保证了降频数据的采集时间顺序性排列且近似等间隔排列，提升了降频数据的均匀性以及时序的准确性。
Description
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种数据处理方法及装置、服务器、计算机可读存储介质。
背景技术
在地理位置聚合服务中，服务器同时接收多个车辆的定位数据，待处理的定位数据量庞大，远超服务器的处理能力，当前采用对定位数据进行降频的方式保证数据处理质量。
现有技术中采用如下方式对同一车辆的定位数据进行降频处理：从消息队列集群中获取定位数据，提取采集时间具有固定时间间隔的多个定位数据作为降频数据。但在定位数据的获取过程中，同时从一个消息队列中获取的定位数据的数量可能为多个，导致获取到的定位数据并非严格按照采集时间依次排列，进而基于获取到的定位数据确定的降频数据的时序准确性较差。
发明内容
本发明提供一种数据处理方法及装置、服务器、计算机可读存储介质，以保证降频数据时序的准确性。
第一方面，本发明实施例提供了一种数据处理方法，包括：
从消息队列集群中获取运动物体的定位数据；
若待确定的降频数据的排列顺序为非首个，则比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
若确定所述定位数据的采集时间大于或等于所述目标采集时间，则提取所述定位数据作为降频数据。
第二方面，本发明实施例还提供了一种数据处理装置，包括：
数据获取模块，用于从消息队列集群中获取运动物体的定位数据；
时间比较模块，用于在待确定的降频数据的排列顺序为非首个时，比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
数据确定模块，用于在确定所述定位数据的采集时间大于或等于所述目标采集时间时，提取所述定位数据作为降频数据。
第三方面，本发明实施例还提供了一种服务器，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的数据处理方法。
本发明实施例提供的技术方案，通过从消息队列集群中获取运动物体的定位数据，若待确定的降频数据的排列顺序为非首个，则比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定，若确定所述定位数据的采集时间大于或等于所述目标采集时间，则提取所述定位数据作为降频数据，保证了降频数据的采集时间顺序性排列且近似等间隔排列，提升了降频数据的均匀性以及时序的准确性。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图；
图2是本发明实施例提供的又一种数据处理方法的流程示意图；
图3是本发明实施例提供的一种采用多线程方式从消息队列集群中获取运动物体的定位数据的方法的流程示意图；
图4是本发明实施例提供的一种确定定位数据所属的运动物体的方法的流程示意图；
图5是本发明实施例提供的一种数据处理装置的结构示意图；
图6是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采用的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种数据处理方法及装置、服务器、计算机可读存储介质的具体实施方式、结构、特征及其功效，详细说明如后。
本发明实施例提供了一种数据处理方法，包括：
从消息队列集群中获取运动物体的定位数据；
若待确定的降频数据的排列顺序为非首个，则比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
若确定所述定位数据的采集时间大于或等于所述目标采集时间，则提取所述定位数据作为降频数据。
本发明实施例提供的技术方案，通过从消息队列集群中获取运动物体的定位数据，若待确定的降频数据的排列顺序为非首个，则比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定，若确定所述定位数据的采集时间大于或等于所述目标采集时间，则提取所述定位数据作为降频数据，保证了降频数据的采集时间顺序性排列且近似等间隔排列，提升了降频数据的均匀性以及时序的准确性。
以上是本发明的核心思想，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其他实施方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示装置器件结构的示意图并非按照一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度以及高度的三维空间尺寸。
图1是本发明实施例提供的一种数据处理方法的流程示意图。本实施例的方法可以由数据处理装置来执行，该数据处理装置可通过硬件和/或软件的方式实现，并一般可以集成于用于进行数据处理的服务器中，用于直接或间接为安装于终端中的客户端提供数据处理后获得的降频数据，上述终端可以包括但并不限于为手机、平板电脑或者车载终端中的任意一种。
参照图1，本发明实施例提供的数据处理方法具体可以包括如下：
步骤11、从消息队列集群中获取运动物体的定位数据。
运动物体例如可以为车辆，更具体的，例如可以为商务车辆。可以理解的是，在本实施例的其他实施方式中，运动物体还可以为其他任意可获取定位数据的可移动物体，本实施例对此不做具体限定。
消息队列集群包括多个消息队列，其中，消息队列为定位数据队列，定位数据具体为运动物体的位置信息，例如经纬度信息等。
消息队列集群包括连接同一服务器的多个运动物体的定位数据，可以理解的是，消息队列集群中的消息队列对添加的定位数据进行解析，任意消息队列中解析完成的定位数据在数据获取时刻被同时获取。示例性的，消息队列集群包括第一消息队列，预设每间隔1s从第一消息队列中获取一次定位数据，即以1Hz的频率从第一消息队列中获取定位数据。具体的，在第1s和第2s均从第一消息队列中获取一次定位数据，其中，第1s至第2s时间段内，第一消息队列解析完成3个定位数据，则在第2s从第一消息队列中同时获取上述3个定位数据，其中，第1s和第2s均为数据获取时刻。
步骤12、若待确定的降频数据的排列顺序为非首个，则比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定。
示例性的，将从消息队列集群中获取的第一个定位数据作为排列顺序为首个的降频数据，即首个降频数据，本实施例的技术方案主要关注除首个降频数据外的其他降频数据的确定方式。
降频处理即间隔性抽取步骤11中获取到的定位数据，将抽取出的定位数据作为降频数据。目标采集时间为前一降频数据的采集时间和预设的降频时间间隔之和，具体的，第n-1个降频数据的采集时间为Pn-1，预设的降频时间间隔为m，第n个降频数据的采集时间为Pn，则Pn=Pn-1+m，其中，n和m均为大于或等于1的正整数。可以理解的是，依次获取的定位数据的采集时间不一定顺序性排列，当采集时间大于目标采集时间的定位数据先于采集时间等于目标采集时间的定位数据出现时，此次确定的降频数据的采集时间与前一降频数据的采集时间的时间间隔必然大于预设的降频时间间隔，因此相邻降频数据的采集时间间隔大于或等于预设的降频时间间隔，可见，预设的降频时间间隔为相邻降频数据的采集时间的最小时间间隔。
示例性的，预设的降频时间间隔的取值范围可以为15~17s。可以理解的是，预设的降频时间间隔过大会导致降频数据密度过低，在定位数据的历史轨迹拟合应用中，拟合结果的准确性较低，且在定位数据的实时定位应用中，定位数据的实时性较差。预设的降频时间间隔过小会导致待处理定位数据的数据量较大，无法保证定位数据的降频处理效果，实验证明，预设的降频时间间隔在15~17s的范围内取值时，基于定位数据拟合的历史轨迹准确性良好，基于定位数据的实时定位的准确性良好，且定位数据的降频处理效果良好。
值得注意的是，本实施例中步骤12的比较操作针对同一运动物体的定位数据进行，不同运动物体之间无比较步骤。
当同一数据获取时刻获取的定位数据的数量为多个时，按照多个定位数据的采集时间的先后顺序依次比较各个定位数据的采集时间和目标采集时间。
步骤13、若确定定位数据的采集时间大于或等于目标采集时间，则提取定位数据作为降频数据。
步骤12中的比较结果包括以下两种情况：1、定位数据的采集时间大于或等于目标采集时间；2、定位数据的采集时间小于目标采集时间。当比较结果为上述情况1时，提取定位数据作为降频数据，当比较结果为上述情况2时，舍弃定位数据。值得说明的是，被舍弃的定位数据并非直接删除，而是流向另外的处理路径，用于进行地理位置相关的其他应用处理。
示例性的，采集时间为6s的定位数据为前一降频数据，从第一消息队列中同时获取的三个定位数据为A、B和C，A、B和C的采集时间顺序性排列，A、B和C的采集时间例如为21s、22s和23s，预设的降频时间间隔为16s，则对于A、B和C，目标采集时间为6s+16s=22s，比较A的采集时间即21s与22s，A的采集时间小于目标采集时间，舍弃A；比较B的采集时间即22s与22s，B的采集时间等于目标采集时间，确定B为当前降频数据；此时，目标采集时间更新为22s+16s=38s，比较C的采集时间即23s与38s，C的采集时间小于目标采集时间，舍弃C。需要说明的是，若B的采集时间并非22s，而是24s，则由于24s大于与B进行比较的目标采集时间22s，会确定采集时间为24s的定位数据作为当前降频数据，此后，目标采集时间更新为24s+16s=40s。
值得注意的是，采集时间为数据采集装置从运动物体上采集定位数据的时间，与从消息队列集群中获取定位数据的时间即数据获取时刻无关，两者分别记时。
本实施例提供的技术方案，通过从消息队列集群中获取运动物体的定位数据，若待确定的降频数据的排列顺序为非首个，则比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定，若确定定位数据的采集时间大于或等于目标采集时间，则提取定位数据作为降频数据，使得对于从消息队列集群中获取到的定位数据的采集时间非顺序性排列的情况，本实施例的降频数据确定方式仍然能够保证依次确定的降频数据的采集时间是顺序性排列的，不会出现时序错乱问题。另一方面，预设的降频时间间隔的设置保证了相邻降频数据之间的采集时间的差距不会过大，进而降频数据的均匀性较好。
图2是本发明实施例提供的又一种数据处理方法的流程示意图。本实施例以上述实施例的技术方案为基础，对数据处理方法作进一步的优化。具体的，如图2所示，本实施例提供的数据处理方法可以包括如下：
步骤21、接收实时获取的运动物体的定位数据，并将定位数据添加至消息队列集群中。
对定位数据的实时获取和添加提升了消息队列集群中定位数据的实时性，本实施例中相邻降频数据的采集时间的间隔较小，最新降频数据可用于运动物体的实时定位，此外，可利用已确定的降频数据生成历史轨迹，进而实现运动物体当前位置和历史轨迹的同时展示。
可以理解的是，在运动物体的运动过程中实时产生定位数据，由数据采集装置采集运动物体的实时定位数据，并上传至服务器中以消息队列集群的方式存储，消息队列集群中的消息队列对添加至其内部的定位数据进行解析，并在解析完成后由服务器抽取进行降频数据的判定。
步骤22、从消息队列集群中获取运动物体的定位数据。
步骤23、若待确定的降频数据的排列顺序为非首个，则比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定。
步骤24、若确定述定位数据的采集时间大于或等于所述目标采集时间，则提取定位数据作为降频数据。
本实施例提供的技术方案，通过接收实时获取的运动物体的定位数据，并将定位数据添加至消息队列集群中，从消息队列集群中获取运动物体的定位数据，若待确定的降频数据的排列顺序为非首个，则比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据最新降频数据的采集时间和预设的降频时间间隔确定，若确定定位数据的采集时间大于或等于目标采集时间，则提取定位数据作为降频数据，在保证降频数据的采集时间顺序性排列且近似等间隔排列，提升降频数据的均匀性以及时序的准确性的基础上，提升了降频数据的实时性，以便准确实现实时定位和历史轨迹生成。
示例性的，从消息队列集群中获取运动物体的定位数据具体可以包括：以预设频率从消息队列集群中获取运动物体的定位数据，预设频率大于1Hz。
消息队列集群中的定位数据的添加和获取是同步进行的，即在服务器从消息队列集群中获取定位数据的同时，服务器还将从数据采集装置中接收到的实时定位数据添加至消息队列集群中，并进行定位数据的解析，本实施例从消息队列集群获取运动物体的定位数据的频次较快，避免了消息队列中解析完成的定位数据的堆积，有利于改善从消息队列集群中获取的定位数据的采集时间的顺序性，进而减小了确定的降频数据的采集时间与对应的目标采集时间之间的时间差，进一步提升降频数据的均匀性，使得基于降频数据拟合获得的历史轨迹的准确性更佳。
可选的，可以采用多线程方式从消息队列集群中获取运动物体的定位数据。
相较于单线程方式，多线程方式能够加速数据处理能力，配合消息队列集群增大服务器的整体数据吞吐量。
图3是本发明实施例提供的一种采用多线程方式从消息队列集群中获取运动物体的定位数据的方法的流程示意图。本实施例在上述实施例的基础上，对采用多线程方式从消息队列集群中获取运动物体的定位数据的步骤作进一步的优化。
参见图3，采用多线程方式从消息队列集群中获取运动物体的定位数据具体可以包括如下：
步骤31、确定定位数据所属的运动物体。
定位数据所属的运动物体即产生定位数据的运动物体，例如，行驶的车辆K实时产生定位数据L，定位数据L所属的运动物体为车辆K。
步骤32、采用运动物体关联的线程处理定位数据，每个运动物体关联一个线程。
运动物体与线程的关联关系体现为：运动物体的定位数据由且仅由与其关联的线程处理，具体的关联关系存储在服务器中，在线程获取定位数据的过程中即可基于该关联关系确定欲获取的定位数据是否为其关联的运动物体产生。
示例性的，多线程包括线程E和 G，运动物体包括H、I和J，其中，运动物体H和I的关联线程为E，运动物体J的关联线程为G，线程E和G从消息队列集群中获取定位数据，线程E欲获取定位数据T，预先判断定位数据T是否属于H或I，若是则提取定位数据T进行降频数据的判断操作，若否则放弃获取定位数据T。
每个线程关联的运动物体可以为一个或多个，较佳的，每个线程关联多个运动物体，以避免线程过多而不易管控。
多线程同时处理同一运动物体的定位数据时，易出现局部降频数据密集分布的问题，例如，线程E和线程F若同时处理运动物体H的定位数据，会出现如下情况：线程E和线程F分别获取运动物体H的采集时间为6s和7s的定位数据，当前目标采集时间为5s，则线程E和线程F几乎同时判定6s和7s的定位数据为降频数据，导致在降频数据队列中，出现采集时间紧邻的两个降频数据，影响降频数据的均匀性。每个运动物体关联一个线程能够保证同一运动物体的定位数据均被固定的线程处理，避免了上述多线程同时处理同一运动物体的定位数据时易出现的局部降频数据密集分布的问题出现，提升了降频数据的均匀性。
图4是本发明实施例提供的一种确定定位数据所属的运动物体的方法的流程示意图。本实施例在上述实施例的基础上，对确定定位数据所属的运动物体的步骤作进一步的优化。
参见图4，确定定位数据所属的运动物体具体可以包括如下：
步骤41、获取定位数据的键值。
键值可根据实际需要进行设定，且便于获取，是标注定位数据类别的一种优选方式，具体分类方式可通过设置键值的具体内容实现。
步骤42、根据键值确定运动物体的身份标识。
较佳的，以运动物体的身份标识作为定位数据的键值，例如，运动物体H的身份标识为ID1，将ID1作为运动物体H产生的定位数据的键值。如此，在获取了定位数据的键值后，若键值为ID1，则可判定该定位数据的运动物体的身份标识为ID1。
可以理解的是，可基于定位数据的键值对定位数据进行缓存，形成与运动物体一一对应的定位数据缓存队列，以便于与运动物体关联的线程对定位数据进行处理。
步骤43、根据身份标识确定定位数据的运动物体。
仍然以步骤42中提及的具体示例进行说明，身份标识与运动物体一一对应，具有唯一确定性，在确定身份标识为ID1时，即可判定产生定位数据的运动物体为运动物体H。
以运动物体身份标识作为键值缓存定位数据，可准确快捷的对定位数据进行分组，保证每个运动物体的定位数据仅由与其关联的线程进行处理。
本实施例在上述实施例的基础上，提供一种可选的数据处理方法的具体示例，本示例以运动物体为车辆为例进行说明。
具体的，本实施例提供的数据处理方法由服务器执行，在服务器执行数据处理方法之前包括：多个数据采集装置从行驶中的车辆上采集各车辆的定位数据，更具体的，每台车辆上的定位数据由一台与其关联的数据采集装置采集，每个数据采集装置可采集一台或多台车辆的定位数据。数据采集的方式可以为采集车辆中定位装置例如GPS定位装置上的实时定位数据。
数据采集装置将采集到的定位数据以数据包的形式上传至服务器，服务器将接收到的数据包形式的定位数据添加至消息队列集群中，消息队列集群例如为Kafka消息队列集群。Kafka是一个开源流处理平台，为高吞吐量的分布式发布订阅消息系统，可以处理服务器中的所有动作流数据，提升服务器的定位数据吞吐量，提升服务器的数据处理能力。
服务器执行本实施例提供的数据处理方法的具体方式如下：服务器采用多线程方式并以预设频率从Kafka消息队列集群中获取车辆的定位数据，每个线程关联多台车辆，每台车辆关联一个线程，以车辆的身份标识为键值形成定位数据的缓存队列，线程识别欲获取的定位数据的键值，根据键值确定欲获取的定位数据是否由于其关联的车辆产生，若是则获取该定位数据，或否则放弃该定位数据，继续识别下一定位数据的键值。
任意线程对于任一与其关联的车辆的定位数据进行如下处理：若待确定的降频数据的排列顺序为非首个，比较当前获取的定位数据的采集时间与目标采集时间，即比较当前获取的定位数据的采集时间与前一降频数据的采集时间和预设的降频时间间隔之和，确定当前获取的定位数据的采集时间大于或等于前一降频数据的采集时间和预设的降频时间间隔之和，则提取该定位数据作为当前降频数据，即最新降频数据，确定当前获取的定位数据的采集时间小于前一降频数据的采集时间和预设的降频时间间隔之和，则放弃该定位数据，继续下一定位数据的比对。
以下采用具体示例数值方式对线程处理定位数据的方式进行说明：预设的降频时间间隔为15s，以1s/次的频率从Kafka消息队列集群中获取定位数据，获取到的定位数据的采集时间例如依次为1s、3s、4s、2s、6s、5s、7s、8s、9s、10s、12s、14s、13s、11s、15s和16s，在获取采集时间为1s的定位数据时，该定位数据为第一个获取的定位数据，将其作为初始降频数据，基于预设时间间隔15s和前一降频数据的采集时间1s，可得目标采集时间为16s，在获取采集时间为3s、4s、2s、6s、5s、7s、8s、9s、10s、12s、14s、13s、11s和15s的定位数据后，分别比对3s、4s、2s、6s、5s、7s、8s、9s、10s、12s、14s、13s、11s、15s与16s，3s、4s、2s、6s、5s、7s、8s、9s、10s、12s、14s、13s、11s和15s均小于16s，舍弃采集时间分别为3s、4s、2s、6s、5s、7s、8s、9s、10s、12s、14s、13s、11s和15s的定位数据。而16s等于16s，则提取采集时间为16s的定位数据作为第二个降频数据。按照上述方式依次确定第三个降频数据、第四个降频数据……。
实际实验证明，相邻降频数据的采集时间之差的误差不超过1s，证明降频数据分布是极为均匀的。
进一步的，相邻降频数据之间的采集时间间隔较小，在实时采集车辆的定位数据的基础上，最新降频数据可用于实时定位，且可基于多个降频数据拟合获得车辆的历史轨迹。
本实施例提供的数据处理方法可用于GPS地理位置缓存聚合调用服务，基于开源的Spring Boot服务框架，支持集成消息队列，MongoDB数据库、缓存数据库、配置文件、日志管理等组件，在保证可接受的降频范围的基础上，提升了数据响应以及流转速率。
图5是本发明实施例提供的一种数据处理装置的结构示意图。如图5所示，数据处理装置具体可以包括：
数据获取模块510，用于从消息队列集群中获取运动物体的定位数据；
时间比较模块520，用于在待确定的降频数据的排列顺序为非首个时，比较定位数据的采集时间与目标采集时间，其中，目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
数据确定模块530，用于在确定所述定位数据的采集时间大于或等于所述目标采集时间时，提取所述定位数据作为降频数据。
进一步的，在上述技术方案基础上，数据处理装置还包括：
数据添加模块，用于在从消息队列集群中获取运动物体的定位数据之前，接收实时获取的运动物体的定位数据，并将定位数据添加至消息队列集群中。
进一步的，数据获取模块510具体用于：
以预设频率从消息队列集群中获取运动物体的定位数据，预设频率大于1Hz。
进一步的，数据获取模块510具体用于：
采用多线程方式从消息队列集群中获取运动物体的定位数据。
进一步的，数据获取模块510包括：
运动物体确定单元，用于确定定位数据所属的运动物体；
数据处理单元，用于采用运动物体关联的线程处理定位数据，每个运动物体关联一个线程。
进一步的，运动物体确定单元包括：
键值获取子单元，用于获取定位数据的键值；
标识确定子单元，用于根据键值确定运动物体的身份标识；
物体确定子单元，用于根据身份标识确定定位数据的运动物体。
图6是本发明实施例提供的一种服务器的结构示意图。如图6所示，该服务器包括处理器60、存储器61、输入装置62和输出装置63；服务器中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；服务器中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理方法对应的程序指令/模块（例如，数据处理装置包括的数据获取模块510、时间比较模块520和数据确定模块530）。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的数据处理方法。
存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示服务器。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法，该方法包括：
从消息队列集群中获取运动物体的定位数据；
若待确定的降频数据的排列顺序为非首个，则比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
若确定定位数据的采集时间大于或等于目标采集时间，则提取定位数据作为降频数据。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（RandomAccess Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种数据处理方法，其特征在于，包括：
采用多线程方式从消息队列集群中获取运动物体的定位数据；
若待确定的降频数据的排列顺序为非首个，则比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
若确定所述定位数据的采集时间大于或等于所述目标采集时间，则提取所述定位数据作为降频数据；
其中，从消息队列集群中获取到的各定位数据的采集时间非顺序性排列；
采用多线程方式从所述消息队列集群中获取运动物体的定位数据包括：
确定所述定位数据所属的运动物体；
采用所述运动物体关联的线程处理所述定位数据，每个所述运动物体关联一个所述线程；
确定所述定位数据所属的运动物体包括：
获取所述定位数据的键值；
根据所述键值确定所述运动物体的身份标识；
根据所述身份标识确定所述定位数据所述的运动物体。
2.根据权利要求1所述的数据处理方法，其特征在于，所述从消息队列集群中获取运动物体的定位数据之前还包括：
接收实时获取的运动物体的定位数据，并将所述定位数据添加至所述消息队列集群中。
3.根据权利要求1所述的数据处理方法，其特征在于，从消息队列集群中获取运动物体的定位数据包括：
以预设频率从消息队列集群中获取运动物体的定位数据，所述预设频率大于1Hz。
4.根据权利要求1所述的数据处理方法，其特征在于，预设的降频时间间隔的取值范围为15～17s。
5.一种数据处理装置，其特征在于，包括：
数据获取模块，用于采用多线程方式从消息队列集群中获取运动物体的定位数据；
时间比较模块，用于在待确定的降频数据的排列顺序为非首个时，比较所述定位数据的采集时间与目标采集时间，其中，所述目标采集时间根据前一降频数据的采集时间和预设的降频时间间隔确定；
数据确定模块，用于在确定所述定位数据的采集时间大于或等于所述目标采集时间时，提取所述定位数据作为降频数据；
其中，从消息队列集群中获取到的各定位数据的采集时间非顺序性排列；
数据获取模块包括：
运动物体确定单元，用于确定定位数据所属的运动物体；
数据处理单元，用于采用运动物体关联的线程处理定位数据，每个运动物体关联一个线程；
运动物体确定单元包括：
键值获取子单元，用于获取定位数据的键值；
标识确定子单元，用于根据键值确定运动物体的身份标识；
物体确定子单元，用于根据身份标识确定定位数据的运动物体。
6.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的数据处理方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的数据处理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110153361.XA CN112507251B (zh) | 2021-02-04 | 2021-02-04 | 一种数据处理方法及装置、服务器、计算机可读存储介质 |
| PCT/CN2021/124369 WO2022166255A1 (zh) | 2021-02-04 | 2021-10-18 | 数据处理方法及装置、服务器、计算机可读存储介质 |
| US18/362,996 US20240022876A1 (en) | 2021-02-04 | 2023-08-01 | Data processing method and apparatus, server, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110153361.XA CN112507251B (zh) | 2021-02-04 | 2021-02-04 | 一种数据处理方法及装置、服务器、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507251A CN112507251A (zh) | 2021-03-16 |
| CN112507251B true CN112507251B (zh) | 2021-05-28 |
Family
ID=74953095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110153361.XA Active CN112507251B (zh) | 2021-02-04 | 2021-02-04 | 一种数据处理方法及装置、服务器、计算机可读存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240022876A1 (zh) |
| CN (1) | CN112507251B (zh) |
| WO (1) | WO2022166255A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507251B (zh) * | 2021-02-04 | 2021-05-28 | 浙江所托瑞安科技集团有限公司 | 一种数据处理方法及装置、服务器、计算机可读存储介质 |
| CN115790640A (zh) * | 2023-02-02 | 2023-03-14 | 广州斯沃德科技有限公司 | 一种基于多维数据智能分析的车辆里程纠偏方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6002250B2 (ja) * | 2013-01-10 | 2016-10-05 | 株式会社日立製作所 | 時系列データ処理装置及び方法並びに記憶媒体 |
| CN104850573A (zh) * | 2014-11-25 | 2015-08-19 | 北汽福田汽车股份有限公司 | 一种数据采集方法及装置 |
| CN110912947A (zh) * | 2018-09-14 | 2020-03-24 | 西安西拓电气股份有限公司 | 数据处理方法及装置 |
| CN110413706B (zh) * | 2019-07-15 | 2022-03-04 | 东软集团股份有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| US20210308576A1 (en) * | 2020-04-07 | 2021-10-07 | CEO Vision, Inc (dba Croquet Studios) | Systems and methods for an object movement engine in a gaming environment |
| CN111721299B (zh) * | 2020-06-30 | 2022-07-19 | 上海汽车集团股份有限公司 | 一种实时定位时间同步方法和装置 |
| US20220014884A1 (en) * | 2020-07-07 | 2022-01-13 | Metrolla Inc. | Method For Wireless Event-Driven Everything-to-Everything (X2X) Payload Delivery |
| CN112507251B (zh) * | 2021-02-04 | 2021-05-28 | 浙江所托瑞安科技集团有限公司 | 一种数据处理方法及装置、服务器、计算机可读存储介质 |
-
2021
- 2021-02-04 CN CN202110153361.XA patent/CN112507251B/zh active Active
- 2021-10-18 WO PCT/CN2021/124369 patent/WO2022166255A1/zh active Application Filing
-
2023
- 2023-08-01 US US18/362,996 patent/US20240022876A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507251A (zh) | 2021-03-16 |
| WO2022166255A1 (zh) | 2022-08-11 |
| US20240022876A1 (en) | 2024-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507251B (zh) | 一种数据处理方法及装置、服务器、计算机可读存储介质 | |
| CN109635857B (zh) | 人车轨迹监测分析方法、装置、设备及存储介质 | |
| CN109151168B (zh) | 乘车码的切换方法、装置、移动终端及可读存储介质 | |
| CN109408501B (zh) | 一种位置数据的处理方法、装置、服务器及存储介质 | |
| CN109688532B (zh) | 一种划分城市功能区域的方法及装置 | |
| CN111078818B (zh) | 地址分析方法、装置、电子设备及存储介质 | |
| CN111177222A (zh) | 模型测试方法、装置及计算设备、存储介质 | |
| CN105512297A (zh) | 一种基于分布式流式计算的空间数据处理方法与系统 | |
| CN107014392B (zh) | 一种路线规划方法及设备 | |
| CN108390928A (zh) | 一种基于大数据的旅游管理平台 | |
| CN111459986A (zh) | 数据计算系统及方法 | |
| WO2017181614A1 (zh) | 流式数据定位方法、装置及电子设备 | |
| CN111629335A (zh) | 基于大数据实现景区实时人流热力图的方法、系统 | |
| CN108132986B (zh) | 一种飞行器海量传感器试验数据的快速处理方法 | |
| CN105307262A (zh) | 一种伪基站的定位方法及装置 | |
| CN111259103A (zh) | 一种乘车状态的识别方法、装置、存储介质及设备 | |
| CN114021035A (zh) | 采样队列控制方法、地域服务器、系统、设备及介质 | |
| CN107196979A (zh) | 基于语音识别的叫号预提醒系统 | |
| CN106131238B (zh) | Ip地址的分类方法及装置 | |
| TWI509580B (zh) | Road traffic information estimation system and its method using action internet signaling | |
| CN107241251B (zh) | 多路can报文实时接收的软件实现方法 | |
| CN107801150B (zh) | 一种基于gps定位轮询基站告警的采集方法及系统 | |
| CN110827108A (zh) | 信息搜索方法、搜索请求控制方法及系统 | |
| CN113132891B (zh) | 一种基于移动信令的客流统计方法和系统 | |
| CN111328013B (zh) | 移动终端定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |