CN110110018A - 存储的处理方法、装置、电子设备和存储介质 - Google Patents

存储的处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110110018A
CN110110018A CN201810088515.XA CN201810088515A CN110110018A CN 110110018 A CN110110018 A CN 110110018A CN 201810088515 A CN201810088515 A CN 201810088515A CN 110110018 A CN110110018 A CN 110110018A
Authority
CN
China
Prior art keywords
gps data
index
terminal
data
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810088515.XA
Other languages
English (en)
Inventor
曹思远
张再超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Potevio Information Technology Co Ltd
Putian Information Technology Co Ltd
Original Assignee
Putian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Putian Information Technology Co Ltd filed Critical Putian Information Technology Co Ltd
Priority to CN201810088515.XA priority Critical patent/CN110110018A/zh
Publication of CN110110018A publication Critical patent/CN110110018A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明实施例提供一种存储的处理方法、装置、电子设备和存储介质。所述方法包括接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；根据所述索引，将所述GPS数据存储至对应的分表。所述方法将大量的GPS数据存储至多张分表中，根据上报的时间和终端的号码，确定分表的索引，从而可提高GIS的写入的效率。

Description

存储的处理方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及通信技术领域，特别是一种存储的处理方法、装置、电子设备和存储介质。
背景技术
指挥调度是指对事件处理的全程跟踪和支持。从事件的上报、相关数据的采集、实时沟通到领导决策，即在短时间内对事件做出反应并提供处理方案。借助网络及多媒体等各种高科技通讯手段，及时协调集群项目内的各个部分。
为使指挥调度系统可实时又直观实现调度性能，通常集群采用基于GIS(Geographic Information System，地理信息系统)的可视化指挥调度系统。
GIS以空间数据库为基础，将集群系统的语音、数据、视频的多媒体集群调度与移动用户管理、卫星定位、状态数据实时采集等功能充分融合，使调度指挥人员能直观、快速、准确地掌握管理资源的分布情况和状态，为资源动态优化部署、调度指挥与决策提供强有力的技术与信息支持。
现有技术中用于集群的GIS，最大的特征是支持终端长期上报的GPS(GlobalPositioning System，全球定位系统)数据的存储，存储GPS数据量大。
可以理解的是，数据量越大，写入的效率越低，降低服务器的整体效率。
发明内容
针对现有技术的缺陷，本发明实施例提供一种存储的处理方法、装置、电子设备和存储介质。
一方面，本发明实施例提供一种存储的处理方法，所述方法包括：
接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；
根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；
根据所述索引，将所述GPS数据存储至对应的分表。
另一方面，本发明实施例提供一种存储的处理装置，所述装置包括：
接收模块，用于接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；
确定模块，用于根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；
存储模块，用于根据所述索引，将所述GPS数据存储至对应的分表。
另一方面，本发明实施例还提供一种电子设备，包括存储器、服务器、总线以及存储在存储器上并可在服务器上运行的计算机程序，所述服务器执行所述程序时实现以上方法的步骤。
另一方面，本发明实施例还提供一种存储介质，其上存储有计算机程序，所述程序被服务器执行时实现如上方法的步骤。
由上述技术方案可知，本发明实施例提供的存储的处理方法、装置、电子设备和存储介质，所述方法将大量的GPS数据存储至多张分表中，根据上报的时间和终端的号码，确定分表的索引，从而可提高GIS的写入的效率。
附图说明
图1为本发明实施例提供的一种存储的处理方法的流程示意图；
图2为本发明又一实施例提供的GPS数据写入的原理示意图；
图3为本发明又一实施例提供的GPS数据查询的原理示意图；
图4为本发明又一实施例提供的一种存储的处理装置的结构示意图；
图5为本发明又一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明实施例一部分实施例，而不是全部的实施例。
图1示出了本发明实施例提供的一种存储的处理方法的流程示意图。
如图1所示，本发明实施例提供的方法具体包括以下步骤：
步骤11、接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；
本发明实施例提供的方法在存储的处理装置上实现，存储的处理装置可为GIS。
可选地，集群内至少一个终端将自身定位得到的GPS数据上报至GIS，GPS数据包括终端的号码、上报的时间以及位置信息。
可选地，终端的号码是能够唯一识别终端的一组数字，可为11位的手机号码。
可选地，终端上报的位置信息是经纬度坐标，GIS将经纬度坐标置于特定的地理信息中，从而确定方位和周边区域，便于用户查询和理解终端的经纬度坐标。
可选地，GIS包括GIS服务器和数据库，核心部分是服务器，服务器中存储有程序，程序的执行单元是线程。
可选地，线程依据功能划分可包括多种，写入线程和查询线程，其中，服务器的写入线程用于将GPS数据写入至数据库，服务器的查询线程用于在数据库中查询GPS数据。
步骤12、根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；
可选地，数据库包括多个分表，分表是将原本存储于一张表的数据分块存储到多个分表上。
可选地，每一分表具有对应的编号，分表的数量可根据单元时间内GPS数据的数据量的大小来确定。
可选地，单元时间可为一天。
可选地，索引是服务器的写入线程将GPS数据写入数据库的哪一个分表，也就是分表的编号。
可选地，服务器针对接收的每一个GPS数据，可采用现有技术的方式根据上报的时间和终端的号码，确定GPS数据写入的分表的编号。
步骤13、根据所述索引，将所述GPS数据存储至对应的分表。
可选地，服务器的写入线程将GPS数据写入索引对应的分表，从而完成一个GPS数据的存储。
可以理解的是，随着时间和业务量的增加，GPS数据的数据量随之增长，并且增长是没有上限的。
一张表的大小将影响写入效率，现有技术中GIS将GPS数据仅按照单元时间进行存储，将一天接收的GPS数据存储至一张表中，在本发明实施例中，将终端上报的时间和终端的号码对应的分表的索引计算出来，将一天上报的庞大的GPS数据分摊到多张分表中。
可选地，将一天接收的GPS数据存储至多个分表上，使得每一分表被写入的次数减少，每一分表的数据量也减小，从而实现将过大的负载(GPS数据)均摊到多个分表上，方便写入线程的逻辑处理，降低数据库的分表的压力，提高GIS写入的效率。
本实施例提供的存储的处理方法，将大量的GPS数据存储至多张分表中，根据上报的时间和终端的号码，确定分表的索引，从而可提高GIS的写入的效率。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表中索引的步骤具体为：
根据上报的时间，确定所述GPS数据存储的一级索引；
对终端的号码的后两位进行取模运算，取模运算的除数与数据库单元时间的分表数量相同；
将取模运算的余数作为所述GPS数据存储的二级索引；
根据一级索引和二级索引，得到所述索引。
确定索引的方式有多种，本实施例以其中一种方式为例进行说明。
可选地，所述数据库在第001天的分表数量为20，则在第001天接收到的GPS数据的一级索引为001。
可选地，确定一级索引后，根据终端的号码，计算得到对应分表的二级索引。
可选地，对终端的号码的后两位进行取模运算，除数与数据库中的分表的数量相同，取模运算的余数为这一个GPS数据被插入的分表的二级索引。
举例来说，终端的号码的后两位为22,22mod 20，得到2，则二级索引为2。
可选地，根据一级索引和二级索引，可唯一确定该GPS数据存入的一个索引。
可选地，将一级索引和二级索引结合起来，确定将该终端的GPS数据写入分表001-2。在分表001-2中存储的GPS数据是第001天中取模运算的余数为2的终端的GPS数据。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，将取模运算的余数作为所述GPS数据存储的二级索引，并根据一级索引和二级索引，得到所述索引，使得写入线程存储逻辑清晰明确，从而快速执行写入任务。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，所述GPS数据还包括终端的集群类型，相应地，根据一级索引和二级索引，得到所述索引的步骤具体为：
根据终端的集群类型，确定三级索引；
根据一级索引、二级索引和三级索引，得到所述索引。
确定索引的方式有多种，本实施例以其中一种方式为例进行说明。
可选地，集群类型用于表示终端所属的集群，一个终端可具有一种集群类型，也可具有多种集群类型。
可选地，集群类型可为宽带集群、tetra(Trans European Trunked Radio，欧集群无线电)集群、PDT(Public Digital Trunking，公共数字集群)等。
可选地，根据一级索引、二级索引和三级索引，可唯一确定该GPS数据存入的一个索引。
举例来说，第001天集群类型为宽带集群的分表数量为20，分表001-宽带集群-1至001-宽带集群-20。
在确定GPS数据的上报时间为第001天后，确定一级索引：001，在确定集群类型为宽带集群后，确定三级索引：宽带集群，根据终端的号码的后两位22，确定三级索引：2，因此得到索引是001-宽带集群-2。
可选地，一张分表中的终端的上报时间是同一天，且集群类型相同。由三个要素(时间、集群类型和终端的号码)可以唯一确定一张分表。
可以理解的是，将一天的分表按照集群类型细分，则数据库的分表数增加，进一步减少每一分表的数据量。
此外，在写入时按照集群类型进行分表，后续进行查询时，可查询得到同一集群类型的GPS数据，为大数据处理提供数据支持。
可选地，若一个GIS对应单集群的组网方式，即终端的集群类型相同，可不应用本发明实施例，仅根据一级索引和二级索引，可确定存入的分表的索引。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，根据三个要素：时间、集群类型和终端的号码确定一张分表，使得数据库的分表数增加，进一步减少每一分表的数据量。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，地理信息系统GIS服务器包括多个异步的写入线程，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤具体为：
每一写入线程根据所述索引，将所述GPS数据存储至对应的分表。
存储GPS数据的方式有多种，本实施例以其中一种方式为例进行说明。
可选地，GIS服务器按照时间顺序接收上报的GPS数据，并按照时间先后分别将GPS数据暂时存储于内存中，以供后续存储至数据库。
可选地，GIS服务器的写入线程的功能是将接收的GPS数据保存至数据库。
可选地，写入任务是异步的，包括多个写入线程，以三个写入线程为例进行说明，每一写入线程具有一个序号。
可选地，在写入的流程中，增加任务分发事件，针对每一GPS数据，将GPS数据的写入任务分发至一个写入线程。
可选地，在确定写入线程后，根据得到的GPS数据的分表的索引，将所述GPS数据存储至对应的分表。
现有技术写入方式是单线程的，即多个GPS数据，由一个线程写入数据库，导致GPS数据堆积在内存中，排队现象严重。
在本发明实施例中，将一天接收的GPS数据分别挂载到不同的任务上，同一时间最多可执行3个写入线程，大大提高的写入效率。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，GIS服务器中设置多个异步的写入线程，同一时间可执行多个写入线程，从而提高写入效率。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，所述GPS数据还包括GPS数据的编号，每一写入线程具有对应的序号，相应地，每一写入线程根据所述索引，将所述GPS数据存储至对应的分表的步骤之前，所述方法还包括：
每一写入线程根据所述GPS数据的编号，确定所述GPS数据对应的写入线程的序号。
在执行写入之前，还需确定由哪一个写入线程执行所述GPS数据的写入任务。
可选地，GIS服务器按照GPS数据上报的时间先后分别将GPS数据进行编号，并暂时存储于内存中。
可选地，将GPS数据的编号进行取模运算，除数与写入线程的数量相同。
可选地，取模运算的余数为这一个GPS数据被分发的写入线程的序号。
例如，有5个待写入的GPS数据1-5，写入线程的数量为3个，取模运算1mod3，得到1，则由写入线程1执行GPS数据1的写入任务，相应地，GPS数据2占用写入线程2，GPS数据3占用写入线程3，GPS数据4占用写入线程1，以此类推。
可选地，确定写入线程的序号后，由该写入线程根据索引执行写入任务。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，采用任务轮询的方式将GPS数据写入数据库的分表，最大限度的提升了写入效率，有效提升GIS处理能力。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，GIS服务器包括多个异步的查询线程，每一查询线程具有对应的序号，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤之后，所述方法还包括：
将待查询的时间段等分为多个区间，每一区间具有对应的序号；
根据所述区间的序号，确定所述区间对应的查询线程的序号；
由确定的查询线程查询所述区间内的GPS数据。
查询GPS数据的方式有多种，本实施例以其中一种方式为例进行说明。
可选地，数据库的分表存储终端上报的GPS数据，同时，支持用户对终端的GPS数据的历史和实时位置查询。
可选地，GIS服务器的查询任务是异步的，包括多个查询线程，以三个查询线程为例进行说明，每一查询线程具有一个序号。
可选地，用户需要一个时间段，例如5个小时内的终端的位置分布，则输入一个待查询的时间段(从10点至15点)至GIS。
可选地，将5个小时等分为5个区间，从10点至11点为区间1，从11点至12点为区间2，以此类推。
可选地，GIS服务器将一个5个小时的查询请求，分成5次请求，一次请求查询1个小时的数据。
可选地，在查询的流程中，增加任务分发事件，针对每一区间的查询任务，分别分发至一个查询线程。
可选地，将所述区间的序号进行取模运算，除数与查询线程的数量相同。
可选地，取模运算的余数为这一个区间被分发的查询线程的序号。
例如，有5个待查询的区间1-5，查询线程的数量为3个，1mod3，得到1，则由查询线程1执行区间1的查询任务，相应地，区间2占用查询线程2，区间3占用查询线程3，GPS数据4占用查询线程1，以此类推。
可选地，确定查询线程的序号后，由该查询线程执行这一区间的查询任务。
可选地，一个分表的大小将影响分表插入数据的效率，以及查询分表的效率。
现有技术查询方式是单线程的，即查询5个小时的数据，由一个线程一次查询一个数据表，一个数据表包括一天的GPS数据，查询得到其中5个小时的GPS数据，数据量很大，查询效率低。
在本发明实施例中，一个分表包括一天的部分终端的GPS数据，10点至11点的查询线程访问一天的20个分表，得到每一分表中10点至11点的GPS数据，再合并各个分表的GPS数据，作为查询结果，其中，每一分表的数据量小，查询速度快。
可以理解的是，将一个查询的时间段切分成细小的区间，得到多个查询任务，同一时间最多可执行3个查询线程，便捷又快速。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，GIS中设置多个异步的查询线程，同一时间可执行多个查询线程，从而提高查询效率。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表的索引的步骤之前，所述方法还包括：
将数据库划分为业务表和数据表，业务表用于存储控制信息，数据表用于存储和查询GPS数据，数据表包括多个分表。
可选地，将数据库中的表按照数据的逻辑功能分为两大类：
第一类是业务表，业务表存储调度台信息、终端的注册和去注册等控制信息。
可选地，业务表主要功能是对调度台信息以及终端信息进行记录，为GIS提供业务支撑，方便用户对GIS的服务器的业务操作。
第二类是数据表，数据表的功能是存储终端上报的GPS数据，同时，支持用户对终端的GPS数据的历史和实时位置查询，为用户提供大数据存储和查询支撑。数据表又划分为多个分表，在接收GPS数据后，根据上报的时间和终端的号码，确定所述GPS数据存储至数据表的哪一个分表。
可选地，现有技术中数据库中未区分业务表和数据表，而是将业务类的信息存储于表的固定位置，即一张表既存储业务类的信息，也存储数据类的信息，业务类的信息和数据类的信息联系紧密，耦合性就越强。
在本发明实施例中将业务类信息和数据类信息分别采用业务表和数据表分开，使得存储的逻辑明确，业务类信息的数据量小，存储和查询次数少，数据类信息的数据量小，存储和查询次数多，需要查询业务类信息时，仅需查询业务表，需要查询数据类信息时，仅需查询数据表的各个分表，业务表和数据表之间的耦合性低，易于维护和管理。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，将业务类信息和数据类信息分别采用业务表和数据表分开，降低数据库中表与表之间的耦合性，易于维护和管理。
在上述实施例的基础上，本发明又一实施例提供的存储的处理方法，所述方法存储可有两种方式，一个是根据两个要素，一个是根据终端号。
在开始时，可根据3个要素，按照时间、集群类型和终端号，得到的分表的索引，一天一种集群类型有20张表。
然后周期性的，例如每间隔一个小时，查看当前的负载，若上报的数据量超过阈值，表示GIS的压力大，开始改变存储的方式，改成按照终端号来存。
可选地，由按照3个要素存储改变为按照终端号存储，相当于是自适应分表的过程。
举例来说，存GPS数据的时候，接收500个终端的GPS数据，500个GPS数据存到20张分表里，每一个分表的数据量很大。
而按照终端号存储，500个GPS数据是500个不同的终端的数据，则存到500个分表，从而减小GIS的压力。
本实施例其他步骤与前述实施例步骤相似，本实施例不再赘述。
本实施例提供的存储的处理方法，设置自适应分表的过程，从而可进一步减小GIS的压力。
为了更充分理解本发明的技术内容，在上述实施例的基础上，详细说明本实施例提供的存储的处理方法。
为解决传统指挥调度系统在实时性、直观性等方面的局限性，很多集群项目采用基于GIS系统的可视化指挥调度系统。GIS系统以空间数据库为基础，将集群系统的语音、数据、视频的多媒体集群调度与移动用户管理、卫星定位、状态数据实时采集等功能充分融合，使调度指挥人员能直观、快速、准确地掌握管理资源的分布情况和状态，为资源动态优化部署和调度指挥与决策提供强有力的技术与信息支持。
现有用于集群的GIS系统，有如下特征：
1.同时支持多套集群系统，支持终端多。
2.支持终端长时间GPS数据存储，即存储GPS数据量大，数据查询母本大。
3.终端上报GPS数据可能高数据量突发场景。
基于以上集群GIS系统数据特征，GIS数据库如操作或设计结构不合理，性能将是其最大的瓶颈，也影响基于GIS的集群调度功能。不合理设计具体表现为：
1.数据表量越大，存储和查询的效率越低。服务器性能越来越慢。
2.单线程写入读取方式，导致数据堆积在内存中，未有效利用硬件能力。
本发明实施例可实现终端GPS数据的高效快速存储和查询，具体分三个方面说明：
1、负载均摊的数据库操作机制
2、逻辑功能分表
3、关键要素分表
一、负载均摊的数据库操作机制
a)对于调度台、终端注册及、被订阅表和活动性表，采用独立任务(控制面信息)处理。
图2为本发明又一实施例提供的GPS数据写入的原理示意图。
如图2所示，b)对于终端GPS数据上报存储，根据数据序号模M(系统可配)挂载到不同任务(用户面信息)上，由不同任务写入数据库。
图3为本发明又一实施例提供的GPS数据查询的原理示意图。
如图3所示，c)对于调度台大数据查询，分时间段均匀挂载到到不同任务(用户面信息)上，结合关键要素分表独立查询多个分表。
二、逻辑功能分表
第一类，注册、订阅、去注册等控制信息类表。注册业务类表主要功能是对调度台信息、终端信息以及调度台订阅终端信息的记录，为用户提供业务支撑，方便用户对GIS服务器的业务操作。该类表信息重要，是数据表分表的基础，因此，不允许存储丢失的场景。
b)第二类，数据表。数据表的功能是存储终端上报的GPS数据，同时，支持用户对终端GPS数据的历史和实时位置查询，为用户提供大数据和突发数据存储和查询支撑。
三、关键要素分表
GIS服务器的业务数据决定了：随着时间和业务量的增加，数据表的数据量也是随之增长，并且增长是没有上限的。单表大小(影响表插入和查询效率)和分表数(影响文件查询效率)的平衡选择十分关键。
本发明实施例在设计数据表时，引入复合索引方法，使用算法将相关关键要素(关键要素项可配置，例如终端号、时间、集群网类型等)对应的数据表索引计算出来。分成不同的表，将庞大的数据分摊到多张表中。分表规则及表查找方法如下：
1、依据集群网种类(例如宽带集群、tetra集群、PDT集群分类)建立分表族，如单集群网无需利用此项。
2、基于当前周期内终端上报次数和终端数，决定是按时间还是按终端数分表。
3、建立时间、终端号模数的复合索引映射查找数据表索引。
本发明实施例的优点如下：
1.本发明提出了集群系统GIS表的操作方法和设计架构，提升了设备性能和用户体验。
2.任务轮询方式写入与读取数据库，最大限度的提升了硬件的使用率，有效提升GIS系统处理能力，大数据处理能力。
3.将业务类表和数据类表分开，降低数据库表与表之间的耦合性。
4.以天和终端按照一定逻辑(关键要素)将终端上报的GPS数据分摊到多张数据表中，方便程序的逻辑处理。
5.查询历史数据时，存储逻辑清楚，方便用户查询历史数据，降低数据库大数据类查询(例如历史轨迹)的压力。
图4为本发明又一实施例提供的一种存储的处理装置的结构示意图。
参照图4，在上述实施例的基础上，本实施例提供的存储的处理装置，所述装置包括接收模块41、确定模块42和存储模块43，其中：
接收模块41用于接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；确定模块42用于根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；存储模块43用于根据所述索引，将所述GPS数据存储至对应的分表。
可选地，集群内至少一个终端将自身定位得到的GPS数据上报至接收模块41，GPS数据包括终端的号码、上报的时间以及位置信息。
可选地，终端的号码是能够唯一识别终端的一组数字，可为11位的手机号码。
可选地，终端上报的位置信息是经纬度坐标，GIS将经纬度坐标置于特定的地理信息中，从而确定方位和周边区域，便于用户查询和理解终端的经纬度坐标。
可选地，GIS包括GIS服务器(即存储的处理装置)和数据库，核心部分是服务器，服务器中存储有程序，程序的执行单元是线程。
可选地，线程依据功能划分可包括多种，写入线程和查询线程，其中，服务器的写入线程用于将GPS数据写入至数据库，服务器的查询线程用于在数据库中查询GPS数据。
可选地，数据库包括多个分表，分表是将原本存储于一张表的数据分块存储到多个分表上。
可选地，每一分表具有对应的编号，分表的数量可根据单元时间内GPS数据的数据量的大小来确定。
可选地，单元时间可为一天。
可选地，索引是服务器的写入线程将GPS数据写入数据库的哪一个分表，也就是分表的编号。
可选地，确定模块42针对接收的每一个GPS数据，可采用现有技术的方式根据上报的时间和终端的号码，确定GPS数据写入的分表的编号。
可选地，存储模块43的写入线程将GPS数据写入索引对应的分表，从而完成一个GPS数据的存储。
可以理解的是，随着时间和业务量的增加，GPS数据的数据量随之增长，并且增长是没有上限的。
一张表的大小将影响写入效率，现有技术中GIS将GPS数据仅按照单元时间进行存储，将一天接收的GPS数据存储至一张表中，在本发明实施例中，将终端上报的时间和终端的号码对应的分表的索引计算出来，将一天上报的庞大的GPS数据分摊到多张分表中。
可选地，将一天接收的GPS数据存储至多个分表上，使得每一分表被写入的次数减少，每一分表的数据量也减小，从而实现将过大的负载(GPS数据)均摊到多个分表上，方便写入线程的逻辑处理，降低数据库的分表的压力，提高GIS写入的效率。
本实施例提供的存储的处理装置，可用于执行上述方法实施例的方法，本实施不再赘述。
本实施例提供的存储的处理装置，将大量的GPS数据存储至多张分表中，根据上报的时间和终端的号码，确定分表的索引，从而可提高GIS的写入的效率。
图5示出了本发明又一实施例提供的一种电子设备的结构示意图。
参阅图5，本发明实施例提供的电子设备，所述电子设备包括存储器(memory)51、服务器(processor)52、总线53以及存储在存储器51上并可在服务器上运行的计算机程序。其中，所述存储器51、服务器52通过所述总线53完成相互间的通信。
所述服务器52用于调用所述存储器51中的程序指令，以执行所述程序时实现如图1的方法。
在另一种实施方式中，所述服务器执行所述程序时实现如下方法：
根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表中索引的步骤具体为：
根据上报的时间，确定所述GPS数据存储的一级索引；
对终端的号码的后两位进行取模运算，取模运算的除数与数据库单元时间的分表数量相同；
将取模运算的余数作为所述GPS数据存储的二级索引；
根据一级索引和二级索引，得到所述索引。
在另一种实施方式中，所述服务器执行所述程序时实现如下方法：所述GPS数据还包括终端的集群类型，相应地，根据一级索引和二级索引，得到所述索引的步骤具体为：
根据终端的集群类型，确定三级索引；
根据一级索引、二级索引和三级索引，得到所述索引。
在另一种实施方式中，所述服务器执行所述程序时实现如下方法：地理信息系统GIS服务器包括多个异步的写入线程，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤具体为：
每一写入线程根据所述索引，将所述GPS数据存储至对应的分表。
在另一种实施方式中，所述服务器执行所述程序时实现如下方法：所述GPS数据还包括GPS数据的编号，每一写入线程具有对应的序号，相应地，每一写入线程根据所述索引，将所述GPS数据存储至对应的分表的步骤之前，所述方法还包括：
每一写入线程根据所述GPS数据的编号，确定所述GPS数据对应的写入线程的序号。
在另一种实施方式中，所述服务器执行所述程序时实现如下方法：GIS服务器包括多个异步的查询线程，每一查询线程具有对应的序号，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤之后，所述方法还包括：
将待查询的时间段等分为多个区间，每一区间具有对应的序号；
根据所述区间的序号，确定所述区间对应的查询线程的序号；
由确定的查询线程查询所述区间内的GPS数据。
在另一种实施方式中，所述服务器执行所述程序时实现如下方法：根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表的索引的步骤之前，所述方法还包括：
将数据库划分为业务表和数据表，业务表用于存储控制信息，数据表用于存储和查询GPS数据，数据表包括多个分表。
本实施例提供的电子设备，可用于执行上述方法实施例的方法对应的程序，本实施不再赘述。
本实施例提供的电子设备，通过所述服务器执行所述程序时实现将大量的GPS数据存储至多张分表中，根据上报的时间和终端的号码，确定分表的索引，从而可提高GIS的写入的效率。
本发明又一实施例提供的一种存储介质，所述存储介质上存储有计算机程序，所述程序被服务器执行时实现如图1的步骤。
在另一种实施方式中，所述程序被服务器执行时实现如下方法：
根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表中索引的步骤具体为：
根据上报的时间，确定所述GPS数据存储的一级索引；
对终端的号码的后两位进行取模运算，取模运算的除数与数据库单元时间的分表数量相同；
将取模运算的余数作为所述GPS数据存储的二级索引；
根据一级索引和二级索引，得到所述索引。
在另一种实施方式中，所述程序被服务器执行时实现如下方法：所述GPS数据还包括终端的集群类型，相应地，根据一级索引和二级索引，得到所述索引的步骤具体为：
根据终端的集群类型，确定三级索引；
根据一级索引、二级索引和三级索引，得到所述索引。
在另一种实施方式中，所述程序被服务器执行时实现如下方法：地理信息系统GIS服务器包括多个异步的写入线程，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤具体为：
每一写入线程根据所述索引，将所述GPS数据存储至对应的分表。
在另一种实施方式中，所述程序被服务器执行时实现如下方法：所述GPS数据还包括GPS数据的编号，每一写入线程具有对应的序号，相应地，每一写入线程根据所述索引，将所述GPS数据存储至对应的分表的步骤之前，所述方法还包括：
每一写入线程根据所述GPS数据的编号，确定所述GPS数据对应的写入线程的序号。
在另一种实施方式中，所述程序被服务器执行时实现如下方法：GIS服务器包括多个异步的查询线程，每一查询线程具有对应的序号，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤之后，所述方法还包括：
将待查询的时间段等分为多个区间，每一区间具有对应的序号；
根据所述区间的序号，确定所述区间对应的查询线程的序号；
由确定的查询线程查询所述区间内的GPS数据。
在另一种实施方式中，所述程序被服务器执行时实现如下方法：根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表的索引的步骤之前，所述方法还包括：
将数据库划分为业务表和数据表，业务表用于存储控制信息，数据表用于存储和查询GPS数据，数据表包括多个分表。
本实施例提供的存储介质，所述程序被服务器执行时实现上述方法实施例的方法，本实施不再赘述。
本实施例提供的存储介质，将大量的GPS数据存储至多张分表中，根据上报的时间和终端的号码，确定分表的索引，从而可提高GIS的写入的效率。
本发明又一实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；
根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；
根据所述索引，将所述GPS数据存储至对应的分表。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。
本领域技术人员可以理解，实施例中的各步骤可以以硬件实现，或者以在一个或者多个服务器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微服务器或者数字信号服务器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种存储的处理方法，其特征在于，所述方法包括：
接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；
根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；
根据所述索引，将所述GPS数据存储至对应的分表。
2.根据权利要求1所述的方法，其特征在于：根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表中索引的步骤具体为：
根据上报的时间，确定所述GPS数据存储的一级索引；
对终端的号码的后两位进行取模运算，取模运算的除数与数据库单元时间的分表数量相同；
将取模运算的余数作为所述GPS数据存储的二级索引；
根据一级索引和二级索引，得到所述索引。
3.根据权利要求2所述的方法，其特征在于：所述GPS数据还包括终端的集群类型，相应地，根据一级索引和二级索引，得到所述索引的步骤具体为：
根据终端的集群类型，确定三级索引；
根据一级索引、二级索引和三级索引，得到所述索引。
4.根据权利要求1所述的方法，其特征在于：地理信息系统GIS服务器包括多个异步的写入线程，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤具体为：
每一写入线程根据所述索引，将所述GPS数据存储至对应的分表。
5.根据权利要求4所述的方法，其特征在于:所述GPS数据还包括GPS数据的编号，每一写入线程具有对应的序号，相应地，每一写入线程根据所述索引，将所述GPS数据存储至对应的分表的步骤之前，所述方法还包括：
每一写入线程根据所述GPS数据的编号，确定所述GPS数据对应的写入线程的序号。
6.根据权利要求1所述的方法，其特征在于：GIS服务器包括多个异步的查询线程，每一查询线程具有对应的序号，相应地，根据所述索引，将所述GPS数据存储至对应的分表的步骤之后，所述方法还包括：
将待查询的时间段等分为多个区间，每一区间具有对应的序号；
根据所述区间的序号，确定所述区间对应的查询线程的序号；
由确定的查询线程查询所述区间内的GPS数据。
7.根据权利要求1所述的方法，其特征在于：根据上报的时间和终端的号码，确定所述GPS数据在数据库的分表的索引的步骤之前，所述方法还包括：
将数据库划分为业务表和数据表，业务表用于存储控制信息，数据表用于存储和查询GPS数据，数据表包括多个分表。
8.一种存储的处理装置，其特征在于，所述装置包括：
接收模块，用于接收终端上报的全球定位系统GPS数据，所述GPS数据包括上报的时间和终端的号码；
确定模块，用于根据上报的时间和终端的号码，确定所述GPS数据在数据库中分表的索引；
存储模块，用于根据所述索引，将所述GPS数据存储至对应的分表。
9.一种电子设备，其特征在于，包括存储器、服务器、总线以及存储在存储器上并可在服务器上运行的计算机程序，所述服务器执行所述程序时实现如权利要求1-7任意一项的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于：所述程序被服务器执行时实现如权利要求1-7任意一项的步骤。
CN201810088515.XA 2018-01-30 2018-01-30 存储的处理方法、装置、电子设备和存储介质 Pending CN110110018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810088515.XA CN110110018A (zh) 2018-01-30 2018-01-30 存储的处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810088515.XA CN110110018A (zh) 2018-01-30 2018-01-30 存储的处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN110110018A true CN110110018A (zh) 2019-08-09

Family

ID=67483055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810088515.XA Pending CN110110018A (zh) 2018-01-30 2018-01-30 存储的处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110110018A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704439A (zh) * 2019-09-27 2020-01-17 北京智道合创科技有限公司 数据存储方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093482A (zh) * 2006-06-19 2007-12-26 上海全成通信技术有限公司 一种大量信息存储和检索的方法
CN101344893A (zh) * 2008-07-17 2009-01-14 中兴通讯股份有限公司 一种历史数据的存取方法和装置
CN102193917A (zh) * 2010-03-01 2011-09-21 中国移动通信集团公司 一种数据处理和查询方法和装置
CN104778188A (zh) * 2014-02-24 2015-07-15 贵州电网公司信息通信分公司 一种分布式设备日志采集方法
CN105629957A (zh) * 2016-02-04 2016-06-01 西安理工大学 一种冷链运输车制冷机组故障分析云服务系统及控制方法
CN106921614A (zh) * 2015-12-24 2017-07-04 北京国双科技有限公司 业务数据处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093482A (zh) * 2006-06-19 2007-12-26 上海全成通信技术有限公司 一种大量信息存储和检索的方法
CN101344893A (zh) * 2008-07-17 2009-01-14 中兴通讯股份有限公司 一种历史数据的存取方法和装置
CN102193917A (zh) * 2010-03-01 2011-09-21 中国移动通信集团公司 一种数据处理和查询方法和装置
CN104778188A (zh) * 2014-02-24 2015-07-15 贵州电网公司信息通信分公司 一种分布式设备日志采集方法
CN106921614A (zh) * 2015-12-24 2017-07-04 北京国双科技有限公司 业务数据处理方法和装置
CN105629957A (zh) * 2016-02-04 2016-06-01 西安理工大学 一种冷链运输车制冷机组故障分析云服务系统及控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704439A (zh) * 2019-09-27 2020-01-17 北京智道合创科技有限公司 数据存储方法及装置
CN110704439B (zh) * 2019-09-27 2022-07-29 北京智道合创科技有限公司 数据存储方法及装置

Similar Documents

Publication Publication Date Title
CN109271391A (zh) 数据存储方法、服务器、存储介质及装置
CN103179433A (zh) 一种视频内容提供系统、方法及服务节点
CN104035925B (zh) 数据存储方法、装置和存储系统
CN110740160B (zh) 一种多源数据地图网格化及数据状态实时推送系统
CN105491529B (zh) 移动终端位置数据的内存映射处理方法及大数据平台
CN102890714A (zh) 数据索引方法及装置
CN105450964B (zh) 对录像数据进行云存储的方法、系统及管理节点
CN102110016A (zh) 数据库集群系统中获取数据库连接的方法、装置和系统
CN102271158B (zh) 一种基于云计算的gps多应用处理方法和移动终端
CN115225138A (zh) 一种卫星通信业务的业务数据处理方法、装置以及系统
CN109165096A (zh) web集群的缓存利用系统及方法
CN110110018A (zh) 存储的处理方法、装置、电子设备和存储介质
CN108364049A (zh) 资产管理方法及系统
CN107301240A (zh) 借助云平台的无人机地理大数据信息处理方法
CN106027283A (zh) 一种将高并发车载采集数据解析入库及实时呈现的方法
CN115913323B (zh) 一种基于时空网格的低轨接入选择方法、存储介质
CN114745275A (zh) 云服务环境中的节点更新方法、装置和计算机设备
US10009265B2 (en) Communication control apparatus, communication control method, communication system, and recording medium
CN101729929A (zh) 一种智能网业务库存取海量数据的系统、装置及方法
CN103259746B (zh) 业务管理调度器层级的动态重排
JP2000092553A (ja) 呼制御装置及び方法
CN113791899B (zh) 一种面向移动Web增强现实的边缘服务器管理系统
CN116016117A (zh) 网络设备运维数据采集方法、系统、电子设备及存储介质
US10467193B1 (en) Real-time ad hoc querying of data records
CN106970964A (zh) 基于共享内存的gps数据信息查询方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809