CN113127472A - 一种针对大上报量的司机数量实时去重统计的方法及系统 - Google Patents
一种针对大上报量的司机数量实时去重统计的方法及系统 Download PDFInfo
- Publication number
- CN113127472A CN113127472A CN202110513280.6A CN202110513280A CN113127472A CN 113127472 A CN113127472 A CN 113127472A CN 202110513280 A CN202110513280 A CN 202110513280A CN 113127472 A CN113127472 A CN 113127472A
- Authority
- CN
- China
- Prior art keywords
- information
- state information
- real
- time
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012216 screening Methods 0.000 claims abstract description 15
- 238000003379 elimination reaction Methods 0.000 abstract description 4
- 230000008030 elimination Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种针对大上报量的司机数量实时去重统计的方法及系统，包括：基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；基于比对结果，若状态信息与比对信息不一致，则将状态信息替换为新的比对信息，并将状态信息转发至第一消息队列；重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；实时统计程序从第二消息队列中消费数据；实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
Description
技术领域
本发明涉及实时去重统计方法技术领域，具体涉及一种针对大上报量的司机数量实时去重统计的方法及系统。
背景技术
随着互联网的发展，网络覆盖和智能设备的普及，使得用户可通过智能设备在网约车平台实现相应的网约车服务，网约车服务由于拥有便捷性和及时性的特点，使得网约车服务逐渐成为人们出行的重要手段。网约车服务的司机，需要在相应的网约车平台上进行信息上报，以方便网约车平台进行车辆管理，进而方便平台进行网约车订单的匹配和下发。因此，网约车司机需要不断地向平台的服务器上报位置状态信息，以确保网约车平台能持续地获取网约车司机的准确位置。
但是，现有的网约车平台，随着平台签约司机的数量不断增长，司机端的位置状态信息的上报量也不断地增大，其中大部分信息为无效的重复信息，若服务器对司机端的位置和状态的上报信息全部进行接收并写入数据库，服务器还需要对司机端所上报的信息进行全面的统计和分析，会严重影响服务器统计分析程序的效率，甚至造成服务器的程序崩溃，影响网约车服务的正常运作，进而降低网约车服务的质量和效率。
为此，发明人认为需要发明一种能在大量司机端进行信息上报的情况下，尽量不影响数据统计和分析精确度的情况下，能降低服务器处理数据的工作量，用于网约车平台的司机实时去重统计方法，从而提高网约车平台对司机数量分类统计的吞吐量、执行速度和稳定性。
发明内容
为了克服上述现有的网约车平台对大上报量的信息统计存在重复，且处理效率低的技术缺陷，本发明提供一种能分级去重筛选，针对大上报量的司机数量实时去重统计的方法及系统。
为了解决上述问题，本发明按以下技术方案予以实现的：
第一方面，本发明公开了一种针对大上报量的司机数量实时去重统计的方法，包括：
基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；
基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；
基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；
实时统计程序从第二消息队列中消费数据；
实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
优选地，所述实时统计程序包括第一实时统计程序、第二实时统计程序和第三实时统计程序。
优选地，所述第一实时统计程序、第二实时统计程序和第三实时统计程序所对应的时间区间，分别为第一时间区间、第二时间区间和第三时间区间。
优选地，所述第一时间区间的长度为5分钟，所述第二时间区间的长度为10分钟，所述第三时间区间的长度为30分钟。
优选地，所述基于区域进行状态信息与数据库所缓存的比对信息的比对，具体包括：
比对区域对对应的状态信息和比对信息，判断是否存在新增或减少的身份标识；若存在，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；若不存在，则判断身份标识所对应的工作状态是否发生改变。
优选地，所述判断身份标识所对应的工作状态是否发生改变，具体包括：若改变，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；若不改变，则结束数信息收集。
优选地，所述工作状态包括休息状态、空载状态和载客状态。
第二方面，本发明还公开了一种针对大上报量的司机数量实时去重统计的系统，包括：
信息收集模块，用于基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；
信息比对模块，用于基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；
比对判断模块，用于基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
信息去重模块，用于使重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；
统计预备模块，用于使实时统计程序从第二消息队列中消费数据；
实时统计模块，用于使实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
第三方面，本发明还公开了一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的针对大上报量的司机数量实时去重统计的方法。
第四方面，本发明还公开了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行上述的针对大上报量的司机数量实时去重统计的方法。
与现有技术相比，本发明的有益效果是：
本发明通过设置第一消息队列和第二消息队列，并配合所设置的缓存信息比对步骤，从而对区域内所有司机端频繁地上报的大量的状态信息进行筛选，只选取其中存在变动的关键的状态信息，如司机开始订单、完成订单、离开区域和进入区域等重要变动，并筛选未发生司机工作状态和工作区域变化的大量重复的状态信息。通过多层筛选去重后，只获取最新的状态信息，以及发生了状态变动的状态信息，关键信息的分析和统计，从而在不影响统计精确度的情况下，实现针对大上报量的实时去重统计，以统计不同区域内，处于不同工作状态的司机的数量，以在不占用服务器大量资源的情况下，准确快速地对司机上报的数据进行去重筛选，并统计司机的数据，以更好地使网约车平台对平台签约司机进行管理。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：
图1是本发明的针对大上报量的司机数量实时去重统计的方法的主要流程示意图；
图2是本发明的针对大上报量的司机数量实时去重统计的方法的整体流程示意图；
图3是本发明的针对大上报量的司机数量实时去重统计的系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明的实施，需要至少一个具有定位和信息收发功能的司机端，以及至少一个能对信息进行处理并进行收发的服务器，司机端安装相应的网约车平台应用程序，司机端与服务器通过网络连接以实现信息传输。服务器包括应用服务器、消息队列服务器和数据库服务器，其中，应用服务器用于收发网约车平台应用程序的信息，消息队列服务器用于暂时存放信息，根据预设条件或分批地输送至数据库服务器，以降低同一时间内数据库服务器的信息的处理量和写入量。
在一些实施中，司机端可以是台式电脑、笔记本电脑、智能手机、平板电脑和智能手表等安装有相应的打车应用程序的设备，在一些实施例中，服务端可以是单个服务器，也可以是一个服务器组。在一些实施例中，服务端可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。
实施例1
如图1～图2所示，本发明公开了一种针对大上报量的司机数量实时去重统计的方法，具体包括：
步骤S1：基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态。
具体地，网约车平台的服务器根据区域对地图进行区分，以区域为统计的分界，以统计区域内的司机数量和司机状态。司机在网约车平台签约后，需要在进行网约车服务时，启动司机端中相应的网约车平台应用程序，司机端根据预设频率上报状态信息，状态信息包括身份标识和工作状态。服务器根据区域，分别获取所对应区域内司机端上报的状态信息，本实施例优选的上报频率为3秒上报一次，将区域内大量的状态信息缓存至数据库中。
作为本发明的一种优选实施方式，所述工作状态包括休息状态、空载状态和载客状态。
步骤S2：基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果。
具体地，数据库中预先缓存有用于比对的，反映相应区域中司机状态的信息，即比对信息。在获取状态信息后，取出数据库中相应区域的比对信息，使状态信息与比对信息进行比对，具体为司机的身份标识和工作状态的比对。基于比对区域内司机的状态变动与否，获取比对的结果。
子步骤S21：比对区域对对应的状态信息和比对信息，判断是否存在新增或减少的身份标识：若存在，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；若不存在，则判断身份标识所对应的工作状态是否发生改变。
子步骤S22：判断身份标识所对应的工作状态是否发生改变：若改变，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；若不改变，则结束数信息收集。
具体地，本实施例首先通过对区域内的司机进行身份标识的判断，若身份标识出现变动，则说明司机所处的区域出现了变更，可能出现两个不同区域的重复的状态信息的上报，因此需要进一步进行去重统计。
然后，若区域内司机的身份标识未发生变动，则可以认为区域内的司机未出现变动，可进一步对司机的工作状态进行比对，当区域内司机的工作状态发生改变，需要进行进一步的数量统计，以统计该区域内正在进行网约车服务的司机、休息不进行服务的司机以及空载可进行派单的司机的分类统计，以避免出现重复的数据使统计数量不准确，影响服务器的网约车服务派单判断，进而影响网约车的正常运作。
步骤S3：基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列。
具体地，服务器分析比对结果，若比对结果显示，区域内司机端所上报的状态信息发生了变化，则需要进行去重统计，避免出现司机数据的错误。将最新上报的状态信息替换为新的比对信息，缓存至数据库中，并将状态信息转发至第一消息队列，以使第一消息队列中存放有所有区域各司机端的最后一次上报的状态信息，以作为统计的基础数据。
步骤S4：重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列。
具体地，服务器启动重点统计程序，重点统计程序从第一消息队列中获取数据，筛选后获取其中所有区域各司机端的最后一次上报的状态信息，作为重点统计数据，并转发至第二消息队列中。
步骤S5：实时统计程序从第二消息队列中消费数据。
具体地，服务器启动若干个实时统计程序，分别从第二消息队列中获取状态信息，当消费数据完成后，第二消息队列中数据清空，需要等待第二消息队列的再次补充，直至实时统计程序再次获得启动指令。从而降低实时统计程序的启动频率，避免大上报量的情况下占用服务器的大量资源，进而有效地降低实时统计程序崩溃的风险。
步骤S6：实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
具体地，服务器同时启动若干个实时统计程序，每个实时统计程序预设有不同的时间区间，以统计相应的时间区间内，各区域的处于不同工作状态的司机数量。实时统计服务器获取第二消息队列中的数据后，分别进行分析，以实现去重统计，对司机进行以所处区域、身份标识和工作状态分类的数量统计，获取相应的司机数量，反馈到服务器中，以便于进行网约车平台中签约司机的管理。
优选地，所述实时统计程序包括第一实时统计程序、第二实时统计程序和第三实时统计程序。所述第一实时统计程序、第二实时统计程序和第三实时统计程序所对应的时间区间，分别为第一时间区间、第二时间区间和第三时间区间。具体地，所述第一时间区间的长度为5分钟，所述第二时间区间的长度为10分钟，所述第三时间区间的长度为30分钟。
本实施例所述的针对大上报量的司机数量实时去重统计的方法的其它步骤参见现有技术。
本发明通过设置第一消息队列和第二消息队列，并配合所设置的缓存信息比对步骤，从而对区域内所有司机端频繁地上报的大量的状态信息进行筛选，只选取其中存在变动的关键的状态信息，如司机开始订单、完成订单、离开区域和进入区域等重要变动，并筛选未发生司机工作状态和工作区域变化的大量重复的状态信息。本发明能抓取其中发生了变动的重要的信息，以降低多余重复信息的无效处理，以提高整体的统计效率。
此外，本发明通过多层筛选去重后，只获取最新的状态信息，以及发生了状态变动的状态信息，关键信息的分析和统计，从而在不影响统计精确度的情况下，实现针对大上报量的实时去重统计，以统计不同区域内，处于不同工作状态的司机的数量，以在不占用服务器大量资源的情况下，准确快速地对司机上报的数据进行去重筛选，并统计司机的数据，以更好地使网约车平台对平台签约司机进行管理。
本发明实施例所述的针对大上报量的司机数量实时去重统计的方法的其他步骤参照现有技术，在此不作详细的描述。
实施例2
如图3所示，本发明还公开了一种针对大上报量的司机数量实时去重统计的系统，具体包括：
信息收集模块M1，用于基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；
信息比对模块M2，用于基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；
比对判断模块M3，用于基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
信息去重模块M4，用于使重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；
统计预备模块M5，用于使实时统计程序从第二消息队列中消费数据；
实时统计模块M6，用于使实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
综上所述，本发明实施例公开了一种针对大上报量的司机数量实时去重统计的系统，信息收集模块M1收集司机端上报的状态信息，并输送至信息比对模块M2，信息比对模块M2基于状态信息和比对信息进行比对，以获取比对结果并将比对结果输送至比对判断模块M3，比对判断模块M3判断比对结果后，若状态信息未发生改变，则结束本次统计，可认为区域内司机数量和状态未发生变化。若状态信息与比对信息相比发生了改变，则将状态信息替换为最新的比对信息，并将状态信息转发至信息去重模块M4，信息去重模块M4对状态信息进行去重，仅保留发生了改变的，针对每个司机端的最后一条上报的状态信息，转发至第二消息队列。统计预备模块M5从第二队列中获取信息，输送至实时统计模块M6，实时统计模块M6对所有区域内的司机进行整体的分析和去重统计，以获取按不同分类的情况下司机的数量。
实施例3
本发明还公开一种电子设备，至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，所述至少一个处理器执行指令时，具体实现以下的步骤：基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；实时统计程序从第二消息队列中消费数据；实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
实施例4
本发明还公开一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，具体实现以下步骤：基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；实时统计程序从第二消息队列中消费数据；实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
在一些实施方式中，客户端、服务器可以利用诸如HTTL(HyLerTextTransferLrotocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(LAN)、广域网(WAN)、网际网(例如，互联网)以及端对端网络(例如，adhoc端对端网络)，以及任何当前已知或未来研发的网络。
上述存储介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是，本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ELROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FLGA)、专用集成电路(ASIC)、专用标准产品(ASSL)、片上系统(SOC)、复杂可编程逻辑设备(CLLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(ELROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种针对大上报量的司机数量实时去重统计的方法，其特征在于，包括：
基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；
基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；
基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；
实时统计程序从第二消息队列中消费数据；
实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
2.根据权利要求1所述的针对大上报量的司机数量实时去重统计的方法，其特征在于：
所述实时统计程序包括第一实时统计程序、第二实时统计程序和第三实时统计程序。
3.根据权利要求2所述的针对大上报量的司机数量实时去重统计的方法，其特征在于：
所述第一实时统计程序、第二实时统计程序和第三实时统计程序所对应的时间区间，分别为第一时间区间、第二时间区间和第三时间区间。
4.根据权利要求3所述的针对大上报量的司机数量实时去重统计的方法，其特征在于：
所述第一时间区间的长度为5分钟，所述第二时间区间的长度为10分钟，所述第三时间区间的长度为30分钟。
5.根据权利要求1所述的针对大上报量的司机数量实时去重统计的方法，其特征在于，所述基于区域进行状态信息与数据库所缓存的比对信息的比对，具体包括：
比对区域对对应的状态信息和比对信息，判断是否存在新增或减少的身份标识；
若存在，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
若不存在，则判断身份标识所对应的工作状态是否发生改变。
6.根据权利要求5所述的针对大上报量的司机数量实时去重统计的方法，其特征在于，所述判断身份标识所对应的工作状态是否发生改变，具体包括：
若改变，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
若不改变，则结束数信息收集。
7.根据权利要求1所述的针对大上报量的司机数量实时去重统计的方法，其特征在于：
所述工作状态包括休息状态、空载状态和载客状态。
8.一种针对大上报量的司机数量实时去重统计的系统，其特征在于，包括：
信息收集模块，用于基于区域进行信息收集，获取司机端上报的状态信息，并将状态信息缓存至数据库，所述状态信息包括身份标识和工作状态；
信息比对模块，用于基于区域进行状态信息与数据库所缓存的比对信息的比对，获取比对结果；
比对判断模块，用于基于比对结果，若状态信息与比对信息不一致，则将所述状态信息替换为新的比对信息，并将所述状态信息转发至第一消息队列；
信息去重模块，用于使重点统计程序从第一消息队列中消费数据，筛选后分别获取每个区域内司机端最后一次上报的状态信息，并转发至第二消息队列；
统计预备模块，用于使实时统计程序从第二消息队列中消费数据；
实时统计模块，用于使实时统计程序基于预设的时间区间，对司机进行以所处区域、身份标识和工作状态分类的数量统计。
9.一种电子设备，其特征在于，包括：
至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任意一项所述的针对大上报量的司机数量实时去重统计的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1至7任意一项所述的针对大上报量的司机数量实时去重统计的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513280.6A CN113127472B (zh) | 2021-05-11 | 2021-05-11 | 一种针对大上报量的司机数量实时去重统计的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513280.6A CN113127472B (zh) | 2021-05-11 | 2021-05-11 | 一种针对大上报量的司机数量实时去重统计的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113127472A true CN113127472A (zh) | 2021-07-16 |
| CN113127472B CN113127472B (zh) | 2024-03-19 |
Family
ID=76781921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110513280.6A Active CN113127472B (zh) | 2021-05-11 | 2021-05-11 | 一种针对大上报量的司机数量实时去重统计的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113127472B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114722059A (zh) * | 2022-03-31 | 2022-07-08 | 浙江正泰物联技术有限公司 | 一种实时数据统计方法及系统 |
| CN115964408A (zh) * | 2022-11-17 | 2023-04-14 | 北京白龙马云行科技有限公司 | 时长校正方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150228004A1 (en) * | 2014-02-07 | 2015-08-13 | Kristin Kaye Bednarek | Smart Device Apps and Incentives For Encouraging The Creation and Sharing Electronic Lists To Imrpove Targeted Marketing While Preserving User Anonymity |
| US20190182188A1 (en) * | 2017-12-13 | 2019-06-13 | Chicago Mercantile Exchange Inc. | Streaming Platform Reader |
| CN112445820A (zh) * | 2019-08-28 | 2021-03-05 | 北京字节跳动网络技术有限公司 | 数据转换方法及装置 |
-
2021
- 2021-05-11 CN CN202110513280.6A patent/CN113127472B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150228004A1 (en) * | 2014-02-07 | 2015-08-13 | Kristin Kaye Bednarek | Smart Device Apps and Incentives For Encouraging The Creation and Sharing Electronic Lists To Imrpove Targeted Marketing While Preserving User Anonymity |
| US20190182188A1 (en) * | 2017-12-13 | 2019-06-13 | Chicago Mercantile Exchange Inc. | Streaming Platform Reader |
| CN112445820A (zh) * | 2019-08-28 | 2021-03-05 | 北京字节跳动网络技术有限公司 | 数据转换方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨超;徐如志;杨峰;: "基于消息队列的多进程数据处理系统", 计算机工程与设计, no. 13 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114722059A (zh) * | 2022-03-31 | 2022-07-08 | 浙江正泰物联技术有限公司 | 一种实时数据统计方法及系统 |
| CN115964408A (zh) * | 2022-11-17 | 2023-04-14 | 北京白龙马云行科技有限公司 | 时长校正方法、装置、电子设备和存储介质 |
| CN115964408B (zh) * | 2022-11-17 | 2024-04-16 | 北京白龙马云行科技有限公司 | 时长校正方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113127472B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558450B (zh) | 一种基于分布式架构的汽车远程监控方法和装置 | |
| CN113127472B (zh) | 一种针对大上报量的司机数量实时去重统计的方法及系统 | |
| JP2020515818A (ja) | 地理的位置における資産を管理するシステム及び方法 | |
| AU2014209697A1 (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
| CN112019605B (zh) | 数据流的数据分发方法和系统 | |
| CN111950857A (zh) | 基于业务指标的指标体系管理方法、装置以及电子设备 | |
| CN106126634B (zh) | 一种基于直播行业的主数据去重处理方法及系统 | |
| CN114139684A (zh) | 图神经网络生成方法、装置、系统、介质以及电子设备 | |
| CN117332134A (zh) | 遥感卫星原始数据处理和管理方法、装置、设备及介质 | |
| CN115794876A (zh) | 针对业务数据包的分片处理方法、装置、设备及存储介质 | |
| CN113360348A (zh) | 异常请求处理方法、装置、电子设备和存储介质 | |
| CN112882891A (zh) | 一种客户端Web访问链路监控的方法 | |
| WO2020049746A1 (ja) | データベース装置、プログラム、およびデータ処理方法 | |
| CN111125161A (zh) | 数据的实时处理方法、装置、设备及存储介质 | |
| CN112738207B (zh) | 关键字数据的传输方法及装置、存储介质、电子装置 | |
| CN114826867B (zh) | 处理数据的方法、装置、系统及存储介质 | |
| WO2023103752A1 (zh) | 网元版本下载方法、网元、电子设备和存储介质 | |
| CN117743425A (zh) | 一种用于电力系统的实时业务数据处理方法、装置及介质 | |
| CN116383211A (zh) | 车联网数据处理方法、装置及电子设备、存储介质 | |
| CN117573752A (zh) | 一种大数据信息统计采集方法及系统 | |
| CN116916265A (zh) | 话单文件数据的处理方法、装置、设备及存储介质 | |
| CN114430537A (zh) | 数据防重复过滤方法、装置、存储介质及电子设备 | |
| CN116094908A (zh) | 日志文件存储方法、装置、设备和存储介质 | |
| CN115983935A (zh) | 一种订单数据的统计方法、装置、计算机设备及存储介质 | |
| CN117057441A (zh) | 出行时间预测模型的训练、预测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |