CN117573680B - 一种基于大数据的定位数据传输管理系统及方法 - Google Patents
一种基于大数据的定位数据传输管理系统及方法 Download PDFInfo
- Publication number
- CN117573680B CN117573680B CN202410068342.0A CN202410068342A CN117573680B CN 117573680 B CN117573680 B CN 117573680B CN 202410068342 A CN202410068342 A CN 202410068342A CN 117573680 B CN117573680 B CN 117573680B
- Authority
- CN
- China
- Prior art keywords
- index
- data
- cache hit
- establishment
- parallelism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000005540 biological transmission Effects 0.000 title claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 66
- 238000004458 analytical method Methods 0.000 claims abstract description 55
- 238000007726 management method Methods 0.000 claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 25
- 230000005856 abnormality Effects 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000012423 maintenance Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000000609 ganglia Anatomy 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据的定位数据传输管理系统及方法，涉及定位数据传输管理技术领域，包括以下步骤：根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；根据系统的需求和数据特性选择合适的索引类型；在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性。本发明通过实时监控索引建立过程中的系统优化信息和性能度量参数信息生成索引建立系数，通过索引建立系数对数据建立索引时的过程进行综合评估，使系统能够及时识别索引创建的潜在问题，这种实时监控机制有效地提前发现索引创建不完整的隐患，避免了后续对定位和检索操作的严重影响。
Description
技术领域
本发明涉及定位数据传输管理技术领域，具体涉及一种基于大数据的定位数据传输管理系统及方法。
背景技术
基于大数据的定位数据传输管理系统是一种利用先进的大数据技术来处理、分析和管理大规模的定位信息的系统。该系统以实时采集设备、车辆或人员的位置数据为基础，通过高效的数据传输机制将这些信息传送至中央服务器。在服务器端，系统利用大数据存储和管理技术，如分布式数据库或数据湖，对海量的位置数据进行存储、索引和清理。同时，采用实时数据处理引擎进行流式处理，使得系统能够迅速而准确地分析、转换和过滤实时产生的位置数据。通过空间数据分析和时空数据挖掘，该系统能够识别模式、趋势和异常，为用户提供丰富的信息，以支持决策制定和优化运营。
这样的系统不仅提供实时监控界面，以图表、地图等形式展示位置数据，还通过报表和可视化工具呈现历史位置数据的趋势和分布。为了确保数据安全和用户隐私，系统实施数据加密和严格的访问控制机制。同时，通过开放的API和可扩展架构，系统具备良好的扩展性，能够适应不断增长的数据规模，为未来的发展和应用提供强大的支持。综合而言，基于大数据的定位数据传输管理系统通过整合先进技术，为各种应用场景提供高效、可靠、安全的位置信息处理和管理解决方案。
在大数据的定位数据传输管理系统中，建立索引是必要的，其主要目的在于提高数据检索效率，加速查询操作。由于定位数据规模巨大，通过在特定字段上建立索引，系统能够快速定位符合查询条件的记录，避免全表扫描，从而显著提高检索速度。这不仅有助于实现实时监控和分析位置信息的要求，而且通过优化排序、过滤操作以及支持空间查询，索引的应用还能有效降低系统负载，提高整体性能，为系统提供更高效、响应迅速的数据管理和查询服务。
在对数据建立索引时，若索引建立过程中存在索引创建不完整，这将会对后续的定位和检索操作产生严重影响，因为索引的不完整性会导致查询过程中无法有效地定位和访问所需的位置数据，系统将不能以高效的方式执行定位和检索操作，这可能导致定位数据的准确性受损，用户在实时监控和分析位置信息时可能无法获取全面和正确的结果，从而严重影响系统的数据管理和查询服务。
因此，保障索引的完整性对于确保系统的稳定性、性能和数据准确性至关重要。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的是提供一种基于大数据的定位数据传输管理系统及方法，通过实时监控索引建立过程中的系统优化信息和性能度量参数，通过将实时设置并行度、缓存命中率、任务队列数据积压信息处理后生成索引建立系数，通过索引建立系数对数据建立索引时的过程进行综合评估，使系统能够及时识别索引创建的潜在问题，这种实时监控机制有效地提前发现索引创建不完整的隐患，避免了后续对定位和检索操作的严重影响，通过生成风险信号，维护管理人员可以快速响应并采取必要的措施，以确保索引的稳健性和完整性，从而提升整个系统的稳定性和可靠性，以解决上述背景技术中的问题。
为了实现上述目的，本发明提供如下技术方案：一种基于大数据的定位数据传输管理方法，包括以下步骤：
根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；
根据系统的需求和数据特性选择合适的索引类型；
在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性；
通过选定的索引执行实际的索引建立操作，创建索引结构，将数据按照选定的字段进行排序和组织；
在索引建立的过程中，获取索引建立时的系统优化信息和性能度量参数信息，并将处理后的系统优化信息和性能度量参数信息综合分析，设置异常监控机制，通过异常监控机制对索引建立过程中索引创建不完整的隐患进行智能化感知。
优选的，在索引建立的过程中，索引建立时的系统优化信息包括索引建立时的实时设置并行度信息和预期设置并行度范围信息，获取后，通过将索引建立时的实时设置并行度信息和预期设置并行度范围信息处理后生成设置并行度预期偏差；
在索引建立的过程中，索引建立时的性能度量参数信息包括索引建立时的缓存命中率信息和索引建立任务队列数据积压信息，获取后，通过将索引建立时的缓存命中率信息和索引建立任务队列数据积压信息处理后分别生成缓存命中率低迷指数和任务队列数据积压指数。
优选的，设置并行度预期偏差获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时的实时设置并行度，并将实时设置并行度按照时间序列用函数表示；
将数据建立索引时获取的实时设置并行度与预期设置并行度范围进行比对，计算设置并行度预期偏差，计算的表达式为：，式中，/>表示设置并行度预期偏差，/>表示数据建立索引时实时设置并行度低于预期设置并行度范围最小值/>的时段，且/>，/>表示数据建立索引时实时设置并行度高于预期设置并行度范围最大值/>的时段，/>，/>和/>分别为和/>的权重因子，取值均大于0。
优选的，缓存命中率低迷指数获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时在不同时段内的实际缓存命中率，并将实际缓存命中率标定为，x表示索引建立时在时间段R内不同时段的实际缓存命中率的编号，x=1、2、3、4、……、p，p为正整数；
通过索引建立时在时间段R内获取的实际缓存命中率计算缓存命中率平均值和缓存命中率标准差，计算的表达式为：，式中，/>表示缓存命中率标准差，/>表示索引建立时在时间段R内获取的实际缓存命中率的平均值，；
将索引建立时在时间段R内计算得出的缓存命中率平均值和缓存命中率标准差分别与预先设定的缓存命中率参考值和标准差参考值进行比对，生成缓存命中率低迷指数，生成的逻辑如下：
若缓存命中率平均值小于缓存命中率参考值，并且缓存命中率标准差小于标准差参考值，则：；
若缓存命中率平均值小于缓存命中率参考值，并且缓存命中率标准差大于等于标准差参考值，则：；
若缓存命中率平均值大于等于缓存命中率参考值，并且缓存命中率标准差大于等于标准差参考值，则：；
若缓存命中率平均值大于等于缓存命中率参考值，并且缓存命中率标准差小于标准差参考值，则：；
式中，表示缓存命中率低迷指数。
优选的，任务队列数据积压指数获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时的实时数据积压率，并将实时数据积压率按照时间序列用；
计算任务队列数据积压指数，计算的表达式为：，式中，表示任务队列数据积压指数，/>表示已完成索引建立任务处理的时段，/>表示等待索引建立处理的时段，/>，/>。
优选的，获取到数据建立索引时在选定的时间段R内生成的设置并行度预期偏差、缓存命中率低迷指数/>以及任务队列数据积压指数/>后，将设置并行度预期偏差/>、缓存命中率低迷指数/>以及任务队列数据积压指数/>进行公式化分析，生成索引建立系数/>，通过将索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，对索引建立过程中索引创建不完整的隐患进行智能化感知。
优选的，数据建立索引时在选定的时间段R内生成的设置并行度预期偏差越大、缓存命中率低迷指数越大、任务队列数据积压指数越大，即数据建立索引时在选定的时间段R内生成的索引建立系数的表现值越大，表明数据建立索引时索引创建不完整的隐患越大，反之则表明数据建立索引时索引创建不完整的隐患越小。
优选的，将数据建立索引时生成的若干个索引建立系数建立分析集合，并将分析集合标定为F，则，v表示分析集合内的索引建立系数的编号，v=1、2、3、4、……、s，s为正整数；
将分析集合内的若干个索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，生成隐患评估指数，依据的公式为：，式中，s表示分析集合内的索引建立系数的总数量，/>表示隐患评估指数，/>表示索引建立系数参考阈值，/>表示分析集合内大于索引建立系数参考阈值的索引建立系数，/>表示分析集合内大于索引建立系数参考阈值的索引建立系数的编号，，/>为正整数，且/>。
优选的，将数据建立索引时生成的隐患评估指数与梯度参考阈值和/>比对分析，其中，/>，比对分析的结果如下：
若，则生成低等风险信号，当数据建立索引时生成低等风险信号时，此时继续对数据建立索引；
若，则生成中等风险信号，当数据建立索引时生成中等风险信号时，此时停止对数据建立索引，发出警报提示，通知相关维护管理人员知晓；
若，则生成高等风险信号，当数据建立索引时生成高等风险信号时，此时停止对数据建立索引，发出警报提示，通知相关维护管理人员知晓。
一种基于大数据的定位数据传输管理系统，包括需求分析模块、索引类型选择模块、数据清理与一致性模块、实际索引建立模块以及异常监控模块；
需求分析模块，根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；
索引类型选择模块，根据系统的需求和数据特性选择合适的索引类型；
数据清理与一致性模块，在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性；
实际索引建立模块，通过选定的索引执行实际的索引建立操作，创建索引结构，将数据按照选定的字段进行排序和组织；
异常监控模块，在索引建立的过程中，获取索引建立时的系统优化信息和性能度量参数信息，并将处理后的系统优化信息和性能度量参数信息综合分析，设置异常监控机制，通过异常监控机制对索引建立过程中索引创建不完整的隐患进行智能化感知。
在上述技术方案中，本发明提供的技术效果和优点：
本发明通过根据系统查询需求和性能优化目标进行需求分析，选择合适的索引类型，并在建立索引前清理冗余、无效数据，系统能够更加精准地满足实际查询需求，这将提高定位和检索操作的效率，减少查询响应时间，确保用户能够在实时监控和分析位置信息时获取准确、全面的结果，建立有效的索引结构有助于提升整体系统性能，加强数据管理和查询服务。
本发明通过实时监控索引建立过程中的系统优化信息和性能度量参数，通过将实时设置并行度、缓存命中率、任务队列数据积压信息处理后生成索引建立系数，通过索引建立系数对数据建立索引时的过程进行综合评估，使系统能够及时识别索引创建的潜在问题，这种实时监控机制有效地提前发现索引创建不完整的隐患，避免了后续对定位和检索操作的严重影响，通过生成风险信号，维护管理人员可以快速响应并采取必要的措施，以确保索引的稳健性和完整性，从而提升整个系统的稳定性和可靠性。
本发明通过对数据建立索引时生成的若干个索引建立系数建立分析集合，将分析集合内的若干个索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，生成隐患评估指数，通过隐患评估指数对数据建立索引时的隐患风险进行评估，当数据建立索引时生成低等风险信号时，此时继续对数据建立索引，当数据建立索引时生成高等风险信号或者中等风险信号时，停止对数据建立索引，发出警报提示，通知相关维护管理人员对数据建立索引时的隐患进行排查，进而及时对隐患进行维护管理，从而在感知到数据建立索引可能存在异常时智能化选择继续建立索引还是停止建立索引，提高系统的智能化水平。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明一种基于大数据的定位数据传输管理系统及方法的方法流程图。
图2为本发明一种基于大数据的定位数据传输管理系统及方法的模块示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
本发明提供了如图1所示的一种基于大数据的定位数据传输管理方法，包括以下步骤：
根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；
确定需要建立索引的字段通常通过深入的系统需求分析和性能优化目标来实现。首先，通过仔细研究系统的查询需求，了解用户的常见查询模式和核心功能，识别经常用于筛选、排序或连接操作的字段。然后，结合性能优化目标，评估系统在不同查询场景下的性能瓶颈，确定需要优化的方向。通过数据库执行计划的分析，深入了解查询语句的执行过程和相关字段，以识别对查询性能有重要影响的字段。最后，通过与业务和开发团队的紧密合作，深入了解业务需求、数据模型和系统架构，以获取有关数据查询频率、业务优先级和系统性能优化的详细信息。综合这些分析结果，制定索引建立的计划，优先选择在查询中频繁使用、对性能影响较大的字段进行索引建立，以达到提升查询效率和系统性能的目标。
根据系统的需求和数据特性选择合适的索引类型；
在选择合适的索引类型时，需要根据系统的需求和数据特性进行仔细分析。首先，考虑查询频率高的字段，如果某个字段经常用于查询条件，单列索引可能是一个合适的选择，可以显著提高查询效率。此外，如果系统中的查询通常涉及多个字段的组合条件，考虑使用组合索引，以优化多条件查询的性能。另一方面，对于包含地理位置信息或涉及空间查询的场景，可以考虑使用空间索引，以支持高效的地理信息查询。在需求分析的基础上，结合数据的特性，如数据分布、数据量和更新频率等，综合考虑选择适当的索引类型，以最大程度地提升系统查询效率和性能。
常见的索引类型包括单列索引、组合索引、唯一索引、全文索引、空间索引等。单列索引用于单个字段的查询条件，组合索引用于多个字段的组合查询条件，唯一索引用于确保字段值的唯一性，全文索引用于文本搜索，而空间索引则用于处理地理位置信息。每种索引类型都有其适用的场景和优势，选择时需要根据具体业务需求和数据特性进行权衡和取舍。因此，在设计索引时，需要全面了解系统的查询模式、数据分布情况以及对性能的要求，以综合考虑并选择最适合的索引类型。
在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性；
清理冗余和无效数据是在建立索引之前的重要步骤，旨在确保数据的一致性和准确性，从而提高索引的效率和系统整体性能。以下详细阐述清理冗余和无效数据的一些具体过程及其作用（包括这些但是不仅限于这些，可根据实际运用场景选择其他的数据处理过程）：
去除重复数据：通过识别相同记录中的冗余数据，去除数据集中的重复项。
作用：防止索引中包含相同的信息，减小索引的体积，提高查询效率。同时，确保查询结果的准确性，避免因重复数据而引起的混淆或误判。
处理缺失值：识别并处理数据中的缺失值，可以选择填充缺失值、删除包含缺失值的记录，或者使用插值等方法进行处理。
作用：缺失值可能导致索引不完整或引起查询结果的不准确性。清理缺失值有助于提高数据的完清理缺失值有助于提高数据的完整性和可靠性，确保索引建立在准确的数据基础上。
处理异常值：识别并处理数据中的异常值，可以通过设定阈值、使用统计方法或专业领域知识来进行异常值检测和处理。
作用：异常值可能影响索引的建立和查询的准确性。清理异常值有助于提高数据的一致性，避免索引受到异常值的干扰，确保索引的可靠性和稳定性。
标准化数据格式：对数据进行标准化处理，确保数据的格式和单位一致，避免因格式不一致而导致的查询错误。
作用：数据格式的不一致可能导致索引无法正确建立或查询失败。标准化数据格式有助于提高索引的可维护性和查询的精确性。
处理过时数据：识别并删除过时或失效的数据，确保索引和数据库中不包含无效信息。
作用：过时的数据可能导致索引和查询结果不准确，清理过时数据有助于提高系统的实时性和准确性，减少无效数据对系统性能的影响。
优化数据结构：对数据结构进行优化，如分解大表、规范化数据库设计等。
作用：通过优化数据结构，可以减少索引建立和查询的时间复杂度，提高系统性能，确保索引建立在合理的数据结构基础上。
通过执行以上清理冗余和无效数据的过程，系统能够确保索引建立在一致、准确、干净的数据基础上，从而提高查询效率和系统的整体性能。
通过选定的索引执行实际的索引建立操作，创建索引结构，将数据按照选定的字段进行排序和组织；
在索引建立的过程中，获取索引建立时的系统优化信息和性能度量参数信息，并将处理后的系统优化信息和性能度量参数信息综合分析，设置异常监控机制，通过异常监控机制对索引建立过程中索引创建不完整的隐患进行智能化感知；
在索引建立的过程中，索引建立时的系统优化信息包括索引建立时的实时设置并行度信息和预期设置并行度范围信息，获取后，通过将索引建立时的实时设置并行度信息和预期设置并行度范围信息处理后生成设置并行度预期偏差；
实时设置并行度是指在索引建立过程中根据系统的当前状态和负载情况动态调整任务的并行处理数量。通过实时监测系统资源利用率、任务队列情况以及其他性能指标，系统能够自动或由管理员手动调整并行度，以适应实时变化的工作负载，从而最大化利用硬件资源，提高系统性能和效率。这种动态调整的方式允许系统灵活应对不同负载情况，优化任务执行速度和整体性能。预期设置并行度范围是指在任务启动前或系统配置时，用户为并行度设定的期望范围。而不是具体的单一数值，用户定义了一个范围，即最小并行度和最大并行度之间的区间。这个设置通常在系统初始化或任务启动时进行，目的是提供一个静态的基准，并在任务执行期间保持相对的稳定性。通过设定范围而非具体数值，系统获得了更大的灵活性，可以在预期范围内自适应地调整，并在系统资源的波动中实现平衡，以确保在不同负载情况下的可靠性和一致性性能。
实时设置并行度高于预期设置并行度范围可能会导致索引建立过程中存在索引创建不完整的问题，具体原因如下：
资源竞争和争夺：高于预期的并行度可能导致系统资源的激烈竞争，例如内存、CPU等。当多个任务同时争夺相同的资源时，可能发生资源的争夺与竞争，导致某些任务无法获得足够的资源执行，从而无法完成索引的建立。
任务调度不均衡：过高的并行度可能导致任务调度不均衡，部分任务可能因为资源限制或调度算法问题而得不到及时执行。这可能导致某些任务长时间未能完成，进而影响整个索引的完整性。
锁竞争和并发问题：在高并行度下，数据库系统中的锁竞争可能变得更为激烈。如果没有有效的锁管理机制，多个任务可能同时尝试修改相同的数据，引发并发问题，从而导致索引建立的不完整性。
系统不稳定和性能下降：过高的并行度可能使系统不稳定，导致性能下降，例如系统崩溃或任务失败。这可能使索引建立过程中某些关键步骤无法正常执行，从而影响整个索引的完整性。
实时设置并行度低于预期设置并行度范围可能导致索引建立过程中存在索引创建不完整的问题，具体原因如下：
低效任务执行速度：低于预期的并行度可能导致任务在系统中以串行的方式执行，未能充分利用多核处理器和其他硬件资源。这可能导致任务执行速度变慢，尤其在处理大规模数据时，任务可能无法在合理时间内完成，导致索引建立不完整。
资源未能得到充分利用：低并行度可能使系统未能有效地利用可用的硬件资源。例如，当有大量空闲的 CPU 核心时，低并行度可能导致部分核心处于闲置状态，从而降低系统整体的资源利用率，无法最大化地提高任务执行效率。
任务堆积和延迟：低并行度可能导致任务在队列中积压，等待执行。这种任务的堆积可能会导致一些任务长时间未能启动，从而延迟整个索引建立过程。特别是在需要按照顺序执行的任务中，低并行度可能导致前面的任务未能及时完成，使得后续任务无法启动，进而影响索引的完整性。
系统资源需求不满足：一些任务可能对系统资源的需求较大，例如内存、磁盘I/O等。低并行度可能使得这些资源无法得到足够满足，从而导致任务执行时出现资源瓶颈，无法正常完成，影响索引的建立。
因此，对索引建立时的实时设置并行度进行监测，可实时了解实时设置并行度超出预期设置并行度范围或者低于预期设置并行度范围可能导致索引创建不完整的异常隐患问题。
设置并行度预期偏差获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时的实时设置并行度，并将实时设置并行度按照时间序列用函数表示；
需要说明的是，大多数数据库系统提供了管理工具，如MySQL Workbench、pgAdmin（PostgreSQL）、SQL Server Management Studio等，这些工具通常包含有关当前正在执行的操作和并行度设置的信息，在这些工具中查看当前正在执行的索引建立任务的详细信息，以获取实时的并行度设置；
将数据建立索引时获取的实时设置并行度与预期设置并行度范围进行比对，计算设置并行度预期偏差，计算的表达式为：，式中，/>表示设置并行度预期偏差，/>表示数据建立索引时实时设置并行度低于预期设置并行度范围最小值/>的时段，且/>，/>表示数据建立索引时实时设置并行度高于预期设置并行度范围最大值/>的时段，/>，/>和/>分别为和/>的权重因子，取值均大于0，式中权重因子用于均衡各项数据在公式中的占比，从而促进计算结果的准确性；
由设置并行度预期偏差的计算表达式可知，数据建立索引时在选定的时间段R内生成的设置并行度预期偏差的表现值越大，表明数据建立索引时索引创建不完整的隐患越大，反之则表明数据建立索引时索引创建不完整的隐患越小。
在索引建立的过程中，索引建立时的性能度量参数信息包括索引建立时的缓存命中率信息和索引建立任务队列数据积压信息，获取后，通过将索引建立时的缓存命中率信息和索引建立任务队列数据积压信息处理后分别生成缓存命中率低迷指数和任务队列数据积压指数。
索引建立时的缓存命中率是指在数据传输和索引构建过程中，系统缓存中已经存在的数据所占的比例。高缓存命中率表示大部分所需数据已经存在于系统缓存中，减少了从磁盘读取数据的频率，提高了数据读取速度。这对于索引建立过程至关重要，因为高缓存命中率可以加速数据访问，降低对存储介质的I/O开销，从而提高索引建立的效率。索引建立任务队列数据积压是指在索引构建系统中，等待执行的任务数量超过系统当前能够处理的速度，导致任务在队列中积压等待执行。高积压表示系统处理任务的速度跟不上任务的产生速度，可能会导致任务执行延迟，甚至系统负载过重。因此，管理和监控任务队列数据积压是为了确保系统能够高效处理索引构建任务，及时完成任务，避免任务堆积影响整体性能。在实际应用中，优化任务队列管理和调整任务调度策略可以有效应对高数据积压情况，确保索引建立的顺利进行。
低缓存命中率可能会对索引建立过程造成一系列问题，可能导致索引创建不完整，具体原因如下：
频繁磁盘读取：低缓存命中率表示系统无法从缓存中获取大部分所需数据，导致频繁从磁盘读取数据。磁盘读取的速度相对较慢，尤其在处理大规模数据时，可能导致数据读取速度变慢，进而影响索引建立的效率。
增加I/O开销：缓存命中率低会增加系统的I/O开销，因为系统需要更频繁地从磁盘读取数据。大规模的I/O操作可能导致磁盘繁忙，系统资源不足，从而导致索引建立任务的执行变得缓慢，甚至导致任务失败。
数据处理延迟：由于缓存命中率低，系统需要花费更多的时间从磁盘读取数据，这可能导致数据处理的延迟。如果索引建立过程中的某些步骤依赖于及时的数据处理，低缓存命中率可能使得这些步骤无法在合理的时间内完成，从而导致索引不完整。
系统资源竞争：低缓存命中率可能导致系统中大量的并发磁盘读取操作，引发资源竞争。这可能导致锁竞争、内存不足等问题，最终影响到索引建立任务的执行，使得部分任务无法正常完成，从而影响整个索引的完整性。
因此，对索引建立时的缓存命中率进行监测，可实时了解缓存命中率较低可能导致索引创建不完整的异常隐患问题。
缓存命中率低迷指数获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时在不同时段内的实际缓存命中率，并将实际缓存命中率标定为，x表示索引建立时在时间段R内不同时段的实际缓存命中率的编号，x=1、2、3、4、……、p，p为正整数；
需要说明的是，使用专业的系统监控工具，如Prometheus、Ganglia、Nagios等，这些工具可以实时监测系统性能指标，包括缓存命中率，通过这些监控工具，可以实时查看缓存命中率的变化趋势，了解系统在不同时段内的性能表现；
通过索引建立时在时间段R内获取的实际缓存命中率计算缓存命中率平均值和缓存命中率标准差，计算的表达式为：，式中，/>表示缓存命中率标准差，/>表示索引建立时在时间段R内获取的实际缓存命中率的平均值，/>；
将索引建立时在时间段R内计算得出的缓存命中率平均值和缓存命中率标准差分别与预先设定的缓存命中率参考值和标准差参考值进行比对，生成缓存命中率低迷指数，生成的逻辑如下：
若缓存命中率平均值小于缓存命中率参考值，并且缓存命中率标准差小于标准差参考值，则：；
若缓存命中率平均值小于缓存命中率参考值，并且缓存命中率标准差大于等于标准差参考值，则：；
若缓存命中率平均值大于等于缓存命中率参考值，并且缓存命中率标准差大于等于标准差参考值，则：；
若缓存命中率平均值大于等于缓存命中率参考值，并且缓存命中率标准差小于标准差参考值，则：；
式中，表示缓存命中率低迷指数。
由缓存命中率低迷指数的计算表达式可知，数据建立索引时在选定的时间段R内生成的缓存命中率低迷指数的表现值越大，表明数据建立索引时索引创建不完整的隐患越大，反之则表明数据建立索引时索引创建不完整的隐患越小。
基于大数据的定位数据传输管理系统进行索引建立时，严重的索引建立任务队列数据积压可能会导致索引创建不完整，具体原因如下：
任务执行延迟：当索引建立任务队列中的任务积压过多，系统可能无法及时分配足够的资源来执行这些任务。这会导致任务执行延迟，一些任务可能需要等待较长的时间才能得到执行。延迟的任务执行可能会导致索引建立的某些步骤无法按照预期的时间完成，从而影响到整体索引的完整性。
系统资源竞争：数据库系统在处理索引建立任务时需要占用系统资源，包括CPU、内存、磁盘等。当任务队列积压严重时，可能导致系统资源的竞争，使得索引建立过程中的一些关键步骤无法获得足够的资源，进而影响到索引的创建。资源竞争还可能导致锁等待，影响索引建立的并发性能。
任务丢失和失败：长时间的任务队列积压可能导致一些任务被丢失或失败。在任务积压的情况下，新的任务可能一直排队等待执行，而系统无法处理所有任务。这可能导致一些任务被跳过或直接失败，从而影响索引的完整性。
无法及时应对变化：在大数据系统中，数据变化可能是频繁的，例如实时流数据。如果任务队列积压，系统可能无法及时应对新的数据变化，从而无法及时更新索引。这可能导致索引不够实时，反映的数据不准确，影响数据管理系统的实时性。
因此，对索引建立时的索引建立任务队列数据积压进行实时监测，可实时了解索引建立任务队列数据积压可能导致索引创建不完整的异常隐患问题。
任务队列数据积压指数获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时的实时数据积压率，并将实时数据积压率按照时间序列用；
使用专业的系统监控工具，如Prometheus、Ganglia、Nagios等，这些工具可以监测系统性能指标，包括任务队列的长度和变化趋势，通过配置监控工具，可以实时获取索引建立任务队列的数据积压率；
计算任务队列数据积压指数，计算的表达式为：，式中，表示任务队列数据积压指数，/>表示已完成索引建立任务处理的时段，/>表示等待索引建立处理的时段，/>，/>。
由任务队列数据积压指数的计算表达式可知，数据建立索引时在选定的时间段R内生成的任务队列数据积压指数的表现值越大，表明数据建立索引时索引创建不完整的隐患越大，反之则表明数据建立索引时索引创建不完整的隐患越小。
获取到数据建立索引时在选定的时间段R内生成的设置并行度预期偏差、缓存命中率低迷指数/>以及任务队列数据积压指数/>后，将设置并行度预期偏差/>、缓存命中率低迷指数/>以及任务队列数据积压指数/>进行公式化分析，生成索引建立系数/>，依据的公式为：，式中，/>、/>、/>分别为设置并行度预期偏差/>、缓存命中率低迷指数/>、任务队列数据积压指数的预设比例系数，且/>、/>、/>均大于0；
由计算公式可知，数据建立索引时在选定的时间段R内生成的设置并行度预期偏差越大、缓存命中率低迷指数越大、任务队列数据积压指数越大，即数据建立索引时在选定的时间段R内生成的索引建立系数的表现值越大，表明数据建立索引时索引创建不完整的隐患越大，反之则表明数据建立索引时索引创建不完整的隐患越小。
将数据建立索引时生成的若干个索引建立系数建立分析集合，并将分析集合标定为F，则，v表示分析集合内的索引建立系数的编号，v=1、2、3、4、……、s，s为正整数；
将分析集合内的若干个索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，生成隐患评估指数，依据的公式为：，式中，s表示分析集合内的索引建立系数的总数量，/>表示隐患评估指数，/>表示索引建立系数参考阈值，/>表示分析集合内大于索引建立系数参考阈值的索引建立系数，/>表示分析集合内大于索引建立系数参考阈值的索引建立系数的编号，，/>为正整数，且/>；
由隐患评估指数的计算表达式可知，数据建立索引时生成的隐患评估指数的表现值越大，表明数据建立索引时索引创建不完整的风险越大，反之则表明数据建立索引时索引创建不完整的风险越小。
将数据建立索引时生成的隐患评估指数与梯度参考阈值和/>比对分析，其中，，比对分析的结果如下：
若，则生成低等风险信号，当数据建立索引时生成低等风险信号时，则表明数据建立索引时出现索引创建不完整的风险很小，可能只是出现了偶然性微幅的异常，此时继续对数据建立索引；
若，则生成中等风险信号，当数据建立索引时生成中等风险信号时，则表明数据建立索引时出现索引创建不完整的风险较大，此时停止对数据建立索引，发出警报提示，通知相关维护管理人员对数据建立索引时的隐患进行排查，进而及时对隐患进行维护管理；
若，则生成高等风险信号，当数据建立索引时生成高等风险信号时，则表明数据建立索引时出现索引创建不完整的风险很大，出现索引创建不完整的风险程度超过生成中等风险信号对应时的风险程度，此时停止对数据建立索引，发出警报提示，通知相关维护管理人员对数据建立索引时的隐患进行排查，进而及时对隐患进行维护管理。
本发明通过根据系统查询需求和性能优化目标进行需求分析，选择合适的索引类型，并在建立索引前清理冗余、无效数据，系统能够更加精准地满足实际查询需求，这将提高定位和检索操作的效率，减少查询响应时间，确保用户能够在实时监控和分析位置信息时获取准确、全面的结果，建立有效的索引结构有助于提升整体系统性能，加强数据管理和查询服务。
本发明通过实时监控索引建立过程中的系统优化信息和性能度量参数，通过将实时设置并行度、缓存命中率、任务队列数据积压信息处理后生成索引建立系数，通过索引建立系数对数据建立索引时的过程进行综合评估，使系统能够及时识别索引创建的潜在问题，这种实时监控机制有效地提前发现索引创建不完整的隐患，避免了后续对定位和检索操作的严重影响，通过生成风险信号，维护管理人员可以快速响应并采取必要的措施，以确保索引的稳健性和完整性，从而提升整个系统的稳定性和可靠性。
本发明通过对数据建立索引时生成的若干个索引建立系数建立分析集合，将分析集合内的若干个索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，生成隐患评估指数，通过隐患评估指数对数据建立索引时的隐患风险进行评估，当数据建立索引时生成低等风险信号时，此时继续对数据建立索引，当数据建立索引时生成高等风险信号或者中等风险信号时，停止对数据建立索引，发出警报提示，通知相关维护管理人员对数据建立索引时的隐患进行排查，进而及时对隐患进行维护管理，从而在感知到数据建立索引可能存在异常时智能化选择继续建立索引还是停止建立索引，提高系统的智能化水平。
本发明提供了如图2所示的一种基于大数据的定位数据传输管理系统，包括需求分析模块、索引类型选择模块、数据清理与一致性模块、实际索引建立模块以及异常监控模块；
需求分析模块，根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；
索引类型选择模块，根据系统的需求和数据特性选择合适的索引类型；
数据清理与一致性模块，在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性；
实际索引建立模块，通过选定的索引执行实际的索引建立操作，创建索引结构，将数据按照选定的字段进行排序和组织；
异常监控模块，在索引建立的过程中，获取索引建立时的系统优化信息和性能度量参数信息，并将处理后的系统优化信息和性能度量参数信息综合分析，设置异常监控机制，通过异常监控机制对索引建立过程中索引创建不完整的隐患进行智能化感知；
本发明实施例提供的一种基于大数据的定位数据传输管理方法，通过上述一种基于大数据的定位数据传输管理系统来实现，一种基于大数据的定位数据传输管理系统的具体方法和流程详见上述一种基于大数据的定位数据传输管理方法的实施例，此处不再赘述。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (5)
1.一种基于大数据的定位数据传输管理方法，其特征在于，包括以下步骤：
根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；
根据系统的需求和数据特性选择合适的索引类型；
在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性；
通过选定的索引执行实际的索引建立操作，创建索引结构，将数据按照选定的字段进行排序和组织；
在索引建立的过程中，获取索引建立时的系统优化信息和性能度量参数信息，并将处理后的系统优化信息和性能度量参数信息综合分析，设置异常监控机制，通过异常监控机制对索引建立过程中索引创建不完整的隐患进行智能化感知；
在索引建立的过程中，索引建立时的系统优化信息包括索引建立时的实时设置并行度信息和预期设置并行度范围信息，获取后，通过将索引建立时的实时设置并行度信息和预期设置并行度范围信息处理后生成设置并行度预期偏差；
在索引建立的过程中，索引建立时的性能度量参数信息包括索引建立时的缓存命中率信息和索引建立任务队列数据积压信息，获取后，通过将索引建立时的缓存命中率信息和索引建立任务队列数据积压信息处理后分别生成缓存命中率低迷指数和任务队列数据积压指数；
设置并行度预期偏差获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时的实时设置并行度，并将实时设置并行度按照时间序列用函数ψ并行(t)表示；
将数据建立索引时获取的实时设置并行度与预期设置并行度范围ψ并行 min～ψ并行 max进行比对，计算设置并行度预期偏差，计算的表达式为：式中，ψ并行表示设置并行度预期偏差，[ta，tb]表示数据建立索引时实时设置并行度低于预期设置并行度范围最小值ψ并行 min的时段，且ta<tb，[tc，td]表示数据建立索引时实时设置并行度高于预期设置并行度范围最大值ψ并行 max的时段，tc<td，μ1和μ2分别为和/> 的权重因子，取值均大于0；
缓存命中率低迷指数获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时在不同时段内的实际缓存命中率，并将实际缓存命中率标定为λ缓存 x，x表示索引建立时在时间段R内不同时段的实际缓存命中率的编号，x＝1、2、3、4、……、p，p为正整数；
通过索引建立时在时间段R内获取的实际缓存命中率计算缓存命中率平均值和缓存命中率标准差，计算的表达式为：式中，λ缓存 α表示缓存命中率标准差，/>表示索引建立时在时间段R内获取的实际缓存命中率的平均值，
将索引建立时在时间段R内计算得出的缓存命中率平均值和缓存命中率标准差分别与预先设定的缓存命中率参考值和标准差参考值进行比对，生成缓存命中率低迷指数，生成的逻辑如下：
若缓存命中率平均值小于缓存命中率参考值，并且缓存命中率标准差小于标准差参考值，则：λ缓存＝e1.9；
若缓存命中率平均值小于缓存命中率参考值，并且缓存命中率标准差大于等于标准差参考值，则：λ缓存＝e1.5；
若缓存命中率平均值大于等于缓存命中率参考值，并且缓存命中率标准差大于等于标准差参考值，则：λ缓存＝e1.3；
若缓存命中率平均值大于等于缓存命中率参考值，并且缓存命中率标准差小于标准差参考值，则：λ缓存＝e1.1；
式中，λ缓存表示缓存命中率低迷指数；
任务队列数据积压指数获取的逻辑如下：
在对数据建立索引时，在选定的时间段R内，获取索引建立时的实时数据积压率，并将实时数据积压率按照时间序列用backlograte(t)；
计算任务队列数据积压指数，计算的表达式为： 式中，backlograte表示任务队列数据积压指数，[tx，ty]表示已完成索引建立任务处理的时段，[tm，tn]表示等待索引建立处理的时段，tx<ty，tm<tn；
获取到数据建立索引时在选定的时间段R内生成的设置并行度预期偏差ψ并行、缓存命中率低迷指数λ缓存以及任务队列数据积压指数backlograte后，将设置并行度预期偏差ψ并行、缓存命中率低迷指数λ缓存以及任务队列数据积压指数backlograte进行公式化分析，生成索引建立系数φφ，通过将索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，对索引建立过程中索引创建不完整的隐患进行智能化感知。
2.根据权利要求1所述的一种基于大数据的定位数据传输管理方法，其特征在于，数据建立索引时在选定的时间段R内生成的设置并行度预期偏差越大、缓存命中率低迷指数越大、任务队列数据积压指数越大，即数据建立索引时在选定的时间段R内生成的索引建立系数φφ的表现值越大，表明数据建立索引时索引创建不完整的隐患越大，反之则表明数据建立索引时索引创建不完整的隐患越小。
3.根据权利要求1所述的一种基于大数据的定位数据传输管理方法，其特征在于，将数据建立索引时生成的若干个索引建立系数建立分析集合，并将分析集合标定为F，则F＝{φφv}＝{φφ1、φφ2、…、φφs}，v表示分析集合内的索引建立系数的编号，v＝1、2、3、4、……、s，s为正整数；
将分析集合内的若干个索引建立系数与预先设定的索引建立系数参考阈值进行比对分析，生成隐患评估指数，依据的公式为：式中，s表示分析集合内的索引建立系数的总数量，ξ隐患表示隐患评估指数，φφ阈值表示索引建立系数参考阈值，φφv′表示分析集合内大于索引建立系数参考阈值的索引建立系数，v′表示分析集合内大于索引建立系数参考阈值的索引建立系数的编号，v′＝1、2、3、4、……、s′，s′为正整数，且s′≤s。
4.根据权利要求3所述的一种基于大数据的定位数据传输管理方法，其特征在于，将数据建立索引时生成的隐患评估指数与梯度参考阈值ξ1和ξ2比对分析，其中，ξ1<ξ2，比对分析的结果如下：
若ξ隐患＜ξ1，则生成低等风险信号，当数据建立索引时生成低等风险信号时，此时继续对数据建立索引；
若ξ1≤ξ隐患＜ξ2，则生成中等风险信号，当数据建立索引时生成中等风险信号时，此时停止对数据建立索引，发出警报提示，通知相关维护管理人员知晓；
若ξ隐患≥ξ2，则生成高等风险信号，当数据建立索引时生成高等风险信号时，此时停止对数据建立索引，发出警报提示，通知相关维护管理人员知晓。
5.一种基于大数据的定位数据传输管理系统，用于实现上述权利要求1-4中任意一项所述的一种基于大数据的定位数据传输管理方法，其特征在于，包括需求分析模块、索引类型选择模块、数据清理与一致性模块、实际索引建立模块以及异常监控模块；
需求分析模块，根据系统查询需求和性能优化目标进行需求分析，确定需要建立索引的字段；
索引类型选择模块，根据系统的需求和数据特性选择合适的索引类型；
数据清理与一致性模块，在建立索引之前，清理冗余、无效数据，确保数据的一致性和准确性；
实际索引建立模块，通过选定的索引执行实际的索引建立操作，创建索引结构，将数据按照选定的字段进行排序和组织；
异常监控模块，在索引建立的过程中，获取索引建立时的系统优化信息和性能度量参数信息，并将处理后的系统优化信息和性能度量参数信息综合分析，设置异常监控机制，通过异常监控机制对索引建立过程中索引创建不完整的隐患进行智能化感知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410068342.0A CN117573680B (zh) | 2024-01-17 | 2024-01-17 | 一种基于大数据的定位数据传输管理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410068342.0A CN117573680B (zh) | 2024-01-17 | 2024-01-17 | 一种基于大数据的定位数据传输管理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117573680A CN117573680A (zh) | 2024-02-20 |
| CN117573680B true CN117573680B (zh) | 2024-04-12 |
Family
ID=89888629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410068342.0A Active CN117573680B (zh) | 2024-01-17 | 2024-01-17 | 一种基于大数据的定位数据传输管理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117573680B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298691A (zh) * | 2013-07-19 | 2015-01-21 | 国际商业机器公司 | 用于评估数据库索引的效率的方法和装置 |
| CN105117457A (zh) * | 2015-08-20 | 2015-12-02 | 中国人民解放军国防科学技术大学 | 一种虚拟资产保全系统的索引重建方法 |
| CN116680289A (zh) * | 2023-05-31 | 2023-09-01 | 上海沄熹科技有限公司 | 分布式数据库索引推荐监控系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815260B (zh) * | 2015-12-01 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 一种索引建立方法及设备 |
-
2024
- 2024-01-17 CN CN202410068342.0A patent/CN117573680B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298691A (zh) * | 2013-07-19 | 2015-01-21 | 国际商业机器公司 | 用于评估数据库索引的效率的方法和装置 |
| CN105117457A (zh) * | 2015-08-20 | 2015-12-02 | 中国人民解放军国防科学技术大学 | 一种虚拟资产保全系统的索引重建方法 |
| CN116680289A (zh) * | 2023-05-31 | 2023-09-01 | 上海沄熹科技有限公司 | 分布式数据库索引推荐监控系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于流机制的并行查询执行技术;陈红;文继荣;王珊;;计算机科学;20001231(04);11-15 * |
| 数据仓库中聚簇索引优化;张学琴;;西北民族大学学报(自然科学版);20070915(03);45-49 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117573680A (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11789943B1 (en) | Configuring alerts for tags associated with high-latency and error spans for instrumented software | |
| EP2457153B1 (en) | Method and system for power analysis | |
| CN111984499A (zh) | 一种大数据集群的故障检测方法和装置 | |
| CN110493065B (zh) | 一种云中心运维的告警关联度分析方法及系统 | |
| CN109783322A (zh) | 一种企业信息系统运行状态的监控分析系统及其方法 | |
| WO2023071761A1 (zh) | 一种异常定位方法及装置 | |
| CN111539633A (zh) | 一种业务数据质量的稽核方法、系统、装置和存储介质 | |
| US20100153431A1 (en) | Alert triggered statistics collections | |
| US20110320228A1 (en) | Automated Generation of Markov Chains for Use in Information Technology | |
| US20160253402A1 (en) | Adaptive data repartitioning and adaptive data replication | |
| US9043327B1 (en) | Performing flexible pivot querying of monitoring data using a multi-tenant monitoring system | |
| US8954563B2 (en) | Event enrichment using data correlation | |
| US11182386B2 (en) | Offloading statistics collection | |
| CN113641567B (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| US7562094B1 (en) | Object-level database performance management | |
| US7542998B1 (en) | Cause to effect methodology for monitoring database performance | |
| WO2021217119A1 (en) | Analyzing tags associated with high-latency and error spans for instrumented software | |
| CN117573680B (zh) | 一种基于大数据的定位数据传输管理系统及方法 | |
| US8285752B1 (en) | System and method for maintaining a plurality of summary levels in a single table | |
| US20200293416A1 (en) | Executing Test Scripts with Respect to a Server Stack | |
| CN113360353A (zh) | 一种测试服务器和云平台 | |
| CN111414355A (zh) | 一种海上风电场数据监测存储系统及方法、装置 | |
| Yuan et al. | Design and implementation of accelerator control monitoring system | |
| CN109947828A (zh) | 一种处理报表数据的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |