CN113806343B - 一种车联网数据质量的评估方法和系统 - Google Patents
一种车联网数据质量的评估方法和系统 Download PDFInfo
- Publication number
- CN113806343B CN113806343B CN202110897328.8A CN202110897328A CN113806343B CN 113806343 B CN113806343 B CN 113806343B CN 202110897328 A CN202110897328 A CN 202110897328A CN 113806343 B CN113806343 B CN 113806343B
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- score
- factor
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 45
- 238000000556 factor analysis Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 33
- 239000002131 composite material Substances 0.000 claims description 18
- 238000013499 data model Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/20—Information sensed or collected by the things relating to the thing itself
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
Abstract
本发明公开了一种车联网数据质量的评估方法和系统，该方法包括：根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；根据因子分析法确定与所述因子分析变量对应的质量因子；基于所述质量因子确定所述目标车联网数据的质量；其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据，从而提高了对车联网数据质量进行评估的准确性，进而提高了基于车联网对车辆监控的可靠性。
Description
技术领域
本申请涉及车联网技术领域，更具体地，涉及一种车联网数据质量的评估方法和系统。
背景技术
随着通信技术和汽车电子技术的发展，车联网系统得到大量的应用，由于数据源不同，车载终端所采集的数据难免出现异常，如果不能准确、有效的对数据异常做出判断，就会对后续的数据处理和服务产生影响，因此需要准确的对车联网数据的质量进行准确评估。
现有技术中，主要基于采集上送的原始数据不间断获取设备及系统的事件、状态、预警等多数据源信息，高效的实时数据收集形成分析数据源，通过分析评估快速定位异常数据或异常产生原因，便于对设备上送数据质量进行评估。目前，由于数据质量信息分散在汽车服务平台的多个应用模块中，没有全面、科学、直观的数据质量指标，运维人员对系统的基础数据质量无法准确掌握，缺少对以上数据准确性、可靠性、及时性的监测分析。
因此，如何提高对车联网数据质量进行评估的准确性，进而提高基于车联网对车辆监控的可靠性，是目前有待解决的技术问题。
发明内容
本发明提供一种车联网数据质量的评估方法，用以解决现有技术中无法准确对车联网数据质量进行评估的技术问题，该方法包括：
根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；
根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；
根据因子分析法确定与所述因子分析变量对应的质量因子；
基于所述质量因子确定所述目标车联网数据的质量；
其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据。
在本申请一些实施例中，根据因子分析法确定与所述因子分析变量对应的质量因子，具体为：
基于所述因子分析法建立与所述因子分析变量对应的相关系数矩阵；
根据所述相关系数矩阵的特征值确定所述质量因子；
其中，所述质量因子为所述特征值大于1的因子或对所述因子分析变量的累计贡献率大于预设阈值的因子。
在本申请一些实施例中，基于所述质量因子确定所述目标车联网数据的质量，具体为：
基于所述质量因子确定初始因子载荷矩阵，并基于方差最大化旋转对所述初始因子载荷矩阵进行旋转得到最终因子载荷矩阵；
基于所述最终载荷矩阵确定各所述质量因子的得分；
根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分；
根据所述综合得分从多个预设质量标识中确定目标质量标识，并根据所述目标质量标识确定所述目标车联网数据的质量。
在本申请一些实施例中，根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分，具体为：
将各所述比重作为权重与各所述质量因子的得分进行加权汇总，并根据加权汇总的结果确定所述综合得分。
在本申请一些实施例中，根据所述综合得分从多个预设质量标识中确定目标质量标识，具体为：
若所述综合得分不小于第一分数且不大于第二分数，确定所述目标质量标识为极好；
若所述综合得分不小于第三分数且不大于第四分数，确定所述目标质量标识为较好；
若所述综合得分不小于第五分数且不大于第六分数，确定所述目标质量标识为一般；
若所述综合得分不小于第七分数且不大于第八分数，确定所述目标质量标识为较差；
若所述综合得分不小于第九分数且不大于第十分数，确定所述目标质量标识为极差；
其中，所述第一分数大于所述第四分数，所述第三分数大于所述六分数，所述第五分数大于所述第八分数，所述第七分数大于所述第十分数。
在本申请一些实施例中，在根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量之前，所述方法还包括：
基于预设转化策略将所述目标车联网数据转化为所述结构化数据，所述结构化数据表征了所述目标车联网数据的数据类型、数据格式和取值。
在本申请一些实施例中，所述预设评估指标包括规范性指标、准确性指标、完整性指标和时效性指标，其中，所述规范性指标表征了数据符合数据标准、数据模型、元数据、业务规则、安全规范的程度，所述准确性指标表征了数据描述的真实实体真实值的程度以及数据与对应的上下文数据无矛盾的程度，所述完整性指标表征了数据在数据规则要求下被赋予数值的程度，所述时效性指标表征了数据在时间变化中的正确程度。
在本申请一些实施例中，所述规范性指标包括数据符合数据标准的程度、数据符合数据模型的程度、数据符合元数据的程度、数据符合业务规则的程度、数据符合安全规范的程度，所述准确性指标包括数据内容正确性、数据格式合规性、数据重复率、数据唯一性、脏数据出现率、相同数据一致性、关联数据一致性，所述完整性指标包括数据元素完整性和数据记录完整性，所述时效性指标包括基于时间段的正确性、基于时间点的及时性、时序性。
相应的，本发明还提出了一种车联网数据质量的评估系统，所述系统包括：
获取模块，用于根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；
第一确定模块，用于根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；
第二确定模块，用于根据因子分析法确定与所述因子分析变量对应的质量因子；
第三确定模块，用于基于所述质量因子确定所述目标车联网数据的质量；
其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据。
相应的，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的车联网数据质量的评估方法。
与现有技术对比，本发明具备以下有益效果：
本发明公开了一种车联网数据质量的评估方法和系统，该方法包括：根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；根据因子分析法确定与所述因子分析变量对应的质量因子；基于所述质量因子确定所述目标车联网数据的质量；其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据，从而提高了对车联网数据质量进行评估的准确性，进而提高了基于车联网对车辆监控的可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种车联网数据质量的评估方法的流程示意图；
图2示出了本发明实施例中对车联网数据质量的评估结果进行展示的效果示意图；
图3示出了本发明另一实施例中对车联网数据质量的评估结果进行展示的效果示意图；
图4示出了本发明实施例提出的一种车联网数据质量的评估系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种车联网数据质量的评估方法，如图1所示，所述方法包括以下步骤：
步骤S101，根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据。
本实施例中，用户需要对车联网数据进行评估时，会输入评估指令，根据接收到的评估指令从数据源获取需要进行评估的目标车联网数据，数据源可以为数据仓库中的一组数据，包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据。
其中，车辆CAN数据为OBD数据的初始数据源，是数据质量保障的重要基础，对应的数据质量问题包括唯一标识变化或不可识别、数据不符合数据标准和精度、数据不符合业务规则的度量、数据缺乏完整性和有效性、关联数据一致性缺失。
车载终端数据为远程排放管理车载终端的数据，因车辆工况、通信信号、定位环境、车型适配、异常处理机制、自身工况等因素对数据质量产生重要影响，对应的数据质量问题包括数据记录的完整性不足、多路CAN数据无序融合、数据格式(数据类型、范围、长度、精度等)无法满足预期、数据意外重复和唯一性错误、脏数据出现率过高、数据循环波动。
车企平台数据受并发压力、转发条件及平台本身条件制约，对数据质量也会产生一定程度的影响，对应的质量问题包括基于时间段的数据延迟、记录数和频率分布偏差、数据元素时序关系混淆、并发压力下的数据丢失或重复发送。
获取目标车联网数据的方式包括基于终端直连获取，或从平台转发的数据获取，或基于数据抓取软件进行抓取。
步骤S102，根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量。
本实施例中，因子分析变量为用于进行因子分析的变量，基于多个预设评估指标对目标车联网数据的结构化数据进行评估，确定各评估指标对应的数值，从而确定因子分子变量。
为了准确的确定因子分析变量，在本申请一些实施例中，在根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量之前，所述方法还包括：
基于预设转化策略将所述目标车联网数据转化为所述结构化数据，所述结构化数据表征了所述目标车联网数据的数据类型、数据格式和取值。
本实施例中，结构化数据是指将目标车联网数据按照预设的存储结构进行整理后的数据，表征了所述目标车联网数据的数据类型、数据格式和取值，以使目标车联网数据能够以结构化数据的形式被归类存储，提高数据处理效率和准确性。
在本申请一些实施例中，预设转化策略包括将目标车联网数据转换为数据表格，将所得到的数据表格作为结构化数据，或将目标车联网数据的参数名称作为键，以目标车联网数据的参数值作为值，得到结构化数据，还可以按照其他方式得到结构化数据，本发明实施例在此不作限定。
为了准确的确定因子分析变量，在本申请一些实施例中，所述预设评估指标包括规范性指标、准确性指标、完整性指标和时效性指标，其中，所述规范性指标表征了数据符合数据标准、数据模型、元数据、业务规则、安全规范的程度，所述准确性指标表征了数据描述的真实实体真实值的程度以及数据与对应的上下文数据无矛盾的程度，所述完整性指标表征了数据在数据规则要求下被赋予数值的程度，所述时效性指标表征了数据在时间变化中的正确程度。
为了准确的确定因子分析变量，在本申请一些实施例中，所述规范性指标包括数据符合数据标准的程度、数据符合数据模型的程度、数据符合元数据的程度、数据符合业务规则的程度、数据符合安全规范的程度，所述准确性指标包括数据内容正确性、数据格式合规性、数据重复率、数据唯一性、脏数据出现率、相同数据一致性、关联数据一致性，所述完整性指标包括数据元素完整性和数据记录完整性，所述时效性指标包括基于时间段的正确性、基于时间点的及时性、时序性。
本领域技术人员还可选用其他的评估指标，这并不影响本申请的保护范围。
步骤S103，根据因子分析法确定与所述因子分析变量对应的质量因子。
具体的，因子分析是指研究从变量群中提取共性因子的统计技术，因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。可根据因子分析法确定与因子分析变量对应的质量因子。
为了可靠的确定质量因子，在本申请优选的实施例中，根据因子分析法确定与所述因子分析变量对应的质量因子，具体为：
基于所述因子分析法建立与所述因子分析变量对应的相关系数矩阵；
根据所述相关系数矩阵的特征值确定所述质量因子；
其中，所述质量因子为所述特征值大于1的因子或对所述因子分析变量的累计贡献率大于预设阈值的因子。
本实施中，先基于因子分析法建立与因子分析变量对应的相关系数矩阵，确定相关系数矩阵特征值，将特征值大于1的因子或对所述因子分析变量的累计贡献率大于预设阈值的因子确定为质量因子。预设阈值可以为75％。
需要说明的是，基于因子分析法建立与因子分析变量对应的相关系数矩阵的具体过程对于本领域技术人员是显而易见的，在此不再赘述。
步骤S104，基于所述质量因子确定所述目标车联网数据的质量。
本实施例中，质量因子表征了与数据质量相关性高的因子，可基于质量因子确定目标车联网数据的质量。
为了提高目标车联网数据的质量的准确性，在本申请一些实施例中，基于所述质量因子确定所述目标车联网数据的质量，具体为：
基于所述质量因子确定初始因子载荷矩阵，并基于方差最大化旋转对所述初始因子载荷矩阵进行旋转得到最终因子载荷矩阵；
基于所述最终载荷矩阵确定各所述质量因子的得分；
根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分；
根据所述综合得分从多个预设质量标识中确定目标质量标识，并根据所述目标质量标识确定所述目标车联网数据的质量。
本实施例中，基于质量因子确定初始因子载荷矩阵，然后基于方差最大化旋转对初始因子载荷矩阵进行旋转得到最终因子载荷矩阵。方差最大化旋转是在主成分分析或因子分析中使用的一种方法，通过坐标变换使各个因子载荷的方差之和最大。因为初始载荷矩阵中的因子的系数载荷在各个因子分析变量上的值很难看出差异，也就很难看出因子对于哪些变量很重要，也就难以得出因子的含义。而因子旋转使同一列上的载荷尽可能地向靠近1和靠近0两极分离。最终因子载荷矩阵突出了每个质量因子和其载荷较大的那些因子分析变量的联系。
然后基于最终载荷矩阵确定各质量因子的得分，根据各质量因子的方差贡献率占总方差贡献率的比重和各质量因子的得分确定目标车联网数据的综合得分，最后根据综合得分从多个预设质量标识中确定目标质量标识，并根据目标质量标识确定目标车联网数据的质量。
为了准确的确定目标车联网数据的综合得分，在本申请优选的实施例中，根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分，具体为：
将各所述比重作为权重与各所述质量因子的得分进行加权汇总，并根据加权汇总的结果确定所述综合得分。
为了准确的确定目标质量标识，在本申请优选的实施例中，根据所述综合得分从多个预设质量标识中确定目标质量标识，具体为：
若所述综合得分不小于第一分数且不大于第二分数，确定所述目标质量标识为极好；
若所述综合得分不小于第三分数且不大于第四分数，确定所述目标质量标识为较好；
若所述综合得分不小于第五分数且不大于第六分数，确定所述目标质量标识为一般；
若所述综合得分不小于第七分数且不大于第八分数，确定所述目标质量标识为较差；
若所述综合得分不小于第九分数且不大于第十分数，确定所述目标质量标识为极差；
其中，所述第一分数大于所述第四分数，所述第三分数大于所述六分数，所述第五分数大于所述第八分数，所述第七分数大于所述第十分数。
本实施例中，根据不同的综合得分确定不同的目标质量标识。
为了准确的确定目标质量标识，在本申请优选的实施例中，所述综合得分为0-100分，所述第一分数为91分，所述第二分数为100分，所述第三分数为71分，所述第四分数为90分，所述第五分数为61，所述第六分数为70分，所述第七分数为51，所述第八分数为60分，所述第九分数为0，所述第十分数为50分。
通过应用以上技术方案，根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；根据因子分析法确定与所述因子分析变量对应的质量因子；基于所述质量因子确定所述目标车联网数据的质量；其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据，从而提高了对车联网数据质量进行评估的准确性，进而提高了基于车联网对车辆监控的可靠性。
如图2所示为本发明实施例中对车联网数据质量的评估结果进行展示的效果示意图，如图3所示为本发明另一实施例中对车联网数据质量的评估结果进行展示的效果示意图。
本申请实施例中的车联网数据质量的评估方法可应用于以下场景：
应用场景1：通过数据质量评估结果筛选主机厂、车辆型号、发动机型号、用车企业、车辆，为精细监管、执法监督提供数据依据。
应用场景2：通过与业务规则相结合的数据质量的综合评估，获得宏观数据结果，动态感知数据变化，为政策制定数据线索和支撑。
应用场景3：可提供面向被监管单位的数据质量查询门户，以便企业自查自纠，快速完成整改。
与本申请实施例中的一种车联网数据质量的评估方法相对应，本申请实施例还提出了一种车联网数据质量的评估系统，如图4所示，所述系统包括：
获取模块401，用于根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；
第一确定模块402，用于根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；
第二确定模块403，用于根据因子分析法确定与所述因子分析变量对应的质量因子；
第三确定模块404，用于基于所述质量因子确定所述目标车联网数据的质量；
其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种车联网数据质量的评估方法，其特征在于，所述方法包括：
根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；
根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；
根据因子分析法确定与所述因子分析变量对应的质量因子；
基于所述质量因子确定所述目标车联网数据的质量；
其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据；
根据因子分析法确定与所述因子分析变量对应的质量因子，具体为：
基于所述因子分析法建立与所述因子分析变量对应的相关系数矩阵；
根据所述相关系数矩阵的特征值确定所述质量因子；
其中，所述质量因子为所述特征值大于1的因子或对所述因子分析变量的累计贡献率大于预设阈值的因子；
基于所述质量因子确定所述目标车联网数据的质量，具体为：
基于所述质量因子确定初始因子载荷矩阵，并基于方差最大化旋转对所述初始因子载荷矩阵进行旋转得到最终因子载荷矩阵；
基于所述最终因子载荷矩阵确定各所述质量因子的得分；
根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分；
根据所述综合得分从多个预设质量标识中确定目标质量标识，并根据所述目标质量标识确定所述目标车联网数据的质量。
2.如权利要求1所述的方法，其特征在于，根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分，具体为：
将各所述比重作为权重与各所述质量因子的得分进行加权汇总，并根据加权汇总的结果确定所述综合得分。
3.如权利要求1所述的方法，其特征在于，根据所述综合得分从多个预设质量标识中确定目标质量标识，具体为：
若所述综合得分不小于第一分数且不大于第二分数，确定所述目标质量标识为极好；
若所述综合得分不小于第三分数且不大于第四分数，确定所述目标质量标识为较好；
若所述综合得分不小于第五分数且不大于第六分数，确定所述目标质量标识为一般；
若所述综合得分不小于第七分数且不大于第八分数，确定所述目标质量标识为较差；
若所述综合得分不小于第九分数且不大于第十分数，确定所述目标质量标识为极差；
其中，所述第一分数大于所述第四分数，所述第三分数大于所述六分数，所述第五分数大于所述第八分数，所述第七分数大于所述第十分数。
4.如权利要求1所述的方法，其特征在于，在根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量之前，所述方法还包括：
基于预设转化策略将所述目标车联网数据转化为所述结构化数据，所述结构化数据表征了所述目标车联网数据的数据类型、数据格式和取值。
5.如权利要求1所述的方法，其特征在于，所述预设评估指标包括规范性指标、准确性指标、完整性指标和时效性指标，其中，所述规范性指标表征了数据符合数据标准、数据模型、元数据、业务规则、安全规范的程度，所述准确性指标表征了数据描述的真实实体真实值的程度以及数据与对应的上下文数据无矛盾的程度，所述完整性指标表征了数据在数据规则要求下被赋予数值的程度，所述时效性指标表征了数据在时间变化中的正确程度。
6.如权利要求5所述的方法，其特征在于，所述规范性指标包括数据符合数据标准的程度、数据符合数据模型的程度、数据符合元数据的程度、数据符合业务规则的程度、数据符合安全规范的程度，所述准确性指标包括数据内容正确性、数据格式合规性、数据重复率、数据唯一性、脏数据出现率、相同数据一致性、关联数据一致性，所述完整性指标包括数据元素完整性和数据记录完整性，所述时效性指标包括基于时间段的正确性、基于时间点的及时性、时序性。
7.一种车联网数据质量的评估系统，其特征在于，所述系统包括：
获取模块，用于根据用户输入的评估指令从数据源获取需要进行评估的目标车联网数据；
第一确定模块，用于根据多个预设评估指标对所述目标车联网数据的结构化数据进行评估并确定因子分析变量；
第二确定模块，用于根据因子分析法确定与所述因子分析变量对应的质量因子；
第三确定模块，用于基于所述质量因子确定所述目标车联网数据的质量；
其中，所述数据源包括车辆CAN数据、和/或车载终端数据、和/或车企平台数据；
所述第二确定模块，具体用于：
基于所述因子分析法建立与所述因子分析变量对应的相关系数矩阵；
根据所述相关系数矩阵的特征值确定所述质量因子；
其中，所述质量因子为所述特征值大于1的因子或对所述因子分析变量的累计贡献率大于预设阈值的因子；
所述第三确定模块，具体用于：
基于所述质量因子确定初始因子载荷矩阵，并基于方差最大化旋转对所述初始因子载荷矩阵进行旋转得到最终因子载荷矩阵；
基于所述最终因子载荷矩阵确定各所述质量因子的得分；
根据各所述质量因子的方差贡献率占总方差贡献率的比重和各所述质量因子的得分确定所述目标车联网数据的综合得分；
根据所述综合得分从多个预设质量标识中确定目标质量标识，并根据所述目标质量标识确定所述目标车联网数据的质量。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-6任一项所述的车联网数据质量的评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897328.8A CN113806343B (zh) | 2021-08-05 | 2021-08-05 | 一种车联网数据质量的评估方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110897328.8A CN113806343B (zh) | 2021-08-05 | 2021-08-05 | 一种车联网数据质量的评估方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113806343A CN113806343A (zh) | 2021-12-17 |
| CN113806343B true CN113806343B (zh) | 2023-12-19 |
Family
ID=78893337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110897328.8A Active CN113806343B (zh) | 2021-08-05 | 2021-08-05 | 一种车联网数据质量的评估方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113806343B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115001953B (zh) * | 2022-05-30 | 2023-11-14 | 中国第一汽车股份有限公司 | 一种电动汽车数据质量评估方法、装置、终端及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551886A (zh) * | 2009-05-14 | 2009-10-07 | 北京东方文骏软件科技有限责任公司 | 基于主成分法的kpi分析在电信行业收入保障系统中的应用 |
| CN103577681A (zh) * | 2013-06-26 | 2014-02-12 | 长沙理工大学 | 基于因子分析锅炉效率影响指标的定量评价方法 |
| CN106897957A (zh) * | 2017-02-22 | 2017-06-27 | 南京信息工程大学 | 一种基于pca和pso‑elm的自动气象站实时数据质量控制方法 |
| CN107122594A (zh) * | 2017-04-10 | 2017-09-01 | 湖南中车时代电动汽车股份有限公司 | 一种新能源车辆电池的健康预测方法和系统 |
| CN110390478A (zh) * | 2019-07-17 | 2019-10-29 | 江苏云脑数据科技有限公司 | 基于物联网的金融贷后监管系统与监管方法 |
| CN112015723A (zh) * | 2019-05-28 | 2020-12-01 | 顺丰科技有限公司 | 数据等级划分方法、装置、计算机设备和存储介质 |
| CN112418270A (zh) * | 2020-10-27 | 2021-02-26 | 华北理工大学 | 一种高炉综合状态预测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11705226B2 (en) * | 2019-09-19 | 2023-07-18 | Tempus Labs, Inc. | Data based cancer research and treatment systems and methods |
-
2021
- 2021-08-05 CN CN202110897328.8A patent/CN113806343B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101551886A (zh) * | 2009-05-14 | 2009-10-07 | 北京东方文骏软件科技有限责任公司 | 基于主成分法的kpi分析在电信行业收入保障系统中的应用 |
| CN103577681A (zh) * | 2013-06-26 | 2014-02-12 | 长沙理工大学 | 基于因子分析锅炉效率影响指标的定量评价方法 |
| CN106897957A (zh) * | 2017-02-22 | 2017-06-27 | 南京信息工程大学 | 一种基于pca和pso‑elm的自动气象站实时数据质量控制方法 |
| CN107122594A (zh) * | 2017-04-10 | 2017-09-01 | 湖南中车时代电动汽车股份有限公司 | 一种新能源车辆电池的健康预测方法和系统 |
| CN112015723A (zh) * | 2019-05-28 | 2020-12-01 | 顺丰科技有限公司 | 数据等级划分方法、装置、计算机设备和存储介质 |
| CN110390478A (zh) * | 2019-07-17 | 2019-10-29 | 江苏云脑数据科技有限公司 | 基于物联网的金融贷后监管系统与监管方法 |
| CN112418270A (zh) * | 2020-10-27 | 2021-02-26 | 华北理工大学 | 一种高炉综合状态预测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BP神经网络的城市公交服务质量影响因素主成分分析;张兵;陈廷照;曾明华;;交通运输研究(第01期) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113806343A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10031829B2 (en) | Method and system for it resources performance analysis | |
| CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
| CN109934268B (zh) | 异常交易检测方法及系统 | |
| CN111984442A (zh) | 计算机集群系统的异常检测方法及装置、存储介质 | |
| CN111737244A (zh) | 数据质量检查方法、装置、计算机系统及存储介质 | |
| CN113806343B (zh) | 一种车联网数据质量的评估方法和系统 | |
| CN110611715B (zh) | 一种服务链路集合云监控信息的系统和方法 | |
| CN111858236B (zh) | 知识图谱监控方法、装置、计算机设备及存储介质 | |
| CN112598326A (zh) | 模型迭代方法、装置、电子设备及存储介质 | |
| CN111639016A (zh) | 大数据日志分析方法、装置及计算机存储介质 | |
| CN110910061A (zh) | 一种物料管理方法、系统、存储介质以及电子设备 | |
| CN110795308A (zh) | 一种服务器检验方法、装置、设备及存储介质 | |
| CN111882289B (zh) | 一种项目数据审核指标区间测算的装置和方法 | |
| CN112861142A (zh) | 数据库的风险等级确定方法和装置、存储介质及电子装置 | |
| CN113791980A (zh) | 测试用例的转化分析方法、装置、设备及存储介质 | |
| CN112859805A (zh) | 一种发动机控制器在线诊断方法及相关装置 | |
| CN116303380B (zh) | 一种监测业务中的数据质量校验方法、设备及介质 | |
| CN112990670B (zh) | 一种面向电力信息系统应用能效评价的关联分析方法及装置 | |
| CN113806196B (zh) | 根因分析方法及系统 | |
| CN117670107A (zh) | 一种绩效考核方法、装置、电子设备以及可用存储介质 | |
| CN115017127A (zh) | 一种自动巡检采集设备的方法、装置和存储介质 | |
| CN117391197A (zh) | 一种用于符合性判断的规则推理方法及系统 | |
| CN116226105A (zh) | 数据治理方法、装置、电子设备及计算机存储介质 | |
| CN114238267A (zh) | 一种数据质量的评估方法、装置、电子设备及存储介质 | |
| CN115599775A (zh) | 一种用于市场调研的数据质量管理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |