CN112287178B - 数据清洗方法、装置、电子设备及存储介质 - Google Patents
数据清洗方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112287178B CN112287178B CN202011191328.8A CN202011191328A CN112287178B CN 112287178 B CN112287178 B CN 112287178B CN 202011191328 A CN202011191328 A CN 202011191328A CN 112287178 B CN112287178 B CN 112287178B
- Authority
- CN
- China
- Prior art keywords
- vehicles
- resource amount
- internet
- resource
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 302
- 238000000034 method Methods 0.000 title claims abstract description 139
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 94
- 230000006855 networking Effects 0.000 claims abstract description 57
- 230000003993 interaction Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及车辆网及云技术领域，公开了一种数据清洗方法、装置、电子设备及存储介质，该方法包括：获取为车联网系统中的车辆进行决策所需的第一资源量；获取采用第一清洗方式和第二清洗方式对车联网数据进行清洗所需的第二资源量和第三资源量；获取在为车辆进行决策及对车联网数据进行清洗时车辆所能提供的资源的占比；根据第一资源量、第二资源量、第三资源量以及占比确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量、以及对应于第二清洗方式的第五资源量；将第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为目标清洗方式。基于本申请提供的方案，有利于减少车联网中心处理器的资源消耗。
Description
技术领域
本申请涉及车辆网及云技术领域，具体而言，本申请涉及一种应用于车联网系统中的数据清洗方法、装置、电子设备及存储介质。
背景技术
近年来，车联网技术在物联网和新一代通信技术的发展下得到了极大的推动。车联网将“人、车、路、云”有机地联系在一起，不仅可以获取比单台车辆更多的感知信息，增强安全驾驶，促进自动驾驶的创新和应用；还有利于构建智能交通体系，对提高交通效率、改善驾乘感受、节能减排等有重要意义。
车联网系统基于该网络中的车辆上传的感知信息进行智能决策：如指挥车辆刹车变道等，但是，随着车辆数量的增多，有些感知信息存在重复、误差等情况，需要进行数据清洗。但现有的车联网系统只依赖车联网中心处理器来清洗感知信息，导致中心处理器的处理压力较大。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案，以减少车联网中心处理器的资源消耗。
本申请的一个方面，提供了一种应用于车联网系统中的数据清洗方法，包括：
获取为车联网系统中的车辆进行决策所需的第一资源量；
获取采用第一清洗方式对车联网数据进行清洗所需的第二资源量、以及采用第二清洗方式对车联网数据进行清洗所需的第三资源量；其中，第一清洗方式是由车联网中心处理器进行数据清洗，第二清洗方式是由车联网中心处理器和车辆共同进行数据清洗；
获取在为车辆进行决策、以及对车联网数据进行清洗时车辆所能提供的资源的占比；
根据第一资源量、占比和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；根据第一资源量、占比和第三资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量；
将第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式。
本申请的另一个方面，提供了一种应用于车联网系统中的数据清洗装置，该装置包括：
第一资源量获取模块，用于获取为车联网系统中的车辆进行决策所需的第一资源量；
第二及第三资源量获取模块，用于获取采用第一清洗方式对车联网数据进行清洗所需的第二资源量、以及采用第二清洗方式对车联网数据进行清洗所需的第三资源量；其中，第一清洗方式是由车联网中心处理器进行数据清洗，第二清洗方式是由车联网中心处理器和车辆共同进行数据清洗；
占比获取模块，用于获取在为车辆进行决策、以及对车联网数据进行清洗时所述车辆所能提供的资源的占比；
第四及第五资源量确定模块，用于根据第一资源量、占比和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；还用于根据第一资源量、占比和第三资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量；
目标清洗方式确定模块，用于将第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式。
本申请的再一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的应用于车联网系统中的数据清洗方法。
本申请的又一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请第一方面所示的应用于车联网系统中的数据清洗方法。
本申请提供的技术方案带来的有益效果是：
本申请提供的应用于车联网系统中的数据清洗方法，提供了两种清洗方式，一种是车联网中心处理器单独完成数据清洗，另一种是车联网中心处理器和车辆共同完成数据清洗，丰富了数据清洗的方式，而且，利用车联网中的车辆承担了部分决策及数据清洗过程中的资源消耗，解决了只依赖车联网中心处理器承担数据清洗操作导致的车联网中心处理器的资源消耗压力；而且，本申请通过对两种清洗方式对应的车联网中心处理器所需要提供的第四资源量和第五资源量进行对比，选取其中资源量较小的清洗方式作为目标清洗方式，使得在多种可选的清洗方式中选取车联网中心处理器所承担的资源量最小的方式进行数据清洗，进一步减轻车联网中心处理器的资源消耗。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例提供的应用于车联网系统中的数据清洗方法的流程图；
图2为本申请一个实施例提供的确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量的流程图；
图3为本申请一个实施例提供的车联网系统的结构示意图；
图4为本申请一个实施例提供的车联网系统可以提供的服务的示意图；
图5为本申请实施例提供的一种应用于车联网系统中的数据清洗装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
PaaS即Platform as a Service，是指平台，即车联网服务平台。
发明人在研究过程中发现，在通过车辆分担车联网中心处理器的资源消耗压力时，由于车联网中心处理器与车辆进行交互时会产生干扰和畸变，无法将车联网中心处理器与车辆共同提供的资源量全部用于决策和数据清洗，若不考虑交互过程中的资源折损，则会导致最终车联网中心处理器提供的资源量无法实现清洗操作；而且，基于这种情况，交互过程中产生的资源折损给车联网带来的资源消耗压力可能会大于车联网中心处理器单独承担清洗操作的资源压力，若该种情况下，还是采用车联网中心处理器与车辆共同承担数据清洗，无法实现减轻车联网中心处理器资源消耗的压力。
本申请实施例中的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。对于现有技术中所存在的技术问题，本申请提供的应用于车联网系统中的数据清洗方法、装置、电子设备及存储介质，旨在解决现有技术的如上技术问题中的至少一项。
其中，可选的，本申请实施例所提供的方案可以基于云技术实现，各可选实施例中所涉及的数据处理(包括但不限于数据计算等)，可以采用云计算实现。云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种可能的实现方式，如图1所示，提供了一种应用于车联网系统中的数据清洗方法的流程图，该方案可以由任一电子设备执行，可选的，可以在服务器端执行，具体的，可以由车辆网系统中的车联网中心处理器或车联网平台(如可以为车联网云平台)执行，其中，车辆网中心处理器和车辆网平台可以是部署在一起的，也可以是单独部署的两部分，该数据清洗方法可以包括以下步骤：
步骤S110，获取为车联网系统中的车辆进行决策所需的第一资源量；
步骤S120，获取采用第一清洗方式对车联网数据进行清洗所需的第二资源量、以及采用第二清洗方式对车联网数据进行清洗所需的第三资源量；其中，第一清洗方式是由车联网中心处理器进行数据清洗，第二清洗方式是由车联网中心处理器和车辆共同进行数据清洗；
步骤S130，获取在为车辆进行决策、以及对车联网数据进行清洗时车辆所能提供的资源的占比；
步骤S140，根据第一资源量、占比和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；根据第一资源量、占比和第三资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量；
步骤S150，将第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式。
本申请提供的方案可以适用但不限于如下场景：在车联网系统中电子设备，如服务器(车联网中心处理器、车联网平台或车辆网云平台)，接收到终端(如车联网系统中的车辆)上传的数据，检测到数据存在重复、错误等问题，需要对数据进行清洗。
为了再实现数据清洗目的的同时，尽可能的减少车联网中心处理服务器的资源消耗，本申请实施例的数据清洗方法，首先获取车联网系统中的车辆进行决策所需的第一资源量，该第一资源量可以为车联网中心处理器与车辆共同提取，获取车联网中心处理器单独完成数据清洗时，清洗过程需要的第二资源量，以及车联网中心处理器和车辆共同完成数据清洗时，清洗过程所需要的第三资源量。然后，获取车辆在决策过程及数据清洗过程中所提供的资源的占比，根据获得的第一资源量、占比、第二资源量和第三资源量，确定采用第一清洗方式，即车联网中心处理器单独完成数据清洗时，车联网中心处理器在决策过程及清洗过程中所需提供的第四资源量，以及确定采用第二清洗方式，即车联网中心处理器和车辆共同完成数据清洗时，车联网中心处理器在决策过程及清洗过程中所需提供第五资源量。对比第四资源量和第五资源量，选取其中资源量较小的清洗方式作为车联网数据的目标清洗方式。
其中，第一资源量可通过如下方式获取：车联网中心处理器可以从车联网平台获取做出当前决策(如：是否指示车辆刹车、加速、变道灯等)需消耗的第一资源量，记为Qtotal，决策类型与该决策需要消耗的资源量可通过历史数据统计或者车联网平台中存储的数据获得，车联网平台中存储的数据可以是预先实验获得并存储到车联网平台上的数据。
第二资源量可通过如下方式获取：车联网中心处理器可以从车联网平台获取第二资源量，即数据清洗工作全部由车联网中心处理器单独完成(无需靠车辆)需要消耗的资源量，记为Qsensor，同样地，第二资源量可通过历史数据统计或者车联网平台中存储的数据获得。
第三资源量可通过如下方式获取：车联网中心处理器可以从车联网平台获取车联网中心处理器和车辆共同完成数据清洗需要消耗的第三资源量，记为Qextra，在依靠车联网中心处理器和车辆共同完成数据清洗的条件下，决策类型与该决策依赖的数据清洗需消耗的资源量可通过历史数据统计或车联网平台中存储的数据获得。
在为车辆进行决策、以及对车联网数据进行清洗时，车辆所能提供的资源的占比，也就是，车联网中心处理器和车辆共同承担的资源量中，车辆所能提供的资源的占比。该占比可以通过如下方式获取：车联网中心处理器可以从车联网平台获取车联网系统中的车辆能为车联网中心处理器分担的资源占比，记为qtotal，车联网中心处理器基于车联网系统中的数据，如传感信息进行决策步骤可分解为若干子步骤，其中一些子步骤可由车辆先行完成：传感信息直接被传输到车辆中，并进行处理。子步骤的输出结果再传输到车联网中心处理器，这可以为车联网中心处理器分担计算资源。qtotal的值也可通过历史数据统计或者车联网平台中存储的数据获得。
根据第一资源量、第二资源量以及占比确定车联网中心处理器单独完成数据清洗时，车联网中心处理器在决策过程及清洗过程中所需提供的第四资源量。根据第一资源量、第三资源量以及占比确定车联网中心处理器和车辆共同完成数据清洗时，车联网中心处理器在决策过程及清洗过程中所需提供的第五资源量。
对比第四资源量和第五资源量的大小，若第四资源量小于第五资源量，则将第一清洗方式作为目标清洗方式，否则，将第二清洗方式作为目标清洗方式。
本申请提供的方案，提供了两种清洗方式，一种是车联网中心处理器单独完成数据清洗，另一种是车联网中心处理器和车辆共同完成数据清洗，丰富了数据清洗的方式，而且，利用车联网中的车辆承担了部分决策及数据清洗过程中的资源消耗，解决了只依赖车联网中心处理器承担数据清洗操作导致的车联网中心处理器的资源消耗压力；而且，本申请通过对两种清洗方式对应的车联网中心处理器所需要提供的第四资源量和第五资源量进行对比，选取其中资源量较小的清洗方式作为目标清洗方式，使得在多种可选的清洗方式中选取车联网中心处理器所承担的资源量最小的方式进行数据清洗，进一步减轻车联网中心处理器的资源消耗。
为了更清楚本申请提供的应用于车联网系统中的数据清洗方案及其技术效果，接下来以多个实施例对其具体实施方案进行详细阐述。
在一种可选实施例中，应用于车联网系统中的数据清洗方法，还包括：获取车联网中心处理器与车辆在交互过程中的有效资源率，该有效资源率基于交互过程中的资源折损确定；在该种情况下，根据第一资源量、占比、第二资源量和第三资源量，确定车联网中心处理器在决策过程及清洗过程中所需提供的对应于第一清洗方式的第四资源量、以及对应于第二清洗方式的第五资源量，包括：
基于有效资源率、第一资源量、占比、第二资源量和第三资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量、以及对应于第二清洗方式的第五资源量。
具体地，本实施例提供的数据清洗方法，包括：基于有效资源率、第一资源量、占比和第二资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；基于有效资源率、第一资源量、占比和第三资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
其中，由于车联网中心处理器与车辆在交互过程中存在数据的传输干扰(如噪声等)和信息畸变(如数据丢失等)，因此，车联网中心处理器、车辆提供资源量会在所提供的资源量的基础上打一个折扣，也就是产生了资源折损，为了表征该资源折损，本申请利用有效资源率表征资源折损之后的资源的剩余比例，该有效资源率记为dtotal，利用提供的总资源量与有效资源率可以获得资源剩余量，即有效资源量。同样地，车联网中心处理器可以从历史数据统计或车联网平台中存储的数据获得该有效资源率。
值得说明的是，上述有效资源率在理想情况下，可以为100％。
在此基础上，在确定车联网中心处理器在决策过程及清洗过程中所需要提供的第四资源量及第五资源量时，考虑了车联网中心处理器与车辆进行交互过程中的资源折损，有利于获得准确的第四资源量和第五资源量。
在此基础上，本申请一种可选实施例还提供了：基于有效资源率、第一资源量、占比和第二资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量，可通过如下方式进行，包括：
A1，基于有效资源率、第一资源量和占比，确定在决策过程中车联网中心处理器所提供的有效资源量；
A2，基于该有效资源量和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需要提供的对应于第一清洗方式的第四资源量。
本申请实施例是在考虑车联网中心处理器和车辆进行交互带来的资源折损情况下，确定车联网中心处理器单独完成数据清洗时，车联网中心处理器在决策和数据清洗过程中所提供的第四资源量，该第四资源量记为QPaaS，b。根据有效资源率dtotal、第一资源量Qtotal和占比qtotal确定决策过程中车联网中心处理器所提供的有效资源量可以用如下公式表示：
Qtotal*dtotal*(1-qtotal)，
那么，车联网中心处理器在决策过程中所提供的资源量为Qtotal*(1-qtotal)，在此基础上，结合车联网中心处理器单独完成数据清洗所需要的第二资源量Qsensor，确定第四资源量，第四资源量QPaaS，b的确定可通过如下公式表示：
QPaaS,b＝Qsensor+Qtotal(1-dtotalqtotal)
可选地，基于有效资源率、第一资源量、占比和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量，还可以通过如下方式确定，包括：
B1，基于第一资源量、占比和有效资源率，确定进行决策过程中车联网系统中的车辆所提供的有效资源量；
B2，基于车辆提供的有效资源量和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需要提供的对应于第一清洗方式的第四资源量。
其中，基于第一资源量、占比和有效资源率确定在决策过程中车辆所提供的有效资源量为Qtotaldtotalqtotal，由于该种清洗方式中，车辆不参与清洗操作，因此，在决策和清洗过程中，车辆所提供的有效资源量也就是决策过程中车辆所提供的有效资源量。基于第一资源量和第二资源量确定在决策和清洗过程中所需要的总的资源量，利用该总的资源量减去车辆所提供的有效资源量确定决策和清洗过程中车联网中心处理器所提供的第四资源量。
上述两种方式通过计算车联网中心处理器所提供的有效资源量或者车辆所提供的有效资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的第四资源量，均是在考虑车辆与车联网中心处理器在交互过程引起的资源折损情况下进行的，能够简便且精准地获取第四资源量。
上述实施例确定了车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一种清洗方式的第四资源量，接下来的可选实施例提供了一种方式以实现：基于有效资源率、第一资源量、占比和第三资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量，其流程图请参考图2所示，可以包括：
S210，基于第一资源量和第三资源量，确定对应于第二清洗方式的总资源量；
S220，基于该总资源量、有效资源率，确定对应于第二清洗方式的第二有效资源量；
S230，根据第二有效资源量和占比，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
基于决策过程所需的第一资源量和清洗过程所需的第三资源量，确定对应于第二清洗方式在决策和清洗过程所需要的总资源量，可选地，第一资源量为Qtotal，第三资源量为Qextra，则利用第二清洗方式进行数据清洗时，车联网中心处理器与车辆所需要提供的总资源量为(Qtotal+Qextra)。
根据该总资源量、有效资源率确定执行决策和第二清洗方式的第二有效资源量，可选地，有效资源率记为dtotal，根据该总资源量及有效资源率确定的第二有效资源量可以记为(Qtotal+Qextra)*dtotal。
根据第二有效资源量和占比，确定车联网系统中的车辆所提供的有效资源量，再根据第二清洗方式进行数据清洗时，车联网中心处理器和车辆所需要提供的总资源量以及在该过程中车辆所提供的有效资源量确定车联网中心处理器所需提供的对应于第二清洗方式的第五资源量。
可选地，第二清洗方式进行数据清洗时，车联网中心处理器和车辆所需要提供的总资源量为(Qtotal+Qextra)，在该过程中车辆所提供的有效资源量记为(Qtotal+Qextra)dtotalqtotal，那么，利用第二清洗方式所对应的总资源量减去车辆所提供的有效资源量得到在决策及清洗过程中车联网中心处理器所需提供的第五资源量QPaaS，a，可以记为QPaaS,a＝(Qtotal+Qextra)(1-dtotalqtotal)。
本实施例提供的方案，通过计算车联网系统中车辆在决策及清洗过程中所提供的有效资源量确定车联网中心处理器所需提供的第五资源量，考虑了车辆与车联网中心处理器在交互过程引起的资源折损，有利于简便且精准地获取第五资源量。
本申请一种可选实施例提供的应用于车联网系统中的数据清洗方式，在步骤S150提供的将第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式之后，还包括：
根据目标清洗方式对车联网数据进行清洗；
基于清洗后的数据对车联网系统中的车辆进行决策。
若第一清洗方式对应的第四资源量小于第二清洗方式对应的第五资源量，则将第一清洗方式作为目标清洗方式，车联网中心处理器单独完成对车联网系统中的数据清洗，否则，将第二清洗方式作为目标清洗方式，即利用车联网中心处理器和车辆共同完成数据清洗。然后基于清洗后的数据对车联网系统中的车辆进行决策。对车联网系统进行数据清洗后，可以将错误、重复等问题数据进行删除，清洗后的数据为正确数据，基于正确数据对车联网系统中的车辆进行路况信息、交通信息等的准确判断及决策。
本申请提供的应用于车联网系统中的数据清洗方法，可选地，该车联网系统包括车辆、车联网中心处理器和车联网平台，该车联网平台可以为车联网云平台，车辆中包括大量用于检测车辆自身状况及环境的传感器。其中，第一资源量、第二资源量、第三资源量及占比是从车联网平台获取。
结合图3所示的车联网系统的结构示意图阐述本申请提供的方案，车联网系统包括：车联网平台、车联网中心处理器、车辆(车辆中包含用于检测路况信息的传感器)。图3所示的图中包含两辆车，分别为车一、车二，两辆车可以通过无线网络直接发生数据交互，也可以通过云服务器进行数据交互。车辆中的传感器检测路况信息，并将路况信息上传至车联网平台，也可以发送至车辆，如报告车辆当前自身状态信息。车联网中心处理器从车联网平台获得第一资源量、第二资源量、第三资源量、占比及有效资源率，并基于第一资源量、第二资源量、第三资源量、占比及有效资源率确定对应于第一清洗方式的第四资源量、对应于第二清洗方式的第五资源量。
本申请提供的应用于车联网系统中的数据清洗方法，该方法的执行主体可以为车联网系统中的车联网处理器，也可以为车联网系统中的车联网平台。也就是说，也可以通过车联网平台获取车联网系统中的第一资源量、第二资源量、第三资源量、占比及有效资源率，基于上述数据确定第四资源量和第五资源量，并将资源量最小的清洗方式作为目标清洗方式。
值得说明的是，本申请提供的信息处理方案可适用于车联网系统中能够利用车辆提供的资源进行处理的场景中，如：感知信息的清洗、信息的存储等场景。
此外，本申请提供的车联网平台，可以为Paas平台中，相应地，车联网中心处理器为车联网中心处理器Paas，结合图4所示，图4为本申请提供的车联网系统可以提供的服务的示意图，该示意图只示出了部分服务，并不形成对本申请提供的方案的限制，车联网系统可以用于伴随式信息服务、视频上云、智慧服务区、蹭网运行监测、应急指挥调度、高速运营管理、大数据分析决策、收费稽查、个体风险评估、交通状况分析(如：交通流量检测、行驶速度检测、拥堵检测、排队长度检测)、交通事件检测、车辆身份识别、视频感知等，该车联网系统基于车联网平台获取到的数据，利用V2X数据交换引擎，提供V2X数据服务、用户管理、业务管理、网络服务、设备管理等，基于车联网中心处理器Paas以及Iaas提供的计算、网络、存储及容器等，可以提供如下服务：ETC门架、卡口监控、车辆检测、气象监测、5G基站、物联网监控等。
本申请利用车联网系统中的车辆为车联网中心处理器分担资源的性能，以减小车联网中心处理器的处理压力。而且，本申请在计算车联网中心处理器需要提供的资源量时考虑了车联网中心处理器和车辆交互时的干扰和信息畸变，提高了中心处理器需要提供的资源量的准确性。此外，本申请还提供了数据清洗的多种方式：车联网中心处理器单独清洗传感信息、车联网中心处理与车辆共同清洗传感信息，利用中心处理器的资源消耗较小的方式进行，以减少中心处理器的资源消耗，以进一步减少车联网中心处理器的资源消耗。
基于与本申请实施例所提供的方法相同的原理，本申请实施例还提供了一种应用于车联网系统中的数据清洗装置500，如图5所示，该装置可以包括：第一资源量获取模块510、第二及第三资源量获取模块520、占比获取模块530、第四及第五资源量确定模块540、目标清洗方式确定模块550，其中：
第一资源量获取模块510，用于获取为车联网系统中的车辆进行决策所需的第一资源量；
第二及第三资源量获取模块520，用于获取采用第一清洗方式对车联网数据进行清洗所需的第二资源量、以及采用第二清洗方式对车联网数据进行清洗所需的第三资源量；其中，第一清洗方式是由车联网中心处理器进行数据清洗，第二清洗方式是由车联网中心处理器和车辆共同进行数据清洗；
占比获取模块530，用于获取在为车辆进行决策、以及对车联网数据进行清洗时车辆所能提供的资源的占比；
第四及第五资源量确定模块540，用于根据第一资源量、占比和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；还用于根据第一资源量、占比和第三资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量；
目标清洗方式确定模块550，用于将第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式。
本申请提供的应用于车联网系统中的数据清洗装置，提供了两种清洗方式，一种是车联网中心处理器单独完成数据清洗，另一种是车联网中心处理器和车辆共同完成数据清洗，丰富了数据清洗的方式，而且，利用车联网中的车辆承担了部分决策及数据清洗过程中的资源消耗，解决了只依赖车联网中心处理器承担数据清洗操作导致的车联网中心处理器的资源消耗压力；而且，本申请通过对两种清洗方式对应的车联网中心处理器所需要提供的第四资源量和第五资源量进行对比，选取其中资源量较小的清洗方式作为目标清洗方式，使得在多种可选的清洗方式中选取车联网中心处理器所承担的资源量最小的方式进行数据清洗，进一步减轻车联网中心处理器的资源消耗。
可选地，本申请提供的数据清洗装置500，还包括：
有效资源率获取模块，用于获取车联网中心处理器与车辆在交互过程中的有效资源率；该有效资源率基于交互过程中的资源折损确定；
确定第四及第五资源量模块，包括第四资源量确定单元、第五资源量确定单元；
第四资源量确定单元，用于基于有效资源率、第一资源量、占比和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；
第五资源量确定单元，用于基于有效资源率、第一资源量、占比和第三资源量确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
可选地，第四资源量确定单元，具体用于：
基于有效资源率、第一资源量和占比，确定在决策过程中车联网中心处理器所提供的有效资源量；
基于有效资源量和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需要提供的对应于第一清洗方式的第四资源量。
可选地，第五资源量确定单元，具体用于：
基于第一资源量和第三资源量，确定对应于第二清洗方式的总资源量；
基于总资源量、有效资源率，确定对应于第二清洗方式的第二有效资源量；
根据第二有效资源量和占比，确定车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
可选地，应用于车联网系统中的数据清洗装置500中的车联网系统包括车辆、车联网中心处理器和车联网平台，其中，第一资源量、第二资源量、第三资源量、以及占比是从车联网平台获取的；
所述方法的执行主体为车联网中心处理器或车联网平台。
可选地，数据清洗装置500，还包括清洗模块，清洗模块用于：
根据目标清洗方式对车联网数据进行清洗；
基于清洗后的数据对车联网系统中的车辆进行决策。
本申请实施例的应用于车联网系统中的数据清洗装置可执行本申请实施例所提供的应用于车联网系统中的数据清洗方法，其实现原理相类似，本申请各实施例中的应用于车联网系统中的数据清洗装置中的各模块、单元所执行的动作是与本申请各实施例中的应用于车联网系统中的数据清洗方法中的步骤相对应的，对于应用于车联网系统中的数据清洗装置的各模块的详细功能描述具体可以参见前文中所示的对应的应用于车联网系统中的数据清洗方法中的描述，此处不再赘述。
基于与本申请的实施例中所示的方法相同的原理，本申请的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本申请任一可选实施例所示的应用于车联网系统中的数据清洗方法。与现有技术相比，本申请利用车联网系统中的车辆为车联网中心处理器分担资源的性能，以减小车联网中心处理器的处理压力。而且，本申请在计算车联网中心处理器需要提供的资源量时考虑了车联网中心处理器和车辆交互时的干扰和信息畸变，提高了中心处理器需要提供的资源量的准确性。此外，本申请还提供了数据清洗的多种方式：车联网中心处理器单独清洗传感信息、车联网中心处理与车辆共同清洗传感信息，利用中心处理器的资源消耗较小的方式进行，以减少中心处理器的资源消耗，以进一步减少车联网中心处理器的资源消耗。
在一个可选实施例中提供了一种电子设备，如图6所示，图6所示的电子设备4000可以为服务器，包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请提供的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请提供的车联网系统中的数据清洗方法，可以实现对目标清洗方式的智能决策。该种方案还可以通过人工智能云服务实现，人工智能云服务，一般也被称作是AIaaS(AIas a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。本申请中，可以利用平台提供的AI框架和AI基础设施来实现本申请提供的应用于车联网系统中的数据清洗方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的应用于车联网系统中的数据清洗方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一资源量获取模块还可以被描述为“获取为车联网系统中的车辆进行决策所需的第一资源量模块”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种应用于车联网系统中的数据清洗方法，其特征在于，包括：
获取为车联网系统中的车辆进行决策所需的第一资源量；
获取采用第一清洗方式对车联网数据进行清洗所需的第二资源量、以及采用第二清洗方式对车联网数据进行清洗所需的第三资源量；其中，第一清洗方式是由车联网中心处理器进行数据清洗，第二清洗方式是由车联网中心处理器和车辆共同进行数据清洗；
获取在为车辆进行决策、以及对车联网数据进行清洗时所述车辆所能提供的资源的占比；
根据所述第一资源量、占比和第二资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；
根据所述第一资源量、占比和第三资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量；
将所述第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取所述车联网中心处理器与车辆在交互过程中的有效资源率；所述有效资源率基于所述交互过程中的资源折损确定；
所述根据所述第一资源量、占比和第二资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量，包括：
基于所述有效资源率、第一资源量、占比和第二资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；
所述根据所述第一资源量、占比和第三资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量，包括：
基于所述有效资源率、第一资源量、占比和第三资源量确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
3.根据权利要求2所述的方法，其特征在于，所述基于所述有效资源率、第一资源量、占比和第二资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量，包括：
基于所述有效资源率、第一资源量和所述占比，确定在决策过程中车联网中心处理器所提供的有效资源量；
基于所述有效资源量和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需要提供的对应于第一清洗方式的第四资源量。
4.根据权利要求2所述的方法，其特征在于，所述基于所述有效资源率、第一资源量、占比和第三资源量确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量，包括：
基于所述第一资源量和第三资源量，确定对应于第二清洗方式的总资源量；
基于所述总资源量、所述有效资源率，确定对应于第二清洗方式的第二有效资源量；
根据所述第二有效资源量和所述占比，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
5.根据权利要求1所述的方法，其特征在于，车联网系统包括车辆、车联网中心处理器和车联网平台，其中，所述第一资源量、第二资源量、第三资源量以及所述占比是从所述车联网平台获取的；
所述方法的执行主体为所述车联网中心处理器或所述车联网平台。
6.根据权利要求1所述的方法，其特征在于，所述将所述第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式之后，还包括：
根据目标清洗方式对车联网数据进行清洗；
基于清洗后的数据对车联网系统中的车辆进行决策。
7.一种应用于车联网系统中的数据清洗装置，其特征在于，包括：
第一资源量获取模块，用于获取为车联网系统中的车辆进行决策所需的第一资源量；
第二及第三资源量获取模块，用于获取采用第一清洗方式对车联网数据进行清洗所需的第二资源量、以及采用第二清洗方式对车联网数据进行清洗所需的第三资源量；其中，第一清洗方式是由车联网中心处理器进行数据清洗，第二清洗方式是由车联网中心处理器和车辆共同进行数据清洗；
占比获取模块，用于获取在为车辆进行决策、以及对车联网数据进行清洗时所述车辆所能提供的资源的占比；
第四及第五资源量确定模块，用于根据所述第一资源量、占比和第二资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；还用于根据所述第一资源量、占比和第三资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量；
目标清洗方式确定模块，用于将所述第四资源量和第五资源量中较小的资源量所对应的清洗方式确定为车联网数据的目标清洗方式。
8.根据权利要求7所述的装置，其特征在于，还包括：
有效资源率获取模块，用于获取所述车联网中心处理器与车辆在交互过程中的有效资源率；所述有效资源率基于所述交互过程中的资源折损确定；
第四及第五资源量确定模块，包括第四资源量确定单元、第五资源量确定单元；
第四资源量确定单元，用于基于所述有效资源率、第一资源量、占比和第二资源量，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第一清洗方式的第四资源量；
第五资源量确定单元，用于基于所述有效资源率、第一资源量、占比和第三资源量确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
9.根据权利要求8所述的装置，其特征在于，所述第四资源量确定单元，具体用于：
基于所述有效资源率、第一资源量和所述占比，确定在决策过程中车联网中心处理器所提供的有效资源量；
基于所述有效资源量和第二资源量，确定车联网中心处理器在决策和数据清洗过程中所需要提供的对应于第一清洗方式的第四资源量。
10.根据权利要求8所述的装置，其特征在于，所述第五资源量确定单元，具体用于：
基于所述第一资源量和第三资源量，确定对应于第二清洗方式的总资源量；
基于所述总资源量、所述有效资源率，确定对应于第二清洗方式的第二有效资源量；
根据所述第二有效资源量和所述占比，确定所述车联网中心处理器在决策和数据清洗过程中所需提供的对应于第二清洗方式的第五资源量。
11.根据权利要求7所述的装置，其特征在于，还包括清洗模块，所述清洗模块用于：
根据目标清洗方式对车联网数据进行清洗；
基于清洗后的数据对车联网系统中的车辆进行决策。
12.一种车联网系统，包括通信连接的车辆、车联网中心处理器和车联网平台，其特征在于，所述车联网中心处理器或车联网平台包含权利要求7至11任一项所述的数据清洗装置。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011191328.8A CN112287178B (zh) | 2020-10-30 | 2020-10-30 | 数据清洗方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011191328.8A CN112287178B (zh) | 2020-10-30 | 2020-10-30 | 数据清洗方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287178A CN112287178A (zh) | 2021-01-29 |
| CN112287178B true CN112287178B (zh) | 2023-11-17 |
Family
ID=74353299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011191328.8A Active CN112287178B (zh) | 2020-10-30 | 2020-10-30 | 数据清洗方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287178B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113268476A (zh) * | 2021-06-07 | 2021-08-17 | 一汽解放汽车有限公司 | 应用于车联网的数据清洗方法、装置和计算机设备 |
| CN113535696B (zh) * | 2021-06-25 | 2024-03-15 | 中国民生银行股份有限公司 | 一种数据清洗方法、装置、电子设备和介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324123A (zh) * | 2013-06-27 | 2013-09-25 | 重庆大学 | 基于嵌入式系统的车载数据预处理方法 |
| CN104580327A (zh) * | 2013-10-29 | 2015-04-29 | 上海沐风数码科技有限公司 | 基于3g网络的车联网智能终端及其实现方法 |
| CN104580528A (zh) * | 2015-02-03 | 2015-04-29 | 南京阖云骥联信息科技有限公司 | 一种应用于车联网的信息传输控制方法 |
| CN104602194A (zh) * | 2013-10-31 | 2015-05-06 | 国际商业机器公司 | 车联网中的数据传输方法及设备 |
| CN105577755A (zh) * | 2015-12-10 | 2016-05-11 | 安徽海聚信息科技有限责任公司 | 一种车联网终端服务系统 |
| CN106021033A (zh) * | 2016-06-01 | 2016-10-12 | 北京车网互联科技有限公司 | 一种基于失真gps数据的清洗方法及清洗系统 |
| CN106168799A (zh) * | 2016-06-30 | 2016-11-30 | 常伟 | 一种基于大数据机器学习进行电动汽车电池预测性维护的方法 |
| CN106372134A (zh) * | 2016-08-26 | 2017-02-01 | 四川九洲电器集团有限责任公司 | 一种车联网实时数据处理方法及系统 |
| CN106407277A (zh) * | 2016-08-26 | 2017-02-15 | 北京车网互联科技有限公司 | 一种基于车联网数据对车主驻留点聚类后的属性分析方法 |
| CN107293113A (zh) * | 2016-03-31 | 2017-10-24 | 高德信息技术有限公司 | 一种区域拥堵延时指数的计算方法及装置 |
| CN108791055A (zh) * | 2018-06-13 | 2018-11-13 | 蔡璟 | 一种汽车驾驶异常监测系统 |
| CN108924789A (zh) * | 2018-06-21 | 2018-11-30 | 中国联合网络通信集团有限公司 | 车联网通信模式选择方法及装置 |
| CN109756548A (zh) * | 2018-01-24 | 2019-05-14 | 启迪云控(北京)科技有限公司 | 智能网联汽车云控基础平台数据处理方法、系统及装置 |
| CN110415560A (zh) * | 2019-08-07 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 基于车联网系统的资源量估计方法、碰撞预测方法及装置 |
| CN110784420A (zh) * | 2019-09-20 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 车联网系统的资源管理方法、装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033413A1 (en) * | 2001-06-19 | 2003-02-13 | Willson Alan N. | Mobile wireless local area network |
| US20130330043A1 (en) * | 2012-06-12 | 2013-12-12 | CABLExpress | Ladder Rack Enclosure |
-
2020
- 2020-10-30 CN CN202011191328.8A patent/CN112287178B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324123A (zh) * | 2013-06-27 | 2013-09-25 | 重庆大学 | 基于嵌入式系统的车载数据预处理方法 |
| CN104580327A (zh) * | 2013-10-29 | 2015-04-29 | 上海沐风数码科技有限公司 | 基于3g网络的车联网智能终端及其实现方法 |
| CN104602194A (zh) * | 2013-10-31 | 2015-05-06 | 国际商业机器公司 | 车联网中的数据传输方法及设备 |
| CN104580528A (zh) * | 2015-02-03 | 2015-04-29 | 南京阖云骥联信息科技有限公司 | 一种应用于车联网的信息传输控制方法 |
| CN105577755A (zh) * | 2015-12-10 | 2016-05-11 | 安徽海聚信息科技有限责任公司 | 一种车联网终端服务系统 |
| CN107293113A (zh) * | 2016-03-31 | 2017-10-24 | 高德信息技术有限公司 | 一种区域拥堵延时指数的计算方法及装置 |
| CN106021033A (zh) * | 2016-06-01 | 2016-10-12 | 北京车网互联科技有限公司 | 一种基于失真gps数据的清洗方法及清洗系统 |
| CN106168799A (zh) * | 2016-06-30 | 2016-11-30 | 常伟 | 一种基于大数据机器学习进行电动汽车电池预测性维护的方法 |
| CN106372134A (zh) * | 2016-08-26 | 2017-02-01 | 四川九洲电器集团有限责任公司 | 一种车联网实时数据处理方法及系统 |
| CN106407277A (zh) * | 2016-08-26 | 2017-02-15 | 北京车网互联科技有限公司 | 一种基于车联网数据对车主驻留点聚类后的属性分析方法 |
| CN109756548A (zh) * | 2018-01-24 | 2019-05-14 | 启迪云控(北京)科技有限公司 | 智能网联汽车云控基础平台数据处理方法、系统及装置 |
| CN108791055A (zh) * | 2018-06-13 | 2018-11-13 | 蔡璟 | 一种汽车驾驶异常监测系统 |
| CN108924789A (zh) * | 2018-06-21 | 2018-11-30 | 中国联合网络通信集团有限公司 | 车联网通信模式选择方法及装置 |
| CN110415560A (zh) * | 2019-08-07 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 基于车联网系统的资源量估计方法、碰撞预测方法及装置 |
| CN110784420A (zh) * | 2019-09-20 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 车联网系统的资源管理方法、装置 |
Non-Patent Citations (3)
| Title |
|---|
| 乘用车流通大数据建设研究;惠怡静;孟菲;郑宝成;;汽车工业研究(11);第6-12页 * |
| 大数据环境下的管理信息系统发展研究;罗秀微;;通讯世界(第06期);第218页 * |
| 水利云下的数据清洗策略研究与实现;王海沛;冯军军;贾如春;;软件(10);第97-101页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287178A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10692492B2 (en) | Techniques for client-side speech domain detection using gyroscopic data and a system using the same | |
| CN110874440B (zh) | 一种信息推送及其模型训练的方法、装置及电子设备 | |
| CN112287178B (zh) | 数据清洗方法、装置、电子设备及存储介质 | |
| CN110765354B (zh) | 信息的推送方法、装置、电子设备及存储介质 | |
| CN112954354B (zh) | 视频的转码方法、装置、设备和介质 | |
| CN110636367A (zh) | 一种视频加载方法、装置、终端设备及介质 | |
| Chowdhury et al. | Mobile Crowd‐Sensing for Smart Cities | |
| CN110516422B (zh) | 用户身份的识别方法、装置、电子设备及存储介质 | |
| CN116388112B (zh) | 异常供应端断电方法、装置、电子设备和计算机可读介质 | |
| CN114125432A (zh) | 视频数据处理方法、装置、设备及存储介质 | |
| CN111292104B (zh) | 一种信息推送方法、装置、电子设备及存储介质 | |
| CN108770014B (zh) | 网络服务器的计算评估方法、系统、装置及可读存储介质 | |
| CN112463391A (zh) | 内存控制方法、内存控制装置、存储介质与电子设备 | |
| CN115907136B (zh) | 电动汽车调度方法、装置、设备和计算机可读介质 | |
| CN113395319B (zh) | 网络故障感知的方法、系统、电子设备及存储介质 | |
| CN113033680A (zh) | 视频分类方法、装置、可读介质及电子设备 | |
| CN114422698A (zh) | 视频生成方法、装置、设备及存储介质 | |
| CN111582482B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
| CN116894538B (zh) | 节点碳排放信息生成方法、装置、电子设备和介质 | |
| CN110532475B (zh) | 一种信息预估方法、装置、电子设备及存储介质 | |
| CN112070163B (zh) | 图像分割模型训练和图像分割方法、装置、设备 | |
| CN116758458A (zh) | 一种视频分析方法、装置、设备及存储介质 | |
| CN117454959A (zh) | 神经网络模型结构确定方法、装置、设备、介质及产品 | |
| CN116933857A (zh) | 神经网络的剪枝处理方法、装置、设备及介质 | |
| CN113240107A (zh) | 图像处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40037794 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |