CN114827209A - 一种数据采集方法、装置、电子设备及存储介质 - Google Patents
一种数据采集方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114827209A CN114827209A CN202210496083.2A CN202210496083A CN114827209A CN 114827209 A CN114827209 A CN 114827209A CN 202210496083 A CN202210496083 A CN 202210496083A CN 114827209 A CN114827209 A CN 114827209A
- Authority
- CN
- China
- Prior art keywords
- task
- data acquisition
- data
- tasks
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007499 fusion processing Methods 0.000 claims abstract description 40
- 238000013480 data collection Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000005070 sampling Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006855 networking Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012550 audit Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例涉及计算机技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。该方法包括：按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。通过融合任务的方式，实现了多项采集任务并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。
背景技术
车联网数据是当前汽车行业的核心资产，因此获取车联网数据的采集平台层出不穷，但在车端计算资源有限的情况下，极大的限制了数据的采集效率。
现有技术下，可以通过串行执行配置采集数据，也可以通过任务调度系统暂停原采集数据，进而实现数据采集。但是，现有技术中，串行执行配置采集数据采集时间长，不能灵活配置，其他业务需求方等待时间加长，无法满足多业务需求方及时采集所需数据的需要，而现有的任务调度系统，线下沟通成本高，易造成各需求方的冲突，在场景增加的情况下不能及时获取到数据来解决紧急问题。因此，亟待提出一种新的数据采集方法，以解决上述问题。
发明内容
鉴于此，为解决现有技术中上述技术问题，本发明实施例提供一种数据采集方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供一种数据采集方法，该方法包括：按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。
可选地，任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理，包括：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理；将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
可选地，按照目标间隔时长响应对数据采集任务的任务获取操作之前，方法还包括：向用户显示数据采集任务配置交互界面；接收用户在数据采集任务配置交互界面的任务配置操作。
可选地，获取每一个数据采集任务包含的任务属性数据之前，方法还包括：对获取到数据采集任务响应任务审核操作；对审核通过的数据采集任务响应后续的任务融合操作。
可选地，将融合处理后的数据采集任务发送至相应的被采集对象之后，还包括：接收被采集对象基于最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间上传的数据。
可选地，被采集对象包括车联网车辆，被采集对象的属性信息包括：车辆标识信息和需要采集的车辆信号。
第二方面，本发明实施例提供一种数据采集装置，应用于数据采集平台，数据采集平台与多个被采集对象通信连接，包括：获取模块，用于按照目标间隔时长响应对数据采集任务的任务获取操作；第一处理模块，用于当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；第二处理模块，用于根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；发送模块，用于将融合处理后的数据采集任务发送至相应的被采集对象。
可选地，任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；第二处理模块，用于：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理；将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
第三方面，本申请提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行如第一方面或第一方面任一可能的实施方式的方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面任一可能的实施方式的方法的步骤。
本发明提供的数据采集方法，按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。通过融合任务的方式，实现了多项采集任务并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
附图说明
图1为本发明实施例提供的一种数据采集方法流程示意图；
图2为本发明实施例提供的获取任务流程示意图；
图3为本发明实施例提供的审核任务流程示意图；
图4为本发明实施例提供的一种数据采集装置结构示意图；
图5为本发明实施例提供一种数据采集电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
需要说明的是，本申请中实施例大多以车辆的相关数据采集为例，但是在实际应用中，本申请对应的方法，并不仅限于车辆的相关数据采集，可以任意数据，在此不做限定，而述各个实施例也仅为示例。
图1为本发明实施例提供的一种数据采集方法流程示意图，该方法步骤执行过程，具体可以参见图1所示，该方法包括：
步骤110，按照目标间隔时长响应对数据采集任务的任务获取操作。
示例性的，对于在非指定间隔时长内的任务，不会对任务进行获取操作。
在一种可选示例中，假设预设的间隔时长为30分钟，并假设计时开始时间为1点，一并假设存在有任务A，任务B，任务C，任务D，其中，任务A的开始时间为1点10分，任务B的开始时间为1点15分，任务C的开始时间为1点20分，任务D的开始时间为1点40分，其中，第一个预设的时间间隔为1点至1点30分，其中包含有任务A，任务B，任务C，因此，第一次获取操作，仅收集任务A，任务B，任务C。本申请对目标间隔时长不作限定，本领域技术人员可以根据实际需要确定。
步骤120，当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据。
示例性的，任务属性数据包括但不限于：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期等等有关的数据信息，在此不做限定。当被采集对象为车联网车辆，被采集对象的属性信息包括但不限于车辆标识信息(如车辆车型信息、车辆的ECU信息)、车辆分组信息以及需要采集的车辆信号。
假设存在有三个任务，分别为任务E，任务F，任务G，获取上述三个任务后，开始获取每一个数据采集任务包含的任务属性数据，其中，任务E包括任务属性数据为：品牌车型a、车辆车型分组为b组，采集时间为2022.03.01 8:00～2022.03.04 12:00，采集的信号为关于车辆中某一零部件的信号，与车端交互的目标ECU，采集任务优先级—高，信号的采样周期200ms以及信号的上传周期10s。任务F包括：品牌车型a、车辆车型分组为b组，采集时间为2022.03.01 8:00～2022.03.04 12:00，需要采集的信号为关于不同供应商的信号，与车端交互的目标ECU，采集任务优先级—高，信号的采样周期100ms以及信号的上传周期10s。任务G包括：品牌车型a、车辆车型分组为b组，采集时间为2022.03.01 8:00～2022.03.0412:00，需要采集的信号为车辆故障报警信号，与车端交互的目标ECU，采集任务优先级—高，信号的采样周期100ms以及信号的上传周期20s。
步骤130，根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理。示例性地，可以将所有任务属性数据均相同的多个数据采集任务融合处理为一个数据采集任务。
作为本申请一个可选实施方式，步骤130，包括：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务，确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间，根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理，将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
示例性地，仍以上述任务E，任务F和任务G为例，其中，任务E，任务F和任务G的被采集对象以及任务优先级均相同，因此，开始确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间。对于最小采集周期，采集任务E采样周期200ms，采集任务F，G采样周期100ms根据融合规则，采样周期为100ms，对于最小上传周期，采集任务E、F上传周期10s，采集任务G上传周期20s根据融合规则，上传周期为10s，对于最早数据采集开始时间和最早数据采集结束时间，采集任务E采集时间是2022.03.01 8:00～2022.03.04 12:00采集任务F采集时间是2022.03.01 9:00～2022.03.04 12:00采集任务G采集时间是2022.03.01 10:00～2022.03.04 12:00，所以融合后采集时间范围是2022.03.01 8:00～2022.03.04 12:00。
步骤140，将融合处理后的数据采集任务发送至相应的被采集对象。
示例性的，在获得融合任务之后，可以对任务进行打包操作，发送至被采集对象处。在融合过程中可以对数据进行去重操作，删除掉融合任务中重复的事项。
在一个可选的示例中，假设采集任务的最早开始时间为8：00，则需要将任务生成脚本文件，并在8：00准时发送至被采集对象处。
本发明提供的数据采集方法，按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。通过融合任务的方式，实现了多项采集并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
作为本发明一个可选实施方式，按照目标间隔时长响应对数据采集任务的任务获取操作之前，参阅图2所示，该方法还包括：
步骤210，向用户显示数据采集任务配置交互界面。
示例性的，将所有需要用户配置的项目在交互界面进行展示。
在一个可选的实施例中，假设仍以上述任务为例，在任务E的交互界面，显示的项目为：品牌车型—车辆车型分组，采集时间，采集的信号，与车端交互的目标ECU，采集任务优先级，每个信号的采样周期，信号的上传周期。
步骤220，接收用户在数据采集任务配置交互界面的任务配置操作。
示例性的，任务配置操作的方式可以通过接收用户的点选等操作完成。
作为本发明一个可选实施方式，为了保证任务的可操作性，获取每一个数据采集任务包含的任务属性数据之前，参阅图3所示，该方法还包括：
步骤310，对获取到数据采集任务响应任务审核操作。
示例性的，将采集任务发送至任务审核模块，对任务的合规性等内容进行审核操作。通过设置审核端进行审核会，对采集任务建立了保护机制。
步骤320，对审核通过的数据采集任务响应后续的任务融合操作。
示例性的，对于没有审核通过的采集任务则直接撤回，并在交互页面中进行提示。只有审核通过的任务才能够在达到开始时间后下发给对应的被采集对象。
作为本申请一个具体实施方式，数据采集平台后台将每15/45分定时扫描是否有可以融合的采集任务，如果有多个满足条件的采集任务则进入融合程序，执行融合步骤：数据采集平台系统自行判断是否为同一车辆品牌及同一分组，其次判断目标ECU是否相同，再次判断采集优先级是否相同，然后取最小上传周期及最小采集时间范围，最后将采集的信号做去重合并处理及取最小采样周期，每15分/45分将多个采集任务融合一次，每半点/整点将融合后的任务下发给车端。此步骤是将不同业务需求方设置的采集任务在符合要求的前提下进行融合，生成新的脚本下发给车端，避免造成下发冲突的情况，将采集任务有效的分发下去，能够节省车端资源。车端根据采样周期，在上传周期范围内将采样的数据上报给数据采集平台，数据采集平台将对此数据进行自动解析，形成各类分析图表。此步骤是节省了不同业务需求方人工、物力的成本，由手动分析变为系统自动解析，提升了工作效率。
例如，三个需求方需要在2022年3月1日～2022年3月4日采集a品牌下b车的车辆数据并加以分析使用。
需求方1(售后服务方)：采集汽车零部件使用情况的数据，来帮助相关车主构建适合自身需求的分析模型。
需求方2(汽车供应商)：采集相同车况下，不同供应商的数据，来获取不同供应商车辆的数据，进行对比分析得出评价。
需求方3(远程诊断工程师)：采集车辆出现故障的数据，通过数据采集获取车辆状态数据以便得出分析结果。
操作步骤如下：
1、三个需求方通过账号，根据步骤分别建立配置采集任务：
A.售后服务方采集任务建立：
选择a品牌车型、车辆车型分组为b组；
设置采集时间为2022.03.01 8:00～2022.03.04 12:00；
选择需要采集的信号为关于车辆中某一零部件的信号；
设置与车端交互的目标ECU；
设置采集任务优先级—高；
设置每个信号的采样周期200ms以及信号的上传周期10s；
保存后提交审核。
B.汽车供应商采集任务建立：
选择a品牌车型、车辆车型分组为b组；
设置采集时间为2022.03.01 8:00～2022.03.04 12:00；
选择需要采集的信号为关于不同供应商的信号；
设置与车端交互的目标ECU；
设置采集任务优先级—高；
设置每个信号的采样周期100ms以及信号的上传周期10s；
保存后提交审核。
C.车辆故障诊断处理方采集任务建立：
选择a品牌车型、车辆车型分组为b组；
设置采集时间为2022.03.01 8:00～2022.03.04 12:00；
选择需要采集的信号为车辆故障报警信号；
设置与车端交互的目标ECU；
设置采集任务优先级—高；
设置每个信号的采样周期100ms以及信号的上传周期20s；
保存后提交审核。
这时在采集任务审核管理中新增3条采集任务等待审核。
2、采集任务审核管理：系统管理员审核将3个需求方建立的采集任务一一点击审核通过。
3、数据采集平台将3个需求方采集任务融合，有效分发给车端：
融合步骤：数据采集平台后台在2022.03.01 7：45定时扫描到采集任务A、B、C(满足同一车辆品牌及同一分组，目标ECU相同，采集优先级相同的条件)可以融合在一起；
取最小采样时间：采集任务A采样周期200ms，采集任务B，C采样周期100ms根据融合规则，采样周期为100ms；
取最小上传周期：采集任务A、B上传周期10s，采集任务C上传周期20s根据融合规则，上传周期为10s；
取最早采集开始时间及最早结束时间：采集任务A采集时间是2022.03.01 8:00～2022.03.04 12:00；采集任务B采集时间是2022.03.01 9:00～2022.03.04 12:00；采集任务C采集时间是2022.03.01 10:00～2022.03.04 12:00，所以融合后采集时间范围是2022.03.01 8:00～2022.03.04 12:00；
信号去重：将关于某一零部件的信号及不同供应商的信号及车辆故障报警信号，相同信号去重。生成融合json脚本下发，将生成的融合json脚本在2022.03.01 8:00下发给车端；
4、车端根据融合脚本上传数据：车端将会在2022.03.01 8:00～2022.03.04.12:00根据上传周期10s及采样周期100ms，将采样的数据上报给数据采集平台，数据采集平台将对此数据进行自动解析，形成售后服务商、汽车供应商、车辆故障诊断处理方所需要的各类分析图表。
本申请实施例记载的方案，支持多业务需求方采集方案的配置下发(如售后服务方、远程诊断方、供应商评价分析方、增值服务方等)同步采集，满足了多种场景下的数据采集需求；且由传统的采集信号方式升级为动态数据采集的设计方法，数据采集平台处理全部逻辑，节省车端资源，避免造成拥堵。
本发明实施例还公开了一种数据采集装置，应用于数据采集平台，数据采集平台与多个被采集对象通信连接，如图4所示，包括：
获取模块410，用于按照目标间隔时长响应对数据采集任务的任务获取操作；
第一处理模块420，用于当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；
第二处理模块430，用于根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；
发送模块440，用于将融合处理后的数据采集任务发送至相应的被采集对象。
本发明实施例提供的数据采集装置，通过融合任务的方式，实现了多项采集并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
作为本申请一个可选实施方式，任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；第二处理模块430，用于：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理；将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
作为本申请一个可选实施方式，获取模块410，用于：向用户显示数据采集任务配置交互界面；接收用户在数据采集任务配置交互界面的任务配置操作。
作为本申请一个可选实施方式，第一处理模块420，用于：对获取到数据采集任务响应任务审核操作；对审核通过的数据采集任务响应后续的任务融合操作。
作为本申请一个可选实施方式，发送模块440，还用于：接收被采集对象基于最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间上传的数据。
作为本申请一个可选实施方式，获取模块410，用于：车辆标识信息和需要采集的车辆信号。
请参阅图5，图5是本发明可选实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备可以包括：至少一个处理器51，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non—volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图5所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线52可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random—access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non—volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：harddisk drive，缩写：HDD)或固态硬盘(英文：solid—state drive，缩写：SSD)；存储器54还可以包括上述种类的存储器的组合。
其中，处理器51可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application—specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field—programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic，缩写：GAL)或其任意组合。
可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请任一实施例中所示的数据采集的方法。
本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据采集的方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read—Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid—State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种数据采集方法，应用于数据采集平台，所述数据采集平台与多个被采集对象通信连接，其特征在于，包括：
按照目标间隔时长响应对数据采集任务的任务获取操作；
当监控到多个数据采集任务，获取每一个所述数据采集任务包含的任务属性数据；
根据每一个所述数据采集任务包含的任务属性数据对所述多个数据采集任务响应任务融合处理；
将融合处理后的数据采集任务发送至相应的被采集对象。
2.根据权利要求1所述的方法，其特征在于，所述任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；所述根据每一个所述数据采集任务包含的任务属性数据对所述多个数据采集任务响应任务融合处理，包括：
根据每一个所述数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；
确定所述待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据所述待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；
根据所述最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对所述待融合处理的数据采集任务进行融合处理；
将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
3.根据权利要求1所述的方法，其特征在于，按照目标间隔时长响应对数据采集任务的任务获取操作之前，所述方法还包括：
向用户显示数据采集任务配置交互界面；
接收用户在所述数据采集任务配置交互界面的任务配置操作。
4.根据权利要求1所述的方法，其特征在于，获取每一个所述数据采集任务包含的任务属性数据之前，所述方法还包括：
对获取到数据采集任务响应任务审核操作；
对审核通过的数据采集任务响应后续的任务融合操作。
5.根据权利要求2所述的方法，其特征在于，所述将融合处理后的数据采集任务发送至相应的被采集对象之后，还包括：
接收所述被采集对象基于所述最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间上传的数据。
6.根据权利要求1—5中任一项所述的方法，其特征在于，所述被采集对象包括车联网车辆，被采集对象的属性信息包括：车辆标识信息和需要采集的车辆信号。
7.一种数据采集装置，应用于数据采集平台，所述数据采集平台与多个被采集对象通信连接，其特征在于，包括：
获取模块，用于按照目标间隔时长响应对数据采集任务的任务获取操作；
第一处理模块，用于当监控到多个数据采集任务，获取每一个所述数据采集任务包含的任务属性数据；
第二处理模块，用于根据每一个所述数据采集任务包含的任务属性数据对所述多个数据采集任务响应任务融合处理；
发送模块，用于将融合处理后的数据采集任务发送至相应的被采集对象。
8.根据权利要求7所述的装置，其特征在于，所述任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；所述第二处理模块，用于：
根据每一个所述数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；
确定所述待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据所述待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；
根据所述最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对所述待融合处理的数据采集任务进行融合处理；
将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1—6任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1—6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210496083.2A CN114827209A (zh) | 2022-05-07 | 2022-05-07 | 一种数据采集方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210496083.2A CN114827209A (zh) | 2022-05-07 | 2022-05-07 | 一种数据采集方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114827209A true CN114827209A (zh) | 2022-07-29 |
Family
ID=82514263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210496083.2A Pending CN114827209A (zh) | 2022-05-07 | 2022-05-07 | 一种数据采集方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114827209A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823909A (zh) * | 2014-02-25 | 2014-05-28 | 北京农业信息技术研究中心 | 一种野外信息采集系统及其采集方法 |
| CN104574832A (zh) * | 2014-12-30 | 2015-04-29 | 杭州鲁尔物联科技有限公司 | 一种无线传感器网络地质灾害监测预警系统和方法 |
| WO2018059503A1 (zh) * | 2016-09-28 | 2018-04-05 | 中兴通讯股份有限公司 | 流量转发控制方法、装置及软件定义网络控制器和计算机存储介质 |
| CN110659796A (zh) * | 2019-08-08 | 2020-01-07 | 北京理工大学 | 一种可充电群车智能中的数据采集方法 |
| CN110930105A (zh) * | 2019-10-14 | 2020-03-27 | 平安科技（深圳）有限公司 | 任务清单的处理方法、装置、计算机设备和存储介质 |
| CN111614766A (zh) * | 2020-05-22 | 2020-09-01 | 知行汽车科技（苏州）有限公司 | 车辆信息显示系统、方法、装置及存储介质 |
| CN111737246A (zh) * | 2020-06-29 | 2020-10-02 | 北京明略软件系统有限公司 | 一种数据融合方法、装置、电子设备及存储介质 |
| CN112590808A (zh) * | 2020-12-23 | 2021-04-02 | 东软睿驰汽车技术（沈阳）有限公司 | 多传感器融合方法、系统及自动驾驶车辆 |
| CN112764916A (zh) * | 2020-12-18 | 2021-05-07 | 北京百度网讯科技有限公司 | 数据采集的方法及装置 |
| US20210191929A1 (en) * | 2018-08-23 | 2021-06-24 | Siemens Aktiengesellschaft | Method, device and system for forming fusion model, medium, processor and terminal |
| CN113408625A (zh) * | 2021-06-22 | 2021-09-17 | 之江实验室 | 应用于无人系统的多源异构数据单帧融合与一致表征方法 |
| CN114168268A (zh) * | 2021-12-15 | 2022-03-11 | 国网山东省电力公司淄博供电公司 | 基于容器技术的智慧台区营配数据采集融合方法及系统 |
-
2022
- 2022-05-07 CN CN202210496083.2A patent/CN114827209A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823909A (zh) * | 2014-02-25 | 2014-05-28 | 北京农业信息技术研究中心 | 一种野外信息采集系统及其采集方法 |
| CN104574832A (zh) * | 2014-12-30 | 2015-04-29 | 杭州鲁尔物联科技有限公司 | 一种无线传感器网络地质灾害监测预警系统和方法 |
| WO2018059503A1 (zh) * | 2016-09-28 | 2018-04-05 | 中兴通讯股份有限公司 | 流量转发控制方法、装置及软件定义网络控制器和计算机存储介质 |
| US20210191929A1 (en) * | 2018-08-23 | 2021-06-24 | Siemens Aktiengesellschaft | Method, device and system for forming fusion model, medium, processor and terminal |
| CN110659796A (zh) * | 2019-08-08 | 2020-01-07 | 北京理工大学 | 一种可充电群车智能中的数据采集方法 |
| CN110930105A (zh) * | 2019-10-14 | 2020-03-27 | 平安科技（深圳）有限公司 | 任务清单的处理方法、装置、计算机设备和存储介质 |
| CN111614766A (zh) * | 2020-05-22 | 2020-09-01 | 知行汽车科技（苏州）有限公司 | 车辆信息显示系统、方法、装置及存储介质 |
| CN111737246A (zh) * | 2020-06-29 | 2020-10-02 | 北京明略软件系统有限公司 | 一种数据融合方法、装置、电子设备及存储介质 |
| CN112764916A (zh) * | 2020-12-18 | 2021-05-07 | 北京百度网讯科技有限公司 | 数据采集的方法及装置 |
| CN112590808A (zh) * | 2020-12-23 | 2021-04-02 | 东软睿驰汽车技术（沈阳）有限公司 | 多传感器融合方法、系统及自动驾驶车辆 |
| CN113408625A (zh) * | 2021-06-22 | 2021-09-17 | 之江实验室 | 应用于无人系统的多源异构数据单帧融合与一致表征方法 |
| CN114168268A (zh) * | 2021-12-15 | 2022-03-11 | 国网山东省电力公司淄博供电公司 | 基于容器技术的智慧台区营配数据采集融合方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李少阳;姜凤宇;陈宜金;姜?;: "基于多源数据融合的矿用卡车空间信息可视化", 北京测绘, no. 12, 25 December 2019 (2019-12-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111510468B (zh) | 计算任务的调度方法、装置、服务器及计算系统 | |
| CN109344066B (zh) | 一种浏览器页面的测试方法、系统及终端 | |
| CN110769175B (zh) | 一种智能分析系统、方法及装置 | |
| CN110610376A (zh) | 行为数据的响应方法、装置、计算机设备及存储介质 | |
| CN110928934A (zh) | 一种用于业务分析的数据处理方法和装置 | |
| CN105099801A (zh) | 信息管理系统的测试系统和测试环境模拟方法 | |
| CN111209060A (zh) | 能力开发平台处理方法及装置 | |
| CN109684309A (zh) | 一种数据质量评测方法及装置、计算机设备和存储介质 | |
| CN109409948B (zh) | 交易异常检测方法、装置、设备及计算机可读存储介质 | |
| CN107315672B (zh) | 用于监控服务器的方法和装置 | |
| CN107317722B (zh) | 一种数据源可扩展系统及方法 | |
| CN114827209A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
| CN111581002A (zh) | 服务器故障的自动报障方法、装置和设备 | |
| CN110719325A (zh) | 响应用户请求的方法和装置 | |
| CN115499514A (zh) | 数据存储服务的访问方法、计算设备及计算机存储介质 | |
| CN111314743B (zh) | 一种界面数据的回放方法及其装置 | |
| CN114285774A (zh) | 流量录制方法、装置、电子设备及存储介质 | |
| CN114039878A (zh) | 一种网络请求的处理方法、装置、电子设备及存储介质 | |
| CN112491596A (zh) | 一种基于云端的故障处理方法及装置 | |
| CN110807679A (zh) | 基于区块链的出租车发票生成方法及装置 | |
| CN111950284A (zh) | 录单自动识别寄件人实名信息方法、系统、设备和存储介质 | |
| CN112487022B (zh) | 关联数据的采集方法、系统、存储介质及电子设备 | |
| CN109254768B (zh) | 制证信息的获取方法、终端设备及介质 | |
| CN114490687A (zh) | 一种客流数据的处理方法、装置、电子设备及存储介质 | |
| CN114398234A (zh) | 外网日志定制上传方法、客户端及日志收集系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |