CN111818178A - 一种数据采集方法、装置、计算机设备和存储介质 - Google Patents
一种数据采集方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111818178A CN111818178A CN202010747708.9A CN202010747708A CN111818178A CN 111818178 A CN111818178 A CN 111818178A CN 202010747708 A CN202010747708 A CN 202010747708A CN 111818178 A CN111818178 A CN 111818178A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- uploading
- failure
- sending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 100
- 238000004590 computer program Methods 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及一种数据采集方法、装置、计算机设备和存储介质，包括：响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。采用本方法能够针对性地补传失败任务的任务数据，既减少数据补采工作，又可以避免数据遗漏，实现了向远程设备提供完整、可靠的数据。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种数据采集方法、装置、计算机设备和存储介质。
背景技术
随着物联网的迅速发展，各类新型远程设备在物联网中发挥着越来越重要的作用，针对物联网设备向远程设备传输数据的时效性和完整性，用户的要求也在日益提高。
现有技术中，在物联网设备向远程设备发送数据的过程中，数据容易丢失。然而，在数据丢失后，物联网设备缺乏高效的数据补传机制，导致物联网设备难以向远程设备提供完整、可靠的数据，远程设备的数据补采工作大大增加。
发明内容
基于此，有必要针对上述技术问题，提供一种能够数据采集可靠性的数据采集方法、装置、计算机设备和存储介质。
一种数据采集方法，所述方法包括：
响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
可选地，所述根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据，包括：
获取所述缓存模块中的任务数据，并向所述数据接收设备重新上传所述缓存模块中的任务数据；
在接收到所述缓存模块中的任务数据对应的发送结果时，根据所述发送结果更新所述任务结果矩阵中的任务失败记录；
根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据。
可选地，所述缓存模块中的任务数据包括多个缓存任务数据，所述向所述数据接收设备重新上传所述缓存模块中的任务数据，包括：
确定所述多个缓存任务数据分别对应的数据优先级；
按照多个数据优先级对应的数据发送顺序，向所述数据接收设备发送所述多个缓存任务数据。
可选地，所述根据所述发送结果更新所述任务结果矩阵中的任务失败记录，包括：
若所述发送结果包括发送成功结果，确定所述发送成功结果对应的目标数据上传任务；
在所述任务结果矩阵中，确定所述目标数据上传任务对应的失败任务记录，并进行更新。
可选地，所述根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据，包括：
在当前的任务结果矩阵中，确定当前的任务失败记录对应的当前失败任务；
获取所述当前失败任务对应的多个初始传感设备数据；
采用预设数据格式对所述多个初始传感设备数据进行格式转换，得到多个目标传感设备数据；
采用所述多个目标传感设备数据，生成所述当前失败任务对应的任务数据，并向所述数据接收设备发送。
可选地，还包括：
接收任务配置信息，并从所述任务配置信息中获取数据采集项和上传周期信息；
采用所述数据采集项和上传周期信息，确定数据上传任务；其中，数据上传任务包括按照所述上传周期信息对应的数据上传时间，向所述数据接收设备发送所述数据采集项对应的数据。
可选地，还包括：
获取多个数据上传任务分别对应的任务标识和数据上传时间；
采用多个任务标识和多个数据上传时间生成任务结果矩阵；其中，所述任务结果矩阵中的任务失败记录采用二进制数据记录。
一种数据采集装置，所述装置包括：
数据上传模块，用于响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
任务失败记录生成模块，用于当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
数据补传模块，用于根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据采集方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据采集方法的步骤。
上述一种数据采集方法、装置、计算机设备和存储介质，通过响应于接收到的数据上传任务，可以向数据接收设备发送数据上传任务对应的任务数据，当接收到针对任务数据返回的上传失败结果时，在任务结果矩阵中，针对数据上传任务生成任务失败记录，并向预设的缓存模块发送任务数据，任务结果矩阵可以包括失败任务对应的任务失败记录，进而可以根据缓存模块中的任务数据和任务结果矩阵，向数据接收设备重新上传失败任务对应的任务数据，由于可以对失败任务进行记录，在数据补传时，能够针对性地补传失败任务的任务数据，既减少了数据补采工作，又可以避免数据遗漏，实现了向远程设备提供完整、可靠的数据。
附图说明
图1为一个实施例中一种数据采集方法的应用环境图；
图2为一个实施例中一种数据采集方法的流程示意图；
图3为一个实施例中一个任务结果矩阵的示意图；
图4为一个实施例中一种任务数据的发送步骤的流程示意图；
图5为一个实施例中一种任务数据的获取步骤的流程示意图；
图6为一个实施例中一种物联网设备采集数据方法的流程示意图；
图7为一个实施例中一种数据采集装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种数据采集方法，可以应用于如图1所示的应用环境中。其中，数据采集设备102可以通过网络与数据接收设备104进行通信，数据采集设备102可以是传感设备，当多个传感设备通过网络建立连接时，数据采集设备102可以是物联网设备，数据接收设备104可以用独立的服务器或者是多个服务器组成的服务器集群来实现，例如与物联网设备通信的远程主站。
在一个实施例中，如图2所示，提出了一种数据采集方法，以该方法应用于图1中的数据采集设备为例进行说明，可以包括如下步骤：
步骤201，响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
作为一示例，数据上传任务可以指定数据采集设备采集任务数据，并向数据接收设备发送任务数据。数据采集设备通过向数据接收设备发送任务数据，完成数据上传任务，例如，在数据上传任务中，指定数据采集设备向数据接收设备发送数据A，数据A为任务数据。
在实际应用中，可以向数据采集设备发送数据上传任务，通知数据采集设备上传数据，各个数据上传任务可以具有对应的任务内容。响应于接收到的数据上传任务，数据采集设备可以确定数据上传任务对应的任务内容和数据接收设备，并向数据接收设备发送与任务内容匹配的任务数据。
步骤202，当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
作为一示例，任务结果矩阵可以用于记录数据上传任务的任务结果，任务结果矩阵也可以称为任务跟踪矩阵，其可以采用数据表形式生成。
在具体实现中，数据上传任务可以包括在预设时间向数据接收设备发送任务数据，当数据采集设备执行数据上传任务，为了防止任务数据在传输过程中发生丢失，导致数据接收设备未能成功接收的情况发生，可以判断数据接收设备是否在预设时间内接收到任务数据，若在预设时间内接收到任务数据，并且成功存储至预设的数据库后，数据接收设备可以向数据采集设备返回上传成功结果，确保数据采集设备发送的任务数据已被成功接收，避免遗漏任务数据；若未在预设时间内接收到任务数据，可以针对任务数据，向数据采集设备返回上传失败结果。
在数据采集设备中，可以预先设置有任务结果矩阵，该任务结果矩阵可以记录失败任务的任务失败记录，其中，失败任务可以是任务结果为上传失败结果的数据上传任务，任务失败记录可以记录失败任务的任务标识和数据上传时间。
当接收到上传失败结果，数据采集设备可以在任务结果矩阵中，针对本次的数据上传任务生成任务失败记录，并且，可以向预设的缓存模块发送本次数据上传任务对应的任务数据。
当数据采集设备为硬件配置较差的设备，例如物联网设备，难以运维复杂的数据补传程序，而数据采集设备在生成任务数据时会对设备的计算资源产生消耗，通过向缓存模块发送任务数据进行存储，可以避免再次生成任务数据，减少资源消耗，提升数据采集设备的性能。
步骤203，根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
在发送任务数据后，数据采集设备可以根据缓存模块中的任务数据以及任务结果矩阵，向数据接收设备重新上传失败任务的任务数据。
具体而言，缓存模块中可以存储有失败任务的任务数据，数据采集设备可以重新向数据接收设备发送缓存模块中的任务数据。然而，在缓存模块未能存储所有失败任务的任务数据时，例如数据采集设备向缓存模块发送任务数据时，缓存模块未能成功存储失败任务的任务数据，或者缓存模块中的任务数据发生丢失，由于任务结果矩阵中可以记录任务失败记录，可以通过缓存模块和任务结果矩阵，向数据接收设备重新上传已记录的失败任务的任务数据。
在本实施例中，响应于接收到的数据上传任务，可以向数据接收设备发送数据上传任务对应的任务数据，当接收到针对任务数据返回的上传失败结果时，在任务结果矩阵中，针对数据上传任务生成任务失败记录，并向预设的缓存模块发送任务数据，任务结果矩阵可以包括失败任务对应的任务失败记录，进而可以根据缓存模块中的任务数据和任务结果矩阵，向数据接收设备重新上传失败任务对应的任务数据，由于可以对失败任务进行记录，在数据补传时，能够针对性地补传失败任务的任务数据，既减少了数据补采工作，又可以避免数据遗漏，实现了向远程设备提供完整、可靠的数据。
在一个实施例中，还可以包括如下步骤：
接收任务配置信息，并从所述任务配置信息中获取数据采集项和上传周期信息；采用所述数据采集项和上传周期信息，确定数据上传任务；其中，数据上传任务包括按照所述上传周期信息对应的数据上传时间，向所述数据接收设备发送所述数据采集项对应的数据。
作为一示例，任务配置信息也可以称为任务模板，通过任务配置信息可以描述数据上传任务的任务内容，任务配置信息可以包括以下任一项或多项：设备标识、任务模板标识、数据采集项、上传周期信息、数据优先级、数据补传扫描周期信息。
其中，任务模板标识用于区分不同的任务配置信息；数据采集项用于确定数据采集设备所需要采集和上传的数据项，例如采集电流信息或电压信息；上传周期信息用于确定数据采集设备上传任务数据的时间间隔；数据优先级用于确定数据采集项的上传次序；补传扫描周期信息用于确定数据采集设备扫描任务结果矩阵和缓存模块的时间间隔，在实际应用中，补传扫描周期信息可以通过网络进行远程配置，用户可以结合具体的业务需求，对不同的任务模板中的补传扫描周期信息进行调整。
在实际应用中，可以由数据接收设备向数据采集设备发送任务配置信息。在接收到任务配置信息后，数据采集设备可以从任务配置信息中获取数据采集项和上传周期信息，并采用数据采集项和上传周期信息确定数据上传任务，该数据上传任务可以是按照上传周期信息对应的数据上传时间，向数据接收设备发送数据采集项对应的数据。例如，上传周期信息为3小时，则可以零时点为起点，确定数据上传时间可以是0时、3时、6时、9时、12时、15时、18时和21时，在每个数据上传时间，数据采集设备可以采集并上传数据采集项对应的数据。
在本实施例中，通过接收任务配置信息，并从任务配置信息中获取数据采集项和上传周期信息，确定数据上传任务，实现了根据数据采集项和上传周期信息，由数据采集设备快速确定数据上传任务，避免直接将数据上传任务发送至数据采集设备，耗用传输资源。
在一个实施例中，还可以包括如下步骤：
获取多个数据上传任务分别对应的任务标识和数据上传时间；采用多个任务标识和多个数据上传时间生成任务结果矩阵；其中，所述任务结果矩阵中的任务失败记录采用二进制数据记录。
在实际应用中，数据采集设备在确定多个数据上传任务后，可以获取数据上传任务的数据上传时间，并对多个数据上传任务进行划分，将具有相同任务配置信息的数据上传任务划分为同类任务，并对同类任务分配统一的任务标识，进而可以采用多个任务标识和多个数据上传时间，生成初始化的任务结果矩阵。
在任务结果矩阵中，可以设置有任务标识和任务时间两个维度的信息，通过任务标识和任务时间可以确定一数据上传任务，数据上传任务的任务结果可以采用二进制数据记录，任务结果矩阵在记录任务失败记录的同时，也可以记录成功任务的任务成功记录。具体而言，未上传任务数据，或者任务数据上传失败的数据上传任务，其对应的任务结果都可以为上传失败结果；若数据接收设备已接收到任务数据，并且该任务数据被持久化存储，则该任务数据对应的数据上传任务其任务结果为上传成功结果。若任务结果为上传失败结果，可以针对对应的数据上传任务标识数字“0”，若任务结果为上传成功结果，可以针对对应的数据上传任务标识数字“1”。
如图3所示，为任务结果矩阵示例，其中，在第一列中记录有任务标识，在该示例中，相同设备标识、任务模板标识和任务时间标识的数据上传任务，为同类任务，在同类任务中，按照3小时的时间间隔采集并上传数据，依次在0时、3时、6时、9时、12时、15时、18时和21时进行，其中，任务标识为“设备A-任务模板1-20200628”的第五个任务被记录为失败任务
在本实施例中，由于可以采用二进制数据在任务结果矩阵中记录任务失败记录，大幅降低了在记录任务结果时对数据采集设备存储空间的占用，同时，数据采集设备可以直接对二进制数据进行处理，在进行记录和扫描时，数据采集设备的计算量也大幅下降，提高了设备在上传和补传任务数据时的性能，为数据上传的可靠性和完整性提供支撑。
在一个实施例中，如图4所示，所述根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据，可以包括如下步骤：
步骤401，获取所述缓存模块中的任务数据，并向所述数据接收设备重新上传所述缓存模块中的任务数据；
在实际应用中，缓存模块可以用于存储失败任务的任务数据，具体而言，当数据上传任务失败时，数据采集设备可以向缓存模块发送本次数据上传任务的任务数据。在向数据接收设备重新上传失败任务的任务数据时，可以获取缓存模块中的任务数据，并将数据接收设备发送缓存模块中的任务数据。
步骤402，在接收到所述缓存模块中的任务数据对应的发送结果时，根据所述发送结果更新所述任务结果矩阵中的任务失败记录；
在重新上传后，数据采集设备可以接收到针对缓存模块中任务数据的发送结果，发送结果可以为发送成功结果或发送失败结果，数据采集设备可以根据发送结果，对任务结果矩阵中的任务失败记录进行更新。
步骤403，根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据。
在实际应用中，数据采集设备可以在数据上传任务失败时，向缓存模块发送失败任务的任务数据，然而，缓存模块存在未能成功存储所有失败任务的任务数据，而导致向数据接收设备重新上传缓存模块中的任务数据后仍有失败任务的任务数据未上传的情况，例如缓存模块未能成功存储数据采集设备发送的任务数据，或者存储的任务数据发生丢失，则缓存模块中存储的任务数据，可以不是所有失败任务对应的任务数据。
基于此，可以在根据发送结果更新任务结果矩阵的任务失败记录后，对当前的任务结果矩阵进行扫描，确定当前的任务失败记录，并将任务失败记录对应任务的任务数据重新向数据接收设备发送。
在本实施例中，在接收到缓存模块中的任务数据对应的发送结果时，根据发送结果更新任务结果矩阵中的任务失败记录，并根据当前的任务结果矩阵，向数据接收设备发送当前的任务失败记录对应的任务数据，实现了通过缓存模块与任务结果矩阵相结合的方式，确保失败任务的数据都重新向数据接收设备发送。
在一个实施例中，所述缓存模块中的任务数据包括多个缓存任务数据，所述向所述数据接收设备重新上传所述缓存模块中的任务数据，可以包括如下步骤：
确定所述多个缓存任务数据分别对应的数据优先级；按照多个数据优先级对应的数据发送顺序，向所述数据接收设备发送所述多个缓存任务数据。
作为一示例，缓存任务数据可以是失败任务的任务数据。
具体的，当数据上传任务失败时，数据采集设备可以从该任务的任务配置信息中获取任务数据的数据优先级，在向缓存模块发送失败任务的任务数据时，可以采用该数据优先级为任务数据添加优先级标识，在一示例中，优先级标识可以为数字标识，优先级的等级可以与数字大小呈正相关，即数字越大，优先级的级别越高。
在扫描缓存模块后，数据采集设备可以从各个缓存任务数据的优先级标识中，确定多个缓存任务数据分别对应的数据优先级。在确定各个缓存数据的数据优先级后，可以确定多个数据优先级对应的数据发送顺序，并按照该数据发送顺序，向数据接收设备发送多个缓存任务数据。
在具体实现中，数据采集设备可以从任务配置信息中获取补传扫描周期信息并确定对缓存模块进行扫描的时间间隔，按照该时间间隔对缓存模块进行扫描和上传。
在本实施例中，通过按照多个数据优先级对应的数据发送顺序，向数据接收设备发送多个缓存任务数据，能够向数据接收设备优先发送重要级别高的任务数据，及时确保重要数据的完整性和可靠性。
在一个实施例中，所述根据所述发送结果更新所述任务结果矩阵中的任务失败记录，可以包括如下步骤：
若所述发送结果包括发送成功结果，确定所述发送成功结果对应的目标数据上传任务；在所述任务结果矩阵中，确定所述目标数据上传任务对应的失败任务记录，并进行更新。
在重新向数据接收设备发送缓存模块中的任务数据后，数据接收设备可以在成功接收到任务数据并进行持久化存储后，向数据采集设备返回发送成功结果。
当数据采集设备接收的发送结果包括发送成功结果时，通过确定发送成功结果针对的任务数据以及该任务数据对应的数据上传任务，可以将该数据上传任务确定为发送成功结果对应的目标数据上传任务，并在任务结果矩阵中，确定目标数据上传任务对应的失败任务记录，对该任务失败记录进行更新，将失败任务记录更新为成功任务记录。
在本实施例中，当成功向数据接收设备发送缓存模块中的任务数据，接收到发送成功结果时，可以及时更新任务结果矩阵，使任务结果矩阵中的失败任务记录可以准确反映当前未成功上传任务数据的任务，为后续依据任务结果矩阵重新上传任务数据提供支撑，使得数据补传更有针对性。
在一个实施例中，如图5所示，所述根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据，可以包括如下步骤：
步骤501，在当前的任务结果矩阵中，确定当前的任务失败记录对应的当前失败任务；
在更新任务结果矩阵后，可以在当前的任务结果矩阵中，确定当前的失败任务记录，并采用当前的失败任务记录，确定当前失败任务。
步骤502，获取所述当前失败任务对应的多个初始传感设备数据；
作为一示例，初始传感设备数据可以是传感设备采集的传感信息，例如通过传感器采集的关于声学、光学、热学、电学、力学、化学、生物、位置的信息。
在确定当前失败任务后，可以通过当前失败任务的任务配置信息确定当前失败任务的数据采集项，并获取数据采集项对应的初始传感设备数据。
步骤503，采用预设数据格式对所述多个初始传感设备数据进行格式转换，得到多个目标传感设备数据；
在具体实现中，由于初始传感设备数据的数据格式可以是采用传感设备对应的数据格式，存在该数据格式未能满足数据接收设备数据使用要求的情况，基于此，在获取多个初始传感设备数据后，可以采用预设数据格式对多个初始传感设备数据进行格式转换，生成多个采用预设数据格式的目标传感数据。
步骤504，采用所述多个目标传感设备数据，生成所述当前失败任务对应的任务数据，并向所述数据接收设备发送。
在实际应用中，可以采用多个目标传感设备数据进行组织，生成当前失败任务的任务数据，重新向数据接收设备发送。
在本实施例中，可以确定当前的任务失败记录对应的当前失败任务，并对当前失败任务对应的多个初始传感设备数据重新进行格式转换，以及数据拼装，可以针对性地重新生成未存储在缓存模块中的任务数据，避免重新对所有失败任务的任务数据进行拼装，减少了对物联网设备计算资源的占用，提升了物联网在上传和补传数据时的工作效率。
在一个实施例中，数据采集设备可以按照预设时间间隔清理任务结果矩阵与缓存模块中的数据，以将过期数据删除，避免占用数据采集设备的存储资源。
为了使本领域技术人员能够更好地理解上述步骤，以下通过一个例子对本申请实施例加以示例性说明，在该例子中，数据采集设备可以是物联网设备，数据接收设备可以是远程主站。但应当理解的是，本申请实施例并不限于此。
如图6所示，远程主站可以向物联网设备发送任务模板，物联网设备在接收的任务模板后，可以根据任务模板中的信息生成多个数据上传任务，并基于多个数据上传任务生成任务跟踪矩阵。在生成任务跟踪矩阵后，物联网设备可以执行多个数据上传任务，按照预设时间间隔向远程主站上送任务数据。
当接收到任务数据，并且对任务数据进行持久化存储后，远程主站可以针对该任务数据向物联网设备返回任务成功结果(即图6中的“返回成功”)，若未在预设时间内接收到任务数据，则可以向物联网设备返回任务失败结果。
物联网设备根据远程主站返回的任务成功结果或任务失败结果，在任务跟踪矩阵中进行记录，并且，针对任务结果为任务失败结果的数据上传任务，可以将对应的任务数据存储至缓存模块中，并按照预设时间间隔对任务跟踪矩阵以及缓存模块进行扫描，对失败任务的任务数据进行补传。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种数据采集装置，所述装置可以包括：
数据上传模块701，用于响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
任务失败记录生成模块702，用于当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
数据补传模块703，用于根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
在一个实施例中，所述数据补传模块703，包括：
缓存数据获取子模块，用于获取所述缓存模块中的任务数据，并向所述数据接收设备重新上传所述缓存模块中的任务数据；
任务失败记录更新子模块，用于在接收到所述缓存模块中的任务数据对应的发送结果时，根据所述发送结果更新所述任务结果矩阵中的任务失败记录；
失败任务数据发送子模块，用于根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据。
在一个实施例中，所述缓存模块中的任务数据包括多个缓存任务数据，所述缓存数据获取子模块，包括：
优先级确定单元，用于确定所述多个缓存任务数据分别对应的数据优先级；
顺序发送单元，用于按照多个数据优先级对应的数据发送顺序，向所述数据接收设备发送所述多个缓存任务数据。
在一个实施例中，所述任务失败记录更新子模块，包括：
任务确定单元，用于若所述发送结果包括发送成功结果，确定所述发送成功结果对应的目标数据上传任务；
矩阵更新单元，用于在所述任务结果矩阵中，确定所述目标数据上传任务对应的失败任务记录，并进行更新。
在一个实施例中，所述失败任务数据发送子模块，包括：
当前失败任务确定单元，用于在当前的任务结果矩阵中，确定当前的任务失败记录对应的当前失败任务；
初始传感设备数据获取单元，用于获取所述当前失败任务对应的多个初始传感设备数据；
格式转换单元，用于采用预设数据格式对所述多个初始传感设备数据进行格式转换，得到多个目标传感设备数据；
任务数据组织单元，用于采用所述多个目标传感设备数据，生成所述当前失败任务对应的任务数据，并向所述数据接收设备发送。
在一个实施例中，还包括：
任务配置信息接收模块，用于接收任务配置信息，并从所述任务配置信息中获取数据采集项和上传周期信息；
数据上传任务确定模块，用于采用所述数据采集项和上传周期信息，确定数据上传任务；其中，数据上传任务包括按照所述上传周期信息对应的数据上传时间，向所述数据接收设备发送所述数据采集项对应的数据。
在一个实施例中，还包括：
任务信息获取模块，用于获取多个数据上传任务分别对应的任务标识和数据上传时间；
任务结果矩阵生成模块，用于采用多个任务标识和多个数据上传时间生成任务结果矩阵；其中，所述任务结果矩阵中的任务失败记录采用二进制数据记录。
关于一种数据采集装置的具体限定可以参见上文中对于一种数据采集方法的限定，在此不再赘述。上述一种数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是物联网设备，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据采集方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的数据采集方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
在一个实施例中，计算机程序被处理器执行时还实现上述其他实施例中的数据采集方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据采集方法，其特征在于，所述方法包括：
响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据，包括：
获取所述缓存模块中的任务数据，并向所述数据接收设备重新上传所述缓存模块中的任务数据；
在接收到所述缓存模块中的任务数据对应的发送结果时，根据所述发送结果更新所述任务结果矩阵中的任务失败记录；
根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据。
3.根据权利要求2所述的方法，其特征在于，所述缓存模块中的任务数据包括多个缓存任务数据，所述向所述数据接收设备重新上传所述缓存模块中的任务数据，包括：
确定所述多个缓存任务数据分别对应的数据优先级；
按照多个数据优先级对应的数据发送顺序，向所述数据接收设备发送所述多个缓存任务数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述发送结果更新所述任务结果矩阵中的任务失败记录，包括：
若所述发送结果包括发送成功结果，确定所述发送成功结果对应的目标数据上传任务；
在所述任务结果矩阵中，确定所述目标数据上传任务对应的失败任务记录，并进行更新。
5.根据权利要求2所述的方法，其特征在于，所述根据当前的任务结果矩阵，向所述数据接收设备发送当前的任务失败记录对应的任务数据，包括：
在当前的任务结果矩阵中，确定当前的任务失败记录对应的当前失败任务；
获取所述当前失败任务对应的多个初始传感设备数据；
采用预设数据格式对所述多个初始传感设备数据进行格式转换，得到多个目标传感设备数据；
采用所述多个目标传感设备数据，生成所述当前失败任务对应的任务数据，并向所述数据接收设备发送。
6.根据权利要求1所述的方法，其特征在于，还包括：
接收任务配置信息，并从所述任务配置信息中获取数据采集项和上传周期信息；
采用所述数据采集项和上传周期信息，确定数据上传任务；其中，数据上传任务包括按照所述上传周期信息对应的数据上传时间，向所述数据接收设备发送所述数据采集项对应的数据。
7.根据权利要求6所述的方法，其特征在于，还包括：
获取多个数据上传任务分别对应的任务标识和数据上传时间；
采用多个任务标识和多个数据上传时间生成任务结果矩阵；其中，所述任务结果矩阵中的任务失败记录采用二进制数据记录。
8.一种数据采集装置，其特征在于，所述装置包括：
数据上传模块，用于响应于接收到的数据上传任务，向数据接收设备发送所述数据上传任务对应的任务数据；
任务失败记录生成模块，用于当接收到针对所述任务数据返回的上传失败结果，在任务结果矩阵中，针对所述数据上传任务生成任务失败记录，并向预设的缓存模块发送所述任务数据；所述任务结果矩阵包括失败任务对应的任务失败记录；所述失败任务为具有上传失败结果的数据上传任务；
数据补传模块，用于根据所述缓存模块中的任务数据和所述任务结果矩阵，向所述数据接收设备重新上传所述失败任务对应的任务数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的数据采集方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据采集方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010747708.9A CN111818178A (zh) | 2020-07-28 | 2020-07-28 | 一种数据采集方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010747708.9A CN111818178A (zh) | 2020-07-28 | 2020-07-28 | 一种数据采集方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111818178A true CN111818178A (zh) | 2020-10-23 |
Family
ID=72863284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010747708.9A Pending CN111818178A (zh) | 2020-07-28 | 2020-07-28 | 一种数据采集方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111818178A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114244478A (zh) * | 2021-12-16 | 2022-03-25 | 广东博立科技有限公司 | 数据采集仪智能补传数据的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776073A (zh) * | 2016-12-16 | 2017-05-31 | 北京奇虎科技有限公司 | 可穿戴设备及其任务执行控制方法和装置 |
| CN107979640A (zh) * | 2017-11-21 | 2018-05-01 | 广东电网有限责任公司电力科学研究院 | 一种数据传输方法及装置 |
| CN109064524A (zh) * | 2018-08-16 | 2018-12-21 | 上海联影医疗科技有限公司 | 一种数据传输方法、数据收集板、重建机及介质 |
| CN109542591A (zh) * | 2018-10-17 | 2019-03-29 | 深圳壹账通智能科技有限公司 | 工作任务补偿处理方法、装置、计算机设备及存储介质 |
| CN110895488A (zh) * | 2018-09-12 | 2020-03-20 | 北京奇虎科技有限公司 | 任务调度方法及装置 |
| CN111198889A (zh) * | 2018-11-16 | 2020-05-26 | 浙江宇视科技有限公司 | 数据补录方法和装置 |
| CN111209271A (zh) * | 2019-12-25 | 2020-05-29 | 深圳供电局有限公司 | 电力数据补采方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-28 CN CN202010747708.9A patent/CN111818178A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776073A (zh) * | 2016-12-16 | 2017-05-31 | 北京奇虎科技有限公司 | 可穿戴设备及其任务执行控制方法和装置 |
| CN107979640A (zh) * | 2017-11-21 | 2018-05-01 | 广东电网有限责任公司电力科学研究院 | 一种数据传输方法及装置 |
| CN109064524A (zh) * | 2018-08-16 | 2018-12-21 | 上海联影医疗科技有限公司 | 一种数据传输方法、数据收集板、重建机及介质 |
| CN110895488A (zh) * | 2018-09-12 | 2020-03-20 | 北京奇虎科技有限公司 | 任务调度方法及装置 |
| CN109542591A (zh) * | 2018-10-17 | 2019-03-29 | 深圳壹账通智能科技有限公司 | 工作任务补偿处理方法、装置、计算机设备及存储介质 |
| CN111198889A (zh) * | 2018-11-16 | 2020-05-26 | 浙江宇视科技有限公司 | 数据补录方法和装置 |
| CN111209271A (zh) * | 2019-12-25 | 2020-05-29 | 深圳供电局有限公司 | 电力数据补采方法、装置、计算机设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114244478A (zh) * | 2021-12-16 | 2022-03-25 | 广东博立科技有限公司 | 数据采集仪智能补传数据的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103246529B (zh) | 更新和推送导航栏的方法、设备和系统 | |
| CN112000541A (zh) | 埋点数据上报方法、装置、计算机设备和存储介质 | |
| CN109462631B (zh) | 数据处理方法、装置、存储介质及电子装置 | |
| CN110515821B (zh) | 基于埋点的事件处理方法、电子设备及计算机存储介质 | |
| CN108446172B (zh) | 数据调取方法、装置、计算机设备和存储介质 | |
| CN113821721A (zh) | 基于用户画像的多渠道消息方法、装置和计算机设备 | |
| CN111126604B (zh) | 模型训练方法、装置、服务器及存储介质 | |
| CN110245020B (zh) | 基于多个取证设备的手机内容取证方法和系统 | |
| CN104202387A (zh) | 一种元数据恢复方法及相关装置 | |
| CN111190609B (zh) | 业务的处理方法、装置、设备和存储介质 | |
| CN113592209A (zh) | 一种模型训练任务管理方法、装置、终端和存储介质 | |
| CN108255735B (zh) | 关联环境测试方法、电子装置及计算机可读存储介质 | |
| CN113010224A (zh) | 前端微服务化方法、装置、计算机设备和存储介质 | |
| CN111818178A (zh) | 一种数据采集方法、装置、计算机设备和存储介质 | |
| CN110209557B (zh) | 用户操作录制还原方法、装置、设备及可读存储介质 | |
| CN114760289A (zh) | 车辆数据采集方法、装置、计算机设备和存储介质 | |
| CN113676353B (zh) | 设备的控制方法、装置、存储介质和电子装置 | |
| CN110019372B (zh) | 数据监控方法、装置、服务器及存储介质 | |
| CN115082038A (zh) | 系统集成方法、装置及电子设备 | |
| CN113271228B (zh) | 带宽资源调度方法、装置、设备及计算机可读存储介质 | |
| CN112235337B (zh) | 源节点上的ad-hoc数据处理的无线ad hoc网络中的软件分发 | |
| CN112416400A (zh) | 程序更新控制方法、装置、计算机设备和存储介质 | |
| CN113722228A (zh) | 软件系统测试方法及装置 | |
| CN111124907A (zh) | 一种手机游戏测试方法、装置和服务器 | |
| US20240152504A1 (en) | Data interaction method, apparatus, and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Address before: 511458 Room 1301, Chengtou Building, 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self-compiled 1301-12159) Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201023 |
|
| RJ01 | Rejection of invention patent application after publication |