CN113572834A - 巡检数据上传方法、装置、系统及存储介质 - Google Patents

巡检数据上传方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN113572834A
CN113572834A CN202110826891.6A CN202110826891A CN113572834A CN 113572834 A CN113572834 A CN 113572834A CN 202110826891 A CN202110826891 A CN 202110826891A CN 113572834 A CN113572834 A CN 113572834A
Authority
CN
China
Prior art keywords
information
uploading
file
data
data file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110826891.6A
Other languages
English (en)
Other versions
CN113572834B (zh
Inventor
雷新
薛菲
曾伟雄
李行义
陈隽敏
吴蔚
黄俊达
邓超怡
饶著
谢烨妍
梁韵诗
许柔娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kenuo Surveying Engineering Co ltd
China Energy Engineering Group Guangdong Electric Power Design Institute Co Ltd
Original Assignee
Guangdong Kenuo Surveying Engineering Co ltd
China Energy Engineering Group Guangdong Electric Power Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kenuo Surveying Engineering Co ltd, China Energy Engineering Group Guangdong Electric Power Design Institute Co Ltd filed Critical Guangdong Kenuo Surveying Engineering Co ltd
Priority to CN202110826891.6A priority Critical patent/CN113572834B/zh
Publication of CN113572834A publication Critical patent/CN113572834A/zh
Application granted granted Critical
Publication of CN113572834B publication Critical patent/CN113572834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种巡检数据上传方法、装置、系统及存储介质，通过接收上传设备发送的若干个数据文件，根据数据文件保存的分片信息确定属于同一个巡检数据文件的若干个数据文件，合并属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区，从而实现巡检数据文件自动化入库；根据数据文件保存的文件信息确定数据文件的上传进度信息；通过在可视化设备显示接口状态信息和上传进度信息，从而实现上传设备的接口占用情况和文件上传情况的可视化展示，便于工作人员实时监控上传设备，并根据实际情况进行及时调整，提高无人机巡检数据上传效率。

Description

巡检数据上传方法、装置、系统及存储介质
技术领域
本发明涉及输电线路运维领域，尤其是涉及一种巡检数据上传方法、装置、系统及存储介质。
背景技术
输电线路是用变压器将发电机发出的电能升压后，再经断路器等控制设备接入输电线路来实现。通常情况下，输电线路的塔杆和线缆均设置在野外，容易受到外界环境或外力破坏而损伤，影响电力系统的运行可靠性。
因此，为了及时掌握输电线路的运行情况，往往通过无人机巡检输电线路并拍摄影像视频，通过观察拍摄的影像视频，以及时发现输电线路存在的缺陷，然而，无人机执行一次巡检任务拍摄的影像视频文件的数据量通常在GB级别以上，数据处理和传输难度较大，并且，依靠人工处理的方式进行数据上传，容易造成数据更新滞后。
发明内容
本申请实施例提供了一种巡检数据上传方法、装置、系统及存储介质，能够提高无人机巡检数据上传效率。
第一方面，本申请实施例提供了一种巡检数据上传方法，应用于巡检数据上传系统，其中，所述巡检数据上传系统包括设有多个接口的上传设备和可视化设备；
所述巡检数据上传方法包括以下步骤：
获取所述上传设备的待传输文件大小信息；
接收上传设备发送的若干个数据文件；其中，每一个数据文件均保存有其上传设备的接口状态信息和所述数据文件的文件信息，所述文件信息包括分片信息和文件大小信息；所述分片信息用于指示所述数据文件为其中一个巡检数据文件分片处理后得到的数据文件；
根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；
根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小；
在所述可视化设备显示所述接口状态信息和所述上传进度信息。
第二方面，本申请实施例提供了一种巡检数据上传装置，包括：
大小信息获取模块，用于获取所述上传设备的待传输文件大小信息；
接收模块，用于接收上传设备发送的若干个数据文件；其中，每一个数据文件均保存有其上传设备的接口状态信息和所述数据文件的文件信息，所述文件信息包括分片信息和文件大小信息；所述分片信息用于指示所述数据文件为其中一个巡检数据文件分片处理后得到的数据文件；
合并模块，用于根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；
上传信息获取模块，用于根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小；
显示模块，用于在所述可视化设备显示所述接口状态信息和所述上传进度信息。
第三方面，本申请实施例提供了一种巡检数据上传系统，包括：设有多个接口的上传设备、可视化设备和接收设备；
所述上传设备用于向所述接收设备发送若干个数据文件；
所述可视化设备用于显示接口状态信息和上传进度信息；
所述接收设备包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的巡检数据上传方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的巡检数据上传方法的步骤。
在本申请实施例中，通过接收上传设备发送的若干个数据文件，根据数据文件保存的分片信息确定属于同一个巡检数据文件的若干个数据文件，合并属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区，从而实现巡检数据文件自动化入库；根据数据文件保存的文件信息确定数据文件的上传进度信息；通过在可视化设备显示接口状态信息和上传进度信息，从而实现上传设备的接口占用情况和文件上传情况的可视化展示，便于工作人员实时监控上传设备，并根据实际情况进行及时调整，提高无人机巡检数据上传效率。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明一个实施例中巡检数据上传方法的应用场景示意图；
图2为本发明一个实施例中巡检数据上传方法的流程图；
图3为本发明一个实施例中USB 1分7分线器的接口编号示意图；
图4为本发明一个实施例中获取USB 1分7分线器的接口状态信息示意图；
图5为本发明一个实施例中一种巡检数据上传装置的结构示意图；
图6为本发明一个实施例中一种巡检数据上传系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例的巡检数据上传方法可以应用于巡检数据上传系统，其中，所述巡检数据上传系统包括设有多个接口的上传设备101、接收设备102和可视化设备103，所述上传设备101、接收设备102和可视化设备103之间可以通过网络进行通信传输，其中，网络可以是以太网或WIFI无线网络等常见的通信网络。
所述上传设备101通过接口与外部设备连接，并通过接口从外部设备中读取巡检数据文件，生成若干个数据文件并发送至接收设备；
所述接收设备102用于接收上传设备发送的若干个数据文件；根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；
所述可视化设备103可以识别处理所述上传进度信息和所述接口占用信息，并对处理后的信息进行可视化显示。
在一个实施例中，所述上传设备101可以为USB分线器等数据读取设备，当将包括有多个巡检数据文件的存储卡插入到上传设备101中，自动读取存储卡中的巡检数据文件，并将其存储在预设的缓冲磁盘中。所述可视化设备103可以是LCD显示器等显示设备。
如图2所示，本申请实施例的方法具体包括以下步骤：
步骤S1：获取所述上传设备的待传输文件大小信息；
待传输文件大小信息即为上传设备准备发送的数据文件的文件总大小，待传输文件可以通过比对上传设备中存储的巡检数据文件的MD5值和接收到的数据文件的MD5值进行确定。
具体地，获取所述上传设备的待传输文件大小信息的步骤包括：
获取上传设备的待传输数据文件和接收到的数据文件的MD5值；
将所述待传输数据文件和所述接收数据文件的MD5值进行比对，确定待传输文件；
获取待传输文件大小信息。
优选地，还可以通过进一步比对数据文件的MD5值和存储路径，以提高确定的待传输文件的准确性。
步骤S2：接收上传设备发送的若干个数据文件；
所述数据文件可以是无人机巡检输电线路得到的影像或视频等原始巡检数据文件，也可以是对上述巡检数据文件进行分片处理后得到的数据文件。其中，每一个数据文件最多与一个巡检数据文件对应，每一个数据文件均保存有所述上传设备的接口状态信息和所述数据文件的文件信息。
所述接口状态信息用于指示所述上传设备的所使用的端口序号；在一个实施例中，所述上传设备包括微型主机和至少一个分线器，其中，分线器用于将微型主机的一个USB接口拓展为多个USB接口，以提高数据的传输效率。
具体地，所述微型主机为树莓派4b微型主机，所述分线器为飞利浦(Philips)USB1分7分线器。其中，树莓派4b微型主机设有一个USB 3.0接口，USB 1分7分线器的第一固定端与树莓派4b微型主机的USB 3.0接口，USB 1分7分线器将一个USB接口拓展为7个USB接口。
如图3所示，其为USB 1分7分线器的接口编号示意图。USB 1分7分线器由两级USB桥接芯片组成，第一级的桥接芯片将树莓派USB3.0端口的带宽分离到3个USB3.0端口(1.1、1.2、1.3)和一个第二级的桥接芯片1.4，再由此第二级桥接芯片的带宽分离到4个USB3.0端口(1.4.1、1.4.2、1.4.3、1.4.4)，因此实现1个USB 3.0端口分离为7个USB端口的目的。
在USB 1分7分线器与树莓派4b微型主机的接口建立连接之后，可以利用树莓派内置的raspbian系统中的“lsusb-t”命令获取接口信息，该接口信息以树状形式显示，并且获取的接口信息与USB 1分7分线器的接口编号对应，如图4所示，上述接口信息以树状形式显示，由图中可知，1.3与1.4.2两个接口插入了USB3.0设备。
在本申请实施例中，可以通过定期执行“lsusb-t”命令读取新增的接口信息，得到上传设备的接口状态信息。
所述文件信息包括分片信息及文件大小信息；所述分片信息用于指示所述数据文件为其中一个巡检数据文件分片处理后得到的数据文件；当数据文件未经过分片处理时，其分片信息可以是空白或者预设的数值。
在一个实施例中，对于未经过分片处理的数据文件，可以设置一文件整体上传接口进行文件的传输，对于经过分片处理的数据文件，可以设置一文件分片上传接口即可进行文件的传输，以便于接收设备根据不同的上传接口快速识别经分片处理的数据文件，便于合并分片数据。
在接收上传设备发送的若干个数据文件的步骤之前，还包括：
利用所述数据读取设备从外接设备中读取巡检数据文件；
获取每一个巡检数据文件的大小；
若所述巡检数据文件的大小超过设定阈值，按照预设的分片方式将其分为若干个数据文件，确定每一个数据文件的分片编号；
获取该巡检数据文件的文件信息作为原始文件信息；
根据所述原始文件信息、分片数量信息和分片编号，生成每一个数据文件的分片信息。
若所述巡检数据文件的大小未超过设定阈值，获取该巡检数据文件的文件信息作为原始文件信息，将该数据文件对应的分片编号和分片数量设置为预设值；
将该巡检数据文件作为数据文件，并根据根据所述原始文件信息、分片数量信息和分片编号，生成数据文件的分片信息。
具体地，数据读取设备可以使用HTTP协议对无人机巡检影像视频进行上传。由于HTTP POST上传大文件的方式容易超时导致文件上传失败，故在本申请实施例中，通过判断巡检数据文件是否超过设定阈值，将大文件划分为多个数据文件的方式进行传输(比如可以按照以1MB为进行分片)，以避免上传失败造成资源损耗，提高上传效率。由于HTTP是应用层协议，连接的建立和拆除都存在性能损耗，建立大量的连接将会大量额外的开销，故在一个实施例中，综合考虑巡检文件的大小，以10MB为设定阈值，文件大小小于10MB的文件将一次完整上传完毕，大于10MB的文件将按10MB每分段(最后一个分段文件大小将不做限制)的策略进行上传。
步骤S3：根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；
分片信息包括该数据文件所属的巡检数据文件的原始文件信息，原始文件信息可以包括巡检数据文件的文件ID或者文件名称。当识别到若干个数据文件的分片信息中都包括同一个原始文件信息时，判断上述数据文件属于同一个巡检数据文件。
在接收到若干个数据文件后，根据分片信息确定属于同一个巡检数据文件的若干个数据文件，并调用合并文件接口，合并属于同一个巡检数据文件的若干个数据文件得到一个完整的巡检数据文件。
在一个实施例中，所述分片信息包括每一个数据文件的分片编号，将所述属于同一个巡检数据文件的若干个数据文件合并成一个数据文件的步骤包括：
按照所述每一个数据文件的分片编号，将所述属于同一个巡检数据文件的若干个数据文件合并成一个数据文件。
预设的存储区为用户预先设置的用于存储巡检数据文件的区域。在本申请实施例中，所述预设的存储区可以是上传设备的缓存磁盘。优选地，每一个数据文件均保存有对应的地理坐标信息和航点信息，为了便于对无人机巡检数据进行归类，在将数据文件存储至预设的存储区的步骤之前，还包括：
根据所述地理坐标信息和所述航点信息生成所述数据文件的名称，对所述数据文件进行重命名。
数据文件中的地理坐标信息和航点信息可以由原巡检数据文件的名称或属性等信息提取得到。根据地理坐标信息和航点信息生成数据文件的名称并对数据文件进行重命名，便于后续对数据文件的归类和入库。
步骤S4：根据所述文件大小信息和待传输文件大小信息确定所述巡检数据文件的上传进度信息；
其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小；
步骤S5：在所述可视化设备显示所述接口状态信息和所述上传进度信息。
所述可视化设备在显示所述接口状态信息可以显示所述上传设备的全部接口编号及其接口占用状态，也可以仅显示被占用的接口编号。
所述可视化设备在显示所述上传进度信息时可以显示已接收的数据文件大小与待传输文件大小的比例，也可以利用条形图、扇形图或柱状图的形式显示已接收到的文件大小与待传输文件大小的具体数值，或者也可以显示为其它可用于指示巡检数据文件的上传进度的图形，在此不做具体限定。
在一个实施例中，所述巡检数据上传方法还包括以下步骤：
根据所述分片数量信息和所述分片编号，确定所述数据文件的分片上传信息；其中，所述分片上传信息用于指示属于同一个巡检数据文件的若干个数据文件的已上传数量和未上传数量；
在所述可视化设备显示所述数据文件的分片上传信息。
在本申请实施例中，通过接收上传设备发送的若干个数据文件，根据数据文件保存的分片信息确定属于同一个巡检数据文件的若干个数据文件，合并属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区，从而实现巡检数据文件自动化入库；根据数据文件保存的文件信息确定数据文件的上传进度信息；通过在可视化设备显示接口状态信息和上传进度信息，从而实现上传设备的接口占用情况和文件上传情况的可视化展示，便于工作人员实时监控上传设备，并根据实际情况进行及时调整，提高无人机巡检数据上传效率。
在一个实施例中，所述上传设备为读卡器，所述读卡器通过接口从插入的SD卡中读取若干个巡检数据文件；
当检测到有SD卡插入读卡器时，上传设备自动获取该SD卡插入的卡槽序号，并自动读取SD卡中存储的若干巡检文件并存储到预设的缓冲磁盘中，利用sqlite数据库存储待上传的巡检数据文件，并将其保存为uav格式的数据文件。所述sqlite数据库保存有用于记录批次的上传状态、文件的上传状态和分片文件的上传状态的批次数据表、文件数据表和分片数据表。
其中，批次数据表用于存储本次从外部设备中读取到的文件的批次信息、文件数据表用于记录文件的上传状态，分片数据表用于记录经过分片处理后的数据文件的上传状态。
如表1所示，所述批次数据表包括批次ID、传输状态、本批的文件总大小、本批已上传的文件总大小、文件总个数、已上传完成的文件总大小、使用的端口序号、批次上传时间、批次上传完毕时间和记录创建时间等信息。具体地，批次ID可以利用等常见的标识生成算法生成批次ID，在本申请实施例中，所述批次ID利用snowflake算法生成。snowflake算法可以大规模生成唯一的ID号，具有高性能、低延迟的特点。
当检测到SD卡插入读卡器时，利用snowflake算法生成该批次的批次ID，记录当前时间为本记录的创建时间，并记录连接的接口序号和本批的文件总大小，当上传设备开始发送数据文件时，记录该时间作为批次上传时间，记录的创建时间指的是创建该数据表的时间，批次上传时间指的是本批次中的第一个数据文件开始上传的时间，记录的创建时间和批次上传时间可以不同，利用记录的创建时间和批次上传时间可确定上传的时间差，从而可根据该时间差确定当前是否存在网络不通和任务队列积压，便于用户及时了解上传情况并通过及时调整上传设备或网络以提高传输效率。
通常情况下，每一次SD卡插入读卡器时读取到的巡检数据文件为同一批次的数据文件。在一个实施例中，当检测到巡检数据文件的大小超过设定阈值时，将该巡检数据文件保存到一预设的临时文件夹，并利用snowflake算法生成该批次的批次ID，将按照预设分片方式分片得到的若干数据文件确定为同一批次的数据文件，并生成新的批次数据表记录该批次的上传情况。
所述本记录的更新时间可以是异常恢复时间，以便于用户采集上传过程的异常情况。例如，当上传过程中遭遇断网导致暂停上传，在网络恢复时，本记录的更新时间即为批次恢复上传的时间。
使用的端口序号即为上传设备当前所使用的接口编号，根据该端口序号可以确定所述上传设备的接口的占用状态。
在一个实施例中，可以在每上传一个数据文件时，记录其文件大小并根据上一次已上传的文件总大小，更新本批已上传的文件总大小和本记录的更新时间，或者，也可以在上传数据文件的大小或者总大小达到值时，根据已经记录的上传文件的大小更新本批已上传的文件总大小；将本批已上传的文件总大小与本批的文件总大小进行比较，更新本批已上传的文件总大小和本记录的更新时间；其中，所述传输状态可以包括“未开始”、“开始传输”、“暂停”和“传输完毕”，在传输状态更新为“传输完毕”后，记录批次上传完毕时间更新批次数据表。
表1批次数据表
Figure BDA0003173918350000081
Figure BDA0003173918350000091
如表2所示，每一个数据文件均保存有对应的文件数据表，所述文件数据表包括：文件ID、批次ID、文件名称、传输状态、文件大小、分片数量、已上传的文件大小、在SD卡中的绝对路径、MD5值、开始上传时间、上传完毕时间、记录的创建时间、记录的更新时间。
具体地，文件ID可以利用等常见的标识生成算法生成文件ID，在本申请实施例中，所述文件ID利用snowflake算法生成。snowflake算法可以大规模生成唯一的ID号，具有高性能、低延迟的特点。
分片数量用于指示该数据文件是否经过分片处理，当该数据文件未经过分片处理时，其取值可以为预设值，例如可以为1。当该数据文件为经过分片处理，分片数量用于指示同一个巡检数据文件被分片的数量。
表2文件数据表
Figure BDA0003173918350000092
Figure BDA0003173918350000101
在一个实施例中，所述分片数据表以设备表的方式保存在所述数据文件中，所述接口状态信息包括所使用设备的设备ID、名称、使用者、使用状态、记录创建时间、记录更新时间、设备文件ID和批次ID，
如表3所示，所述接口状态信息表包括分片ID、批次ID、文件ID、文件分片名称、分片编号、传输状态、本分片文件大小、分片文件在临时文件夹中的绝对路径、分片文件的MD5值、分片开始上传时间、分片上传完毕时间、本记录的创建时间和本记录的更新时间。
分片ID可以利用等常见的标识生成算法生成批次ID，在本申请实施例中，所述分片ID利用snowflake算法生成。snowflake算法可以大规模生成唯一的ID号，具有高性能、低延迟的特点。
分片编号用于标识当前数据文件为所属的巡检数据文件的第几分片。
表3接口状态信息表
Figure BDA0003173918350000102
如图5所示，本申请实施例还提供了一种巡检数据上传装置，包括：
大小信息获取模块1，用于获取所述上传设备的待传输文件大小信息；
接收模块2，用于接收上传设备发送的若干个数据文件；其中，每一个数据文件均保存有其上传设备的接口状态信息和所述数据文件的文件信息，所述文件信息包括分片信息和文件大小信息；所述分片信息用于指示所述数据文件为其中一个巡检数据文件分片处理后得到的数据文件；
合并模块3，用于根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；
上传信息获取模块4，用于根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小；
显示模块5，用于在所述可视化设备显示所述接口状态信息和所述上传进度信息。
需要说明的是，上述实施例提供的巡检数据上传装置在执行巡检数据上传方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分为不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的巡检数据上传装置与巡检数据上传方法属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
如图6所示，本申请实施例还提供了一种巡检数据上传系统200，包括：设有多个接口的上传设备210、可视化设备220和接收设备230；
所述上传设备210用于向所述接收设备发送若干个数据文件；
所述可视化设备220用于显示接口状态信息和上传进度信息；
所述接收设备230包括存储器231、处理器232以及存储在所述存储器231中并可被所述处理器232执行的计算机程序，所述处理器232执行所述计算机程序时实现如上述任意一项所述的巡检数据上传方法的步骤。
所述上传设备210、接收设备230和可视化设备220之间可以通过网络进行通信传输，其中，网络可以是以太网或WIFI无线网络等常见的通信网络。
所述上传设备210通过接口与外部设备连接，并通过接口从外部设备中读取巡检数据文件，生成若干个数据文件并发送至接收设备；
所述接收设备230用于接收上传设备发送的若干个数据文件；根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；获取所述上传设备的待传输文件大小信息，根据所述文件大小信息和待传输文件大小信息确定所述巡检数据文件的上传进度信息；根据所述接口编号信息和接口状态信息确定上传设备的接口占用信息；
所述可视化设备220可以识别处理所述上传进度信息和所述接口占用信息，并对处理后的信息进行显示。
在一个实施例中，所述上传设备210包括USB分线器等数据读取设备，当将包括有多个巡检数据文件的存储卡插入到所述上传设备210中，上传设备210自动读取存储卡中的巡检数据文件，并将其存储在预设的缓冲磁盘中。所述可视化设备220可以是LCD显示器等显示设备。
在一个实施例中，所述上传设备210包括USB分线器、LCD显示器、Linux微型计算机、千兆路由交换机模组、客户端软件，USB分线器与Linux微型计算机的USB口连接，LCD显示器与Linux微型计算机的HDMI口连接，Linux微型计算机与千兆路由交换机模组进行电性连接，客户端软件安装在Linux微型计算机上，用于利用所述USB分线器从外接设备中读取巡检数据文件；获取每一个巡检数据文件的大小；若所述巡检数据文件的大小超过设定阈值，按照预设的分片方式将其分为若干个数据文件，确定每一个数据文件的分片编号；获取该巡检数据文件的文件信息作为原始文件信息；根据所述原始文件信息、分片数量信息和分片编号，生成每一个数据文件的分片信息；若所述巡检数据文件的大小未超过设定阈值，获取该巡检数据文件的文件信息作为原始文件信息，将该数据文件对应的分片编号和分片数量设置为预设值；将该巡检数据文件作为数据文件，并根据根据所述原始文件信息、分片数量信息和分片编号，生成数据文件的分片信息。所述LCD显示器可用于显示所述接口状态信息和所述上传进度信息。
在一个实施例中，所述接收设备230包括Linux服务器、千兆路由交换机模组、存储模组，服务器端应用软件。Linux服务器与千兆路由交换机模组、存储模组进行电性连接，服务器端应用软件安装在Linux服务器上，Linux服务器通过网络接口接收上传设备发送的数据文件，服务器端应用软件用于根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小。
所述可视化设备220可以是LCD显示器等可用于显示所述接口状态信息和所述上传进度信息显示设备。
本申请实施例还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的巡检数据上传方法的步骤。
本申请实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例所述巡检数据上传方法、装置、系统及存储介质可以实现输变电站无人机巡检影像视频的自动入库，并且，通过上传设备、接收设备和可视化设备之间的相互配合实现上传设备的接口占用情况和文件上传情况的可视化展示，工作人员可实时监控巡检数据的上传过程并及时调整巡检数据的上传方式，提高巡检数据的上传效率。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种巡检数据上传方法，其特征在于，应用于巡检数据上传系统，其中，所述巡检数据上传系统包括设有多个接口的上传设备和可视化设备；
所述巡检数据上传方法包括以下步骤：
获取所述上传设备的待传输文件大小信息；
接收上传设备发送的若干个数据文件；其中，每一个数据文件均保存有其上传设备的接口状态信息和所述数据文件的文件信息，所述文件信息包括分片信息和文件大小信息；所述分片信息用于指示所述数据文件为其中一个巡检数据文件分片处理后得到的数据文件；
根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；
根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小；
在所述可视化设备显示所述接口状态信息和所述上传进度信息。
2.根据权利要求1所述的巡检数据上传方法，其特征在于，所述分片信息包括每一个数据文件的分片编号，合并所述属于同一个巡检数据文件的若干个数据文件的步骤包括：
按照所述每一个数据文件的分片编号，将所述属于同一个巡检数据文件的若干个数据文件合并成一个数据文件。
3.根据权利要求1所述的巡检数据上传方法，其特征在于，每一个数据文件均保存有对应的地理坐标信息和航点信息，在将数据文件存储至预设的存储区的步骤之前，还包括：
根据所述地理坐标信息和所述航点信息生成所述数据文件的名称，对所述数据文件进行重命名。
4.根据权利要求1所述的巡检数据上传方法，其特征在于，在接收上传设备发送的若干个数据文件的步骤之前，还包括：
利用所述数据读取设备从外接设备中读取巡检数据文件；
获取每一个巡检数据文件的大小；
若所述巡检数据文件的大小超过设定阈值，按照预设的分片方式将其分为若干个数据文件，确定每一个数据文件的分片编号；
获取该巡检数据文件的文件信息作为原始文件信息；
根据所述原始文件信息、分片数量信息和分片编号，生成每一个数据文件的分片信息。
5.根据权利要求4所述的巡检数据上传方法，其特征在于，还包括以下步骤：
若所述巡检数据文件的大小未超过设定阈值，获取该巡检数据文件的文件信息作为原始文件信息，将该数据文件对应的分片编号和分片数量设置为预设值；
将该巡检数据文件作为数据文件，并根据根据所述原始文件信息、分片数量信息和分片编号，生成数据文件的分片信息。
6.根据权利要求4-5任一项所述的巡检数据上传方法，其特征在于，还包括以下步骤：
根据所述分片数量信息和所述分片编号，确定所述数据文件的分片上传信息；其中，所述分片上传信息用于指示属于同一个巡检数据文件的若干个数据文件的已上传数量和未上传数量；
在所述可视化设备显示所述数据文件的分片上传信息。
7.根据权利要求1所述的巡检数据上传方法，其特征在于，获取所述上传设备的待传输文件大小信息的步骤包括：
获取上传设备的待传输数据文件和接收到的数据文件的MD5值；
将所述待传输数据文件和所述接收数据文件的MD5值进行比对，确定待传输文件；
获取待传输文件大小信息。
8.一种巡检数据上传装置，其特征在于，包括：
大小信息获取模块，用于获取所述上传设备的待传输文件大小信息；
接收模块，用于接收上传设备发送的若干个数据文件；其中，每一个数据文件均保存有其上传设备的接口状态信息和所述数据文件的文件信息，所述文件信息包括分片信息和文件大小信息；所述分片信息用于指示所述数据文件为其中一个巡检数据文件分片处理后得到的数据文件；
合并模块，用于根据所述分片信息确定属于同一个巡检数据文件的若干个数据文件，合并所述属于同一个巡检数据文件的若干个数据文件并存储至预设的存储区；
上传信息获取模块，用于根据所述文件大小信息和待传输文件大小信息确定所述数据文件的上传进度信息；其中，所述上传进度信息包括已接收的数据文件大小和未接收的数据文件大小；
显示模块，用于在所述可视化设备显示所述接口状态信息和所述上传进度信息。
9.一种巡检数据上传系统，其特征在于，包括：设有多个接口的上传设备、可视化设备和接收设备；
所述上传设备用于向所述接收设备发送若干个数据文件；
所述可视化设备用于显示接口状态信息和上传进度信息；
所述接收设备包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-8中任意一项所述的巡检数据上传方法的步骤。
10.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：该计算机程序被处理器执行时实现如权利要求1-8任意一项所述的巡检数据上传方法的步骤。
CN202110826891.6A 2021-07-21 2021-07-21 巡检数据上传方法、装置、系统及存储介质 Active CN113572834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110826891.6A CN113572834B (zh) 2021-07-21 2021-07-21 巡检数据上传方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110826891.6A CN113572834B (zh) 2021-07-21 2021-07-21 巡检数据上传方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113572834A true CN113572834A (zh) 2021-10-29
CN113572834B CN113572834B (zh) 2024-03-22

Family

ID=78166029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110826891.6A Active CN113572834B (zh) 2021-07-21 2021-07-21 巡检数据上传方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113572834B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116208682A (zh) * 2023-05-05 2023-06-02 武汉华瑞测智能技术有限公司 交换电力信息的网络系统、设备及介质
CN116860807A (zh) * 2023-07-31 2023-10-10 重庆市规划和自然资源信息中心 一种用于业务管理的可视化规则引擎工作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597768A (zh) * 2019-08-13 2019-12-20 中国南方电网有限责任公司超高压输电公司昆明局 无人机输电通道巡检数据处理方法、系统、存储介质及设备
CN111225058A (zh) * 2020-01-09 2020-06-02 深圳壹账通智能科技有限公司 一种文件上传方法及相关产品
CN112948119A (zh) * 2021-03-15 2021-06-11 深圳飞马机器人科技有限公司 无人机海量数据处理方法、装置和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597768A (zh) * 2019-08-13 2019-12-20 中国南方电网有限责任公司超高压输电公司昆明局 无人机输电通道巡检数据处理方法、系统、存储介质及设备
CN111225058A (zh) * 2020-01-09 2020-06-02 深圳壹账通智能科技有限公司 一种文件上传方法及相关产品
CN112948119A (zh) * 2021-03-15 2021-06-11 深圳飞马机器人科技有限公司 无人机海量数据处理方法、装置和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢晶, 江天博, 胡远航;: "内网环境下标书大文件自动搬运应用研究.", 《中国管理信息化》, vol. 23, no. 06, pages 2 - 4 *
白鹤 等.: "进度显示的大文件上传组件的设计与实现.", 《计算机工程与应用》, vol. 45, no. 05, pages 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116208682A (zh) * 2023-05-05 2023-06-02 武汉华瑞测智能技术有限公司 交换电力信息的网络系统、设备及介质
CN116208682B (zh) * 2023-05-05 2023-07-25 武汉华瑞测智能技术有限公司 交换电力信息的网络系统、设备及介质
CN116860807A (zh) * 2023-07-31 2023-10-10 重庆市规划和自然资源信息中心 一种用于业务管理的可视化规则引擎工作方法
CN116860807B (zh) * 2023-07-31 2024-04-19 重庆市规划和自然资源信息中心 一种用于业务管理的可视化规则引擎工作方法

Also Published As

Publication number Publication date
CN113572834B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN113572834A (zh) 巡检数据上传方法、装置、系统及存储介质
US20230198856A1 (en) Method and Apparatus for Updating Gateway Resource, and IOT Control Platform
CN108872781B (zh) 基于电力设施智能巡检的分析方法及装置
US20190087283A1 (en) Aircraft aerial photography data backup method, apparatus and device, and computer readable storage medium
CN109462490B (zh) 视频监控系统及故障分析方法
CN103685343A (zh) 文件传输方法和系统
CN112764874A (zh) 一种基于cmdb配置管理系统的虚拟机服务器信息采集方法
CN106528345B (zh) 一种基于云平台的节点硬盘自动化恢复方法
EP3890312A1 (en) Distributed image analysis method and system, and storage medium
CN103473169B (zh) 一种日志文件收集方法及装置
CN111488829A (zh) 杆塔巡检照片分类方法、装置、电子设备以及存储介质
US9113135B2 (en) Image advocacy in portable computing devices
CN204463278U (zh) 一种点巡检终端、标识设备和点巡检系统
CN116580362B (zh) 输电运维跨系统融合数据的采集方法及数字资产处理系统
CN110138583B (zh) 一种报警智能分析的展示方法
CN111567060A (zh) 质量检查装置、质量检查方法及程序
CN112714163B (zh) 数据传输方法、装置、电子设备和介质
CN113111040B (zh) 一种文件解压方法及装置
CN112669387B (zh) 灯头位置确定方法、装置、存储介质、程序、路侧设备
CN114928610A (zh) 数据更新的通知方法、数据处理方法、装置、设备和介质
CN113051981B (zh) 人脸识别方法及装置
US11157381B2 (en) Display control method and display control device
CN114219109A (zh) 一种会议室巡检记录管理方法、装置和电子设备
CN113572744A (zh) 一种基于大数据的数据安全处理方法
CN113271439A (zh) 一种施工场地安全监控配置处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant