CN110719332B - 数据传输方法、装置、系统、计算机设备和存储介质 - Google Patents

数据传输方法、装置、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN110719332B
CN110719332B CN201910987574.5A CN201910987574A CN110719332B CN 110719332 B CN110719332 B CN 110719332B CN 201910987574 A CN201910987574 A CN 201910987574A CN 110719332 B CN110719332 B CN 110719332B
Authority
CN
China
Prior art keywords
image
data
image data
analysis data
message system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910987574.5A
Other languages
English (en)
Other versions
CN110719332A (zh
Inventor
陈超允
黄迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201910987574.5A priority Critical patent/CN110719332B/zh
Publication of CN110719332A publication Critical patent/CN110719332A/zh
Application granted granted Critical
Publication of CN110719332B publication Critical patent/CN110719332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请涉及一种数据传输方法、装置、系统、计算机设备和存储介质，读取服务器对FTP服务器数据库中未被读取过的图像数据进行解析，得到图像解析数据，然后将图像解析数据发送至消息系统中存储，以订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据。由于FTP服务器数据库中存储的可以是不同类型的图像采集设备采集的图像数据，即不同的图像采集设备采集的图像数据均可以通过该方法存储、解析后发送至消息系统，这样，在需要获取图像数据时，无需对不同类型的图像采集设备定制不同的接入适配，只需要从消息系统中订阅即可获取对应设备的图像数据，大大简化了图像传输的流程，降低了SDK开发的成本，提高了图像数据传输过程的灵活性。

Description

数据传输方法、装置、系统、计算机设备和存储介质
技术领域
本申请涉及图像传输技术领域，特别是涉及一种数据传输方法、装置、系统、计算机设备和存储介质。
背景技术
随着人工智能行业的快速发展，人脸识别技术在越来越多的场景都有了广泛的应用。
在进行人脸识别时需要先采集人脸图像，目前对人脸图像采集是基于前端抓拍设备的SDK(Software Development Kit，软件开发工具包)进行开发，或是基于HTTP(HyperText Transfer Protocol，超文本传输协议)接口进行人脸图像传输，后端对SDK对应的接入进行相应的开发与调试，并基于对应接入获取到人脸图像数据后传输到人脸分析系统。
现有技术中，后端针对不同的前端设备需要开发适配的接入，使得获取图像过程存在灵活性较低和成本较高的技术问题。
发明内容
基于此，有必要针对上述后端针对不同的前端设备需要开发适配的接入，使得获取图像过程存在灵活性较低和成本较高的技术问题，提供一种数据传输方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供一种数据传输方法，该方法包括：
读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
读取服务器将图像解析数据发送至消息系统集群中存储，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；消息系统集群包含至少一个消息系统。
在其中一个实施例中，图像采集设备或图像流模拟设备具有不同的优先级；
读取服务器从FTP服务器数据库中，读取目标图像数据，包括：
读取服务器以与优先级对应的频率定时轮询扫描图像采集设备或图像流模拟设备对应约定位置的目标图像数据。
在其中一个实施例中，消息系统为Kafka消息系统；消费组为预处理模块或图像应用模块，预处理模块用于将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
在其中一个实施例中，读取服务器部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
第二方面，本申请提供一种数据传输方法，该方法包括：
至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；
图像解析数据为读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
消费组中包含至少一个消费者。
在其中一个实施例中，消息系统为Kafka消息系统；消费组为预处理模块或图像应用模块，预处理模块用于将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
在其中一个实施例中，读取服务器部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
第三方面，本申请提供一种数据传输系统，该系统包括：FTP服务器、读取服务器、包含至少一个消息系统的消息系统集群、与消息系统中话题的消费组；
FTP服务器包括FTP服务器数据库，FTP服务器数据库用于存储图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
读取服务器部署有读取程序，用于从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据，并将图像解析数据发送至消息系统集群中存储；目标图像数据为FTP服务器数据库中未被读取过的图像数据；
消息系统集群，用于接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据。
第四方面，本申请提供一种数据传输装置，该装置包括：
解析模块，用于读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
发送模块，用于读取服务器将图像解析数据发送至消息系统集群中存储，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；消息系统集群包含至少一个消息系统
第四方面，本申请提供一种数据传输装置，该装置包括：
接收模块，用于至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；图像解析数据为读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；消费组中包含至少一个消费者。
第五方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面实施例和第二方面实施例提供的任一项方法的步骤。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面实施例和第二方面实施例提供的任一项方法的步骤。
本申请实施例提供的一种数据传输方法、装置、系统、计算机设备和存储介质，读取服务器对FTP服务器数据库中未被读取过的图像数据进行解析，得到图像解析数据，然后将图像解析数据发送至消息系统中存储，以订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据。由于FTP服务器数据库中存储的可以是不同类型的图像采集设备采集的图像数据，即不同的图像采集设备采集的图像数据均可以通过该方法存储、解析后发送至消息系统，这样，在需要获取图像数据时，无需对不同类型的图像采集设备定制不同的接入适配，只需要从消息系统中订阅即可获取对应设备的图像数据，大大简化了图像传输的流程，降低了SDK开发的成本，提高了图像数据传输过程的灵活性。
附图说明
图1为一个实施例提供的一种数据传输系统框图；
图1a为一个实施例提供的一种服务器内部结构框图；
图2为一个实施例提供的一种数据传输方法的流程示意图；
图2a为一个实施例提供的一种数据存储方式示意图；
图3为一个实施例提供的一种数据传输方法的完整过程示意图；
图4为一个实施例提供的一种数据传输装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种数据传输方法，可以应用于如图1所示的数据传输系统中，该数据传输系统包括图像采集设备或图像流模拟设备、FTP服务器、读取服务器、消息系统集群和消费组，其中，图像采集设备例如摄像机，用于采集包含人脸的图像数据。其中FTP服务器包括FTP服务器数据库，FTP服务器数据库用于存储图像数据，图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器图像数据；其中，图像采集设备与服务器预先进行了端口配置，使得图像采集设备可以自动上传采集的图像数据至服务器中存储。其中，读取服务器部署有读取程序，用于对图像数据进行读取和解析，该读取服务器可以与FTP服务器为同一个服务器，也可以为不同服务器，本申请实施例对此不做限定。其中，消息系统集群包含至少一个消息系统，例如Kafka消息系统，用于接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据，本实施例对此不做限定。
其中，对于上述数据传输系统中的各服务器其内部结构可以如图1a所示，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该服务器的数据库用于数据传输相关数据。该计算机设备的网络接口用于与外部的其他设备通过网络连接通信。该计算机程序被处理器执行时以实现一种数据传输方法。
现有技术中，对人脸图像采集有基于前端抓拍设备的SDK(Software DevelopmentKit，软件开发工具包)进行开发，或是基于HTTP(HyperText Transfer Protocol，超文本传输协议)接口的图像传输，后端做一层基于SDK 数据接入适配获取到图像数据。由于前端抓拍设备(图像采集设备)的品牌与型号繁多，各大厂商都需要对不同厂家抓拍设备的SDK对应的接入进行相应的开发与调试，或者对不同的HTTP接口格式进行适配，且前端设备的产品也在不断迭代更新，对于使用SDK接入的后端程序，不得不随着前端设备的更新而做相应的修改，既增加成本又不利于系统的维护。在此基础上，当前端设备被大量后端系统直接连接时，同一张抓拍图像前端设备需要发送给多个后端系统，容易造成前端设备带宽不足与发热漏抓拍。此外，当后端系统连接多个前端设备时，在高峰流量时间点，由于后端系统解码速度有限，容易出现丢帧的情况。
基于上述众多缺陷，本申请实施例提供一种数据传输方法、装置、系统、计算机设备和存储介质，旨在解决上述现有技术中存在的缺陷。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种数据传输方法，图2的执行主体为读取服务器，其中，图2的执行主体均还可以是数据传输装置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为读取服务器的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
首先，对执行主体为读取服务器的一侧的实施例进行说明。
在一个实施例中，图2提供了一种数据传输方法，本实施例涉及的是读取服务器通过对不同类型的图像采集设备采集的目标图像数据进行存储，解析后发送至消息系统集群进行存储，使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据的具体过程，如图2所示，所述方法包括：
S101，读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据。
本实施例中，图像采集设备用于采集包括人脸的图像数据，该图像采集设备包括但不限于摄像机等抓拍设备，图像流模拟设备用于把来自其他设备的图片或者视频拆成视频帧存储至FTP服务器数据库中，伪装成抓拍流，这样，增加数据来源的灵活性。具体地，FTP服务器接收不同类型的图像采集设备或者图像流模拟设备发送的图像数据，并将该图像数据存储至FTP服务器数据库。例如，对于HTTP接口方式的图像数据，通过开发一个接口应用，将图像数据的二进制数据转成FTP的文件，上传到FTP服务器数据库中。
其中，图像数据被上传到FTP服务器数据库后，以约定格式命名、在约定位置存储进行存储，具体地，各图像采集设备采集到图像数据后，将图像数据的二进制数据，通过FTP文件传输协议，以一定格式的文件名(例如：抓拍时间_序号_图像类型)传输到FTP服务器的数据库中进行存储。可选地，各图像采集设备的IP地址与FTP服务器的端口之间存在对应关系。其中，在FTP服务器接收各图像采集设备发送图像数据之前，需要预先结合不同图像采集设备的特性，在图像采集设备的后台管理界面，例如摄像机的IP地址，配置FTP服务器的端口地址以及用户密码。这样，预先将各图像采集设备与FTP服务器建立连接，在图像采集设备采集到图像数据后就可以自动将图像数据上传到其对应的FTP服务器中。
FTP服务器收到图像数据后将图像数据存储在FTP服务器数据库中不同文件夹中，即对不同图像采集设备的采集的数据要分开存储，以便进行区分，例如，如图2a所示，以图像采集设备的ID作为FTP服务器中上一级目录文件夹名，以采集日期作为二级目录等，本实施例对具体的存储方式不做限定，只要不同的图像采集设备采集到的图像数据存储是分开的，互不影响即可。这样，在数据库中设置多级目录，不同的文件夹命名、文件命名等进行区分，可以有效的对图像数据进行管理，方便后续图像数据解析和对解析的图像数据进行分析识别。
其中，目标图像数据表示FTP服务器数据库中未被读取过的图像数据，即，读取服务器从FTP服务器数据库中，读取目标图像数据后，进行解析得到图像解析数据。例如，解析出的图像数据包括图像数据采集设备的ID、图像数据的抓拍时间、图像数据中除去背景以外的人脸数据、以及图像数据中包括背景和人脸的全景数据等。
S102，读取服务器将图像解析数据发送至消息系统集群中存储，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；消息系统集群包含至少一个消息系统。
基于上述S101步骤中的得到的图像解析数据，读取服务器将图像解析数据发送至消息系统集群中存储。其中，消息系统集群可以为一个或多个。一个消息系统集群中包含至少一个消息系统。一个消息系统集群中设置多个消息系统能够保证消息系统集群的高可用性。消息系统集群中存储有图像解析数据，订阅所述图像解析数据所在话题的消费组从消息系统中获取图像解析数据，并对获取的图像解析数据做后续处理。例如，消息系统是Kafka消息系统，则订阅 Kafka中与图像解析数据对应话题的消费组即可获取到对应的图像采集设备的图像解析数据。
本实施例提供的数据传输方法，读取服务器对FTP服务器数据库中未被读取过的图像数据进行解析，得到图像解析数据，然后将图像解析数据发送至消息系统中存储，以订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据。由于FTP服务器数据库中存储的可以是不同类型的图像采集设备采集的图像数据，即不同的图像采集设备采集的图像数据均可以通过该方法存储、解析后发送至消息系统，这样，在需要获取图像数据时，无需对不同类型的图像采集设备定制不同的接入适配，只需要从消息系统中订阅即可获取对应设备的图像数据，大大简化了图像传输的流程，降低了SDK开发的成本，提高了图像数据传输过程的灵活性。另外，该方法中，前端设备只需要连接一个FTP服务器，不需要连接多个后端设备，从而减轻了前端设备的带宽压力，避免多个连接造成前端设备发热卡顿现象。
上述实施例中的图像采集设备或图像流模拟设备具有不同的优先级；则基于该优先级，在一个实施例中，上述S101步骤包括：读取服务器以与优先级对应的频率定时轮询扫描图像采集设备或图像流模拟设备对应约定位置的目标图像数据。
本实施例中，图像采集设备或图像流模拟设备具有不同的优先级，例如，通过优先级标识对图像采集设备或图像流模拟设备的优先级进行确定，在确定了图像采集设备或图像流模拟设备优先级顺序后，以优先级顺序，定时轮询扫描图像采集设备或图像流模拟设备对应约定位置的目标图像数据。或者，对于优先级更高的图像采集设备或图像流模拟设备对应约定位置的目标图像数据，可以以更高的定时轮询扫描频率去轮询扫描。这样，可以更加灵活的对对应的图像采集设备的图像数据进行管理。
其中，读取服务器以周期性的(或定时)间隔轮询扫描FTP服务器数据库中存储的图像数据，例如，间隔五分钟扫描一次或者间隔十分钟扫描一次。具体地，读取服务器扫描时可以是先扫描各个图像数据是否被读取过，在一种场景中，读取服务器将之前已经读取过的图像数据进行标记，或者删除均可，这样读取服务器就可以根据标记来确定哪些图像数据已被读取，哪些为未被读取过的，新上传的图像数据。定时轮询扫描目标图像数据可以及时对图像数据进行管理，提高图像数据管理的有效性。
在一个实施例中，上述实施例中的消息系统为Kafka消息系统；消费组为预处理模块或图像应用模块，预处理模块用于将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
其中，上述消息系统中存储的图像解析数据所在话题可以被消费组中的消费者订阅，当图像解析数据有更新时，消费者会获知有图像解析数据更新并获取更新的图像解析数据。消费组包括预处理模块或图像应用模块。当消费组为预处理模块时，消费组在获取图像分析数据后，将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。其中，预处理可以是低质量过滤、人脸裁剪画框等处理，使进入图像应用模块的图像解析数据更适于图像应用模块进行处理。本实施例对具体的预处理方式不做限定。当消费组为图像应用模块时，消费组在获取图像分析数据后直接对图像进行应用。其中，图像应用模块可以是人脸分析系统等，例如，人脸分析系统对该图像数据进行人脸识别，本实施例对图像应用模块不做限定。如此，图像解析数据可根据需要经过或不经过预处理再发送给图像应用模块，相比于前端设备直接将图像解析数据发送给后端的方案，本实施例可根据需要在前端和后端之间进行预处理步骤，方案更具灵活性。
需要说明的是，上述实施例中消息系统和读取服务器均可水平扩展，这样多个节点部署，可以提升处理图片的效率。则在一个实施例中，读取服务器部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
请参考如图3所示，结合上述所有实施例提供一种完整的数据传输方法，具体过程为：在数据传输之前，结合不同图像采集设备的特性，在图像采集设备的后台管理界面，例如摄像机的IP地址，配置FTP服务器的端口地址以及用户密码。这样，预先将各图像采集设备与FTP服务器建立连接，在图像采集设备采集到图像数据后就可以自动将图像数据上传到FTP服务器中。
然后，图像采集设备采集到图像数据时，将图像数据的二进制数据，自动通过FTP文件传输协议，以一定格式的文件名(例如：抓拍时间_序号_图像类型)传输到FTP服务器，当FTP服务器收到该图像数据后，对不同图像采集设备采集的数据分开存储，以便进行区分管理，例如，以图像采集设备的ID作为 FTP服务器中上一级目录文件夹名，以采集日期作为二级目录等，本实施例对具体的存储方式不做限定，只要不同的图像采集设备采集到的图像数据存储的分开的，互不影响即可。
在图像数据存储至FTP服务器后，由读取服务器轮询扫描或者监听的方式从FTP服务器数据库中获取新的未被读取过的图像数据，读取后解析发送到 Kafka消息系统集群中进行存储。最后，消费者(例如是人脸分析系统这一图像应用模块)可以通过在Kafka消息系统集群中订阅相关话题并获得图像解析数据，对图像解析数据中的人脸进行识别。
其中，图3示出了数据传输系统中仅有一个kafka消息系统集群的情况，可以理解的是，数据传输系统可包含多个kafka消息系统集群，不同消息系统集群互相独立，可以对应不同的图像采集设备或图像流模拟设备。例如，来源于图像采集设备A的图像解析数据发布在第一kafka消息集群中，来源于图像采集设备B的图像解析数据发布在第二kafka消息集群中，需要处理来源于不同图像采集设备的图像数据的消费者可以订阅不同的kafka消息集群。同一ka fka消息系统集群中的多个kafka消息系统之间不独立，例如，来源于图像采集设备A的图像解析数据随机发布在第一kafka消息集群中的某个kafka消息系统中，且该获取到图像解析数据的kafka消息系统会将其获取到的图像解析数据同步给该集群中其他kafka消息系统，以保证kafka消息集群中的一个kafk a消息系统不工作时整个消息集群不受影响，即保证kafka消息集群的高可用性。图3中的kafka消息系统集群包括多个kafka消息系统kafka-1,kafka-2和k afka-3，该消息系统集群被三个消费组消费组-1、消费组-2、消费组-3订阅。进一步地，每个消费组中可以有一个或多个消费者(图3中未示出)，同一消费组中的消费者是竞争关系，获取到的图像解析数据不同。例如，消费组-1有0, 1,2消费者，消费组有3,4,5消费者等。0号消费者消费了kafka消息系统中的图像解析数据A，则与0属于同一消费组的1号、2号消费者就无法再消费图像解析数据A。同一个消费组中多一个消费者就多一个消费能力，会使得该消费组的消费能力加快。而针对不同消费组中的消费者获取到的图像解析数据则是可以重复的，例如0号消费者消费了kafka消息系统中的图像解析数据A，与0 号消费者处于不同消费者的3、4、5号消费者仍有机会消费图像解析数据A。基于上述特性，在实际使用中，可以把不同算法厂商放到不同消费组，避免一个厂商从消息系统中把某一个图像解析数据消费掉后其他厂商就无法再消费该图像解析数据了的情况，同时，可以把同一厂商的多个处理器作为同一消费组中的不同消费者，以提高数据的并行处理能力。如此，可根据数据处理需求灵活配置消息系统集群、消息系统、消费组、消费者的关系。
本实施例中读取服务器将FTP服务器数据库中的图像数据发送至kafka消息系统存储，可以分离解耦存储缓存的过程，可以使各图像数据被异步消费，例如，读取服务器只负责数据读取、解析而不负责数据的后续应用，读取到图像数据并解析完成就发送至kafka消息系统，然后读取服务器继续执行下一图像数据的读取、解析，图像数据的后续应用不影响读取服务器读取数据的速度。消费者可根据自己的处理速度确定从kafka消息系统中获取图像解析数据的速度，处理速度慢时可以延时获取(即通过kafka消息系统实现了缓存的目的)，不会因为处理速度慢而导致数据丢失。
下面对执行主体为消息系统的一侧的实施例。由于消息系统为执行主体的一侧与上述读取服务器为执行主体一侧的实施例只是站在不同执行主体描述的，但方案过程实质相同，因此，对于下述消息系统侧实施例中的部分步骤不再详细赘述，可参考上述读取服务器侧实施例对应步骤的说明。
在一个实施例中，本申请提供一种数据传输方法，该方法包括：至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；其中，图像解析数据为读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；消费组中包含至少一个消费者。
本实施例提供的步骤，其实现原理和技术效果与上述读取服务器侧对应实施例的类似，在此不再赘述，可参考上述读取服务器侧的描述。
在一个实施例中，消息系统为Kafka消息系统；消费组为预处理模块或图像应用模块，预处理模块用于将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
本实施例提供的步骤，其实现原理和技术效果与上述读取服务器侧对应实施例的类似，在此不再赘述，可参考上述读取服务器侧的描述。
在一个实施例中，读取程序部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
本实施例提供的步骤，其实现原理和技术效果与上述读取服务器侧对应实施例的类似，在此不再赘述，可参考上述读取服务器侧的描述。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
另外，本申请提供一种数据传输系统，该系统包括：FTP服务器、读取服务器、包含至少一个消息系统的消息系统集群、与消息系统中话题的消费组；
其中，FTP服务器包括FTP服务器数据库，FTP服务器数据库用于存储图像数据，图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；其中，读取服务器部署有读取程序，用于从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据，并将图像解析数据发送至消息系统集群中存储；目标图像数据为F TP服务器数据库中未被读取过的图像数据；其中，消息系统集群，用于接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据。
本实施例提供的数据传输系统，其实现原理和技术效果与上述读取服务器侧对应实施例的类似，在此不再赘述，可参考上述读取服务器侧的描述。
在一个实施例中，如图4所示，本申请提供了一种数据传输装置，该装置包括：解析模块10、发送模块11，其中，
解析模块10，用于读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
发送模块11，用于读取服务器将图像解析数据发送至消息系统集群中存储，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；消息系统集群包含至少一个消息系统
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，图像采集设备或图像流模拟设备具有不同的优先级，上述解析模块10具体用于读取服务器以与优先级对应的频率定时轮询扫描图像采集设备或图像流模拟设备对应约定位置的目标图像数据。
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，消息系统为Kafka消息系统；消费组为预处理模块或图像应用模块，预处理模块用于将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，读取服务器部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种数据传输装置，该装置还包括接收模块，用于至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；图像解析数据为读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；消费组中包含至少一个消费者。
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，消息系统为Kafka消息系统；消费组为预处理模块或图像应用模块，预处理模块用于将获取的图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，读取服务器部署在多个节点，节点数、消息系统数和/或消息系统集群数。
上述实施例提供的一种数据传输装置，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
关于数据传输装置的具体限定可以参见上文中对于数据传输方法的限定，在此不再赘述。上述数据传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据传输方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
读取服务器将图像解析数据发送至消息系统集群中存储，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；消息系统集群包含至少一个消息系统。
或者，该处理器执行计算机程序时实现以下步骤：
至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；
图像解析数据为读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
消费组中包含至少一个消费者。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
读取服务器将图像解析数据发送至消息系统集群中存储，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；消息系统集群包含至少一个消息系统。
或者，计算机程序被处理器执行时实现以下步骤：
至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅图像解析数据所在话题的消费组从消息系统中获取图像解析数据；
图像解析数据为读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的；目标图像数据为FTP服务器数据库中未被读取过的图像数据，图像数据是图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；
消费组中包含至少一个消费者。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM (SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM (DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据传输方法，其特征在于，所述方法包括：
读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据，所述图像解析数据包括图像采集设备的ID、图像数据的抓拍时间、图像数据中除去背景以外的人脸数据、以及图像数据中包括背景和人脸的全景数据；所述目标图像数据为所述FTP服务器数据库中未被读取过的图像数据，所述图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；所述约定位置为所述图像采集设备或图像流模拟设备的ID对应的目标文件夹；
所述读取服务器将所述图像解析数据发送至消息系统集群中存储，以使订阅所述图像解析数据所在话题的消费组从所述消息系统中获取所述图像解析数据；所述消息系统集群包含至少一个消息系统；所述消费组为预处理模块或图像应用模块，所述预处理模块用于将获取的所述图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
2.根据权利要求1所述的方法，其特征在于，所述图像采集设备或图像流模拟设备具有不同的优先级；
所述读取服务器从FTP服务器数据库中，读取目标图像数据，包括：
所述读取服务器以与所述优先级对应的频率定时轮询扫描所述图像采集设备或所述图像流模拟设备对应约定位置的目标图像数据。
3.根据权利要求1或2所述的方法，其特征在于，所述消息系统为Kafka消息系统。
4.根据权利要求1所述的方法，其特征在于，所述读取服务器部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
5.一种数据传输方法，其特征在于，所述方法包括：
至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅所述图像解析数据所在话题的消费组从所述消息系统中获取所述图像解析数据；
所述图像解析数据为所述读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的，所述图像解析数据包括图像采集设备的ID、图像数据的抓拍时间、图像数据中除去背景以外的人脸数据、以及图像数据中包括背景和人脸的全景数据；所述目标图像数据为所述FTP服务器数据库中未被读取过的图像数据，所述图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；所述约定位置为所述图像采集设备或图像流模拟设备的ID对应的目标文件夹；
所述消费组中包含至少一个消费者；所述消费组为预处理模块或图像应用模块，所述预处理模块用于将获取的所述图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
6.根据权利要求5所述的方法，其特征在于，所述消息系统为Kafka消息系统。
7.根据权利要求5或6所述的方法，其特征在于，所述读取服务器部署有读取程序，所述读取程序部署在多个节点，节点数、消息系统数和/或消息系统集群数根据图像处理需求扩展。
8.一种图像传输系统，其特征在于，所述系统包括：FTP服务器、读取服务器、包含至少一个消息系统的消息系统集群、与所述消息系统中话题的消费组；
所述FTP服务器包括FTP服务器数据库，所述FTP服务器数据库用于存储图像数据，所述图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；所述约定位置为所述图像采集设备或图像流模拟设备的ID对应的目标文件夹；
所述读取服务器部署有读取程序，用于从所述FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据，并将所述图像解析数据发送至消息系统集群中存储，所述图像解析数据包括图像采集设备的ID、图像数据的抓拍时间、图像数据中除去背景以外的人脸数据、以及图像数据中包括背景和人脸的全景数据；所述目标图像数据为所述FTP服务器数据库中未被读取过的图像数据；
所述消息系统集群，用于接收所述读取服务器发送的所述图像解析数据，以使订阅所述图像解析数据所在话题的消费组从所述消息系统中获取所述图像解析数据；所述消费组为预处理模块或图像应用模块，所述预处理模块用于将获取的所述图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
9.一种数据传输装置，其特征在于，所述装置包括：
解析模块，用于读取服务器从FTP服务器数据库中读取目标图像数据后进行解析，得到图像解析数据，所述图像解析数据包括图像采集设备的ID、图像数据的抓拍时间、图像数据中除去背景以外的人脸数据、以及图像数据中包括背景和人脸的全景数据；所述目标图像数据为所述FTP服务器数据库中未被读取过的图像数据，所述图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；所述约定位置为所述图像采集设备或图像流模拟设备的ID对应的目标文件夹；
发送模块，用于所述读取服务器将所述图像解析数据发送至消息系统集群中存储，以使订阅所述图像解析数据所在话题的消费组从所述消息系统中获取所述图像解析数据；所述消息系统集群包含至少一个消息系统；所述消费组为预处理模块或图像应用模块，所述预处理模块用于将获取的所述图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
10.一种数据传输装置，其特征在于，所述装置包括：
接收模块，用于至少一个消息系统接收读取服务器发送的图像解析数据，以使订阅所述图像解析数据所在话题的消费组从所述消息系统中获取所述图像解析数据；所述图像解析数据为所述读取服务器从FTP服务器数据库中读取目标图像数据后进行解析得到的，所述图像解析数据包括图像采集设备的ID、图像数据的抓拍时间、图像数据中除去背景以外的人脸数据、以及图像数据中包括背景和人脸的全景数据；所述目标图像数据为所述FTP服务器数据库中未被读取过的图像数据，所述图像数据是不同类型的图像采集设备或图像流模拟设备发送至FTP服务器的以约定格式命名、在约定位置存储的图像数据；所述约定位置为所述图像采集设备或图像流模拟设备的ID对应的目标文件夹；所述消费组中包含至少一个消费者；所述消费组为预处理模块或图像应用模块，所述预处理模块用于将获取的所述图像解析数据进行预处理并将预处理后的图像解析数据发送至图像应用模块。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910987574.5A 2019-10-17 2019-10-17 数据传输方法、装置、系统、计算机设备和存储介质 Active CN110719332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910987574.5A CN110719332B (zh) 2019-10-17 2019-10-17 数据传输方法、装置、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910987574.5A CN110719332B (zh) 2019-10-17 2019-10-17 数据传输方法、装置、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110719332A CN110719332A (zh) 2020-01-21
CN110719332B true CN110719332B (zh) 2022-07-26

Family

ID=69212754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987574.5A Active CN110719332B (zh) 2019-10-17 2019-10-17 数据传输方法、装置、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110719332B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368173A (zh) * 2020-03-05 2020-07-03 五八有限公司 文件传输方法、装置、电子设备及可读存储介质
CN112819683B (zh) * 2021-01-19 2023-05-26 北京格视科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113422840A (zh) * 2021-07-13 2021-09-21 全景智联(武汉)科技有限公司 基于文件传输协议的照片处理系统及方法
CN113507530B (zh) * 2021-09-09 2022-01-04 深圳市安软慧视科技有限公司 数据转发方法、相关系统和设备及存储介质
CN113660540B (zh) * 2021-10-21 2022-02-08 广东皓耘科技有限公司 图像信息处理方法、系统、显示方法、装置及存储介质
CN114070667A (zh) * 2021-11-16 2022-02-18 张家口安智科为新能源有限公司 一种召唤采用Modbus规约设备数据的方法
CN116341996A (zh) * 2023-05-31 2023-06-27 云账户技术(天津)有限公司 领导效能的评估方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959791A (zh) * 2017-11-17 2018-04-24 广州高清视信数码科技股份有限公司 视频图像采集处理的方法、装置、计算机设备及存储介质
CN108052574A (zh) * 2017-12-08 2018-05-18 南京中新赛克科技有限责任公司 基于Kafka技术的从FTP服务器导入海量数据的ETL系统及实现方法
CN108198367A (zh) * 2018-01-16 2018-06-22 西门子工厂自动化工程有限公司 数据采集与监视控制方法、系统、装置及计算机存储介质
CN108306847A (zh) * 2017-01-13 2018-07-20 北京国双科技有限公司 通信系统及方法
CN108600300A (zh) * 2018-03-06 2018-09-28 北京思空科技有限公司 日志数据处理方法及装置
CN109491976A (zh) * 2018-11-23 2019-03-19 郑州云海信息技术有限公司 一种存储数据解析方法、装置及相关设备
CN109815292A (zh) * 2019-01-03 2019-05-28 广州中软信息技术有限公司 一种基于异步消息机制的涉税数据采集系统
CN109862298A (zh) * 2018-12-18 2019-06-07 浩云科技股份有限公司 场景还原影像管理方法、装置、设备及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489731B2 (en) * 2007-12-13 2013-07-16 Highwinds Holdings, Inc. Content delivery network with customized tracking of delivery data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108306847A (zh) * 2017-01-13 2018-07-20 北京国双科技有限公司 通信系统及方法
CN107959791A (zh) * 2017-11-17 2018-04-24 广州高清视信数码科技股份有限公司 视频图像采集处理的方法、装置、计算机设备及存储介质
CN108052574A (zh) * 2017-12-08 2018-05-18 南京中新赛克科技有限责任公司 基于Kafka技术的从FTP服务器导入海量数据的ETL系统及实现方法
CN108198367A (zh) * 2018-01-16 2018-06-22 西门子工厂自动化工程有限公司 数据采集与监视控制方法、系统、装置及计算机存储介质
CN108600300A (zh) * 2018-03-06 2018-09-28 北京思空科技有限公司 日志数据处理方法及装置
CN109491976A (zh) * 2018-11-23 2019-03-19 郑州云海信息技术有限公司 一种存储数据解析方法、装置及相关设备
CN109862298A (zh) * 2018-12-18 2019-06-07 浩云科技股份有限公司 场景还原影像管理方法、装置、设备及系统
CN109815292A (zh) * 2019-01-03 2019-05-28 广州中软信息技术有限公司 一种基于异步消息机制的涉税数据采集系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chen, Yan-sheng, et al..Design and implementation of FTP service resource sharing platform based on LVS load balancing technology.《Computer Science in Industrial Applications》.2015, *
互联网海量流量信息采集与传输关键技术的研究与实现;侯伟光;《中国优秀硕士学位论文全文数据库》;20190915(第9期);正文第2章、第3.2节，图2-1 *

Also Published As

Publication number Publication date
CN110719332A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110719332B (zh) 数据传输方法、装置、系统、计算机设备和存储介质
CN111143163B (zh) 数据监控方法、装置、计算机设备和存储介质
CN112291520B (zh) 异常事件识别方法、装置、存储介质及电子装置
US20210097259A1 (en) Intelligent analysis system, method and device
CN108875328B (zh) 一种身份验证方法、装置及存储介质
CN104202387A (zh) 一种元数据恢复方法及相关装置
CN111479095B (zh) 一种业务处理控制系统、方法及装置
CN111949389B (zh) 基于Slurm的信息采集方法和装置、服务器、计算机可读存储介质
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN111263113B (zh) 数据包的发送方法及装置、数据包的处理方法及装置
CN113395487A (zh) 视频数据的存储管理方法、装置、计算机设备及存储介质
CN112039936B (zh) 数据传输方法、第一数据处理设备及监控系统
JP5072880B2 (ja) メタデータ抽出サーバ、メタデータ抽出方法およびプログラム
CN106412492B (zh) 视频数据处理方法和装置
CN116028246A (zh) 数据处理的调度方法、系统和计算机设备和存储介质
CN113596325B (zh) 抓图方法、装置、电子设备及存储介质
CN114501117A (zh) 一种多平台消息同步合并方法、系统、电子设备和存储介质
CN113315846A (zh) 一种数据传输方法及装置
CN113704652B (zh) 数据处理方法、装置、中转站及数据处理系统
CN113038261A (zh) 一种视频生成方法、装置、设备、系统及存储介质
CN113688868B (zh) 一种多线程的图像处理方法及装置
CN116132455B (zh) 基于lxc镜像的通讯方法、装置、设备及存储介质
CN114710685B (zh) 视频流的处理方法、装置、终端设备及存储介质
CN108280048B (zh) 信息处理方法和装置
CN115643257A (zh) 一种数据处理方法、系统和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant