CN113422840A - 基于文件传输协议的照片处理系统及方法 - Google Patents

基于文件传输协议的照片处理系统及方法 Download PDF

Info

Publication number
CN113422840A
CN113422840A CN202110787898.1A CN202110787898A CN113422840A CN 113422840 A CN113422840 A CN 113422840A CN 202110787898 A CN202110787898 A CN 202110787898A CN 113422840 A CN113422840 A CN 113422840A
Authority
CN
China
Prior art keywords
photo
file
server
information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110787898.1A
Other languages
English (en)
Inventor
张凯华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panoramic Zhilian Wuhan Technology Co ltd
Original Assignee
Panoramic Zhilian Wuhan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panoramic Zhilian Wuhan Technology Co ltd filed Critical Panoramic Zhilian Wuhan Technology Co ltd
Priority to CN202110787898.1A priority Critical patent/CN113422840A/zh
Publication of CN113422840A publication Critical patent/CN113422840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种基于文件传输协议的照片处理系统及方法,该系统包括:客户端、一个FTP服务器、一个处理器;所述客户端,用于根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置;所述FTP服务器,用于存放所述照片文件;所述处理器,用于从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。本发明能够使照片传输更加便捷地,快速地对接传输,同时大大降低开发人员的工作量,提高对接效率。

Description

基于文件传输协议的照片处理系统及方法
技术领域
本发明涉及互联网技术领域,具体涉及一种基于文件传输协议的照片处理系统及方法。
背景技术
信息化时代发展至今,照片信息在数字化时代发挥了巨大的作用,从人脸抓拍采集到车辆及各类识别领域的广泛应用,照片的信息传输及存储面临着各类不同的标准。
数据结构不一致,数据标准不一致,带来的后果就是对接成本巨大,且针对不同的应用方都需要采取不用的对接方式。
发明内容
本发明的目的在于针对现有技术中照片的信息传输及存储成本高、不便捷的不足之处,提供一种基于文件传输协议的照片处理系统及方法。
为实现上述目的,本发明提供一种基于文件传输协议的照片处理系统,所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;
所述客户端,用于根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置;
所述FTP服务器,用于存放所述照片文件;
所述处理器,用于从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。
优选地,所述基于文件传输协议的照片处理系统还包括:若干个redis服务器、若干个kafka服务器和若干个fastdfs服务器;
所述redis服务器,用于控制照片处理的整体流程,所述整体流程包括所述照片文件的读取、照片的下载、照片的存储、照片信息的生成、照片的删除、照片信息的保存和推送;
所述kafka服务器,用于缓存照片存储后的缓存数据,并且在所述处理器推送所述照片信息给第三方时,控制推送进程;
所述fastdfs文件存储器,用于保存从所述FTP服务器中获取的照片信息至目标文件存储位置,并返回所述目标文件存储位置给所述kafka服务器;
所述处理器,还用于维护所述FTP服务器的连接状态,并接收所述redis服务器和所述kafka服务器的监听。
优选地,所述FTP服务器,还用于根据所述处理器中定义的文件存储格式及FTP连接配置,生成对应的文件夹结构,在所述文件夹结构下根据所述照片文件生成照片格式文件;
所述kafka服务器,还用于根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件信息,通过缓存目录结构及照片名的方式,缓存照片存储后的第一缓存数据,并根据所述第一缓存数据比对进程处理进度,根据对比结果判断数据是否丢失。
优选地,所述redis服务器,还用于保存第二缓存数据时,根据文件具体路径结合文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,根据所述第二缓存数据监控文件的处理进程;
所述kafka服务器,还用于下载照片信息时,将照片转化为base64的字符,文件名及相关信息转化为时间戳和设备号,将所述时间戳和所述设备号以json字符串形式保存,并对json字符串形式的数据进行推送及消费。
优选地,所述redis服务器,还用于下载照片时,将文件路径和文件名作为第二缓存数据的key值,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,根据所述key值保存并标记文件状态;
相应地,所述处理器,还用于根据文件在redis服务器中所处的状态,实时调整对文件的处理进度。
此外,为实现上述目的,本发明提供一种基于文件传输协议的照片处理方法,其基于所述基于文件传输协议的照片处理系统,所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;
所述基于文件传输协议的照片处理方法包括以下步骤:
所述客户端根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置;
所述FTP服务器存放所述照片文件;
所述处理器从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。
优选地,所述基于文件传输协议的照片处理系统还包括:若干个redis服务器、若干个kafka服务器和若干个fastdfs服务器;
在所述客户端根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置的步骤之后,还包括:
所述redis服务器控制照片处理的整体流程,所述整体流程包括所述照片文件的读取、照片的下载、照片的存储、照片信息的生成、照片的删除、照片信息的保存和推送;
所述kafka服务器缓存照片存储后的缓存数据,并且在所述处理器推送所述照片信息给第三方时,控制推送进程;
所述fastdfs文件存储器保存从所述FTP服务器中获取的照片信息至目标文件存储位置,并返回所述目标文件存储位置给所述kafka服务器所述处理器维护所述FTP服务器的连接状态,并接收所述redis服务器和所述kafka服务器的监听。
优选地,所述FTP服务器存放所述照片文件的步骤,具体包括:
所述FTP服务器根据所述处理器中定义的文件存储格式及FTP连接配置,生成对应的文件夹结构,在所述文件夹结构下根据所述照片文件生成照片格式文件;
所述kafka服务器缓存照片存储后的缓存数据的步骤,具体包括:
所述kafka服务器根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件信息,通过缓存目录结构及照片名的方式,缓存照片存储后的第一缓存数据,并根据所述第一缓存数据比对进程处理进度,根据对比结果判断数据是否丢失。
优选地,所述处理器从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方的步骤之后,还包括:
所述redis服务器保存第二缓存数据时,根据文件具体路径结合文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,根据所述第二缓存数据监控文件的处理进程;
所述kafka服务器下载照片信息时,将照片转化为base64的字符,文件名及相关信息转化为时间戳和设备号,将所述时间戳和所述设备号以json字符串形式保存,并对json字符串形式的数据进行推送及消费。
优选地,所述redis服务器下载照片时,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,并保存当前处理状态的步骤,具体包括:
所述redis服务器下载照片时,将文件路径和文件名作为第二缓存数据的key值,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,根据所述key值保存并标记文件状态;
相应地,所述处理器根据文件在redis服务器中所处的状态,实时调整对文件的处理进度。
本发明中,所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;所述客户端,用于根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置;所述FTP服务器,用于存放所述照片文件;所述处理器,用于从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。本发明通过所述FTP服务器存放所述照片文件,处理器从所述FTP服务器读取所述照片文件,能够使照片传输更加便捷地,快速地对接传输,同时大大降低开发人员的工作量,提高对接效率。
附图说明
图1是本发明基于文件传输协议的照片处理系统实施例的示意图;
图2为本发明基于文件传输协议的照片处理方法实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,提出本发明基于文件传输协议的照片处理系统实施例。
所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;
所述客户端,用于根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述文件传输协议(File Transfer Protocol,FTP)服务器中的指定位置;
所述FTP服务器,用于存放所述照片文件;
所述处理器,用于从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。
应理解的是,客户端根据处理器中定义的文件存储格式及FTP连接配置在FTP服务器中生成对应的文件夹结构及文件名。客户端根据需要提供上传的照片,然后上传至FTP相应的照片信息在文档指定位置。客户端需要根据处理器的照片设置格式将照片文件命名处理,若为车牌抓拍照片,则可为“车牌号_车辆类型_抓拍地址_时间戳的形式”,如果为人脸识别照片,则可为“身份证号_手机号_人名的形式”上传至FTP服务器,如:421281****001_156****1234_张三.jpg。FTP服务器用于在所述指定位置存放照片文件,指定文件位置也可记录所属照片的额外信息,目录层级结构可以为“/根目录/小区名/拍摄时间”,如:/人脸抓拍/太子湖一号/20190822。处理器负责维护FTP的连接状态,并从FTP读取所述照片文件,根据所述照片文件生成对应的照片信息,并将所述照片信息保存或者推送给第三方。
进一步地,所述基于文件传输协议的照片处理系统还包括:若干个redis服务器、若干个kafka服务器和若干个fastdfs服务器;
所述redis服务器,用于控制照片处理的整体流程,所述整体流程包括所述照片文件的读取、照片的下载、照片的存储、照片信息的生成、照片的删除、照片信息的保存和推送;
所述kafka服务器,用于缓存照片存储后的缓存数据,并且在所述处理器推送所述照片信息给第三方时,控制推送进程;
所述fastdfs文件存储器,用于保存从所述FTP服务器中获取的照片信息至目标文件存储位置,并返回所述目标文件存储位置给所述kafka服务器。
需要说明的是,处理系统即控制端收到所述照片文件后,根据处理器中定义的文件存储格式包括但不限于:JPEG、PNG、JPG及FTP连接配置,在FTP服务器将照片读取并缓存至fastdfs文件存储器中。为保证数据不会丢失和重复读取,redis监视器控制整个文件读取、下载、存储和删除等过程。处理器根据文档目录及照片文件的命名格式处理照片中的各项信息,当FTP中存在大量数据时,为保证并发性,通过kafka监视器控制照片信息的推送及处理。本实施例能够使照片传输更加便捷地,快速地对接传输,同时大大降低开发人员的工作量,提高对接效率。
进一步地,所述处理器,还用于维护所述FTP服务器的连接状态,并接收所述redis服务器和所述kafka服务器的监听。
可理解的是,处理器负责维护FTP服务器的连接状态,并从所述FTP服务器读取所述照片文件。同时接收redis服务器和kafka服务器的监听;redis服务器用于控制照片处理的整体流程,从文件的读取到删除皆来自于它的控制;kafka服务器主要用于缓存所述照片文件存储后的缓存数据,因为所述照片文件需要转换为base64字符,如果直接在缓存中存储字符占用的内存消耗过大,并且在推送所述照片信息给第三方时,可控制推送进程;fastdfs文件存储器主要用于保存从FTP服务器中获取的大量照片信息,并返回在fastdfs中的所述照片文件的存储位置给kafka服务器,以供后续处理。
进一步地,在本实施例中,所述FTP服务器,还用于根据所述处理器中定义的文件存储格式及FTP连接配置,生成对应的文件夹结构,在所述文件夹结构下根据所述照片文件生成照片格式文件。
在具体实现中,存放照片文件包括以下步骤:
根据处理器中定义的文件存储格式及FTP连接配置在FTP服务器中生成对应的文件夹结构,如:客户端地址/文件生成日期;
所述照片格式文件包括照片jpg或者png格式文件,在对应的文件夹结构下生成对应的照片jpg或者png格式文件,文件名以:拍摄的设备号_拍摄时间戳_照片信息.jpg为例;
文件名中的拍摄时间戳为照片生成的毫秒时间戳timestamp;
文件名中的照片信息如为车牌抓拍照片,则可为车牌号_车辆类型_抓拍地址,如果为人脸识别照片,则可为身份证号_手机号_人名的形式。
进一步地,在本实施例中,所述kafka服务器,还用于根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件信息,通过缓存目录结构及照片名的方式,缓存照片存储后的第一缓存数据,并根据所述第一缓存数据比对进程处理进度,根据对比结果判断数据是否丢失。
需要说明的是,根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件,通过缓存目录结构及照片名的方式缓存数据。以供后续比对进程处理进度,防止数据丢失。所述第一缓存数据包括所述照片文件的文件信息等数据。
进一步地,在本实施例中,所述redis服务器,还用于保存第二缓存数据时,根据文件具体路径结合文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,根据所述第二缓存数据监控文件的处理进程;
所述kafka服务器,还用于下载照片信息时,将照片转化为base64的字符,文件名及相关信息转化为时间戳和设备号,将所述时间戳和所述设备号以json字符串形式保存,并对json字符串形式的数据进行推送及消费。
在具体实现中,所述redis服务器保存所述第二缓存数据时,根据文件具体路径+文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,通过这种缓存数据监控文件的处理进程以保证文件可以有序的处理不会混乱。所述第二缓存数据包括文件处理状态等信息。
下载照片信息时,会将照片转化为base64的字符,文件名等相关信息转化为时间戳、设备号等信息,最终信息以json字符串的形式保存在kafka中以供后续数据推送及消费。
进一步地,在本实施例中,所述redis服务器,还用于下载照片时,将文件路径和文件名作为第二缓存数据的key值,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,根据所述key值保存并标记文件状态;
相应地,所述处理器,还用于根据文件在redis服务器中所处的状态,实时调整对文件的处理进度。
可理解的是,因文件保存路径唯一,特指定文件路径+文件名为key值用于保存并标记文件状态。因为可以根据实际使用情况布置多台服务器,所以需要保证一个文件同时只可被一台服务器处理,避免多台服务器处理同一张照片导致数据重复。文件状态根据文件处理的不同阶段分为“处理中”和“处理完成”两个状态。处理器会根据文件在redis服务器中所处的状态实时调整对文件的处理进度,以保证不多不少的处理所有照片数据。
在本实施例中,通过所述FTP服务器存放所述照片文件,处理器从所述FTP服务器读取所述照片文件,使得照片传输更加便捷的,快速的对接传输,同时大大降低开发人员的工作量,提高对接效率;redis监视器控制所述照片文件的处理全流程,通过kafka监视器控制照片信息的推送及处理,保证照片文件的数据不会丢失和重复读取。
参照图2,提出所述基于文件传输协议的照片处理方法实施例。
在本实施例中,所述基于文件传输协议的照片处理方法,基于所述基于文件传输协议的照片处理系统,所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;
所述基于文件传输协议的照片处理方法包括以下步骤:
步骤S10:所述客户端根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置。
步骤S20:所述FTP服务器存放所述照片文件。
步骤S30:所述处理器从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。
应理解的是,客户端根据处理器中定义的文件存储格式及FTP连接配置在FTP服务器中生成对应的文件夹结构及文件名。客户端需要根据处理器的照片设置格式将照片存放在指定文件位置,文件位置也可记录所属照片的额外信息,目录层级结构可以为“/根目录/小区名/拍摄时间”。而照片命名跟据相关规则,若为车牌抓拍照片,则可为“车牌号_车辆类型_抓拍地址_时间戳的形式”,如果为人脸识别照片,则可为“身份证号_手机号_人名的形式”上传至FTP服务器,如421281****001_156****1234_张三.jpg。FTP服务器用于在所述指定位置存放照片文件,指定文件位置也可记录所属照片的额外信息,目录层级结构可以为“/根目录/小区名/拍摄时间”,如:/人脸抓拍/太子湖一号/20190822。处理器负责维护FTP的连接状态,并从FTP读取所述照片文件,根据所述照片文件生成对应的照片信息,并将所述照片信息保存或者推送给第三方。
进一步地,在本实施例中,所述基于文件传输协议的照片处理系统还包括:若干个redis服务器、若干个kafka服务器和若干个fastdfs服务器;
在所述步骤S10之后,还包括:
所述redis服务器控制照片处理的整体流程,所述整体流程包括所述照片文件的读取、照片的下载、照片的存储、照片信息的生成、照片的删除、照片信息的保存和推送;
所述kafka服务器缓存照片存储后的缓存数据,并且在所述处理器推送所述照片信息给第三方时,控制推送进程;
所述fastdfs文件存储器保存从所述FTP服务器中获取的照片信息至目标文件存储位置,并返回所述目标文件存储位置给所述kafka服务器。
需要说明的是,处理系统即控制端收到所述照片文件后,根据处理器中定义的文件存储格式包括但不限于:JPEG、PNG、JPG及FTP连接配置,在FTP服务器将照片读取并缓存至fastdfs文件存储器中。为保证数据不会丢失和重复读取,redis监视器控制整个文件读取、下载、存储和删除等过程。处理器根据文档目录及照片文件的命名格式处理照片中的各项信息,当FTP中存在大量数据时,为保证并发性,通过kafka监视器控制照片信息的推送及处理。本实施例能够使照片传输更加便捷地,快速地对接传输,同时大大降低开发人员的工作量,提高对接效率。
进一步地,在所述处理器从所述FTP服务器读取所述照片文件之后,还包括:
所述处理器维护所述FTP服务器的连接状态,并接收所述redis服务器和所述kafka服务器的监听。
可理解的是,处理器负责维护FTP服务器的连接状态,并从所述FTP服务器读取所述照片文件。同时接收redis服务器和kafka服务器的监听;redis服务器用于控制照片处理的整体流程,从文件的读取到删除皆来自于它的控制;kafka服务器主要用于缓存所述照片文件存储后的缓存数据,因为所述照片文件需要转换为base64字符,如果直接在缓存中存储字符占用的内存消耗过大,并且在推送所述照片信息给第三方时,可控制推送进程;fastdfs文件存储器主要用于保存从FTP服务器中获取的大量照片信息,并返回在fastdfs中的所述照片文件的存储位置给kafka服务器,以供后续处理。
进一步地,在本实施例中,所述步骤S20,具体包括:
所述FTP服务器根据所述处理器中定义的文件存储格式及FTP连接配置,生成对应的文件夹结构,在所述文件夹结构下根据所述照片文件生成照片格式文件。
在具体实现中,存放照片文件包括以下步骤:
根据处理器中定义的文件存储格式及FTP连接配置在FTP服务器中生成对应的文件夹结构,如:客户端地址/文件生成日期;
所述照片格式文件包括照片jpg或者png格式文件,在对应的文件夹结构下生成对应的照片jpg或者png格式文件,文件名以:拍摄的设备号_拍摄时间戳_照片信息.jpg为例;
文件名中的拍摄时间戳为照片生成的毫秒时间戳timestamp;
文件名中的照片信息如为车牌抓拍照片,则可为车牌号_车辆类型_抓拍地址,如果为人脸识别照片,则可为身份证号_手机号_人名的形式。
进一步地,在本实施例中,所述kafka服务器缓存照片存储后的缓存数据的步骤,具体包括:
所述kafka服务器根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件信息,通过缓存目录结构及照片名的方式,缓存照片存储后的第一缓存数据,并根据所述第一缓存数据比对进程处理进度,根据对比结果判断数据是否丢失。
需要说明的是,根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件,通过缓存目录结构及照片名的方式缓存数据。以供后续比对进程处理进度,防止数据丢失。所述第一缓存数据包括所述照片文件的文件信息等数据。
进一步地,在本实施例中,所述处理器从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方的步骤之后,还包括:
所述redis服务器保存第二缓存数据时,根据文件具体路径结合文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,根据所述第二缓存数据监控文件的处理进程;
所述kafka服务器下载照片信息时,将照片转化为base64的字符,文件名及相关信息转化为时间戳和设备号,将所述时间戳和所述设备号以json字符串形式保存,并对json字符串形式的数据进行推送及消费。
具体实现中,所述redis服务器保存所述第二缓存数据时,根据文件具体路径+文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,通过这种缓存数据监控文件的处理进程以保证文件可以有序的处理不会混乱。所述第二缓存数据包括文件处理状态等信息。
应理解的是,下载照片信息时,会将照片转化为base64的字符,文件名等相关信息转化为时间戳、设备号等信息,最终信息以json字符串的形式保存在kafka中以供后续数据推送及消费。
进一步地,在本实施例中,所述redis服务器下载照片时,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,并保存当前处理状态的步骤,具体包括:
所述redis服务器下载照片时,将文件路径和文件名作为第二缓存数据的key值,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,根据所述key值保存并标记文件状态;
相应地,所述处理器根据文件在redis服务器中所处的状态,实时调整对文件的处理进度。
可理解的是,因文件保存路径唯一,特指定文件路径+文件名为key值用于保存并标记文件状态。因为可以根据实际使用情况布置多台服务器,所以需要保证一个文件同时只可被一台服务器处理,避免多台服务器处理同一张照片导致数据重复。文件状态根据文件处理的不同阶段分为“处理中”和“处理完成”两个状态。处理器会根据文件在redis服务器中所处的状态实时调整对文件的处理进度,以保证不多不少的处理所有照片数据。
在本实施例中,通过所述FTP服务器存放所述照片文件,处理器从所述FTP服务器读取所述照片文件,使得照片传输更加便捷的,快速的对接传输,同时大大降低开发人员的工作量,提高对接效率;redis监视器控制所述照片文件的处理全流程,通过kafka监视器控制照片信息的推送及处理,保证照片文件的数据不会丢失和重复读取。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为标识。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于文件传输协议的照片处理系统,其特征在于,所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;
所述客户端,用于根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置;
所述FTP服务器,用于存放所述照片文件;
所述处理器,用于从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。
2.权利要求1所述的基于文件传输协议的照片处理系统,其特征在于,所述基于文件传输协议的照片处理系统还包括:若干个redis服务器、若干个kafka服务器和若干个fastdfs服务器;
所述redis服务器,用于控制照片处理的整体流程,所述整体流程包括所述照片文件的读取、照片的下载、照片的存储、照片信息的生成、照片的删除、照片信息的保存和推送;
所述kafka服务器,用于缓存照片存储后的缓存数据,并且在所述处理器推送所述照片信息给第三方时,控制推送进程;
所述fastdfs文件存储器,用于保存从所述FTP服务器中获取的照片信息至目标文件存储位置,并返回所述目标文件存储位置给所述kafka服务器;
所述处理器,还用于维护所述FTP服务器的连接状态,并接收所述redis服务器和所述kafka服务器的监听。
3.如权利要求2所述的基于文件传输协议的照片处理系统,其特征在于,所述FTP服务器,还用于根据所述处理器中定义的文件存储格式及FTP连接配置,生成对应的文件夹结构,在所述文件夹结构下根据所述照片文件生成照片格式文件;
所述kafka服务器,还用于根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件信息,通过缓存目录结构及照片名的方式,缓存照片存储后的第一缓存数据,并根据所述第一缓存数据比对进程处理进度,根据对比结果判断数据是否丢失。
4.如权利要求2所述的基于文件传输协议的照片处理系统,其特征在于,所述redis服务器,还用于保存第二缓存数据时,根据文件具体路径结合文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,根据所述第二缓存数据监控文件的处理进程;
所述kafka服务器,还用于下载照片信息时,将照片转化为base64的字符,文件名及相关信息转化为时间戳和设备号,将所述时间戳和所述设备号以json字符串形式保存,并对json字符串形式的数据进行推送及消费。
5.如权利要求4所述的基于文件传输协议的照片处理系统,其特征在于,所述redis服务器,还用于下载照片时,将文件路径和文件名作为第二缓存数据的key值,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,根据所述key值保存并标记文件状态;
相应地,所述处理器,还用于根据文件在redis服务器中所处的状态,实时调整对文件的处理进度。
6.一种基于文件传输协议的照片处理方法,其特征在于,基于所述基于文件传输协议的照片处理系统,所述基于文件传输协议的照片处理系统包括:客户端、一个FTP服务器、一个处理器;
所述基于文件传输协议的照片处理方法包括以下步骤:
所述客户端根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置;
所述FTP服务器存放所述照片文件;
所述处理器从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方。
7.如权利要求6所述的基于文件传输协议的照片处理方法,其特征在于,所述基于文件传输协议的照片处理系统还包括:若干个redis服务器、若干个kafka服务器和若干个fastdfs服务器;
在所述客户端根据所述处理器的照片设置格式,将照片文件根据预设规则上传至所述FTP服务器中的指定位置的步骤之后,还包括:
所述redis服务器控制照片处理的整体流程,所述整体流程包括所述照片文件的读取、照片的下载、照片的存储、照片信息的生成、照片的删除、照片信息的保存和推送;
所述kafka服务器缓存照片存储后的缓存数据,并且在所述处理器推送所述照片信息给第三方时,控制推送进程;
所述fastdfs文件存储器保存从所述FTP服务器中获取的照片信息至目标文件存储位置,并返回所述目标文件存储位置给所述kafka服务器;
所述处理器维护所述FTP服务器的连接状态,并接收所述redis服务器和所述kafka服务器的监听。
8.如权利要求7所述的基于文件传输协议的照片处理方法,其特征在于,所述FTP服务器存放所述照片文件的步骤,具体包括:
所述FTP服务器根据所述处理器中定义的文件存储格式及FTP连接配置,生成对应的文件夹结构,在所述文件夹结构下根据所述照片文件生成照片格式文件;
所述kafka服务器缓存照片存储后的缓存数据的步骤,具体包括:
所述kafka服务器根据FTPClient初始化连接信息,建立连接信息后,根据初始化根目录读取目录下所有照片文件信息,通过缓存目录结构及照片名的方式,缓存照片存储后的第一缓存数据,并根据所述第一缓存数据比对进程处理进度,根据对比结果判断数据是否丢失。
9.如权利要求7所述的基于文件传输协议的照片处理方法,其特征在于,所述处理器从所述FTP服务器读取所述照片文件,生成对应的照片信息,保存或者推送所述照片信息给第三方的步骤之后,还包括:
所述redis服务器保存第二缓存数据时,根据文件具体路径结合文件名的方式设置为key,文件当前处理状态为value来保存所述第二缓存数据的key及value值,根据所述第二缓存数据监控文件的处理进程;
所述kafka服务器下载照片信息时,将照片转化为base64的字符,文件名及相关信息转化为时间戳和设备号,将所述时间戳和所述设备号以json字符串形式保存,并对json字符串形式的数据进行推送及消费。
10.如权利要求9所述的基于文件传输协议的照片处理方法,其特征在于,所述redis服务器下载照片时,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,并保存当前处理状态的步骤,具体包括:
所述redis服务器下载照片时,将文件路径和文件名作为第二缓存数据的key值,根据文件具体路径对应文件名的方式保存第二缓存数据的key及value值,通过文件路径、文件名下载具体照片信息,根据所述key值保存并标记文件状态;
相应地,所述处理器根据文件在redis服务器中所处的状态,实时调整对文件的处理进度。
CN202110787898.1A 2021-07-13 2021-07-13 基于文件传输协议的照片处理系统及方法 Pending CN113422840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110787898.1A CN113422840A (zh) 2021-07-13 2021-07-13 基于文件传输协议的照片处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110787898.1A CN113422840A (zh) 2021-07-13 2021-07-13 基于文件传输协议的照片处理系统及方法

Publications (1)

Publication Number Publication Date
CN113422840A true CN113422840A (zh) 2021-09-21

Family

ID=77720807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110787898.1A Pending CN113422840A (zh) 2021-07-13 2021-07-13 基于文件传输协议的照片处理系统及方法

Country Status (1)

Country Link
CN (1) CN113422840A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491169A (zh) * 2013-09-24 2014-01-01 长沙裕邦软件开发有限公司 一种文件上传及下载的方法和系统
CN107070890A (zh) * 2017-03-10 2017-08-18 北京市天元网络技术股份有限公司 一种通信网优系统中的流数据处理装置及通信网优系统
CN108710550A (zh) * 2018-08-16 2018-10-26 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统
CN110287159A (zh) * 2019-06-03 2019-09-27 北京一览群智数据科技有限责任公司 一种文件处理方法及装置
CN110719332A (zh) * 2019-10-17 2020-01-21 北京旷视科技有限公司 数据传输方法、装置、系统、计算机设备和存储介质
CN110995836A (zh) * 2019-11-29 2020-04-10 安徽江淮汽车集团股份有限公司 基于车联网平台的日志管理方法、设备、存储介质及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491169A (zh) * 2013-09-24 2014-01-01 长沙裕邦软件开发有限公司 一种文件上传及下载的方法和系统
CN107070890A (zh) * 2017-03-10 2017-08-18 北京市天元网络技术股份有限公司 一种通信网优系统中的流数据处理装置及通信网优系统
CN108710550A (zh) * 2018-08-16 2018-10-26 北京易华录信息技术股份有限公司 一种用于公安交管稽查布控系统的双数据中心容灾系统
CN110287159A (zh) * 2019-06-03 2019-09-27 北京一览群智数据科技有限责任公司 一种文件处理方法及装置
CN110719332A (zh) * 2019-10-17 2020-01-21 北京旷视科技有限公司 数据传输方法、装置、系统、计算机设备和存储介质
CN110995836A (zh) * 2019-11-29 2020-04-10 安徽江淮汽车集团股份有限公司 基于车联网平台的日志管理方法、设备、存储介质及装置

Similar Documents

Publication Publication Date Title
CN100514347C (zh) 数据备份系统
CN106294798B (zh) 一种基于缩略图的图像分享方法和终端
US7584201B2 (en) Management of mobile-device data
US8045510B2 (en) Method for paginating a document structure of a document for viewing on a mobile communication device
US6925476B1 (en) Updating application data including adding first change log to aggreagate change log comprising summary of changes
US8117238B2 (en) Method of delivering an electronic document to a remote electronic device
CN103686040B (zh) 图像重复防止设备和图像重复防止方法
CN102420843B (zh) 一种基于云压缩链接的压缩和解压缩方法、装置及系统
CN106161523B (zh) 一种数据处理方法和设备
CN110096660A (zh) 用于加载页面图片的方法、装置和电子设备
CN105824932A (zh) 一种基于阿里云对象存储oss的档案系统
CN110188216B (zh) 一种具有文字识别的照片直播系统及其方法
JP4352940B2 (ja) 画像検索装置およびプログラム
CN114547564B (zh) 一种文档处理方法、装置及设备
FI115364B (fi) Kuvausprofiili digitaalisessa kuvauksessa
JP2003110975A (ja) 画像記録方法および装置、画像配信方法および装置並びにプログラム
CN113422840A (zh) 基于文件传输协议的照片处理系统及方法
CN108961098A (zh) 车辆监管方法、装置、系统及计算机可读存储介质
JP2001306376A (ja) データファイル管理用記録媒体、データファイル管理装置、画像データの伝送方法およびデータの伝送方法
CN115858972A (zh) 应用程序的页面显示方法及装置、存储介质、计算机设备
CN114090502A (zh) 一种资源管理方法、装置、设备及存储介质
CN112347046A (zh) 一种获取分布式系统中文件的创建时间的方法
JP2010191706A (ja) Webシステムにおける分散処理方法およびwebシステムにおける分散処理システム
CN106341455A (zh) 复制粘贴方法
CN116016486B (zh) 一种同步文件的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination