CN113162976A - 物流分拨中心的数据处理方法、装置、设备和存储介质 - Google Patents
物流分拨中心的数据处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113162976A CN113162976A CN202110271339.5A CN202110271339A CN113162976A CN 113162976 A CN113162976 A CN 113162976A CN 202110271339 A CN202110271339 A CN 202110271339A CN 113162976 A CN113162976 A CN 113162976A
- Authority
- CN
- China
- Prior art keywords
- data
- container
- server
- data processing
- distribution center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
- G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Development Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种物流分拨中心的数据处理方法、装置、设备和存储介质,采用Docker容器技术,支持多容器部署,可在不同容器或同一容器内放置多种应用程序APP,实现不同应用业务的横向隔离,从而实现业务灵活部署;另一方面,Docker容器技术的运行环境可移植,资源使用率和业务部署效率高,容器之间的业务进程相互隔离,安全程度高,可实现同时对海量数据进行解析、计算并决策,将计算后的数据或决策数据上传到本地服务平台,减少了上传到云端的数据量,避免网络阻塞,减轻云端服务器的分析、决策压力,提高数据处理的稳定性和实时性。
Description
技术领域
本发明属于数据传输的技术领域,尤其涉及一种物流分拨中心的数据处理方法、装置、设备和存储介质。
背景技术
目前的互联网平台(如数据中心)主要运行在云端,意在改善设备运维条件,提升工业资源共享率和利用率,对于当前社会需求下的海量设备,每台设备都产生大量的数据,所有的数据处理都在云端进行,对云端服务器的性能要求高,同时设备数据传送到云端和云端发送指令到特定设备都需要相对长的时间,显然,这种单一运行在云端的互联网平台难以应对一些时延要求高、运算量大的物联网应用场景,另外真实环境下经常由于网络不稳定导致无法及时处理设备数据和控制设备,随着设备数量的增加,流量成本,云端存储成本也在不断增加,因此单一的运行在云端的互联网平台很难满足海量物联场景下的需求。
在快递行业,物流分拨中心每天接收成百上千家供应商或货主通过各种运输工具送来的成千上万种商品,需要在最短的时间内将这些商品卸下并按商品品种、货主、储位或发送地点进行快速准确地分类,将这些商品运送到指定地点(如指定的货架、加工区域、出货站台等);同时,当供应商或货主通知物流中心按配送指示发货时,需要在最短的时间内从庞大的高层货存架存储系统中准确找到要出库的商品所在位置,并按所需数量出库,将从不同储位上取出的不同数量的商品按配送地点的不同运送到不同的理货区域或配送站台集中,以便装车配送。为了达到上述要求,物流企业通常采用自动分拣系统来完成。
为了获取物流分拨中心的运行状态,通常会在物流分拨中心安装若干个摄像头,实时记录物流分拨中心中的人员的行动情况、设备的运行情况及包裹的处理情况。因此,物流分拨中心每天会产生大量的视频图像数据。当前业内大多将这些视频图像数据压缩后传输到云端数据中心进行处理,经云端处理后的结果返回到应用端。这既受到云端数据中心计算能力的限制,又不得不依靠网络的传输能力,存在数据传输成本较高,数据处理延迟大的问题。另外,在对数据进行压缩及解压的过程中,容易出现数据丢失或损坏的情况,使得数据不完整,从而导致数据中心无法得到真实的物流运行情况,作出错误的判断,进而给物流企业造成不可估量的损失。
发明内容
本发明的目的是提供一种物流分拨中心的数据处理方法、装置、设备和存储介质,将服务器部署在数据源端,利用Docker服务隔离处理各个项目的计算需求,将本地数据在该服务器上进行计算后,即时返回结果,再将该结果传输到云端进行下一步计算或存储。极大降低了数据在网络中的传输量(特别是视频图片数据),提高数据传输效率;同时,将数据在本地进行分析计算,能够实时返回计算结果,满足实时处理的要求。
为解决上述问题,本发明的技术方案为:
一种物流分拨中心的数据处理方法,包括:
部署基于边缘计算的本地服务平台及用于分拨中心数据采集的IOT设备,其中,本地服务平台包括边缘计算服务器及数据服务器;
数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中;
根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件,对数据文件进行分类,得到多个数据块;
调用容器对每个数据块进行处理,得到多个数据处理结果;
将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。
根据本发明一实施例,所述数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中进一步包括:
数据服务器接收IOT设备采集并传送的数据文件,将数据文件分时间段存储于数据库中;
数据服务器建立临时数据库,每到一预定的数据更新时间时,数据服务器至数据库中取出与所述数据更新时间相对应的时间范围内的数据文件,并存储于临时数据库。
根据本发明一实施例,所述根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件进一步包括:
边缘计算服务器每到一预定的数据读取时间,就向数据服务器发送数据读取请求,所述数据读取请求中包括与所述预定的数据读取时间相对应的时间范围标识;
数据服务器根据所述数据读取请求,从临时数据库中提取与所述时间范围标识对应的数据文件传送至边缘计算服务器;所述临时数据库用于存储数据服务器更新的数据文件。
根据本发明一实施例,所述边缘计算服务器对数据文件进行分类,得到多个数据块进一步包括:
预先设定特征点,并对设定的特征点进行分类,得到特征点分类结果;
对数据文件中的图像数据进行识别,得到图像数据中包含的设定的特征点;根据特征点分类结果对图像数据中包含的设定的特征点的类别进行区分,得到图像数据分类结果;
将不同类别的图像数据进行分块,得到多个数据块。
根据本发明一实施例,所述调用容器对每个数据块进行处理进一步包括:
在边缘计算服务器中内置基于容器的操作系统,所述操作系统包括容器引擎和容器调度框架,所述容器引擎包括至少一个容器,每一容器放置至少一种应用程序;
边缘计算服务器通过所述容器调度框架调用所述容器引擎内对应的应用程序对数据块进行分析和决策。
根据本发明一实施例,所述容器引擎为Docker容器引擎,所述Docker容器引擎包括Docker镜像仓库、多个容器;
所述Docker镜像仓库,部署于本地服务平台的后台管理系统中;
多个所述容器,用于放置不同的应用程序,通过沙盒技术隔离所述应用程序。
根据本发明一实施例,所述容器调度框架包括容器管理单元和容器编排单元,通过所述容器管理单元进行调度策略开发,通过所述容器编排单元制定各容器内应用程序的运行路线。
一种物流分拨中心的数据处理装置,包括:
边缘物联模块,用于连接基于边缘计算的本地服务平台及用于分拨中心数据采集的IOT设备,其中,本地服务平台包括边缘计算服务器及数据服务器;
数据存储模块,用于数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中;
数据获取模块,用于根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件,对数据文件进行分类,得到多个数据块;
数据处理模块,用于调用目标容器对每个数据块进行处理,得到多个数据处理结果;
数据传输模块,用于将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。
一种物流分拨中心的数据处理设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行计算机可读指令时,实现本发明一实施例中的物流分拨中心的数据处理方法。
一种计算机可读介质,存储计算机程序,其特征在于,所述计算机程序被一个或多个处理器执行时,实现本发明一实施例中的物流分拨中心的数据处理方法。
本发明由于采用以上技术方案,使其与现有技术相比具有以下的优点和积极效果:
1)本发明一实施例中的物流分拨中心的数据处理方法,针对物流分拨中心每天产生大量的视频图像数据,将这些视频图像数据压缩后传输到云端数据中心进行处理的方式受到云端数据中心计算能力的限制,又不得不依靠网络的传输能力,存在数据传输成本较高,数据处理延迟大的问题,通过在本地部署服务平台,将IOT设备采集的数据在本地服务平台上进行计算后,即时返回结果,再将该结果传输到云端进行下一步计算或存储。极大降低了数据在网络中的传输量(特别是视频图片数据),提高数据传输效率;同时,将数据在本地进行分析计算,能够实时返回计算结果,满足实时处理的要求。
2)本发明一实施例中的物流分拨中心的数据处理方法,数据服务器接收IOT设备上传的数据,并按照时间顺序进行分时存储,便于数据的读取,有利于提高数据服务器在读取数据的效率;数据服务器将更新的一时间段的数据存储至临时数据库中,以供边缘计算服务器立即读取更新的数据,使得数据服务器响应边缘计算服务器的数据更新请求的次数相当于是数据服务器本身对数据执行更新的次数,减少数据服务器实现数据更新至边缘计算服务器的工作负荷量。
3)本发明一实施例中的物流分拨中心的数据处理方法,边缘计算服务器通过根据特征点分类结果对图像数据含有的设定的特征点的类别进行区分,然后根据区分结果对图像进行分类,其分类步骤简单,便于实现,可提高数据分类效率,进而提高边缘计算服务器的数据分析速度。
4)本发明一实施例中的物流分拨中心的数据处理方法,采用Docker容器技术,支持多容器部署,可在不同容器或同一容器内放置多种应用程序APP,实现不同应用业务的横向隔离,从而实现业务灵活部署;另一方面,Docker容器技术的运行环境可移植,资源使用率和业务部署效率高,容器之间的业务进程相互隔离,安全程度高,可实现同时对海量数据进行解析、计算并决策,将计算后的数据或决策数据上传到本地服务平台,减少了上传到云端的数据量,避免网络阻塞,减轻云端服务器的分析、决策压力,提高数据处理的稳定性和实时性。
附图说明
图1为本发明一实施例中的物流分拨中心的数据处理方法流图;
图2为本发明一实施例中的边缘计算服务器内操作系统的结构示意图;
图3为本发明一实施例中的物流分拨中心的数据处理装置的框图;
图4为本发明一实施例中的物流分拨中心的数据处理设备的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的一种物流分拨中心的数据处理方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书,本发明的优点和特征将更清楚。
实施例一
本实施例针对物流分拨中心每天产生大量的视频图像数据,将这些视频图像数据压缩后传输到云端数据中心进行处理的方式受到云端数据中心计算能力的限制,又不得不依靠网络的传输能力,存在数据传输成本较高,数据处理延迟大的问题,提出了一种物流分拨中心的数据处理方法,通过在本地部署服务平台,将IOT设备采集的数据在本地服务平台上进行计算后,即时返回结果,再将该结果传输到云端进行下一步计算或存储。极大降低了数据在网络中的传输量(特别是视频图片数据),提高数据传输效率;同时,将数据在本地进行分析计算,能够实时返回计算结果,满足实时处理的要求。
请参看图1,该物流分拨中心的数据处理方法,包括:
S1:部署基于边缘计算的本地服务平台及用于分拨中心数据采集的IOT设备,其中,本地服务平台包括边缘计算服务器及数据服务器;
S2:数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中;
S3:根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件,对数据文件进行分类,得到多个数据块;
S4:调用容器对每个数据块进行处理,得到多个数据处理结果;
S5:将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。
具体的,在步骤S1中,边缘计算是云计算技术的衍生物,将云端能力延伸到边缘,即在靠近用户的地方提供存储、计算、网络等基础服务,在边缘基础服务下部署和运行应用服务、在边缘侧为用户提供服务,本质上是将云端能力下沉到边缘,是云计算技术在物联网领域的延伸。随着设备数量的增加,海量的数据在边缘处理,不需要全部推送到云端,减轻了云端的压力,降低了数据传送的流量成本,同时,由于大量数据不再需要通过网络传送在云端,在某种程度上也保证了数据的安全性。
本实施例中,物流物联网的网络连接关系为:IOT(The Internet of Things)设备连接到本地服务平台,本地服务平台连接到云服务平台(云服务器)。IOT设备位于物联网感知现场,是具备感知、交采、计量等数据采集功能的组件,或者是单独的功能组件,或者是物联网现场执行数据感知采集功能的传感器、终端等。本地服务平台位于物联网现场,通过本地通信方式与IOT设备连接,通过远程通信方式与云服务平台连接,收集来自IOT设备的所有数据并进行分析处理,实现本地感知数据的统一汇聚接入,并实现边缘侧物联接入数据的本地分析和决策,以统一的物联规约将决策信息上传到云服务平台。
其中,本地服务平台包括数据服务器及边缘计算服务器,该数据服务器通过物联网与IOT设备进行数据交互,接收并存储IOT设备实时上传的数据文件。边缘计算服务器与数据服务器通讯连接,将数据服务器中的数据按特定算法进行分类,调用容器中的服务(应用程序)对分类后的数据进行分析处理,得到处理结果。对于物流分拨中心而言,IOT设备主要是摄像头,其数据文件主要是视频图像数据。
在步骤S2中,数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中进一步包括:
步骤S21:数据服务器接收IOT设备采集并传送的数据文件,将数据文件分时间段存储于数据库中;
步骤S22:数据服务器建立临时数据库,每到一预定的数据更新时间时,数据服务器至数据库中取出与所述数据更新时间相对应的时间范围内的数据文件,并存储于临时数据库。
在步骤S21中,数据服务器下设有数据库用以存储数据文件。该数据库包括物理存储表,该物理存储表包括有多个时间分片,多个时间分片以时间属性进行划分。具体地,该时间属性具体可以以一小时为周期,或者以一天为周期,或者以其他的时间为周期。这里均不作限定。以一小时为周期为例,数据库用于2021年1月1日1时的数据,则包括60个时间片,分别为时间属性为2021年1月1日1时0分的时间片至时间属性为2021年1月1日1时59分的时间片。每个时间分片至少包括一个物理分片。物理分片作为时间的存储片用于对数据进行存储。
数据服务器存储数据时,首先接收IOT设备上传的待存储数据,主要是视频图像数据。然后,根据待存储数据的接收时间确定待存储数据的物理存储路径,将待存储数据保存至每个时间分片或者部分时间分片下与物理存储路径对应的物理分片中。
在步骤S22中,为了便于边缘计算服务器读取更新的数据,数据服务器建立了临时数据库,用以存储最近一时间段内IOT设备上传的数据。这里所说的最近一时间段内IOT设备上传的数据,以数据服务器的数据更新时间为触发信号,当当前时间到达预定的数据更新时间时,数据服务器就从数据库中取出与该数据更新时间相对应的时间范围内的时间分片下的物理分片中的数据文件,存储于临时数据库中。其中,数据更新时间可根据实际需求,灵活地设置。如可设置为每隔1分钟更新一次。
在步骤S3中,根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件进一步包括:
步骤S31:边缘计算服务器每到一预定的数据读取时间,就向数据服务器发送数据读取请求,该数据读取请求中包括与预定的数据读取时间相对应的时间范围标识;
步骤S32:数据服务器根据所述数据读取请求,从临时数据库中提取与所述时间范围标识对应的数据文件传送至边缘计算服务器。这里的临时数据库就是步骤S22中用于存储数据服务器更新的数据文件的临时数据库。
上述数据服务器接收IOT设备上传的数据,并按照时间顺序进行分时存储,便于数据的读取,有利于提高数据服务器在读取数据的效率。数据服务器将更新的一时间段的数据存储至临时数据库中,便于边缘计算服务器读取更新的数据,减轻边缘计算服务器的负荷,有利于提高边缘计算服务器计算效率。
在步骤S3中,边缘计算服务器对数据文件进行分类,得到多个数据块进一步包括:
步骤S41:预先设定特征点,并对设定的特征点进行分类,得到特征点分类结果;
步骤S42:对数据文件中的图像数据进行识别,得到图像数据中包含的设定的特征点;根据特征点分类结果对图像数据中包含的设定的特征点的类别进行区分,得到图像数据分类结果;
步骤S43:将不同类别的图像数据进行分块,得到多个数据块。
其中,在步骤S41中,设定特征点,然后根据设定的特征点自动设计特征点分类算法,接着根据特征点分类算法对设定的特征点进行分类,得出特征点分类结果。在物流分拨中心,主要的数据是记录人员的行动情况、设备的运行情况及包裹的处理情况的视频图像数据,因此,特征点应包括脸、手、脚等人体特征,设备开关、包裹传输流水线等分拣设备特征及包裹特征。将这些特征分别作为设定的特征点,将设定的特征点进行分类,可分为人体、设备、包裹、人体与包裹、人体与设备、设备与包裹这几个类别。
在步骤S42中,在对图像数据进行识别之前,可对图像进行预处理。其步骤为:根据图像的像素位置信息和像素灰度值信息,对图像进行滤波处理,生成滤波图像;根据滤波图像的局部像素信息和整体像素信息,对滤波图像进行增强处理,生成增强图像。
然后对增强图像进行识别,依次对识别结果和设定的特征点进行匹配,依次判断匹配度,当匹配度大于80%时,判断图像含有当前匹配的设定的特征点。根据特征点分类结果对预处理后的图像含有的设定的特征点的类别进行区分,判断含有的设定的特征点最多的类别,以此为依据对图像进行分类,得出图像分类结果。
在步骤S43中,将不同类别的图像数据进行分块,得到多个数据块。
上述图像分类方法通过对图像进行预处理能够提高对图像的识别精确度,从而提高图像的分类精确度;通过根据特征点分类结果对预处理后的图像含有的设定的特征点的类别进行区分,然后根据区分结果对图像进行分类能够便于对图像进行分类,分类步骤简单,便于实现,可提高数据分类效率,进而提高边缘计算服务器的数据分析速度。
在步骤S4中,调用容器对每个数据块进行处理进一步包括:
步骤S51:在边缘计算服务器中内置基于容器的操作系统,所述操作系统包括容器引擎和容器调度框架,所述容器引擎包括至少一个容器,每一容器放置至少一种应用程序。
其中,容器引擎为Docker容器引擎,该Docker容器引擎包括Docker镜像仓库、多个容器,请参看图2。该Docker镜像仓库,可部署于本地服务平台的后台管理系统中;多个容器,用于放置不同的应用程序,通过沙盒技术隔离应用程序。
容器调度框架包括容器管理单元和容器编排单元,通过容器管理单元进行调度策略开发,通过容器编排单元制定各容器内应用程序的运行路线。
步骤S52:边缘计算服务器通过所述容器调度框架调用所述容器引擎内对应的应用程序对数据块进行分析和决策。
具体的,在步骤S51中,在边缘计算服务器中内置基于容器技术的操作系统。请参看图2,该操作系统包括容器引擎和容器调度框架,其中,容器引擎包括至少一个容器,每一容器放置至少一种应用程序。边缘计算服务器通过容器调度框架调用容器引擎内对应的应用程序对数据块进行分析和决策。
实际应用中,该容器引擎可采用Docker容器引擎。该Docker容器引擎可包括Docker镜像仓库、Docker客户端以及多个容器(容器1、容器2至容器N)。其中,容器用于放置不同的应用程序,通过沙盒技术隔离各个应用程序。这些应用程序(APP)可以是分拣设备故障识别程序、人员违规操作(如跨越流失线、玩手机、抽烟等)识别程序、包裹未按规定排放识别程序等。Docker镜像仓库可部署于本地服务平台的后台管理系统中。而Docker客户端可用于创建容器,下拉Docker镜像仓库中的镜像到容器内,以及运行容器内的应用程序。
容器调度框架包括容器管理单元和容器编排单元,通过容器管理单元进行调度策略开发,通过容器编排单元制定各容器内应用程序的运行路线。在实际应用中,容器调度框架可采用kubernetes,简称K8s,基于Kubernetes框架进行调度策略开发,根据指令制定各容器内应用程序的运行路线,可管理和调度多个容器内具体的应用程序。
此外,该操作系统还包括文件系统、驱动程序、内核及启动程序。Docker容器引擎与容器调度框架作为操作系统的进程,操作系统启动后,即启动。Docker客户端负责下拉Docker镜像仓储的镜像到容器,容器编排算法(容器编排单元)具体执行容器内的应用程序及驱动。Docker容器引擎和容器调度框架协同运行,实现操作系统的虚拟化。
Docker是一个基于LXC(Linux Container)的应用容器引擎,可以将应用程序、依赖的运行库文件打包并移植到一个新的容器中,然后发布到任何系统为Linux的机器上,也可以实现虚拟化解决方案。容器是完全沙箱机制的实现方式,任意容器之间不会有任何接口,具有安全访问资源的特性,可以实现系统的隔离;而且容器的运行资源开销小,可以很容易地在机器和数据中心中运行。最重要的是Docker容器不依赖于任何特定需求实现的编程语言、编程框架或已打包的系统。
LXC是一种共享Kernel的操作系统级别的虚拟化解决方案,通过在执行时不重复加载内核,且虚拟容器(Container)与宿主机(Host)之间共享内核来加快启动速度和减少内存消耗。Docker扩展了LXC特性并使用高层的API,提供轻量级虚拟化解决方案来实现所有容器间的隔离机制。基于容器的虚拟化技术的原理主要是通过隔离操作系统内核对象(例如PID、UID、系统共享内存、IPC、ptys等等)来完成安全性的隔离。具体来讲就是运用命名空间和访问权限控制等技术,将原来的全局对象(句柄、UID等)隔离到完全不同的命名空间中,不同虚拟机之间是完全不可见的,因此,它们也不能访问到命名空间之外的对象。全局对象在每个容器内本地化了,换言之,全局对象的标记仅仅是在每个容器内存在。另外,还需要使用一个过滤器,以便在虚拟机运行时检测其是否有权限访问内核对象。容器模型通过创建虚拟操作系统实例来实现虚拟层,宿主操作系统通过chroot机制来转换虚拟操作系统的文件系统。因此,其虚拟化实例密度可以很大。由于容器共享文件系统的优势,每个容器都可直接使用宿主操作系统为其应用程序提供服务。同时,任何适用于宿主操作系统的系统文件的属性子容器都会继承,方便对容器进行管理。
Docker利用LXC来实现基于容器的虚拟化功能,从而将节省的硬件资源提供给用户进行更多的计算。Docker扩展了LXC特性,提供轻量级虚拟化解决方案kernel namespace来实现所有容器间的隔离机制,通过pid、net、ipc、mnt、uts、user等namespace将container的进程、网络、消息、文件系统、UTS和用户空间进行隔离。
在步骤S5中,将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。本地服务平台通过远程通信方式与云服务器连接,将边缘计算服务器对数据的分析结果传送到云服务器,以作进一步的数据处理及存储。该远程通信方式可以是光纤、以太网、4G/5G、NB-ToT等远程通信方式。
本实施例中的物流分拨中心的数据处理方法,采用Docker容器技术,支持多容器部署,可在不同容器或同一容器内放置多种应用程序APP,实现不同应用业务的横向隔离,从而实现业务灵活部署;另一方面,Docker容器技术的运行环境可移植,资源使用率和业务部署效率高,容器之间的业务进程相互隔离,安全程度高,可实现同时对海量数据进行解析、计算并决策,将计算后的数据或决策数据上传到本地服务平台,减少了上传到云服务平台的数据量,避免网络阻塞,减轻云服务平台的分析、决策压力,提高数据处理的稳定性和实时性。
实施例二
本实施例提供了一种物流分拨中心的数据处理装置,请参看图3,该物流分拨中心的数据处理装置包括:
边缘物联模块1,用于连接基于边缘计算的本地服务平台及用于分拨中心数据采集的IOT设备,其中,本地服务平台包括边缘计算服务器及数据服务器;
数据存储模块2,用于数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中;
数据获取模块3,用于根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件,对数据文件进行分类,得到多个数据块;
数据处理模块4,用于调用目标容器对每个数据块进行处理,得到多个数据处理结果;
数据传输模块5,用于将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。
上述边缘物联模块1、数据存储模块2、数据获取模块3、数据处理模块4及数据传输模块5的功能及实现方式均如实施例一中所述,在此不再赘述。
实施例三
上述实施例二从模块化功能实体的角度对本发明物流分拨中心的数据处理装置进行详细描述,下面从硬件处理的角度对本发明物流分拨中心的数据处理设备进行详细描述。
请参看图4,该物流分拨中心的数据处理设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对物流分拨中心的数据处理设备500中的一系列指令操作。
进一步地,处理器510可以设置为与存储介质530通信,在物流分拨中心的数据处理设备500上执行存储介质530中的一系列指令操作。
物流分拨中心的数据处理设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve、Vista等等。
本领域技术人员可以理解,图4示出的物流分拨中心的数据处理设备结构并不构成对物流分拨中心的数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令,当该指令在计算机上运行时,使得计算机执行实施例一中的物流分拨中心的数据处理方法中的步骤。
实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来,该计算机软件存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-only memory,ROM)、随机存取存储器(Random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置及设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式。即使对本发明作出各种变化,倘若这些变化属于本发明权利要求及其等同技术的范围之内,则仍落入在本发明的保护范围之中。
Claims (10)
1.一种物流分拨中心的数据处理方法,其特征在于,包括:
部署基于边缘计算的本地服务平台及用于分拨中心数据采集的IOT设备,其中,本地服务平台包括边缘计算服务器及数据服务器;
数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中;
根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件,对数据文件进行分类,得到多个数据块;
调用容器对每个数据块进行处理,得到多个数据处理结果;
将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。
2.如权利要求1所述的物流分拨中心的数据处理方法,其特征在于,所述数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中进一步包括:
数据服务器接收IOT设备采集并传送的数据文件,将数据文件分时间段存储于数据库中;
数据服务器建立临时数据库,每到一预定的数据更新时间时,数据服务器至数据库中取出与所述数据更新时间相对应的时间范围内的数据文件,并存储于临时数据库。
3.如权利要求1所述的物流分拨中心的数据处理方法,其特征在于,所述根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件进一步包括:
边缘计算服务器每到一预定的数据读取时间,就向数据服务器发送数据读取请求,所述数据读取请求中包括与所述预定的数据读取时间相对应的时间范围标识;
数据服务器根据所述数据读取请求,从临时数据库中提取与所述时间范围标识对应的数据文件传送至边缘计算服务器;所述临时数据库用于存储数据服务器更新的数据文件。
4.如权利要求1所述的物流分拨中心的数据处理方法,其特征在于,所述边缘计算服务器对数据文件进行分类,得到多个数据块进一步包括:
预先设定特征点,并对设定的特征点进行分类,得到特征点分类结果;
对数据文件中的图像数据进行识别,得到图像数据中包含的设定的特征点;根据特征点分类结果对图像数据中包含的设定的特征点的类别进行区分,得到图像数据分类结果;
将不同类别的图像数据进行分块,得到多个数据块。
5.如权利要求1所述的物流分拨中心的数据处理方法,其特征在于,所述调用容器对每个数据块进行处理进一步包括:
在边缘计算服务器中内置基于容器的操作系统,所述操作系统包括容器引擎和容器调度框架,所述容器引擎包括至少一个容器,每一容器放置至少一种应用程序;
边缘计算服务器通过所述容器调度框架调用所述容器引擎内对应的应用程序对数据块进行分析和决策。
6.如权利要求5所述的物流分拨中心的数据处理方法,其特征在于,所述容器引擎为Docker容器引擎,所述Docker容器引擎包括Docker镜像仓库、多个容器;
所述Docker镜像仓库,部署于本地服务平台的后台管理系统中;
多个所述容器,用于放置不同的应用程序,通过沙盒技术隔离所述应用程序。
7.如权利要求5所述的物流分拨中心的数据处理方法,其特征在于,所述容器调度框架包括容器管理单元和容器编排单元,通过所述容器管理单元进行调度策略开发,通过所述容器编排单元制定各容器内应用程序的运行路线。
8.一种物流分拨中心的数据处理装置,其特征在于,包括:
边缘物联模块,用于连接基于边缘计算的本地服务平台及用于分拨中心数据采集的IOT设备,其中,本地服务平台包括边缘计算服务器及数据服务器;
数据存储模块,用于数据服务器实时接收IOT设备上传的数据文件,将数据文件存储于数据库中;
数据获取模块,用于根据数据服务器的数据更新情况,边缘计算服务器分时读取数据服务器中的数据文件,对数据文件进行分类,得到多个数据块;
数据处理模块,用于调用目标容器对每个数据块进行处理,得到多个数据处理结果;
数据传输模块,用于将数据处理结果通过网络传输至云服务器,作进一步的数据处理及存储。
9.一种物流分拨中心的数据处理设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行计算机可读指令时,实现如权利要求1至7中任意一项所述的物流分拨中心的数据处理方法。
10.一种计算机可读介质,存储计算机程序,其特征在于,所述计算机程序被一个或多个处理器执行时,实现如权利要求1至7中任意一项所述的物流分拨中心的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271339.5A CN113162976A (zh) | 2021-03-12 | 2021-03-12 | 物流分拨中心的数据处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271339.5A CN113162976A (zh) | 2021-03-12 | 2021-03-12 | 物流分拨中心的数据处理方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113162976A true CN113162976A (zh) | 2021-07-23 |
Family
ID=76887152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271339.5A Pending CN113162976A (zh) | 2021-03-12 | 2021-03-12 | 物流分拨中心的数据处理方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113162976A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170060574A1 (en) * | 2015-08-27 | 2017-03-02 | FogHorn Systems, Inc. | Edge Intelligence Platform, and Internet of Things Sensor Streams System |
US20180146069A1 (en) * | 2016-11-18 | 2018-05-24 | Sap Se | Efficient application build/deployment for distributed container cloud platform |
CN110276255A (zh) * | 2019-05-17 | 2019-09-24 | 南京理工大学 | 基于gmm模型与bp神经网络的高速铁路异物识别与分类方法 |
CN110390246A (zh) * | 2019-04-16 | 2019-10-29 | 江苏慧中数据科技有限公司 | 一种边云环境中的视频分析方法 |
CN110581898A (zh) * | 2019-10-09 | 2019-12-17 | 成都康胜思科技有限公司 | 基于5g和边缘计算的物联网数据终端系统 |
CN111629120A (zh) * | 2020-05-26 | 2020-09-04 | 南京毫末科技有限公司 | 一种基于边缘计算的人工智能视频分析平台 |
CN111866084A (zh) * | 2020-06-24 | 2020-10-30 | 北京智芯微电子科技有限公司 | 基于容器的边缘物联代理装置 |
CN111901573A (zh) * | 2020-08-17 | 2020-11-06 | 泽达易盛(天津)科技股份有限公司 | 一种基于边缘计算的细颗粒度实时监管系统 |
-
2021
- 2021-03-12 CN CN202110271339.5A patent/CN113162976A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170060574A1 (en) * | 2015-08-27 | 2017-03-02 | FogHorn Systems, Inc. | Edge Intelligence Platform, and Internet of Things Sensor Streams System |
US20180146069A1 (en) * | 2016-11-18 | 2018-05-24 | Sap Se | Efficient application build/deployment for distributed container cloud platform |
CN110390246A (zh) * | 2019-04-16 | 2019-10-29 | 江苏慧中数据科技有限公司 | 一种边云环境中的视频分析方法 |
CN110276255A (zh) * | 2019-05-17 | 2019-09-24 | 南京理工大学 | 基于gmm模型与bp神经网络的高速铁路异物识别与分类方法 |
CN110581898A (zh) * | 2019-10-09 | 2019-12-17 | 成都康胜思科技有限公司 | 基于5g和边缘计算的物联网数据终端系统 |
CN111629120A (zh) * | 2020-05-26 | 2020-09-04 | 南京毫末科技有限公司 | 一种基于边缘计算的人工智能视频分析平台 |
CN111866084A (zh) * | 2020-06-24 | 2020-10-30 | 北京智芯微电子科技有限公司 | 基于容器的边缘物联代理装置 |
CN111901573A (zh) * | 2020-08-17 | 2020-11-06 | 泽达易盛(天津)科技股份有限公司 | 一种基于边缘计算的细颗粒度实时监管系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102402680B1 (ko) | 자동화 된 애플리케이션 프로그래밍 인터페이스 평가 및 마이그레이션을 위한 시스템 및 방법 | |
US10498857B2 (en) | System interaction monitoring and component scaling | |
US10402746B2 (en) | Computing instance launch time | |
CN106371975B (zh) | 一种运维自动化预警方法和系统 | |
US10362141B1 (en) | Service group interaction management | |
CN110704164A (zh) | 一种基于Kubernetes技术的云原生应用平台构建方法 | |
WO2016123042A1 (en) | Data factory platform and operating system | |
CN109885624B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
US9244737B2 (en) | Data transfer control method of parallel distributed processing system, parallel distributed processing system, and recording medium | |
US20180336021A1 (en) | Package installation on a host file system using a container | |
CN109460432A (zh) | 一种数据处理方法及系统 | |
KR102220712B1 (ko) | 공장의 실시간 상황 변화에 대응하기 위한 동적 상황 관리 장치 및 방법 | |
US11231967B2 (en) | Dynamically allocating and managing cloud workers | |
US11782771B2 (en) | Method and subsystem within a distributed log-analytics system that automatically determines and enforces log-retention periods for received log-event messages | |
CN108009004A (zh) | 基于Docker的业务应用可用度测量监控的实现方法 | |
CN111104548B (zh) | 一种数据反馈方法、系统及存储介质 | |
CN111984505A (zh) | 一种运维数据采集引擎及采集方法 | |
CN116126950A (zh) | 实时物化视图系统和方法 | |
US20220207043A1 (en) | Entity data services for virtualized computing and data systems | |
CN113608751A (zh) | 推理服务平台的运行方法、装置、设备及存储介质 | |
CN113162976A (zh) | 物流分拨中心的数据处理方法、装置、设备和存储介质 | |
WO2023124135A1 (zh) | 特征检索方法、装置、电子设备、计算机存储介质和程序 | |
US11822533B2 (en) | Knowledge graph update using change layers | |
CN115756308A (zh) | 一种云数据迁移的优化方法及系统 | |
CN115065597A (zh) | 一种容器资源配置方法、装置、介质和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |