CN111310000A - Web企业系统的数据内容提交方法和系统 - Google Patents
Web企业系统的数据内容提交方法和系统 Download PDFInfo
- Publication number
- CN111310000A CN111310000A CN202010091530.7A CN202010091530A CN111310000A CN 111310000 A CN111310000 A CN 111310000A CN 202010091530 A CN202010091530 A CN 202010091530A CN 111310000 A CN111310000 A CN 111310000A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- folder
- web
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 239000000463 material Substances 0.000 claims abstract description 18
- 238000004806 packaging method and process Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 18
- 230000001915 proofreading effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 238000010224 classification analysis Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 3
- 230000009193 crawling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/954—Navigation, e.g. using categorised browsing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种WEB企业系统的数据内容提交方法和系统，具体包括以下步骤，搭建基于WEB的企业系统环境，建立用户界面及企业系统；将所需提交的数据资料命名并归类于文件夹内，打包为压缩包文件后上传至系统；系统自动解压压缩包文件，获取数据资料的数量、类别和目录，生成数据队列；提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。本发明解决了现有技术中人工效率低、容易出错和操作步骤多的问题。
Description
技术领域
本发明涉及WEB技术领域，特别是指一种WEB企业系统的数据内容提交方法和系统。
背景技术
现有的基于WEB技术的企业网站系统比如ERP系统或OA系统等在运营过程中，通常会涉及到提交新的数据资料或者更新数据。提交数据资料时会遇到操作步骤类同，但不得不重复用人工机器化操作的情况，比如管理员登录系统对数据进行每一条提交，点击添加-输入数据-上传图片-添加记录内容-去除沉淤的数据垃圾格式和非法字符-发布数据记录等至少6个以上的步骤操作。如果有成百上千条数据则需要操作成百上千次，效率极低。因为操作步骤多而导致管理人员容易产生因为个人疲乏或者看错等一系列的错误操作，容易照成数据错乱。管理员如果在系统上进行操作的话，每操作一次都要进入操作界面，操作系统要查询出系统对应的下拉内容，另外填写数据的时候，要打开文档把内容复制进来如果带有垃圾格式还需要清理再粘贴详细内容，操作步骤多比较繁琐。
发明内容
本发明提出一种WEB企业系统的数据内容提交方法和系统，解决了现有技术中人工效率低、容易出错和操作步骤多的问题。
本发明的技术方案是这样实现的：
一种WEB企业系统的数据内容提交方法，具体包括以下步骤，
S1，搭建基于WEB的企业系统环境，建立用户界面及企业系统；
S2，将所需提交的数据资料命名并归类于文件夹内，打包为压缩包文件后上传至系统；
S3，系统自动解压压缩包文件，获取数据资料的数量、类别和目录，生成数据队列；
S4，提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。
作为本发明的一个优选实施例，步骤S2中将所需提交的数据资料命名并归类于文件夹内具体指的是将所需提交的数据资料命令并按照图片和文本分类，归类于相对应的文件夹内，打包为压缩包文件后上传至系统。
作为本发明的一个优选实施例，步骤S3具体包括以下步骤：
S301，系统对压缩包文件进行自动解压；
S302，对解压后的文件夹及层次进行分类智能分析处理，获取上传数据资料的数量、文件名称、文本对应内容、分类目录进行校对分析；
S303，以数据格式生成数据队列。
作为本发明的一个优选实施例，步骤S302具体包括以下步骤：
S3021，通过查询数据库返回目前系统结构目录生成JSON格式变量，结构目包括名称及对应数据库ID；
S3022，爬虫算法深度爬行递归文件夹目录及层次，获得文件夹目录名后与JSON格式变量比较获得对应的数据库ID；
S3023，递归文件夹的数据内容，生成一条对应的数据记录，包括文件夹目录名、数据库ID、图片文件名、文档数据名及内容、文件格式。
一种WEB企业系统的数据内容提交系统，包括
系统构建单元，用于搭建基于WEB的企业系统环境，建立用户界面及企业系统；
系统解压单元，用于接收提交的命名、归类于文件夹内并打包的所需提交的数据资料，自动解压压缩包文件；
分析处理单元，用于获取数据资料的数量、类别和目录，生成数据队列；
入库管理单元，用于提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。
作为本发明的一个优选实施例，所需提交的数据资料归类包括但不限于图片和文本。
作为本发明的一个优选实施例，分析处理单元，用于对解压后的文件夹及层次进行分类智能分析处理，获取上传数据资料的数量、文件名称、文本对应内容、分类目录进行校对分析；以数据格式生成数据队列。
作为本发明的一个优选实施例，智能分析处理具体指的是通过查询数据库返回目前系统结构目录生成JSON格式变量，结构目包括名称及对应数据库ID；爬虫算法深度爬行递归文件夹目录及层次，获得文件夹目录名后与JSON格式变量比较获得对应的数据库ID；递归文件夹的数据内容，生成一条对应的数据记录，包括文件夹目录名、数据库ID、图片文件名、文档数据名及内容、文件格式。
本发明的有益效果在于：解决了现有技术中人工效率低、容易出错和操作步骤多的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种WEB企业系统的数据内容提交方法的流程图；
图2为本发明一种WEB企业系统的数据内容提交系统的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出了一种WEB企业系统的数据内容提交方法，具体包括以下步骤，
S1，搭建基于WEB的企业系统环境，建立用户界面及企业系统；建立用户界面用于企业登录管理及维护资料；
S2，在本地将所需提交的数据资料命名并归类于文件夹内，打包为压缩包文件后上传至系统；在本地分类数据资料时需保证与系统设置的分类一致，比如在本实施例中将所需提交的数据资料命令并按照图片和文本分类，归类于相对应的文件夹内，打包为压缩包文件后上传至系统。
S3，系统自动解压压缩包文件，获取数据资料的数量、类别和目录，生成数据队列；
步骤S3具体包括以下步骤：
S301，系统对压缩包文件进行自动解压；
S302，对解压后的文件夹及层次进行分类智能分析处理，获取上传数据资料的数量、文件名称、文本对应内容、分类目录进行校对分析；
步骤S302具体包括以下步骤：
S3021，通过查询数据库返回目前系统结构目录生成JSON格式变量，结构目包括名称及对应数据库ID；
S3022，爬虫算法深度爬行递归文件夹目录及层次，获得文件夹目录名后与JSON格式变量比较获得对应的数据库ID；
S3023，递归文件夹的数据内容，生成一条对应的数据记录，包括文件夹目录名、数据库ID、图片文件名、文档数据名及内容、文件格式，例如(目录ID编号|图片文件名|文档内容|文件格式)。
S303，以数据格式生成数据队列。数据队列包括多条数据记录，最后形成数组变量。
S4，提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。提交数据处理列表队列，系统根据数据列表的内容智能分析出SQL查询语句插入的字段所需内容，一次累加赋值到数组变量中，然后通过SQL事务(transaction)将数组中的插入执行语句一起执行，在多数据处理上面减少了频繁多次数据库查询次数及大大提升了执行效率。
本发明还对爬虫算法作出了改进，传统算法是爬虫每爬行一次获得名称后就查询一次数据库对应的数据库编号ID，如果有上百万条的时候则需要查询上百万次照成数据库查询频繁，而改进后的算法则是先获取所有目录以json格式存储到变量中，再进行爬虫操作再对比，数据查询次数只需要1次，有效减少查询频率，大大提高了效率。
如图2所示，本发明还提出了一种WEB企业系统的数据内容提交系统，包括
系统构建单元，用于搭建基于WEB的企业系统环境，建立用户界面及企业系统；所需提交的数据资料归类包括但不限于图片和文本。
系统解压单元，用于接收提交的命名、归类于文件夹内并打包的所需提交的数据资料，自动解压压缩包文件；
分析处理单元，用于获取数据资料的数量、类别和目录，生成数据队列；具体的，分析处理单元，用于对解压后的文件夹及层次进行分类智能分析处理，获取上传数据资料的数量、文件名称、文本对应内容、分类目录进行校对分析；以数据格式生成数据队列。智能分析处理具体指的是通过查询数据库返回目前系统结构目录生成JSON格式变量，结构目包括名称及对应数据库ID；爬虫算法深度爬行递归文件夹目录及层次，获得文件夹目录名后与JSON格式变量比较获得对应的数据库ID；递归文件夹的数据内容，生成一条对应的数据记录，包括文件夹目录名、数据库ID、图片文件名、文档数据名及内容、文件格式。
入库管理单元，用于提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。提交数据处理列表队列，系统根据数据列表的内容智能分析出SQL查询语句插入的字段所需内容，一次累加赋值到数组变量中，然后通过SQL事务(transaction)将数组中的插入执行语句一起执行，在多数据处理上面减少了频繁多次数据库查询次数及大大提升了执行效率。
本发明还对爬虫算法作出了改进，传统算法是爬虫每爬行一次获得名称后就查询一次数据库对应的数据库编号ID，如果有上百万条的时候则需要查询上百万次照成数据库查询频繁，而改进后的算法则是先获取所有目录以json格式存储到变量中，再进行爬虫操作再对比，数据查询次数只需要1次，有效减少查询频率，大大提高了效率。
传统的数据提交是管理员登录系统对数据进行每一条提交，点击添加-输入数据-上传图片-添加记录内容-发布数据记录等至少5个以上的步骤操作，如果有百条千条则需要进行百次千次操作数据库连接查询，要是操作人多的时候则是N倍的数据库频繁查询及数据连接，增加并发的负荷量，而且会受到网络速率等方面的影响，效率极低。通过本方法只需要打包上传，点击一次更新按钮即可把所有需要更新的数据通过智能算法插入到数据库里，大大减低了数据库频繁操作的次数及节省了管理员的劳动力与时间成本。数据需要再上传之前进行下文件夹、文件命名等一些简单的工作，也就是事前需要分配时间进行整理，但好处在于本地操作无网络带宽要求，本地桌面上简单操作会比在基于传统模式信息化管理操作上更有优势。本发明提出的方法极大地方便了对网站数据内容资源(图片+文本数据+类别归类多)的更新效率，同时减少数据库查询并发次数及查询负荷，简化管理人员输入步骤次数及其数据操作重复性(达到一键操作完成数据自动对应入库)，减低对更新流程不熟悉后台管理人员或者企业频繁更换内容管理人员交接情况不明确导致不会操作或者操作过程因个人理解力度问题照成的的出错率，大大地提升了WEB网站内容管理系统的一键更新数据的可行性、便捷性及日常维护管理效率，减低了时间成本。
为企业减低运营成本提升经济效益，大大节省管理人员操作时间步骤及时间成本问题，数据量大的时候需要几个人共同上传数据，现在只需要1个人即可完成；减少由于数据量大频繁进行数据库操作的负荷，可以提升系统稳定性，减少企业服务器管理的运营成本问题；大大减少企业培训员工操作的时间成本，过往要对员工上传资料进行不低于五个步骤的培训，现在只需要培训员工分类命令所需提交的数据资料并上传即可。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种WEB企业系统的数据内容提交方法，其特征在于，具体包括以下步骤，
S1，搭建基于WEB的企业系统环境，建立用户界面及企业系统；
S2，将所需提交的数据资料命名并归类于文件夹内，打包为压缩包文件后上传至系统；
S3，系统自动解压压缩包文件，获取数据资料的数量、类别和目录，生成数据队列；
S4，提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。
2.根据权利要求1所述的WEB企业系统的数据内容提交方法，其特征在于，步骤S2中将所需提交的数据资料命名并归类于文件夹内具体指的是将所需提交的数据资料命令并按照图片和文本分类，归类于相对应的文件夹内，打包为压缩包文件后上传至系统。
3.根据权利要求1或2所述的WEB企业系统的数据内容提交方法，其特征在于，步骤S3具体包括以下步骤：
S301，系统对压缩包文件进行自动解压；
S302，对解压后的文件夹及层次进行分类智能分析处理，获取上传数据资料的数量、文件名称、文本对应内容、分类目录进行校对分析；
S303，以数据格式生成数据队列。
4.根据权利要求3所述的WEB企业系统的数据内容提交方法，其特征在于，步骤S302具体包括以下步骤：
S3021，通过查询数据库返回目前系统结构目录生成JSON格式变量，结构目包括名称及对应数据库ID；
S3022，爬虫算法深度爬行递归文件夹目录及层次，获得文件夹目录名后与JSON格式变量比较获得对应的数据库ID；
S3023，递归文件夹的数据内容，生成一条对应的数据记录，包括文件夹目录名、数据库ID、图片文件名、文档数据名及内容、文件格式。
5.一种WEB企业系统的数据内容提交系统，其特征在于，包括
系统构建单元，用于搭建基于WEB的企业系统环境，建立用户界面及企业系统；
系统解压单元，用于接收提交的命名、归类于文件夹内并打包的所需提交的数据资料，自动解压压缩包文件；
分析处理单元，用于获取数据资料的数量、类别和目录，生成数据队列；
入库管理单元，用于提交数据队列，将数据资料分类存储至数据库，完成数据内容提交。
6.根据权利要求5所述的WEB企业系统的数据内容提交系统，其特征在于，所需提交的数据资料归类包括但不限于图片和文本。
7.根据权利要求6所述的WEB企业系统的数据内容提交系统，其特征在于，分析处理单元，用于对解压后的文件夹及层次进行分类智能分析处理，获取上传数据资料的数量、文件名称、文本对应内容、分类目录进行校对分析；以数据格式生成数据队列。
8.根据权利要求7所述的WEB企业系统的数据内容提交系统，其特征在于，智能分析处理具体指的是通过查询数据库返回目前系统结构目录生成JSON格式变量，结构目包括名称及对应数据库ID；爬虫算法深度爬行递归文件夹目录及层次，获得文件夹目录名后与JSON格式变量比较获得对应的数据库ID；递归文件夹的数据内容，生成一条对应的数据记录，包括文件夹目录名、数据库ID、图片文件名、文档数据名及内容、文件格式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091530.7A CN111310000A (zh) | 2020-02-13 | 2020-02-13 | Web企业系统的数据内容提交方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091530.7A CN111310000A (zh) | 2020-02-13 | 2020-02-13 | Web企业系统的数据内容提交方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111310000A true CN111310000A (zh) | 2020-06-19 |
Family
ID=71156597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010091530.7A Pending CN111310000A (zh) | 2020-02-13 | 2020-02-13 | Web企业系统的数据内容提交方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310000A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949611A (zh) * | 2020-07-30 | 2020-11-17 | 广东建采网科技有限公司 | 一种文件处理方法、系统、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840526B1 (en) * | 2005-12-29 | 2010-11-23 | United Services Automobile Association (Usaa) | Workflow administration tools and user interfaces |
| CN105592162A (zh) * | 2016-01-20 | 2016-05-18 | 歌尔声学股份有限公司 | 基于多类型文件的上传方法及系统 |
| CN106878428A (zh) * | 2017-02-23 | 2017-06-20 | 郑州云海信息技术有限公司 | 一种文件夹上传的方法以及装置 |
| CN109525632A (zh) * | 2018-09-30 | 2019-03-26 | 珠海派诺科技股份有限公司 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
-
2020
- 2020-02-13 CN CN202010091530.7A patent/CN111310000A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840526B1 (en) * | 2005-12-29 | 2010-11-23 | United Services Automobile Association (Usaa) | Workflow administration tools and user interfaces |
| CN105592162A (zh) * | 2016-01-20 | 2016-05-18 | 歌尔声学股份有限公司 | 基于多类型文件的上传方法及系统 |
| CN106878428A (zh) * | 2017-02-23 | 2017-06-20 | 郑州云海信息技术有限公司 | 一种文件夹上传的方法以及装置 |
| CN109525632A (zh) * | 2018-09-30 | 2019-03-26 | 珠海派诺科技股份有限公司 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949611A (zh) * | 2020-07-30 | 2020-11-17 | 广东建采网科技有限公司 | 一种文件处理方法、系统、设备及介质 |
| CN111949611B (zh) * | 2020-07-30 | 2021-10-01 | 广东建采网科技有限公司 | 一种文件处理方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8683433B2 (en) | Adaptive change management in computer system landscapes | |
| US8307109B2 (en) | Methods and systems for real time integration services | |
| US20170357653A1 (en) | Unsupervised method for enriching rdf data sources from denormalized data | |
| US20110276598A1 (en) | System for and method of providing reusable software service information based on natural language queries | |
| US20070179934A1 (en) | Method and apparatus for performing bulk file system attribute retrieval | |
| US20090043778A1 (en) | Generating etl packages from template | |
| CN112364223B (zh) | 一种数字档案馆系统 | |
| US8762325B2 (en) | Processing of files for electronic content management | |
| EP2201449A2 (en) | A system, method and graphical user interface for workflow generation, deployment and/or execution | |
| US11151099B2 (en) | System and method for data structure migration control | |
| US20060129609A1 (en) | Database synchronization using change log | |
| CN102364894A (zh) | 一种配置数据文件的下发方法及网管设备 | |
| US20030078975A1 (en) | File based workflow system and methods | |
| KR102040772B1 (ko) | 조달물품등록 관련 컨설팅 프로젝트에 필요한 데이터의 관리 방법 | |
| JP5926321B2 (ja) | 大容量データを処理するための、ｓｑｌパーシングによる２レベルクエリー及び結果キャッシングを用いたオンライン分析プロセッシング方法 | |
| NL1025547C2 (nl) | Inhoudsbeheerportaal en werkwijze voor het beheren van digitale waarden. | |
| CN111611211A (zh) | 文件导入归档方法、电子设备及存储介质 | |
| CN111310000A (zh) | Web企业系统的数据内容提交方法和系统 | |
| US9632837B2 (en) | Systems and methods for system consolidation | |
| CN109634976A (zh) | 非关系型数据库的运维方法、装置、系统及可读存储介质 | |
| US11334719B2 (en) | Systems and methods for predicting mapping between named entities and parameters using a model based on same predefined number of words that occur prior to the named entity via machine learning techniques | |
| US11457192B2 (en) | Digital evidence management method and digital evidence management system | |
| US20070226085A1 (en) | System and method for automated mapping of data in a multi-valued data structure | |
| US20070266172A1 (en) | Method, System and Computer Program for Configuration of a Data Lens for Translation of Data Between Storage Locations | |
| US20050160101A1 (en) | Method and apparatus using dynamic SQL for item create, retrieve, update delete operations in a content management application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |
|
| RJ01 | Rejection of invention patent application after publication |