CN111597261A - 一种数据申报制单系统、方法和存储介质 - Google Patents
一种数据申报制单系统、方法和存储介质 Download PDFInfo
- Publication number
- CN111597261A CN111597261A CN202010397805.XA CN202010397805A CN111597261A CN 111597261 A CN111597261 A CN 111597261A CN 202010397805 A CN202010397805 A CN 202010397805A CN 111597261 A CN111597261 A CN 111597261A
- Authority
- CN
- China
- Prior art keywords
- data
- component
- excel
- declaration form
- local database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种数据申报制单系统、方法和存储介质,包括:数据库组件、数据同步组件、EXCEL模板组件和品名分析组件;数据库组件用于将服务器和本地数据库相连接;数据同步组件用于将服务器的后台数据同步至本地数据库;EXCEL模板组件用于基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;品名分析组件用于将相应项所包含的待匹配品名和本地数据库中的商品名称进行相似度比对,并基于比对结果对待匹配EXCEL表匹配包含对应海关编码的相关数据。提高了商品数据的匹配的效率使流程更加的便捷化和标准化更不易出现错误。
Description
技术领域
本发明属于电商数据匹配技术领域,具体涉及一种数据申报制单系统、方法和存储介质。
背景技术
近些年随着国际贸易不断发展和国家不断开放的进出口市场,进出口贸易得到了飞速的发展,尤其是看近些年由网络购物兴起的跨境电商出口已经成为了对外贸易不可或缺的一部分,并且在未来的出口贸易中起着越来越重要的作用。
在跨境电商的日常操作中需要和海关进行各种数据的申报,来完成物品的交易。而现有的出口电商的单据仍然采用人工EXCEL制单的方式进行数据的整理,需要根据商品品名查询服务器中的海关编码进行重复的工作,对于不规范的品名需要手动进行修改或替换,不仅效率低而且易出错。
发明内容
为了解决现有技术存在的效率低且易出错的问题,本发明提供了一种数据申报制单系统、方法和存储介质其具有效率高不易出错等特点。
本发明所采用的技术方案为:
一种数据申报制单系统,包括:数据库组件、数据同步组件、EXCEL模板组件和品名分析组件;
所述数据库组件用于将服务器和本地数据库相连接;
所述数据同步组件用于将所述服务器的后台数据同步至所述本地数据库;
所述EXCEL模板组件用于基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;
所述品名分析组件用于将所述相应项所包含的待匹配品名和所述本地数据库中的商品名称进行相似度比对,并基于比对结果对所述待匹配EXCEL表匹配包含对应海关编码的相关数据。
进一步地,所述数据申报制单系统还包括:多任务组件,所述多任务组件用于对所述EXCEL模板组件读取的所述待匹配EXCEL表的相应项进行平分读取并进行包含对应海关编码的所述相关数据的匹配或替换。
进一步地,所述数据申报制单系统还包括:数据转换组件,所述数据转换组件用于将包含对应海关编码的所述相关数据转换成标准出口电商单据数据。
进一步地,所述数据申报制单系统还包括:历史记录组件,所述历史记录组件用于将所述相关数据的匹配商品记录到所述本地数据库中的替换库数据表中。
进一步地,所述数据申报制单系统还包括日志组件,所述日志组件用于在所述历史记录组件记录完成后记录操作日志。
进一步地,所述数据申报制单系统还包括:登录组件,所述登录组件用于在所述服务器和所述本地数据库相连接前进行身份的验证。
进一步地,所述服务器的所述后台数据至少包括:商品历史库数据、敏感品名库数据和商品分类库数据。
进一步地,所述本地数据库为cassandra数据库。
根据本发明具体实施方式提供的一种数据申报制单方法,应用于以上所述的数据申报制单系统,包括:
将服务器和本地数据库相连接;
将所述服务器的后台数据同步至所述本地数据库;
基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;
将所述相应项所包含的待匹配品名和所述本地数据库中的商品名称进行相似度比对,并基于比对结果对所述待匹配EXCEL表匹配包含对应海关编码的相关数据。
根据本发明具体实施方式提供的一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序至少用于执行以上所述的数据申报制单方法。
本发明的有益效果为:通过将服务器所记载的数据同步到建立连接的本地数据库,并基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;使用品名分析组件将相应项所包含的待匹配品名和本地数据库中的商品名称进行相似度比对,并基于比对结果对待匹配EXCEL表匹配包含对应海关编码的相关数据。从而提高了商品数据的匹配的效率使流程更加的便捷化和标准化更不易出现错误。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提供的数据申报制单系统的原理图;
图2是根据另一示例性实施例提供的数据申报制单系统的原理图;
图3是根据一示例性实施例提供的数据申报制单方法的流程图;
图4是根据一示例性实施例提供的数据申报制单方法的业务流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。
参照图1所示,本发明的实施例提供了一种数据申报制单系统,包括:数据库组件、数据同步组件、EXCEL模板组件和品名分析组件;
数据库组件用于将服务器和本地数据库相连接;
数据同步组件用于将服务器的后台数据同步至本地数据库;
EXCEL模板组件用于基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;
品名分析组件用于将相应项所包含的待匹配品名和本地数据库中的商品名称进行相似度比对,并基于比对结果对待匹配EXCEL表匹配包含对应海关编码的相关数据。
具体的,本地数据库可采用cassandra数据库:cassandra数据库是一套开源分布式NoSQL数据库系统,一个来自Apache的分布式数据库,具有高度可扩展性,可用于管理大量的结构化数据,主要用于在客户本地电脑存储数据,所以非常适于作为本地数据库使用;数据库组件采用.NET4.5第三方插件“DataStax”连接cassandra数据库和服务器;数据同步组件采用.NET4.5“HttpWebRequest”类,请求获取服务器后台数据同步至本地cassandra数据库或者发送cassandra数据库数据同步至服务器后台,实现服务器和数据库间的数据的相互同步;EXCEL模板组件采用.NET4.5第三方插件“NPOI”,根据用户设置好的字段定义,读取待匹配的EXCEL数据(用户将要填充的数据表)的相应项(例如商品的名称);品名分析组件:采用.NET4.5第三方插件“HanLP”插件,进行商品品名的拆分和名词提取。HanLP是一系列模型与算法组成的NLP工具包,目标是普及自然语言处理在生产环境中的应用。采用“C#的文本相似度算法——Cos方法”,计算商品品名与本地数据库中的商品历史库中的商品名称的相似度。通过计算待匹配品名和本地数据库中的商品名称的相似度(一般采用0.3的相似度值)来判定相关的程度可使比对的结果相对的精确,这样就确定了待匹配表格中的商品名和本地数据库中所存储的商品历史库数据的对应关系,将相关数据(价格、海关编号等信息)直接进行匹配提高了商品匹配的效率不再需要人工进行匹配,同时更加不易出错。
参照图2所示,在本发明的另一具体实施例中,数据申报制单系统还包括:多任务组件、数据转换组件、历史记录组件、日志组件和登录组件。
具体的,登录组件采用.NET4.5“HttpWebRequest”类,模拟页面登录服务器后台在进行连接前进行身份的验证,在登录成功后数据库组件会将cassandra数据库和服务器建立连接;在连接成功后数据同步组件会同步服务器后台数据(包括:商品历史库数据、敏感品名库数据和商品分类库数据)至cassandra数据库,在数据同步成功后,EXCEL模板组件加载自定义模板,同时开启多任务组件,多任务组件采用.NET4.5“TASK”类多任务同步技术,平分读取的EXCEL数据后,开启多任务同步执行机制(进行包含对应海关编码的所述相关数据的匹配或替换),多任务同时运行分析EXCEL数据,进行数据匹配或者替换,品名分析组件会加载cassandra数据库中的商品历史库数据、敏感品名库数据、收货人列表数据、发货人列表数据进行商品名称的并行分析,并根据商品名的对应关系匹配相关数据;数据转换组件采用.NET4.5第三方插件“Newtonsoft.Json”和“Dictionary”、“DataTable”类等技术,实现数据之间的转化和提取,将匹配数据(包含海关编码的相关数据)转换成标准出口电商单据数据;历史记录组件采用.NET4.5“TASK”类多任务异步技术。在进行品名分析时,一边记录EXCEL数据分析之后的匹配历史记录,一边通过“TASK”多任务异步技术,异步写入cassandra数据库的替换库表中,进行记录匹配历史记录,减少人工重复性工作,极大的提高了制单效率;最后日志组件采用.NET4.5第三方“log4net”插件,记录客户操作日志、程序运行情况、程序异常日志等。
通过使用EXCEL数据模板自定义想要的商品名称的相关信息,根据自定义表中的内容可以轻松适配所有EXCEL数据,使数据的处理批量化,从而使出口电商数据制作过程,全部流程化、便捷化、标准化。
参照图3所示本发明的实施例还提供了一种数据申报制单方法,应用于以上实施例所述的数据申报制单系统,包括以下步骤:
101、将服务器和本地数据库相连接;
102、将服务器的后台数据同步至本地数据库;
103、基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;
104、将相应项所包含的待匹配品名和本地数据库中的商品名称进行相似度比对,并基于比对结果对待匹配EXCEL表匹配包含对应海关编码的相关数据。
具体的,在将基本数据存储在本地电脑和服务器后台后,再进行品名分析时将所需要的基本数据和匹配记录加载至内存中即可开始对原始EXCEL导入数据进行分析替换以及更改。下面将结合具体的处理流程对数据申报制单方法进行详细的说明。
参照图4所示,在本发明的一些具体实施例中,出口电商单据的自动生成过程包括:首先对客户进行身份的验证在验证成功后,连接cassandra数据库并同步服务器后台数据至cassandra数据库,并加载相关的数据;在数据同步成功后加载EXCEL自定义模板,并按照EXCEL模板数据项的内容读取待匹配数据的EXCEL数据,并对读取的数据与自定义的数据项是否匹配进行比较验证(可采用EXCEL本身的数据比较功能进行比较);在验证通过后进行商品品名分析在品名分析时检索敏感品名库,自动替换或者更改原始数据不规范的品名,匹配相关的数据;同时加载cassandra数据库中替换库数据、商品历史库数据、敏感名库数据和商品分类库数据以判断替换库中是否存在和商品名匹配的历史记录,若存在则直接匹配完整的商品数据生成;若不匹配则首先使用分词插件获取商品品名中的名词,将商品品名中的名词和商品历史库中的商品名称进行相似度的计算并与0.3的相似度标准进行比较判定;若相似度达不到0.3则将商品名与商品历史库中的名称整体进行相似度计算,若相似度还不达标则需手动处理替换数据转换为完整商品数据;在匹配完整的商品数据生成后将商品匹配记录写入替换库中;最后用户可手动调整电商单表体数据对表体和表头进行封装,对出口电商单进行校验保证数据的完整性。
本发明的另一些实施例中还提供了一种存储介质,存储介质中存储有计算机程序,所述计算机程序至少用于执行以上实施例所述的数据申报制单方法。
为了与本发明实施例提供的数据申报制单方法相适应,本发明的实施例还提供了供使用的一种存储介质,存储介质中存储有计算机程序,计算机程序至少用于执行如上所述的数据申报制单方法。
在具体实施过程中处理器用于调用并执行存储器中的计算机程序,存储介质不仅局限于软盘、硬盘和优盘,还可采用其他的存储器本发明在此不做限制。
本发明实施例所提供的数据申报制单系统、方法和存储介质,通过采用相似算法和“HanLP”自然语言处理工具,提高商品数据匹配度;记录匹配历史记录,减少人工重复性工作,极大的提高了制单效率;EXCEL数据模板自定义,可以轻松适配所有EXCEL数据;出口电商数据制作过程,全部流程化、便捷化、标准化。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据申报制单系统,其特征在于,包括:数据库组件、数据同步组件、EXCEL模板组件和品名分析组件;
所述数据库组件用于将服务器和本地数据库相连接;
所述数据同步组件用于将所述服务器的后台数据同步至所述本地数据库;
所述EXCEL模板组件用于基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;
所述品名分析组件用于将所述相应项所包含的待匹配品名和所述本地数据库中的商品名称进行相似度比对,并基于比对结果对所述待匹配EXCEL表匹配包含对应海关编码的相关数据。
2.根据权利要求1所述的数据申报制单系统,其特征在于,还包括:多任务组件,所述多任务组件用于对所述EXCEL模板组件读取的所述待匹配EXCEL表的相应项进行平分读取并进行包含对应海关编码的所述相关数据的匹配或替换。
3.根据权利要求1所述的数据申报制单系统,其特征在于,还包括:数据转换组件,所述数据转换组件用于将包含对应海关编码的所述相关数据转换成标准出口电商单据数据。
4.根据权利要求3所述的数据申报制单系统,其特征在于,还包括:历史记录组件,所述历史记录组件用于将所述相关数据的匹配商品记录到所述本地数据库中的替换库数据表中。
5.根据权利要求4所述的数据申报制单系统,其特征在于,还包括日志组件,所述日志组件用于在所述历史记录组件记录完成后记录操作日志。
6.根据权利要求1所述的数据申报制单系统,其特征在于,还包括:登录组件,所述登录组件用于在所述服务器和所述本地数据库相连接前进行身份的验证。
7.根据权利要求1所述的数据申报制单系统,其特征在于,所述服务器的所述后台数据至少包括:商品历史库数据、敏感品名库数据和商品分类库数据。
8.根据权利要求1至7任一项所述的数据申报制单系统,其特征在于,所述本地数据库为cassandra数据库。
9.一种数据申报制单方法,应用于权利要求1至8任一项所述的数据申报制单系统,其特征在于,包括:
将服务器和本地数据库相连接;
将所述服务器的后台数据同步至所述本地数据库;
基于EXCEL自定义模板中的定义字段读取待匹配EXCEL表中的相应项;
将所述相应项所包含的待匹配品名和所述本地数据库中的商品名称进行相似度比对,并基于比对结果对所述待匹配EXCEL表匹配包含对应海关编码的相关数据。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序至少用于执行权利要求9所述的数据申报制单方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010397805.XA CN111597261A (zh) | 2020-05-12 | 2020-05-12 | 一种数据申报制单系统、方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010397805.XA CN111597261A (zh) | 2020-05-12 | 2020-05-12 | 一种数据申报制单系统、方法和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111597261A true CN111597261A (zh) | 2020-08-28 |
Family
ID=72185325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010397805.XA Pending CN111597261A (zh) | 2020-05-12 | 2020-05-12 | 一种数据申报制单系统、方法和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111597261A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112017021A (zh) * | 2020-09-02 | 2020-12-01 | 四川长虹电器股份有限公司 | 一种自动查验发票真伪的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100332362A1 (en) * | 2009-06-30 | 2010-12-30 | Accenture Global Services Gmbh | Tax return evaluation system |
CN109559029A (zh) * | 2018-11-27 | 2019-04-02 | 深圳市关运通科技有限公司 | 一种海关商品智能归类方法和装置 |
CN109948132A (zh) * | 2019-03-18 | 2019-06-28 | 航天云网科技发展有限责任公司 | 一种配置模板的数据填报方法和系统 |
CN110347998A (zh) * | 2019-07-17 | 2019-10-18 | 安徽航天信息有限公司 | 一种税务申报表的生成方法、装置及设备 |
CN110377801A (zh) * | 2019-07-24 | 2019-10-25 | 浙江诺诺网络科技有限公司 | 一种商品名称校正方法、装置和计算机可读存储介质 |
CN111125221A (zh) * | 2019-12-19 | 2020-05-08 | 上海三稻智能科技有限公司 | 基于Excel格式的数据提取系统及配置方法 |
-
2020
- 2020-05-12 CN CN202010397805.XA patent/CN111597261A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100332362A1 (en) * | 2009-06-30 | 2010-12-30 | Accenture Global Services Gmbh | Tax return evaluation system |
CN109559029A (zh) * | 2018-11-27 | 2019-04-02 | 深圳市关运通科技有限公司 | 一种海关商品智能归类方法和装置 |
CN109948132A (zh) * | 2019-03-18 | 2019-06-28 | 航天云网科技发展有限责任公司 | 一种配置模板的数据填报方法和系统 |
CN110347998A (zh) * | 2019-07-17 | 2019-10-18 | 安徽航天信息有限公司 | 一种税务申报表的生成方法、装置及设备 |
CN110377801A (zh) * | 2019-07-24 | 2019-10-25 | 浙江诺诺网络科技有限公司 | 一种商品名称校正方法、装置和计算机可读存储介质 |
CN111125221A (zh) * | 2019-12-19 | 2020-05-08 | 上海三稻智能科技有限公司 | 基于Excel格式的数据提取系统及配置方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112017021A (zh) * | 2020-09-02 | 2020-12-01 | 四川长虹电器股份有限公司 | 一种自动查验发票真伪的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7739588B2 (en) | Leveraging markup language data for semantically labeling text strings and data and for providing actions based on semantically labeled text strings and data | |
US7617444B2 (en) | File formats, methods, and computer program products for representing workbooks | |
EP1990740A1 (en) | Schema matching for data migration | |
US20190114246A1 (en) | Method for replicating production behaviours in a development environment | |
CN105095247A (zh) | 符号数据分析方法和系统 | |
US20240054284A1 (en) | Spreadsheet table transformation | |
CN111597261A (zh) | 一种数据申报制单系统、方法和存储介质 | |
CN113627168A (zh) | 一种元器件封装冲突的检查方法、装置、介质及设备 | |
CN113835692A (zh) | 字典的数据处理方法、装置、电子设备及计算机存储介质 | |
CN115544991A (zh) | 报表生成方法、装置、设备、介质及程序产品 | |
CN114253939A (zh) | 一种数据模型的构建方法、装置、电子设备及存储介质 | |
WO2022262114A1 (zh) | 结合rpa和ai报关信息的处理方法和处理装置 | |
US8131728B2 (en) | Processing large sized relationship-specifying markup language documents | |
US20240020292A1 (en) | System and method for automated data harmonization | |
US8892951B2 (en) | Fault localization for data-centric programs | |
CN111680082A (zh) | 基于数据整合的政府财政数据采集系统及数据采集方法 | |
EP1610234B1 (en) | Online transactional data processing system | |
JP4234698B2 (ja) | 構造化文書処理システム | |
CN115409104A (zh) | 用于识别对象类型的方法、装置、设备、介质和程序产品 | |
CN114065751A (zh) | 申报要素抽取方法及装置和抽取模型生成方法及装置 | |
CN111259027B (zh) | 一种数据一致性检测方法 | |
CN112162922A (zh) | 一种新旧系统差异性确定方法、装置、服务器和存储介质 | |
Armbrust et al. | Establishing and maintaining traceability between large aerospace process standards | |
CN115115433B (zh) | 订单数据处理方法、装置、计算机设备和存储介质 | |
CN113609407B (zh) | 地区一致性校验方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |