CN108337133A - 一种多式联运报文解析工具 - Google Patents

一种多式联运报文解析工具 Download PDF

Info

Publication number
CN108337133A
CN108337133A CN201810115717.9A CN201810115717A CN108337133A CN 108337133 A CN108337133 A CN 108337133A CN 201810115717 A CN201810115717 A CN 201810115717A CN 108337133 A CN108337133 A CN 108337133A
Authority
CN
China
Prior art keywords
data
message
module
landing
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810115717.9A
Other languages
English (en)
Other versions
CN108337133B (zh
Inventor
景雪飞
孙飞虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuantong Tak Technology Co Ltd
Original Assignee
Beijing Yuantong Tak Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuantong Tak Technology Co Ltd filed Critical Beijing Yuantong Tak Technology Co Ltd
Priority to CN201810115717.9A priority Critical patent/CN108337133B/zh
Publication of CN108337133A publication Critical patent/CN108337133A/zh
Application granted granted Critical
Publication of CN108337133B publication Critical patent/CN108337133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/83—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G06F16/86—Mapping to a database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

本发明提出了一种多式联运报文解析工具，包括：落地目录监控服务模块用于检测落地目录，当判断有企业申报数据报文到落地目录后，抓取落地报文；数据映射模块用于设置标准标定的约束类型并进行报文字段映射；数据解析验证模块用于根据标准标定的约束类型和报文字段映射结果生成数据项校验标准和映射配置文件，将抓取的落地报文进行数据解析；数据下发模块用于在数据解析完成后，读取落地报文的报文数据，并自动匹配至对应逻辑模块进行业务处理。本发明能够速、高效、准确的获取报文信息，并精确解析处理报文信息的工具，通过可视化数据与后续业务逻辑相结合，为流程和业务提供保证。

Description

一种多式联运报文解析工具
技术领域
本发明涉及数据解析处理技术领域，特别涉及一种多式联运报文解析工具。
背景技术
数据解析处理方式是数据应用前的重要处理步骤，大部分的针对报文数据的处理都是通过获取报文，再进行数据解析处理，变繁为简，方便数据的处理，针对此方式还存在以下几方面不足：
(1)报文格式没有同一标定，样式繁多，没有标准规范约束数据内容与格式；
(2)缺少统一的解析工具，分散式的去单独抓取解析，效率低，方式杂；
(3)数据可读性差，数据下放不统一，没有统一数据管理，易冗余。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种多式联运报文解析工具。
为了实现上述目的，本发明的实施例提供一种多式联运报文解析工具，包括：落地目录监控服务模块、数据映射模块、数据解析验证模块和数据下发模块，其中，所述落地目录监控服务模块用于检测落地目录，当判断有企业申报数据报文到落地目录后，抓取落地报文；所述数据映射模块用于设置标准标定的约束类型并进行报文字段映射，其中，
约束类型的内容包括：根据WCO标准制定的符合多式联运运输的电子报文格式，定义了报文节点命名空间、必填选填数据元要求、填制规范及运输工具的电子数据设计的业务代码表；
字段映射方式：以电子报文标准为模板以业务数据库中业务表为基础生成与报文数据项对应的xsd数据映射文件，通过模块内部逻辑，完成报文数据到映射文件中数据的转移，将报文的xml格式数据项内容存储到数据库映射文件中，以数据库数据形式进行存储；
所述数据解析验证模块用于根据所述标准标定的约束类型和报文字段映射结果生成数据项校验标准和映射配置文件，将抓取的落地报文进行数据解析；所述数据下发模块用于在数据解析完成后，读取落地报文的报文数据，并自动匹配至对应逻辑模块进行业务处理。
进一步，所述数据解析验证模块将所述落地报文解析为可视化数据，并利用预设数据项校验标准进行数据的解析和数据格式的校验。
进一步，所述数据下发模块读取的报文数据，包括：报文类型和报文功能代码。
进一步，所述数据映射模块还用于建立落地报文与映射配置文件的关联关系。
进一步，所述数据解析验证模块通过创建报文数据与数据库数据映射，利用映射关系将报文数据解析为可视化数据。
进一步所述数据下发模块用于自动分析报文类型，根据分析结果自动接入对应的逻辑处理模块进行报文数据的下发。
根据本发明实施例的多式联运报文解析工具，是一种能够速、高效、准确的获取报文信息，并精确解析处理报文信息的工具，通过可视化数据与后续业务逻辑相结合，为流程和业务提供保证。本发明以快速、高效、准确为原则，以数据解析处理为核心，以业务分析处理为最终目的，建立能够积极响应，快速处理，准确高效的解析应用工具，协调处理报文申报数据和业务处理的衔接，保证后续的业务功能顺利实现。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的多式联运报文解析工具的结构图；
图2为根据本发明实施例的多式联运报文解析工具的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种多式联运报文解析工具，以后台监控服务抓取报文数据为基础的监控应用服务，以报文传输为基础的数据传输方案，以报文数据解析为基础的数据处理方案，以数据业务自动分配为基础的处理机制，实现对企业申报数据的高效准确解析，解决现有技术中存在的数据报文信息不畅，接收延迟的问题；解决数据报文重复提交，数据冗余的问题；解决数据报文解析复杂，逻辑复杂的问题。
如图1和图2所示，本发明实施例的多式联运报文解析工具，包括：落地目录监控服务模块1、数据映射模块2、数据解析验证模块3和数据下发模块4。
具体的，落地目录监控服务模块1用于自动检测落地目录，当判断有企业申报数据报文到落地目录后，抓取落地报文。
落地目录监控服务模块1监控数据报文落地目录，可以实现无间断实时的刷新监控，保证报文数据能够及时的抓取并进行解析处理。
数据映射模块2用于设置标准标定的约束类型并进行报文字段映射，根据报文数据内容，通过标定的标准约束和模板报文创建对应的数据映射文件，通过工具软件建立落地报文与映射配置文件的关联关系，方便后续数据解析使用。
在本发明的一个实施例中，约束类型的内容包括：根据WCO标准制定的符合多式联运运输的电子报文格式，定义了报文节点命名空间、必填选填数据元要求、填制规范及运输工具等电子数据设计的业务代码表。
字段映射方式：以电子报文标准为模板以业务数据库中业务表为基础生成与报文数据项对应的xsd数据映射文件，通过模块内部逻辑，完成报文数据到映射文件中数据的转移，将报文的xml格式数据项内容存储到数据库映射文件中，以数据库数据形式进行存储。
数据解析验证模块3用于根据标准标定的约束类型和报文字段映射结果生成数据项校验标准和映射配置文件，将抓取的落地报文进行数据解析。即，根据标准规定的约束类型和报文字段映射共同约束和生成数据项校验标准xslt文件和映射配置文件。
具体的，数据解析验证模块3将落地报文解析为可视化数据，并利用预设数据项校验标准进行数据的解析和数据格式的校验。
数据解析验证模块3通过创建报文数据与数据库数据映射，利用映射关系将报文数据解析为可视化数据，方便可视化阅读和数据处理。在数据解析中通过报文中规定的数据项标准，对数据进行数据格式的验证，保证符合标准的数据解析处理。
数据下发模块4用于在数据解析完成后，读取落地报文的报文数据，并自动匹配至对应逻辑模块进行业务处理。
在本发明的一个实施例中，数据下发模块4读取的报文数据，包括：报文类型和报文功能代码。
数据下发模块4用于自动分析报文类型，根据分析结果所属的业务模块，自动接入对应的逻辑处理模块进行报文数据的下发，提高数据处理速度和快速的相应能力。
根据本发明实施例的多式联运报文解析工具，是一种能够速、高效、准确的获取报文信息，并精确解析处理报文信息的工具，通过可视化数据与后续业务逻辑相结合，为流程和业务提供保证。本发明以快速、高效、准确为原则，以数据解析处理为核心，以业务分析处理为最终目的，建立能够积极响应，快速处理，准确高效的解析应用工具，协调处理报文申报数据和业务处理的衔接，保证后续的业务功能顺利实现。
本发明实施例的多式联运报文解析工具，具有以下有益效果：
(1)自动抓取落地目录，无需人工干预
通过后台监控服务，无间断、全天候的实时监控报文落地目录文件，企业申报数据生成的数据文件申报成功后，工具会自动抓取文件，送由工具进行数据解析。
(2)解析数据报文为可视化、可读性数据内容
抓取到的报文数据为xml格式文件，数据可读性差，工具通过数据库映射，创建报文数据与数据库数据对应关系，解析报文数据为可视化易读的数据，方便数据处理和逻辑应用。
(3)自动完成业务模块分配和下发
通过数据解析，自动分析报文数据类型，所属的业务模块，自动接入对应的逻辑处理模块，提高数据处理速度和快速的相应能力。
(4)提高效率和准确率
通过后台监控服务，实时监控报文目录，自动抓取落地报文，能处理数据并发操作，减少等待时间，提高效率；自动检测报文数据，断电保护机制，避免数据丢失和重复提交。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种多式联运报文解析工具，其特征在于，包括：落地目录监控服务模块、数据映射模块、数据解析验证模块和数据下发模块，其中，
所述落地目录监控服务模块用于检测落地目录，当判断有企业申报数据报文到落地目录后，抓取落地报文；
所述数据映射模块用于通过标准标定的约束类型和报文映射字段完成报文数据的映射；其中，
约束类型的内容包括：根据WCO标准制定的符合多式联运运输的电子报文格式，定义了报文节点命名空间、必填选填数据元要求、填制规范及运输工具的电子数据设计的业务代码表；
字段映射方式：以电子报文标准为模板以业务数据库中业务表为基础生成与报文数据项对应的xsd数据映射文件，通过模块内部逻辑，完成报文数据到映射文件中数据的转移，将报文的xml格式数据项内容存储到数据库映射文件中，以数据库数据形式进行存储；
所述数据解析验证模块用于根据所述标准标定的约束类型和报文字段映射结果生成数据项校验标准和映射配置文件，即数据的映射和标准约束类型通过模块内部逻辑，生成xslt校验文件，其中包含了数据元填制要求、填制规范、命名空间等信息，用于验证数据报文申报是否符合标准将抓取的落地报文进行数据解析；
所述数据下发模块用于在数据解析完成后，读取落地报文的报文数据，并自动匹配至对应逻辑模块进行业务处理。
2.如权利要求1所述的多式联运报文解析工具，其特征在于，所述数据解析验证模块将所述落地报文解析为可视化数据，并利用预设数据项校验标准进行数据的解析和数据格式的校验。
3.如权利要求1所述的多式联运报文解析工具，其特征在于，所述数据下发模块读取的报文数据，包括：报文类型和报文功能代码。
4.如权利要求1所述的多式联运报文解析工具，其特征在于，所述数据映射模块还用于建立落地报文与映射配置文件的关联关系。
5.如权利要求1所述的多式联运报文解析工具，其特征在于，所述数据解析验证模块通过创建报文数据与数据库数据映射，利用映射关系将报文数据解析为可视化数据。
6.如权利要求3所述的多式联运报文解析工具，其特征在于，所述数据下发模块用于自动分析报文类型，根据分析结果自动接入对应的逻辑处理模块进行报文数据的下发，即工具下发模块会通过读取报文的类型和功能代码，并读取配置文件，通过反射机制自动匹配到配置文件中配置好的业务模块中，从而实现业务逻辑模块的自动接入。
CN201810115717.9A 2018-02-06 2018-02-06 一种多式联运报文解析工具 Active CN108337133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810115717.9A CN108337133B (zh) 2018-02-06 2018-02-06 一种多式联运报文解析工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810115717.9A CN108337133B (zh) 2018-02-06 2018-02-06 一种多式联运报文解析工具

Publications (2)

Publication Number Publication Date
CN108337133A true CN108337133A (zh) 2018-07-27
CN108337133B CN108337133B (zh) 2020-08-07

Family

ID=62928223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810115717.9A Active CN108337133B (zh) 2018-02-06 2018-02-06 一种多式联运报文解析工具

Country Status (1)

Country Link
CN (1) CN108337133B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889375A (zh) * 2019-01-23 2019-06-14 中国银行股份有限公司 业务报文校验方法、装置及计算机存储介质
CN112134900A (zh) * 2020-09-28 2020-12-25 中国银行股份有限公司 数据报文处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1527226A (zh) * 2003-02-13 2004-09-08 将文档的元素与数据库中相应的字段、查询和/或过程相链接
CN102843245A (zh) * 2011-06-20 2012-12-26 中兴通讯股份有限公司 配置数据交互方法及装置
US20140122412A1 (en) * 2012-11-01 2014-05-01 Tata Consultancy Services Limited System and method to provide analytical processing of data in a distributed data storage systems
CN105138613A (zh) * 2015-08-07 2015-12-09 北京思特奇信息技术股份有限公司 一种业务对象和xml报文相互转换的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1527226A (zh) * 2003-02-13 2004-09-08 将文档的元素与数据库中相应的字段、查询和/或过程相链接
CN102843245A (zh) * 2011-06-20 2012-12-26 中兴通讯股份有限公司 配置数据交互方法及装置
US20140122412A1 (en) * 2012-11-01 2014-05-01 Tata Consultancy Services Limited System and method to provide analytical processing of data in a distributed data storage systems
CN105138613A (zh) * 2015-08-07 2015-12-09 北京思特奇信息技术股份有限公司 一种业务对象和xml报文相互转换的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889375A (zh) * 2019-01-23 2019-06-14 中国银行股份有限公司 业务报文校验方法、装置及计算机存储介质
CN112134900A (zh) * 2020-09-28 2020-12-25 中国银行股份有限公司 数据报文处理方法及装置
CN112134900B (zh) * 2020-09-28 2022-10-18 中国银行股份有限公司 数据报文处理方法及装置

Also Published As

Publication number Publication date
CN108337133B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN110443552B (zh) 一种产品主数据信息自动传输的方法及装置
EP2400443A1 (en) System and method for analytic process design
DE102016119084A9 (de) Verteilte Leistungsüberwachung und Analyse industrieller Anlagen
CN108492028A (zh) 数据需求标准化方法及标准化系统
CN111861366A (zh) 一种项目可研的智能审核系统及计算机
CN103353871A (zh) 一种基于cim/g标准的互操作图形文件校验方法
CN112732641A (zh) 一种电子档案的归档方法及装置、介质
CN106528828A (zh) 一种基于多维度校验规则的数据质量检测方法
CN107784205B (zh) 一种用户产品审核的方法、装置、服务器和存储介质
CN108768929A (zh) 电子装置、征信反馈报文的解析方法及存储介质
CN101976394B (zh) 数据采集和统计系统及方法
CN106327100A (zh) 一种变更清单生成方法及装置
CN108337133A (zh) 一种多式联运报文解析工具
CN101299750A (zh) 一种实现业务管理的方法和设备
CN114449018A (zh) 一种电力采集终端的日志文件自动上传方法、系统
CN106056227B (zh) 基于iec61850标准的智能变电站服务跟踪方法
CN110659289B (zh) 一种物资质量检测试验报告管理方法及系统
CN102855590A (zh) 实验室使用标准自助托管系统
CN105468502A (zh) 一种日志收集的方法、装置和系统
CN109359202B (zh) 基于音频视频记录的电子运维工单自动生成方法及系统
CN109614143B (zh) Ietm浏览器中自动生成故障流程图的开发方法
CN102310950B (zh) 试验智判系统和方法
CN112597210A (zh) 一种数据汇总方法、装置、设备和存储介质
CN112598226A (zh) 一种设备清查方法、装置、设备及存储介质
CN106021209B (zh) 技术出版物的源数据跟踪管理系统和综合编制管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A message parsing tool for multimodal transport

Effective date of registration: 20210702

Granted publication date: 20200807

Pledgee: Beijing first financing Company limited by guarantee

Pledgor: MASTERY Co.,Ltd.

Registration number: Y2021990000574

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220721

Granted publication date: 20200807

Pledgee: Beijing first financing Company limited by guarantee

Pledgor: MASTERY CO.,LTD.

Registration number: Y2021990000574

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A multi-modal transport message parsing tool

Effective date of registration: 20220727

Granted publication date: 20200807

Pledgee: Beijing first financing Company limited by guarantee

Pledgor: MASTERY CO.,LTD.

Registration number: Y2022980011359