CN111428484B

CN111428484B - 一种信息管理方法、系统、设备和介质

Info

Publication number: CN111428484B
Application number: CN202010290983.2A
Authority: CN
Inventors: 姚志强; 周曦; 李彦达; 郝东
Original assignee: Guangzhou Yuncong Dingwang Technology Co ltd
Current assignee: Guangzhou Yuncong Dingwang Technology Co ltd
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2022-02-18
Anticipated expiration: 2040-04-14
Also published as: CN111428484A

Abstract

本发明提出一种信息管理方法、系统、设备和介质，其特征在于，包括：通过获取待识别对象信息中的物品特征信息、数字特征信息，得到物品与数字之间的关联关系；本发明可获取待识别对象信息进行改造，有效提高处理各类文本对象的泛化能力。

Description

一种信息管理方法、系统、设备和介质

技术领域

本发明涉及自然语言处理领域，尤其涉及一种信息管理方法、系统、设备和介质。

背景技术

国际经贸形势复杂多变，安全准入防控任务繁重，贸易新业态兴起新挑战，必须通过大数据提高海关智能化防控水平。海关业务中有很多部分是文本形式的非结构化数据，如查验记录结果、舱单货物描述、装箱单、外部风险信息、稽核查结论、缉私案件信息、商品规格型号及合同等。传统上对于这些文本数据的处理需要人工进行，既耗费大量的人力也需要大量的时间。通过语义分析工具对文本数据进行分析提取出结构化数据则可以节省大量的人力物力，极大地加快海关业务处理流程。

但由于实际填写中涉及到的化合物的名称、化合物含量的填写方式及二者的位置关系多种多样。传统的关键字+规则的方法具有以下局限性：

1、对于每一种填写方式都要书写一套规则，填写方式的多种多样导致需要写大量复杂的规则，而且难以穷举所有的可能。

2、另一方面当需要检测的物品列表或布控指标发生变化时需要添加或修改大量的规则。

为了应对复杂、多样的化学品信息填写方式，更好地解决海关业务问题，必须摒弃传统的关键字+规则方法，提出一种更加强大的信息提取方法。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种信息管理方法、系统、设备和介质，主要解决待识别对象结构复杂多样，结构化信息提取困难的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种信息管理方法，包括：

通过获取待识别对象信息中的物品特征信息、数字特征信息，得到物品与数字之间的关联关系。

可选地，所述数字特征信息包括以下至少之一：数字、数字与物品之间的修饰信息、数字关系信息。

可选地，所述物品特征信息包括以下至少之一：物品名称、物品与数字之间的修饰信息、数字关系信息。

可选地，所述数字与物品之间的修饰信息包括：

所述数字修饰前面的物品、所述数字修饰后面的物品、所述数字修饰并列关系的物品；或者，所述数字没有修饰的物品。

可选地，所述数字关系信息包括大于、等于或者小于。

可选地，所述物品与数字之间的修饰信息包括：

所述物品修饰前面的数字、所述物品修饰后面的数字、所述物品修饰并列关系的数字；或者，所述物品没有修饰的数字。

可选地，所述待识别对象至少包括标签、合同、查验记录、装箱单。

可选地，通过文本识别模型对所述待识别对象信息中的物品特征信息、数字特征信息进行处理，获取对应物品与数字的关联关系。

可选地，将训练样本输入深度学习神经网络，获取初始识别模型；

通过待识别对象对应的样本类别获取测试样本，并通过所述测试样本对所述初始识别模型进行再训练，获取所述文本识别模型。

可选地，所述深度学习神经网络包括卷积神经网络、循环神经网络、递归神经网络中的一种。

可选地，对所述测试样本信息中的物品特征信息、数字特征信息进行编码处理，并将经过编码后的对应信息输入所述初始识别模型，获取所述文本识别模型。

可选地，对所述物品特征信息进行编码处理包括：

物品编码、物品的修饰关系编码、数字关系编码。

可选地，对所述数字特征信息进行编码处理包括：

数字编码、数字的修饰关系编码、数字关系编码。

可选地，一种信息管理系统，包括：

关联模块，用于通过获取待识别对象信息中的物品特征信息、数字特征信息，得到物品与数字之间的关联关系。

可选地，所述数字与物品之间的修饰信息包括：

可选地，所述数字关系信息包括大于、等于或者小于。

可选地，所述物品与数字之间的修饰信息包括：

可选地，所述关联模块包括识别单元，用于通过文本识别模型对所述待识别对象信息中的物品特征信息、数字特征信息进行处理，获取对应物品与数字的关联关系。

可选地，包括模型构建模块，用于将训练样本输入深度学习神经网络，获取初始识别模型；

可选地，包括编码模块，用于对所述测试样本信息中的物品特征信息、数字特征信息进行编码处理，并将经过编码后的对应信息输入所述初始识别模型，获取所述文本识别模型。

可选地，对所述物品特征信息进行编码处理包括：

物品编码、物品的修饰关系编码、数字关系编码。

可选地，对所述数字特征信息进行编码处理包括：

数字编码、数字的修饰关系编码、数字关系编码。

一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行所述的信息管理方法。

一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行所述的信息管理方法。

如上所述，本发明一种信息管理方法、系统、设备和介质，具有以下有益效果。

通过物品特征信息、数字特征信息获取关联关系，可有效获取待识别对象信息中的结构化信息，同时可适用于各种文本信息的提取，保障泛化性能。

附图说明

图1为本发明一实施例中信息管理方法的流程图。

图2为本发明一实施例中信息管理系统的模块图。

图3为本发明一实施例中终端设备的结构示意图。

图4为本发明另一实施例中终端设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种信息管理方法，包括步骤S01。

在步骤S01中，通过获取待识别对象信息中的物品特征信息、数字特征信息，得到物品与数字之间的关联关系。

在一实施例中，待识别对象可包括标签、合同、查验记录、装箱单、海关查验物品的结果记录、仓储货物标签、商品规格型号、稽核查结果记录、缉私案件记录信息等。将所有记录或单据信息经扫描转换成文本格式文件。

在一实施例中，数字特征信息包括以下至少之一：数字、数字与物品之间的修饰信息、数字关系信息。

在一实施例中，数字关系信息包括大于、等于或者小于。

在一实施例中，数字与物品之间的修饰信息包括：

数字修饰前面的物品、数字修饰后面的物品、数字修饰并列关系的物品；或者，数字没有修饰的物品。以化学品标签为例，化学品标签可表示为酒精大于75％，10％丙酮。其中数字75％用于修饰前面的物品酒精，数字关系为大于；10％用于修饰丙酮，数字关系为等于。针对每一件物品，通过其前后的数字，表示数字与物品之间的修饰关系。

在一实施例中，物品特征信息包括以下至少之一：物品名称、物品与数字之间的修饰信息、数字关系信息。其中，物品与数字之间的修饰信息包括：

物品修饰前面的数字、物品修饰后面的数字、物品修饰并列关系的数字；或者，物品没有修饰的数字。仍以化学品标签为例，化学品标签可表示为酒精大于75％，10％丙酮。其中物品酒精用于修饰后面的数字75％，数字关系为大于；丙酮用于修饰前面的数字10％，数字关系为等于。针对标签中的每个数字，通过其前后的物品，表示该物品与数字之间的修饰关系。

在一实施例中，可预先将装箱单、查验单、合同、标签等各类通过扫描等方式转换成对应的文本文件，并以此文本文件作为训练样本输入深度学习神经网络中，训练初始识别模型。

在一实施例中，深度学习神经网络可采用卷积神经网络、循环神经网络、递归神经网络等网络架构中的一种。

在一实施例中，训练样本输入卷积神经网络中进行模型训练，经过大量样本数据的反复训练获取初始识别模型。

在一实施例中，通过待识别对象对应的样本类别获取测试样本，并通过测试样本对所述初始识别模型进行再训练，获取所述文本识别模型。在具体应用中，可选取某一特定领域的样本用于初始识别模型的再训练，获取用于识别特定领域物品与数字关联关系的文本识别模型。如化学品清单、物流清单、合同文件等多个领域进行针对性模型训练。以化学品标签为例，可将历史记录中采集的一定数量的化学品标签信息作为测试样本。

在一实施例中，对测试样本信息中的物品特征信息、数字特征信息进行编码处理，并将经过编码后的对应信息输入初始识别模型，获取文本识别模型。

在一实施例中对数字特征信息进行编码处理包括：

数字编码、数字的修饰关系编码、数字关系编码。

具体地，以化学品类标签为例，Num表示这是待识别对象信息中的一个数字，B表示这个数字用于修饰它前面的物品，F表示这个数字用于修饰它后面的物品，S表示这个数字用于修饰并列关系的物品，N表示这个数字没有对应的修饰物品，G表示大于，E表示等于，L表示小于。则化学品的编码表示及对应的标签可表示为：

Num-B-G：硫酸>40％

Num-B-E：硫酸40％

Num-B-L：硫酸<40％

Num-F-G：>40％硫酸

Num-F-E：40％硫酸

Num-F-L：<40％硫酸

Num-S-G：硫酸、丙酮分别为>20％、>30％

Num-S-E：硫酸、丙酮分别为20％、20％

Num-S-L：硫酸、丙酮分别为<20％、<20％

Num-N-G:硫酸…>2

Num-N-E：硫酸…2

Num-N-L：硫酸…<2

依次规则构造测试样本数据。通过构造的测试样本对前述步骤获取的初始识别模型进行微调(即再训练)，获取文本识别模型。可通过微调后文本识别模型获取待识别对象信息数字与物品的关联关系。

在一实施例中，也可对物品特征信息进行编码处理，具体包括：

物品编码、物品的修饰关系编码、数字关系编码。如Item表示物品，F表示物品实体用于修饰后面的数字，G表示大于，标签及编码可表示为：Item-F-G：硫酸>40％。编码规则可根据实际情况进行调整。

在一实施例中，根据不同领域测试样本数据对初始识别模型进行微调，得到的文本识别模型可应用于各类不同的领域，使得模型具有较强的泛化能力。其中测试样本的选择可根据实际需求进行调整，如可选择缉私案件记录对应的文本构建测试样本。缉私记录通常为非法走私物品+数量，根据前述步骤的编码方法构建测试样本，获取对应的文本识别模型。只要将新的缉私记录输入该文本识别模型便可获取走私物品及与之对应的数量关系。

请参阅图2，本实施例中提供了一种信息管理系统，用于执行前述方法实施例中所述的信息管理方法。由于系统实施例的技术原理与前述方法实施例的技术原理相似，因而不再对同样的技术细节做重复性赘述。

在一实施例中，信息管理系统包括关联模块10，关联模块10用于辅助执行前述方法实施例介绍的步骤S01。

在一实施例中，物品特征信息包括以下至少之一：物品名称、物品与数字之间的修饰信息、数字关系信息。

在一实施例中，数字与物品之间的修饰信息包括：

数字修饰前面的物品、数字修饰后面的物品、数字修饰并列关系的物品；或者，数字没有修饰的物品。

在一实施例中，数字关系信息包括大于、等于或者小于。

在一实施例中，物品与数字之间的修饰信息包括：

在一实施例中，待识别对象至少包括标签、合同、查验记录、装箱单。

在一实施例中，关联模块包括识别单元，用于通过文本识别模型对待识别对象信息中的物品特征信息、数字特征信息进行处理，获取对应物品与数字的关联关系。

在一实施例中，系统还包括模型构建模块，用于将训练样本输入深度学习神经网络，获取初始识别模型；

在一实施例中，深度学习神经网络包括卷积神经网络、循环神经网络、递归神经网络中的一种。

在一实施例中，系统还包括编码模块，用于对测试样本信息中的物品特征信息、数字特征信息进行编码处理，并将经过编码后的对应信息输入初始识别模型，获取文本识别模型。

在一实施例中，对物品特征信息进行编码处理包括：

物品编码、物品的修饰关系编码、数字关系编码。

在一实施例中，对数字特征信息进行编码处理包括：

数字编码、数字的修饰关系编码、数字关系编码。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中信息管理方法所包含步骤的指令(instructions)。

图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图4为本申请的另一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第一处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图4实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。

综上所述，本发明一种信息管理方法、系统、设备和介质，相比于传统的实体识别算法，本发明的方法可有效提取待识别对象信息中实体间的修饰关系；通过少量数据构造测试样本进行模型再训练，可有效提高模型处理效率同时提高模型的泛化性能；根据实际情况调整测试样本可将获取的模型应用于处理各类待识别对象信息，进一步提升适用性和泛化能力。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种信息管理方法，其特征在于，包括：

将训练样本输入深度学习神经网络，获取初始识别模型；

通过待识别对象对应的样本类别获取测试样本，对所述测试样本信息中的物品特征信息、数字特征信息进行编码处理，并将经过编码后的对应信息输入所述初始识别模型，并通过所述测试样本对所述初始识别模型进行再训练，获取文本识别模型；

通过文本识别模型对所述待识别对象信息中的物品特征信息、数字特征信息进行处理，获取对应物品与数字的关联关系；其中，所述数字特征信息包括以下至少之一：数字、数字与物品之间的修饰信息、数字关系信息；所述数字与物品之间的修饰信息包括：所述数字修饰前面的物品、所述数字修饰后面的物品、所述数字修饰并列关系的物品；或者，所述数字没有修饰的物品；对所述数字特征信息进行编码处理包括：数字编码、数字的修饰关系编码、数字关系编码。

2.根据权利要求1所述的信息管理方法，其特征在于，

所述物品特征信息包括以下至少之一：物品名称、物品与数字之间的修饰信息、数字关系信息。

3.根据权利要求1所述的信息管理方法，其特征在于，所述数字关系信息包括大于、等于或者小于。

4.根据权利要求2所述的信息管理方法，其特征在于，所述物品与数字之间的修饰信息包括：

5.根据权利要求1所述的信息管理方法，其特征在于，所述待识别对象至少包括标签、合同、查验记录、装箱单。

6.根据权利要求1所述的信息管理方法，其特征在于，所述深度学习神经网络包括卷积神经网络、循环神经网络、递归神经网络中的一种。

7.根据权利要求1所述的信息管理方法，其特征在于，对所述物品特征信息进行编码处理包括：

物品编码、物品的修饰关系编码、数字关系编码。

8.一种信息管理系统，其特征在于，包括：

模型构建模块，用于将训练样本输入深度学习神经网络，获取初始识别模型；通过待识别对象对应的样本类别获取测试样本，对所述测试样本信息中的物品特征信息、数字特征信息进行编码处理，并将经过编码后的对应信息输入所述初始识别模型，并通过所述测试样本对所述初始识别模型进行再训练，获取文本识别模型

关联模块包括识别单元，用于通过文本识别模型对所述待识别对象信息中的物品特征信息、数字特征信息进行处理，获取对应物品与数字的关联关系；其中，所述数字特征信息包括以下至少之一：数字、数字与物品之间的修饰信息、数字关系信息；所述数字与物品之间的修饰信息包括：所述数字修饰前面的物品、所述数字修饰后面的物品、所述数字修饰并列关系的物品；或者，所述数字没有修饰的物品；对所述数字特征信息进行编码处理包括：数字编码、数字的修饰关系编码、数字关系编码。

9.根据权利要求8所述的信息管理系统，其特征在于，

10.根据权利要求8所述的信息管理系统，其特征在于，所述数字关系信息包括大于、等于或者小于。

11.根据权利要求9所述的信息管理系统，其特征在于，所述物品与数字之间的修饰信息包括：

12.根据权利要求8所述的信息管理系统，其特征在于，所述待识别对象至少包括标签、合同、查验记录、装箱单。

13.根据权利要求8所述的信息管理系统，其特征在于，包括模型构建模块，用于将训练样本输入深度学习神经网络，获取初始识别模型；

14.根据权利要求8所述的信息管理系统，其特征在于，所述深度学习神经网络包括卷积神经网络、循环神经网络、递归神经网络中的一种。

15.根据权利要求8所述的信息管理系统，其特征在于，对所述物品特征信息进行编码处理包括：

物品编码、物品的修饰关系编码、数字关系编码。

16.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。

17.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。