CN110209725A - 面向出入境商品的数据可视化系统 - Google Patents

Abstract

本发明提供一种能够更全面地进行数据可视化并且集成了实时风险预警和关联布控的面向出入境商品的数据可视化系统，其特征在于，包括：数据获取模块、数据整理模块、数据存储模块、数据分析模块、风险分析模块、关联分析模块、风险布控模块、分析结果存储模块以及可视化展示模块；其中，数据整理模块根据预设的数据整理方式对数据获取模块获取的出入境数据进行清洗整理得到待分析数据，数据分析模块分析得到数据分析结果，风险分析模块分析得到风险分析结果，关联分析模块进行关联分析从而得到相应的关联风险结果，风险布控模块制定相应的布控策略，可视化处理模块对上述分析进行处理得到可视化结果从而向用户进行可视化展示。

Description

面向出入境商品的数据可视化系统

技术领域

本发明属于大数据可视化分析领域，具体涉及一种面向出入境商品的数据可视化系统。

背景技术

随着我国经济的快速发展和全球化进程的加快，我国已成为了全球货物贸易第一大国。跨境贸易的不断增加，随之而来的是跨境贸易纠纷快速增加，例如，由于货物通关时间大幅减少的情况下抽检比例大幅降低，查验对象依然快速增加，疫情防控任务变得十分复杂，受限于行政资源有限也无法做到全面的货物查验；再例如，在缺少跨境溯源服务的情况下，依据与数据也不完整，责任判断低效。在口岸通关查验新政背景下，迫切地需要风险预警、智能布控，实现查验科学自动化。

数据可视化技术旨在借助于图形化手段，对多维数据进行切片、块、旋转等动作剖析数据，并利用数据分析和开发工具发现其中的未知信息，从而能从多角度多侧面观察数据和获取信息。

目前数据可视化技术在口岸风险评估、口岸数据展示等方面取得了较为广泛应用，但对于可视化展示的全面性、关联性、交互性等核心方面的功能表现，目前存在的口岸数据可视化系统在这些方面都表现都存在很大不足，例如大量的口岸数据被堆砌显示导致重点信息不明确等问题，非技术人员无法从现有的可视化系统中获取较为深层次的数据信息，口岸人员查验工作效率较低，也无法根据现有可视化系统做出科学的查验决策。

发明内容

为解决上述问题，提供一种能够更全面地进行数据可视化并且集成了实时风险预警和关联布控的面向出入境商品的数据可视化系统，本发明采用了如下技术方案：

本发明提供了一种面向出入境商品的数据可视化系统，用于对口岸中出入境商品产生的数据进行统计处理并进行可视化显示，其特征在于，包括：数据获取模块、数据整理模块、数据存储模块、数据分析模块、风险分析模块、关联分析模块、风险布控模块、分析结果存储模块以及可视化处理模块；其中，数据获取模块通过接口从外部数据库中获取出入境数据，该出入境数据至少包含口岸历史数据、出入境商品在出入境时产生的口岸报关数据、出入境商品的商品信息以及与出入境商品相关的环境舆情信息，数据整理模块根据预设的数据整理方式对出入境数据进行清洗整理得到待分析数据；数据存储模块对待分析数据进行存储，数据分析模块对待分析数据中的口岸历史数据进行多维度数据分析得到数据分析结果，风险分析模块调用预先建立的风险预警模型对待分析数据中的口岸报关数据进行风险预测从而得到风险分析结果，关联分析模块根据风险分析结果对待分析数据进行关联分析从而得到相应的关联风险结果，风险布控模块通过预先建立的风险布控模型根据风险分析结果以及关联风险结果制定相应的布控策略，分析结果存储模块对数据分析结果、风险分析结果、关联风险结果以及布控策略进行存储，可视化处理模块调用预设的可视化服务对数据分析结果、风险分析结果、关联风险结果以及布控策略进行处理得到可视化结果从而向用户进行可视化展示。

本发明提供的面向出入境商品的数据可视化系统，还可以具有这样的技术特征，还包括：输入显示模块，其中，可视化结果包含与数据分析结果对应的数据可视化画面、与风险分析结果对应的多个风险可视化画面以及与关联风险结果和布控策略对应的详细风险可视化画面，输入显示模块用于显示数据可视化画面让用户选择不同的数据分析结果并根据用户的选择显示相应数据分析结果的可视化图像，输入显示模块在显示数据可视化画面时还能够让用户选择查看风险分析结果，进一步在用户选择后显示风险可视化画面并在该画面中以轮播图的形式显示各个出入境商品的风险分析结果让用户查看或是点选，在用户点选一个风险分析结果时，输入显示模块显示详细风险可视化画面并显示与被选择的风险分析结果相应的关联风险结果以及布控策略让用户详细查看。

本发明提供的面向出入境商品的数据可视化系统，还可以具有这样的技术特征，其中，数据整理方式为：对信息进行修正操作、丢弃操作以及新增操作，修正操作为对出入境数据的数据项进行缺失统计，并将缺失项多于一定数量的出入境数据进行删除，将缺失项不多于一定数量的出入境数据根据邻近其他出入境数据的相似信息进行补全，丢弃操作为对出入境数据中无用的数据项进行删除，新增操作为将新增的商品舆情信息根据对应的出入境商品对出入境数据做关联处理。

本发明提供的面向出入境商品的数据可视化系统，还可以具有这样的技术特征，其中，可视化服务为轮播图可视化组件、斑马柱图可视化组件、多维饼图可视化组件、折线图可视化组件以及地图可视化组件。

本发明提供的面向出入境商品的数据可视化系统，还可以具有这样的技术特征，其中，风险布控模型通过如下方式预先建立：对报关历史数据进行统计，并筛选出过去被判定为风险商品的风险项以及对应的历史布控策略，根据风险项以及历史布控策略建立相应的风险布控模型。

发明作用与效果

根据本发明的面向出入境商品的数据可视化系统，由于具有数据获取模块对出入境数据进行实时收集，并通过数据整理模块对出入境数据进行清洗整理，从而使得出入境数据中的一些错误数据以及无用数据进行修缮形成待分析数据，使得数据能更好地被分析；进一步，通过数据分析模块对待分析数据中的口岸历史数据进行多维度分析、通过风险分析模块对对待分析数据中的口岸报关数据进行风险分析、通过关联分析模块根据风险分析的结果进行关联分析以及通过风险布控模块根据风险制定相应的布控策略，从而多维度、多性质地对口岸业务等数据进行了挖掘和分析，最后通过可视化处理模块将分析结果可视化展示，使得分析结果能够直观、形象地显示，重点突出数据之间的关联性，进而能辅助口岸人员进行通关查验，提高口岸人员的工作效率，实现查验的科学自动化。

本发明的面向出入境商品的数据可视化系统使得数据处理过程被流程化、标准化，规范了口岸业务领域的数据处理方法，通过集成口岸业务领域的大数据分析、风险预警和关联布控三个方面的数据，更易于业务人员对口岸的数据有一个直观、清晰的认识，对潜在的风险也能及时、准确的做出科学地应对和布控。

附图说明

图1是本发明实施例中数据可视化系统的结构框图；以及

图2是本发明实施例中可视化处理过程的流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的面向出入境商品的数据可视化系统作具体阐述。

<实施例>

图1是本发明实施例中数据可视化系统的结构框图。

如图1所示，数据可视化系统100包括数据获取模块1、数据整理模块2、数据存储模块3、数据分析模块4、风险分析模块5、关联分析模块6、风险布控模块7、分析结果存储模块8、可视化处理模块9、输入显示模块10、通信模块11以及控制模块12。

数据获取模块1用于通过接口从外部数据库中获取出入境数据。

本实施例中，数据可视化系统100设置在口岸监控系统中。该口岸监控系统中存储有所有出入境商品的基本信息，并能够定根据出入境商品的名称等信息在公开网络上利用爬虫技术爬取环境舆情信息，其数据库记录有该口岸所有的历史数据以及报关数据等业务信息。数据获取模块1直接通过接口从该口岸监控系统中获取相应数据。

本实施例中，出入境数据主要包括口岸历史数据、口岸报关数据、商品信息和环境舆情信息等信息。其中，口岸历史数据是指口岸历史进出口商品数据、历史检验检疫情况、历史风险及处理办法等；口岸报关数据是指新的一批还未通关的出入境商品相关的报关记录，各条报关记录分别与各个出入境商品一一对应；商品信息为报关商品的相关基本信息，包括：报关商品的品名、品牌、报关单位、运输单位、原产国等基本信息，相关的报关单位、收货单位、运输单位、原产国的基本信息及其舆情等信息；环境舆情信息包括最新的政策信息、相关地的疫情信息、最新法律法规等信息。

本实施例中，数据获取模块1可以分别获取口岸历史数据、口岸报关数据、商品信息和环境舆情信息等信息，例如，一旦口岸监控系统更新了一条口岸报关数据，数据获取模块1就检测到该更新并获取新的口岸报关数据。在其他实施例中，口岸历史数据、口岸报关数据、商品信息和环境舆情信息等信息作为出入境信息也可以定期被数据获取模块1同时获取。

数据整理模块2用于根据预设的数据整理方法对数据获取模块1获取的出入境数据进行清洗整理从而得到待分析数据。

本实施例中，数据整理方式包括修正操作、丢弃操作以及新增操作。

在数据整理模块2进行修正操作时，对各个出入境数据的数据项进行缺失统计，随后对缺失项较少的数据进行补全，对缺失项较多的数据进行删除。具体为：当缺失项不多于3项时，数据整理模块2根据业务逻辑自动进行计算补全或使用临近的相似数据进行补全(如缺少报关日期，则使用上条报关记录的报关日期作为报关日期)；当缺失项多于3项时，则删除直接此条出入境数据。

在数据整理模块2进行丢弃操作时，对各个出入境数据中不被计算使用的数据项进行删除。

在数据整理模块2进行新增操作时，将新增舆情信息根据对应的出入境商品与出入境数据进行关联，将其与对应的出入境商品、报关单位和原产国等做关联处理。

在其他实施例中，数据整理模块2还可以支持人工处理，通过用户对有误数据进行修改或删除，或是新增国家经纬度等有用信息。

数据存储模块3用于对数据整理模块2整理完成的待分析数据进行存储。

数据分析模块4用于对口岸历史数据进行多维度数据分析从而得到数据分析结果。

本实施例中，数据分析模块4使用传统统计、数据仓库和数据挖掘等技术对口岸历史数据的内在信息进行分析，具体包括：

1).应用统计分析等传统统计方法对口岸历史数据进行分析，从而分析出总体通关情况、商品流向信息以及口岸通关效率等与口岸业务相关的信息；

2).应用聚类分析等方法对口岸历史数据进行分析，不限于对报关商品原产国、贸易国、报关单位等进行风险群体划分，确定不同风险类别的群体；

3).应用数据仓库等技术对口岸历史数据进行分析，挖掘出口岸商品检验检疫历史合格率和风险变化情况。

数据分析结果包括上述与口岸业务相关的信息、不同风险类别的群体、商品检验检疫历史合格率和风险变化情况等信息。

风险分析模块5用于根据预先建立的风险预警模型对数据获取模块1获取的口岸报关数据进行风险预测从而得到风险分析结果。

本实施例中，每当有新的口岸报关数据流入并被数据整理模块2整理后，就会自动触发风险分析模块5中的风险预警模型对数据进行分析。该风险预警模型是根据常规技术设置的预警模型，该风险预警模型的进行的处理如下：

1).对报关商品进行风险分析，得到当前报关批次商品的风险评分以及风险点等风险信息；

2).对所得风险评分进行风险等级划分等处理；

3).将风险评分、风险等级和风险点等信息与对应的报关记录(即口岸报关数据)关联起来作为风险分析结果。

关联分析模块6用于根据风险分析模块5得到的风险分析结果对待分析数据进行关联分析从而得到关联风险结果。

本实施例中，当检测有新的风险分析结果生成时，自动触发关联分析模块6对风险分析结果中对应的风险进行关联分析，具体地：

1).获取风险分析结果中的报关记录、风险评分、风险等级和风险点等信息，对风险评分高于阈值的报关商品，分析报关商品的原产国、贸易国等相关国家，具体为：通过聚类分析等方法分析原产国、贸易国等对象是否属于高风险国家；通过统计分析等方法分析原产国、贸易国等对象在历史报关记录中的报关合格率变化情况等信息；

2).再次根据风险分析结果，对风险评分高于阈值的报关记录，分析报关商品的报关单位、收货单位、运输单位和商品品牌等相关单位，具体为：通过聚类分析等方法分析报关商品的报关单位、收货单位、运输单位和商品品牌等单位的历史报关数据，判断其是否属于高风险单位；通过统计分析等方法分析得到其历史报关合格率等信息；

3).根据风险分析结果，对风险评分高于阈值的报关记录，调用舆情分析模型对报关记录的报关单位、报关品牌、运输单位、原产国和贸易国等的环境舆情信息进行分析，得到对应的环境风险情况；

4).结合上述1)、2)、3)所得的结果，对于报关记录的各个属性(报关单位、运输单位、原产国等)，利用加权平均等方法得到报关记录各个属性的风险评分，将其与风险分析结果中所得报关商品的风险评分相结合，利用加权平均等方法综合计算该报关批次商品的风险作为关联风险结果，并将相关分析结果存储至分析结果存储模块8。

风险布控模块7用于预先建立的风险布控模型根据风险分析结果以及关联风险结果制定相应的布控策略。

本实施例中，风险布控模型通过如下方式建立：对口岸历史报关数据进行统计分析，记录常见的风险点(如商品成分不合格、标签不合格等)以及对应的口岸布控策略(如提高某种商品的抽检比例)，进一步根据记录的风险项以及历史布控策略建立相应的风险布控模型。

在风险布控模块7检测到关联分析模块6得到关联风险结果时，就根据风险分析模块5得到的风险分析结果，对风险评分高于阈值的报关商品，结合关联风险结果，应用上述制定的风险布控模型，动态制定应对该批次商品风险的相关布控策略，最后整合并将报关记录、风险分析结果以及风险布控策略存储至分析结果存储模块8。

分析结果存储模块8用于对数据分析模块4得到的数据分析结果、风险分析模块5的风险分析结果、关联分析模块6得到的关联风险结果以及风险布控模块7制定的相应布控策略进行存储。

可视化处理模块9用于调用预设的可视化服务对数据分析结果、风险分析结果、关联风险结果以及布控策略进行处理得到可视化结果从而向用户进行可视化展示。

本实施例中，可视化服务为预先基于常规的可视化技术设定的可视化组件，具体包括轮播图可视化组件、斑马柱图可视化组件、多维饼图可视化组件、折线图可视化组件以及地图可视化组件。

本实施例的可视化处理模块9中，除基本的统计分析展示之外，还着重渲染报关商品的风险实时预警，突出风险的关联信息和针对风险的布控等可视化模块，并使可视化结果形象、直观、突出数据关联性和支持一定交互性，帮助业务人员做出科学的查验决策，其具体的可视化处理分为如下三个部分：

1、大数据分析可视化(数据可视化画面)：该部分主要用于展示口岸大数据分析的结果(即数据分析结果)，用户可通过点击画面中的按钮查看不同的数据分析结果。大数据分析数据的可视化主要以饼图、折线图、柱状图、轮播图等的形式展示，便于用户直观的观察到口岸历史报关数据的相关信息。

2、风险预警可视化(即风险可视化画面)：该部分主要用于展示口岸对货物进行的风险预警。当一批货物数据传入到口岸系统后，上述风险分析模块5能自动使用风险预警模型对其进行风险分析，将预测有风险的商品使用轮播图的形式将报关商品简要信息展示出来，并将其风险点显示在后面。当用户对轮播图的报关记录进行点击，画面中会在将报关记录的详细信息通过弹窗的形式展示的同时，将报关记录的详细风险评分和风险点等信息展示出来。

3、关联布控可视化(即详细风险可视化画面)：该部分主要用于展示出入境商品的风险关联信息。当用户在点击风险预警轮播图中的某行记录后，系统会将该报关记录的报关单位、运输单位、商品品牌、原产国和贸易国等的关联风险信息展示在其左侧，便于查验人员对风险有一个更好地判断。当用户在点击风险可视化画面中轮播图中的某行记录后，本部分会将对该记录所做的布控策略展示出来：其中第一部分为可信云自动部署的布控信息；第二部分为针对风险，口岸对检验检疫系统所给出的建议布控信息，有助于辅助查验人员制定合理的布控策略。

本实施例中，可视化处理模块9通过可视化服务将各个数据进行处理并形成可视化数据包(即可视化结果中的各个画面)，进一步在输入显示模块直接通过该可视化数据包显示相应画面从而完成相应的可视化数据图像的显示。

输入显示模块10用于显示上述可视化结果中的各个画面，从而让用户通过这些画面完成相应的人机交互。

通信模块11用于进行数据可视化系统100的各个构成部件之间以及数据可视化系统100与其他系统之间的数据交互。

控制模块12含有用于对数据可视化系统100的各个构成部件工作进行控制的计算机程序。

图2是本发明实施例中可视化处理过程的流程图。

如图2所示，数据可视化系统100的可视化处理过程包括如下步骤：

步骤S1，数据获取模块1通过接口从外部数据库中获取出入境数据，然后进入步骤S2；

步骤S2，数据整理模块2根据预设的数据整理方式对步骤S1中获取的出入境数据进行清洗整理得到待分析数据，然后进入步骤S3；

步骤S3，数据分析模块4对步骤S2整理的待分析数据中口岸历史数据进行多维度数据分析得到数据分析结果，然后进入步骤S4；

步骤S4，风险分析模块5调用预先建立的风险预警模型，对步骤S2整理的待分析数据中的口岸报关数据进行风险预测，从而得到风险分析结果，然后进入步骤S5；

步骤S5，关联分析模块6根据步骤S4得到的风险分析结果对步骤S2整理的待分析数据进行关联分析，从而得到相应的关联风险结果，然后进入步骤S6；

步骤S6，风险布控模块7调用预先建立的风险布控模型，根据步骤S4得到的风险分析结果以及步骤S5得到的关联风险结果制定相应的布控策略，然后进入步骤S7；

步骤S7，可视化处理模块9调用预设的可视化服务，对步骤S3得到的数据分析结果、步骤S4得到的风险分析结果、步骤S5得到的关联风险结果以及步骤S6得到的布控策略进行处理得到可视化结果，然后进入结束状态。

本实施例中，在可视化处理过程进入结束状态后，输入显示模块10就能够获取并显示步骤S7中得到的可视化结果让用户查看。

实施例作用与效果

根据本实施例提供的面向出入境商品的数据可视化系统，由于具有数据获取模块对出入境数据进行实时收集，并通过数据整理模块对出入境数据进行清洗整理，从而使得出入境数据中的一些错误数据以及无用数据进行修缮形成待分析数据，使得数据能更好地被分析；进一步，通过数据分析模块对待分析数据中的口岸历史数据进行多维度分析、通过风险分析模块对对待分析数据中的口岸报关数据进行风险分析、通过关联分析模块根据风险分析的结果进行关联分析以及通过风险布控模块根据风险制定相应的布控策略，从而多维度、多性质地对口岸业务等数据进行了挖掘和分析，最后通过可视化处理模块将分析结果可视化展示，使得分析结果能够直观、形象地显示，重点突出数据之间的关联性，进而能辅助口岸人员进行通关查验，提高口岸人员的工作效率，实现查验的科学自动化。

本发明的面向出入境商品的数据可视化系统使得数据处理过程被流程化、标准化，规范了口岸业务领域的数据处理方法，通过集成口岸业务领域的大数据分析、风险预警和关联布控三个方面的数据，更易于业务人员对口岸的数据有一个直观、清晰的认识，对潜在的风险也能及时、准确的做出科学地应对和布控。

实施例中，由于通过数据整理方法对数据获取模块获取的数据进行修正操作、丢弃操作以及新增操作，从而能够更为智能地对数据的完整性、有效性进行提升，从而更有利与相应的分析模块得到更为准确地结果，最终提高口岸人员的工作效率。

实施例中，由于通过多种可视化组件进行数据的可视化显示，因此能够更好地针对不同的数据进行更切合的显示，更有助于口岸人员直观地查看相关数据。

实施例中，由于通过历史的风险项以及对应的历史布控策略生成相应的风险布控模型，因此实现风险的自动化布控，并且能够根据历史不断完善风险布控模型并提升布控的准确性。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，实施例中，数据可视化系统具有输入显示模块对可视化处理模块得到的可视化结果进行显示。在本发明的其他实施例中，数据可视化系统还可以设置在一个不具有显示功能的服务器中，用户可以通过个人计算机或是具有通信功能的显示器与该服务器相通信连接，从而获取可视化处理模块处理得到的可视化结果，实现在个人计算机或是显示器上进行数据的可视化显示，更方便用户在不同地点实时地对口岸数据进行查看。

Claims (5)

1.一种面向出入境商品的数据可视化系统，用于对口岸中出入境商品产生的数据进行统计处理并进行可视化显示，其特征在于，包括：

数据获取模块、数据整理模块、数据存储模块、数据分析模块、风险分析模块、关联分析模块、风险布控模块、分析结果存储模块以及可视化处理模块；

其中，所述数据获取模块通过接口从外部数据库中获取出入境数据，该出入境数据至少包含口岸历史数据、所述出入境商品在出入境时产生的口岸报关数据、所述出入境商品的商品信息以及与所述出入境商品相关的环境舆情信息，

所述数据整理模块根据预设的数据整理方式对所述出入境数据进行清洗整理得到待分析数据，

所述数据存储模块对所述待分析数据进行存储，

所述数据分析模块对所述待分析数据中的口岸历史数据进行多维度数据分析得到数据分析结果，

所述风险分析模块调用预先建立的风险预警模型对所述待分析数据中的口岸报关数据进行风险预测从而得到风险分析结果，

所述关联分析模块根据所述风险分析结果对所述待分析数据进行关联分析从而得到相应的关联风险结果，

所述风险布控模块通过预先建立的风险布控模型根据所述风险分析结果以及所述关联风险结果制定相应的布控策略，

所述分析结果存储模块对所述数据分析结果、所述风险分析结果、所述关联风险结果以及所述布控策略进行存储，

所述可视化处理模块调用预设的可视化服务对所述数据分析结果、所述风险分析结果、所述关联风险结果以及所述布控策略进行处理得到可视化结果从而向用户进行可视化展示。

2.根据权利要求1所述的面向出入境商品的数据可视化系统，其特征在于，还包括：

输入显示模块，

其中，所述可视化结果包含与所述数据分析结果对应的数据可视化画面、与所述风险分析结果对应的多个风险可视化画面以及与所述关联风险结果和所述布控策略对应的详细风险可视化画面，

所述输入显示模块用于显示所述数据可视化画面让所述用户选择不同的所述数据分析结果并根据所述用户的选择显示相应所述数据分析结果的可视化图像，

所述输入显示模块在显示所述数据可视化画面时还能够让所述用户选择查看所述风险分析结果，进一步在所述用户选择后显示所述风险可视化画面并在该画面中以轮播图的形式显示各个所述出入境商品的所述风险分析结果让所述用户查看或是点选，

在所述用户点选一个所述风险分析结果时，所述输入显示模块显示所述详细风险可视化画面并显示与被选择的所述风险分析结果相应的所述关联风险结果以及所述布控策略让所述用户详细查看。

3.根据权利要求1所述的面向出入境商品的数据可视化系统，其特征在于：

其中，所述数据整理方式为：对所述信息进行修正操作、丢弃操作以及新增操作，

所述修正操作为对所述出入境数据的数据项进行缺失统计，并将缺失项多于一定数量的所述出入境数据进行删除，将缺失项不多于一定数量的所述出入境数据根据邻近其他出入境数据的相似信息进行补全，

所述丢弃操作为对所述出入境数据中无用的数据项进行删除，

所述新增操作为将新增的所述商品舆情信息根据对应的所述出入境商品对所述出入境数据做关联处理。

4.根据权利要求1所述的面向出入境商品的数据可视化系统，其特征在于：

其中，所述可视化服务为轮播图可视化组件、斑马柱图可视化组件、多维饼图可视化组件、折线图可视化组件以及地图可视化组件。

5.根据权利要求1所述的面向出入境商品的数据可视化系统，其特征在于：

其中，所述风险布控模型通过如下方式预先建立：

对所述报关历史数据进行统计，并筛选出过去被判定为风险商品的风险项以及对应的历史布控策略，根据所述风险项以及所述历史布控策略建立相应的风险布控模型。