CN101042746A - 基于数据仓库的集装箱码头智能化报表及方法 - Google Patents
基于数据仓库的集装箱码头智能化报表及方法 Download PDFInfo
- Publication number
- CN101042746A CN101042746A CNA200610024884XA CN200610024884A CN101042746A CN 101042746 A CN101042746 A CN 101042746A CN A200610024884X A CNA200610024884X A CN A200610024884XA CN 200610024884 A CN200610024884 A CN 200610024884A CN 101042746 A CN101042746 A CN 101042746A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- source
- warehouse
- analysis model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本发明公开了一种基于数据仓库的集装箱码头智能化报表系统及方法，它由中间数据库，数据源，数据抽取，报表显展模块组成。数据源包括码头管理系统(CTMS)，财务系统数据库和其它系统数据库。数据抽取模块采用数据抽取(ETL)技术，通过后台编程，将从码头管理系统以及其它系统中的源数据进行抽取，载入到中间数据库中的数据仓库(Data Warehouse)或者缓冲区(Staging area)中，在中间数据库对数据源中各个信息孤岛的数据进行整合，并以此为依据，建立数据多维分析模型(MDA)；并通过所述报表显展模块Hyperion Performance Suite (HPS)的前端展现技术实现报表。
Description
技术领域
本发明涉及一种集装箱码头的，具体是一种基于数据仓库的集装箱码头自动化生产管理系统及方法。
背景技术
在集装箱码头物流系统的管理过程中，必须为公司的领导和决策者提供有效的决策参考信息，以提高公司的运营效率，加强公司在同行业中的竞争优势，达成公司的经营目标。随着码头集装箱吞吐量的飞速增长，各个业务部门对报表的要求越来越高。
传统的固定报表形式很难满足业务人员由于市场变化而产生的新的需求，且形式固定，不易扩展；集装箱码头物流系统相关的各个部门对数据的组合查询要求是不同的，同一个部门在分析不同主题时需要的数据也是不同的，而传统的数据库系统在个性化实时产生数据组合方面无能为力；传统的报表数据存放在生产实时管理系统中，因此，实时报表查询不仅给系统带来很大压力；而且由于经常要对这些数据进行维护，会导致报表生成的数据不一致，即不同时间生成的同一张报表，结果会不一样。因此，必须使用新的数据分析系统对报表系统加以改进。
发明内容
本发明为解决现有报表系统中的不足，提供一种采用独立架构、开发和使用便捷、数据一致、具有强大和多角度的分析功能、可扩展的基于数据仓库的集装箱码头智能化报表及方法。
本发明是通过以下技术方案实现的：
一种基于数据仓库的集装箱码头智能化报表，由中间数据库，数据源，数据抽取，报表显展模块组成。数据源包括码头管理系统(CTMS)，财务系统数据库和其它系统数据库。数据抽取模块采用数据抽取(ETL)技术，通过后台编程，将从码头管理系统以及其它系统中的源数据进行抽取，载入到中间数据库中的数据仓库(DataWarehouse)或者缓冲区(Staging area)中，在中间数据库对数据源中各个信息孤岛的数据进行整合，并以此为依据，建立数据多维分析模型(MDA)；并通过所述报表显展模块Hyperion Performance Suite(HPS)的前端展现技术实现报表。
多维分析模型(MDA)包括箱量分析模型、收入分析模型、客户分析模型、船舶分析模型。
一种基于数据仓库的集装箱码头智能化报表的实施方法，其具体步骤如下：
首先，各种原始生产数据以星型模式存放在码头管理系统(CTMS)以及设备和财务系统数据库中；
其次，运用数据抽取(ETL)技术，将不同数据源中的数据按照相关性，用算法和转换规则，定时或不定时地装载到目标数据仓库中，这个过程包括以下操作：
(1)抽取(Extract)，将数据源中的数据提取出来；
(2)转换(Transform)，将业务系统中的数据转换成同一格式，以消除业务系统中存在的数据不一致或不完备而影响数据质量的问题；
(3)清理(Cleansing)，将数据源中冗余或者超出范围的数据清理掉，保证数据仓库中数据质量；
(4)载入(Load)，将经过抽取、转换和清理的数据装载到系统数据仓库(Data Warehouse)或者缓冲区(Staging area)中；。0
然后，针对部门的业务主题的实际需求建立包括箱量分析模型、收入分析模型、客户分析模型、船舶分析模型在内的数据多维分析模型(MDA)；
最后，通过Hyperion Performance Suite(HPS)前端展现技术实现报表的展现。
本发明不同于传统的报表技术的地方在于：其一，智能报表具有一定的“智能”，它能按照用户的先看汇总、再看细节的思维习惯来展现报表；其二，对于一张报表，用户还可以进一步选择子集，即在报表的基础上进行进一步的分析和挖掘；其三，智能报表允许用户以通常的任意的方式来展现和查看同一张报表，可以以HTML、DHTML、EXCEL、PDF、RTF等格式来查看；其四，智能报表系统在安全性、版本控制、归档控制、Email通知服务等方面具有传统报表系统所没有的优势。本发明采用随机查询技术，建立了友好的、易用的、灵活的、全面的信息随机查询应用界面。使得业务用户可以对某些临时出现的问题通过随机查询的形式来寻找答案。
本发明的有益效果在于：能减轻实时操作系统的压力；开发和使用便捷；分析功能强，角度多，量大；数据一致性；灵活性，可扩展性强。
附图说明
图1是本发明的系统架构图。
具体实施方式
下面结合附图对本发明作进一步的描述：
如图1所示，本发明系统由中间数据库，数据源，数据抽取，报表显展模块组成。数据源包括码头管理系统(CTMS)，财务系统数据库和其它系统数据库。数据抽取模块采用数据抽取(ETL)技术，通过后台编程，将从码头管理系统以及其它系统中的源数据进行抽取，载入到中间数据库中的数据仓库(Data Warehouse)或者缓冲区(Staging area)中，在中间数据库对数据源中各个信息孤岛的数据进行整合，并以此为依据，建立包括箱量分析模型、收入分析模型、客户分析模型、船舶分析模型在内的数据多维分析模型(MDA)；并通过所述报表显展模块Hyperion Performance Suite(HPS)的前端展现技术实现报表。
本发明的实施方法如下：
首先，各种原始生产数据以星型模式存放在码头管理系统(CTMS)以及设备和财务系统中。
其次，运用数据抽取(ETL)技术，将不同数据源中的数据按照一定的相关性，用一定的算法和转换规则，定时或不定时地装载到目标数据仓库中。这个过程包括以下操作：(1)抽取(Extract)，将数据源中的数据提取出来；(2)转换(Transform)，将业务系统中的数据转换成同一格式，以消除业务系统中存在的数据不一致或不完备等一些影响数据质量的问题；(3)清理(Cleansing)，将数据源中冗余或者超出范围的数据清理掉，也是为了保证数据仓库中数据质量；(4)载入(Load)，将经过抽取、转换和清理的数据装载到系统数据仓库(DW，Data Warehouse)或者缓冲区(SA，Staging area)中。系统建立之后，这些操作都是由系统自动完成的。经过ETL之后的数据有三个走向：大部分数据被装载到DW中；但是考虑到码头实际生产的复杂多变，经过ETL的数据也可能需要修改，所以对于不确定性数据，先存放在SA中，最后再载入DW；另外，有些数据直接在报表中被展现。
然后，研究每个业务部门对BI的实际需求，然后针对部门(业务主题)建立数据多维分析模型(MDA)。主要有箱量分析模型、收入分析模型、客户分析模型、船舶分析模型等等。由于经过了数据格式转化和数据清理，存储在数据仓库中的数据具有一致性和完备性，所以在建立各部门的MDA时，不需要考虑数据格式的问题。
最后，通过Hyperion Performance Suite(HPS)前端展现技术实现报表的展现。由于HPS也具有一定的数据分析功能，因此对于有些分析并不建立MDA，而是直接从DW中取数据由HPS进行分析和展现。
Claims (3)
1.一种基于数据仓库的集装箱码头智能化报表，由中间数据库，数据源，数据抽取，报表显展模块组成，其特征在于：所述数据源包括码头管理系统(CTMS)，财务系统数据库和其它系统数据库，所述数据抽取模块采用数据抽取(ETL)技术，通过后台编程，将从码头管理系统以及其它系统中的源数据进行抽取，载入到所述中间数据库中的数据仓库(Data Warehouse)或者缓冲区(Staging area)中，在所述中间数据库对数据源中各个信息孤岛的数据进行整合，并以此为依据，建立数据多维分析模型(MDA)；并通过所述报表显展模块Hyperion Performance Suite(HPS)的前端展现技术实现报表。
2.据权利要求1所述的基于数据仓库的集装箱码头智能化报表，其特征在于，所述多维分析模型(MDA)包括箱量分析模型、收入分析模型、客户分析模型、船舶分析模型。
3.一种权利要求1的实施方法，其特征在于，其具体步骤如下：
首先，各种原始生产数据以星型模式存放在码头管理系统(CTMS)以及设备和财务系统数据库中；
其次，运用数据抽取(ETL)技术，将不同数据源中的数据按照相关性，用算法和转换规则，定时或不定时地装载到目标数据仓库中，这个过程包括以下操作：
(1)抽取(Extract)，将数据源中的数据提取出来；
(2)转换(Transform)，将业务系统中的数据转换成同一格式，以消除业务系统中存在的数据不一致或不完备而影响数据质量的问题；
(3)清理(Cleansing)，将数据源中冗余或者超出范围的数据清理掉，保证数据仓库中数据质量；
(4)载入(Load)，将经过抽取、转换和清理的数据装载到系统数据仓库(Data Warehouse)或者缓冲区(Staging area)中；。0
然后，针对部门的业务主题的实际需求建立包括箱量分析模型、收入分析模型、客户分析模型、船舶分析模型在内的数据多维分析模型(MDA)；
最后，通过Hyperion Performance Suite(HPS)前端展现技术实现报表的展现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA200610024884XA CN101042746A (zh) | 2006-03-21 | 2006-03-21 | 基于数据仓库的集装箱码头智能化报表及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA200610024884XA CN101042746A (zh) | 2006-03-21 | 2006-03-21 | 基于数据仓库的集装箱码头智能化报表及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101042746A true CN101042746A (zh) | 2007-09-26 |
Family
ID=38808244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA200610024884XA Pending CN101042746A (zh) | 2006-03-21 | 2006-03-21 | 基于数据仓库的集装箱码头智能化报表及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101042746A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102246210A (zh) * | 2008-12-15 | 2011-11-16 | 松下航空电子公司 | 用于执行实时数据分析的系统和方法 |
| CN102402733A (zh) * | 2011-10-12 | 2012-04-04 | 远光软件股份有限公司 | 多样化电子会计档案管理系统及方法 |
| CN101694661B (zh) * | 2009-10-22 | 2012-05-09 | 中兴通讯股份有限公司 | 一种统计报表生成方法、装置和统计服务器 |
| CN102710455A (zh) * | 2012-04-19 | 2012-10-03 | 华为技术有限公司 | 数据实时监控的方法、装置及系统 |
| CN101587477B (zh) * | 2008-05-23 | 2012-10-31 | 阿里巴巴集团控股有限公司 | Etl模块自动维护方法及系统 |
| CN103226570A (zh) * | 2013-03-21 | 2013-07-31 | 江苏省电力公司泰州供电公司 | 一种基于open3000系统数据库的实时数据报表处理系统 |
| CN103679309A (zh) * | 2012-09-13 | 2014-03-26 | 余明阳 | 一种电力数据仓库业务智能统计分析方法 |
| CN103679383A (zh) * | 2013-12-25 | 2014-03-26 | 武汉武船信息集成有限公司 | 一种建立船舶制造企业集团管控平台的方法 |
| CN103838788A (zh) * | 2012-11-27 | 2014-06-04 | 大连灵动科技发展有限公司 | 一种基于fMRI脑激活数据仓库的数据分析方法 |
| CN104376483A (zh) * | 2014-12-10 | 2015-02-25 | 用友软件股份有限公司 | 业务系统嵌入多维分析模型的装置和方法 |
| CN104809110A (zh) * | 2014-01-23 | 2015-07-29 | 安徽海汇金融投资集团有限公司 | 一种大数据系统 |
| CN105787059A (zh) * | 2016-02-29 | 2016-07-20 | 四川长虹电器股份有限公司 | 基于数据仓库的财务数据整合方法 |
| CN106202527A (zh) * | 2016-07-22 | 2016-12-07 | 浪潮电子信息产业股份有限公司 | 面向移动app大数据分析的通用数据仓库建设方法 |
| CN106874353A (zh) * | 2016-12-28 | 2017-06-20 | 合肥智畅信息科技有限公司 | 一种操作型商业智能应用系统 |
| CN107451151A (zh) * | 2016-05-31 | 2017-12-08 | 北京京东尚科信息技术有限公司 | 基于分布式数据源的数据集中系统和方法 |
| CN107958048A (zh) * | 2017-11-27 | 2018-04-24 | 安徽经邦软件技术有限公司 | 一种基于财务数据分析的多维数据库系统及实现方法 |
| CN109871391A (zh) * | 2019-01-09 | 2019-06-11 | 东莞联宝光电科技有限公司 | 利用Excel软件追溯产品装箱的方法 |
| CN112668929A (zh) * | 2021-01-08 | 2021-04-16 | 上海振华重工(集团)股份有限公司 | 用于自动化码头的生产作业性能指标系统及其统计方法 |
| CN114595294A (zh) * | 2022-03-11 | 2022-06-07 | 北京梦诚科技有限公司 | 一种数据仓库建模和抽取方法及系统 |
-
2006
- 2006-03-21 CN CNA200610024884XA patent/CN101042746A/zh active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587477B (zh) * | 2008-05-23 | 2012-10-31 | 阿里巴巴集团控股有限公司 | Etl模块自动维护方法及系统 |
| CN102246210B (zh) * | 2008-12-15 | 2014-09-24 | 松下航空电子公司 | 用于执行实时数据分析的系统和方法 |
| CN102246210A (zh) * | 2008-12-15 | 2011-11-16 | 松下航空电子公司 | 用于执行实时数据分析的系统和方法 |
| CN101694661B (zh) * | 2009-10-22 | 2012-05-09 | 中兴通讯股份有限公司 | 一种统计报表生成方法、装置和统计服务器 |
| CN102402733A (zh) * | 2011-10-12 | 2012-04-04 | 远光软件股份有限公司 | 多样化电子会计档案管理系统及方法 |
| CN102710455A (zh) * | 2012-04-19 | 2012-10-03 | 华为技术有限公司 | 数据实时监控的方法、装置及系统 |
| CN102710455B (zh) * | 2012-04-19 | 2015-08-19 | 华为技术有限公司 | 数据实时监控的方法、装置及系统 |
| CN103679309A (zh) * | 2012-09-13 | 2014-03-26 | 余明阳 | 一种电力数据仓库业务智能统计分析方法 |
| CN103679309B (zh) * | 2012-09-13 | 2017-11-03 | 国网湖北省电力公司 | 一种电力数据仓库业务智能统计分析方法 |
| CN103838788A (zh) * | 2012-11-27 | 2014-06-04 | 大连灵动科技发展有限公司 | 一种基于fMRI脑激活数据仓库的数据分析方法 |
| CN103226570A (zh) * | 2013-03-21 | 2013-07-31 | 江苏省电力公司泰州供电公司 | 一种基于open3000系统数据库的实时数据报表处理系统 |
| CN103679383A (zh) * | 2013-12-25 | 2014-03-26 | 武汉武船信息集成有限公司 | 一种建立船舶制造企业集团管控平台的方法 |
| CN104809110A (zh) * | 2014-01-23 | 2015-07-29 | 安徽海汇金融投资集团有限公司 | 一种大数据系统 |
| CN104376483A (zh) * | 2014-12-10 | 2015-02-25 | 用友软件股份有限公司 | 业务系统嵌入多维分析模型的装置和方法 |
| CN104376483B (zh) * | 2014-12-10 | 2018-05-18 | 用友网络科技股份有限公司 | 业务系统嵌入多维分析模型的装置和方法 |
| CN105787059A (zh) * | 2016-02-29 | 2016-07-20 | 四川长虹电器股份有限公司 | 基于数据仓库的财务数据整合方法 |
| CN107451151A (zh) * | 2016-05-31 | 2017-12-08 | 北京京东尚科信息技术有限公司 | 基于分布式数据源的数据集中系统和方法 |
| CN106202527A (zh) * | 2016-07-22 | 2016-12-07 | 浪潮电子信息产业股份有限公司 | 面向移动app大数据分析的通用数据仓库建设方法 |
| CN106874353A (zh) * | 2016-12-28 | 2017-06-20 | 合肥智畅信息科技有限公司 | 一种操作型商业智能应用系统 |
| CN107958048A (zh) * | 2017-11-27 | 2018-04-24 | 安徽经邦软件技术有限公司 | 一种基于财务数据分析的多维数据库系统及实现方法 |
| CN109871391A (zh) * | 2019-01-09 | 2019-06-11 | 东莞联宝光电科技有限公司 | 利用Excel软件追溯产品装箱的方法 |
| CN109871391B (zh) * | 2019-01-09 | 2021-04-09 | 东莞联宝光电科技有限公司 | 利用Excel软件追溯产品装箱的方法 |
| CN112668929A (zh) * | 2021-01-08 | 2021-04-16 | 上海振华重工(集团)股份有限公司 | 用于自动化码头的生产作业性能指标系统及其统计方法 |
| CN112668929B (zh) * | 2021-01-08 | 2023-12-22 | 上海振华重工(集团)股份有限公司 | 用于自动化码头的生产作业性能指标系统及其统计方法 |
| CN114595294A (zh) * | 2022-03-11 | 2022-06-07 | 北京梦诚科技有限公司 | 一种数据仓库建模和抽取方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101042746A (zh) | 基于数据仓库的集装箱码头智能化报表及方法 | |
| Garnsey et al. | Growth setbacks in new firms | |
| Bestelmeyer et al. | Desertification, land use, and the transformation of global drylands | |
| Ghenţa et al. | SMEs and the circular economy: from policy to difficulties encountered during implementation | |
| CN103577605A (zh) | 基于数据融合和数据挖掘的数据仓库及其应用方法 | |
| CN102073712B (zh) | 基于动态变化帧的过程数据全息归档和反演方法 | |
| Zhen et al. | Capacitated closed-loop supply chain network design under uncertainty | |
| CN102473298A (zh) | 提取代表特征的系统和方法 | |
| Kopanakis et al. | Big Data in Data-driven innovation: The impact in enterprises’ performance | |
| CN113361559B (zh) | 基于深宽度联合神经网络的多模态数据知识信息提取方法 | |
| CN103279885A (zh) | 面向业务服务的交易监控管理系统 | |
| CN102724279B (zh) | 一种实现日志保存和管理的系统 | |
| CN104809110A (zh) | 一种大数据系统 | |
| DE112016004924T5 (de) | System zum Ausgraben eines Benutzerzyklusmodus und dessen Verfahren | |
| Hidalgo et al. | Uncovering multilayered vulnerability and resilience in rural villages in the Pacific: a case study of Ono Island, Fiji | |
| Tu et al. | Application of data mining technique in the performance analysis of shipping and freight enterprise and the construction of stock forecast model | |
| Mital et al. | Robust material handling system design with standard deviation, variance and downside risk as risk measures | |
| CN108647288A (zh) | 企业关系的挖掘方法、装置、计算机设备及存储介质 | |
| Stroiko et al. | Anti-Crisis Management As The Basis Of Ensuring The Economic Stability Of Enterprises | |
| Islam et al. | BUSINESS ENGAGEMENT IN ADAPTATION TO CLIMATE CHANGE IN DEVELOPING COUNTRIES: A CASE STUDY BASED ON BEHAVIORAL PERSPECTIVE. | |
| Mulvaney | Energy and global production networks | |
| Shen et al. | Research on strategic pre-plan of enterprise crisis management in dynamic environment | |
| Keil et al. | The Demise of Branch Banking-Technology, Consolidation, Bank Fragility | |
| Wang | International fishery supply chain risk management and insurance | |
| Tang | Research on the Solutions for Chinese Corporation Financial Risk Management under COVID-19 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20070926 |