CN112100261B - 基于异构数据源连接的物模型建模方法 - Google Patents
基于异构数据源连接的物模型建模方法 Download PDFInfo
- Publication number
- CN112100261B CN112100261B CN202010957696.2A CN202010957696A CN112100261B CN 112100261 B CN112100261 B CN 112100261B CN 202010957696 A CN202010957696 A CN 202010957696A CN 112100261 B CN112100261 B CN 112100261B
- Authority
- CN
- China
- Prior art keywords
- structured
- data
- file
- model
- heterogeneous data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000027455 binding Effects 0.000 claims abstract description 14
- 238000009739 binding Methods 0.000 claims abstract description 14
- 238000013515 script Methods 0.000 claims description 4
- 239000012491 analyte Substances 0.000 claims description 3
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于异构数据源连接的物模型建模方法，属于信息智能处理技术领域，包括：步骤1：接入异构数据源：异构数据源包括多种关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据；步骤2：建立基于业务对象的统一物模型对象；步骤3：规则绑定：新增异构数据源的规则，将规则的数据格式与物模型属性进行绑定；步骤4：基于业务对象的统一物模型的算法分析。本发明基于物模型驱动对异构数据源进行建模，解决了数据异构和数据标准化不足的问题，同时保证了系统的正确性和灵活性。
Description
技术领域
本发明涉及一种基于异构数据源连接的物模型建模方法，属于信息智能处理技术领域。
背景技术
不同业务系统有不同数据源，数据结构，数据格式。这些异构数据之间无法共享，针对每种异构数据都需要设计不同处理逻辑。当需要数据共享时，需要根据数据种类分别处理，处理过程繁琐，处理时间较长，且需要加载多个逻辑，给使用者带来极不舒适的体验感。
发明内容
为了解决上述技术问题，本发明提供一种基于异构数据源连接的物模型建模方法，其具体技术方案如下：
一种基于异构数据源连接的物模型建模方法，包括以下步骤：
步骤1：接入异构数据源：异构数据源包括多种关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据；
步骤2：建立基于业务对象的统一物模型对象；
步骤3：规则绑定：新增异构数据源的规则，将规则的数据格式与物模型属性进行绑定；
步骤4：基于业务对象的统一物模型的算法分析。
进一步的，所述步骤1中接入多种关系型数据库具体过程为：
步骤1.1a：通过JDBC驱动接入对应关系型数据库，JDBC驱动支持数据库类型有：MySQL 、 Oracle和Greenplum；
步骤1.1b：配置关系型数据库接入的名称，类型，用户名，密码，URL链接和描述；
步骤1.1c：接入多种关系型数据库的具体数据，具体数据为表格、视图，或者自定义SQL的数据。
进一步的，所述步骤1中的接入结构化文件/结构化分布式目录具体过程为：
步骤1.2a：上传结构化文件或者接入分布式文件目录；
步骤1.2b：配置结构化文件/结构化分布式目录名称，默认生成文件编码，文件类型，文件路径和文件描述。
进一步的，所述步骤1中的接入接入结构化流式数据具体过程为：
步骤1.3a：配置发送结构化流式数据的消息服务器，配置服务器名称，IP地址和端口号；
步骤1.3b：配置消息服务器每次发送的主题内容。
进一步的，所述步骤2具体为：
步骤2a：基于业务对象建立物模型；
步骤2b：从属性描述了该模型内容；
步骤2c：从服务描述了该模型功能；
步骤2d：从事件描述了该模型对外提供信息内容。
进一步的，所述步骤3具体为：
步骤3a：定义物模型能接入数据源的规则，数据接入类型为关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据的任意一种；
步骤3b：将规则的数据格式与物模型属性进行绑定。
进一步的，所述步骤4具体为：
基于业务场景绑定物模型，通过编写分析物模型属性的SQL脚本，就能够处理多种异构数据源的能力。
本发明的有益效果是：
本发明基于物模型驱动对异构数据源进行建模，解决了数据异构和数据标准化不足的问题，同时保证了系统的正确性和灵活性。
本发明将多种关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据分别接入到统一的物模型中，通过SQL脚本解析形成统一格式，相互之间数据共享。
附图说明
图1是本发明的流程图，
图2是配置多种关系型数据库界面，
图3是接入多种关系型数据库界面，
图4是配置结构化文件/结构化分布式目录名称界面，
图5是配置发送结构化流式数据的消息服务器界面，
图6是配置消息服务器每次发送的主题内容界面，
图7是基于业务对象建立物模型的界面，
图8 是从属性描述模型功能界面，
图9 是从服务描述模型功能界面，
图10是从事件描述模型功能界面，
图11是定义物模型能接入数据源的规则的界面，
图12是将规则的数据格式与物模型属性进行绑定的界面，
图13是基于业务场景绑定物模型的界面。
具体实施方式
现在结合具体应用对本发明作进一步详细的说明。
如图1所示，本发明的基于异构数据源连接的物模型建模方法，包括
步骤1接入多种异构数据源：多种关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据；
步骤（1.1）接入多种关系型数据库。
通过JDBC驱动接入对应数据库。JDBC驱动支持数据库类型有： MySQL 、 Oracle和Greenplum。
配置多种关系型数据库接入的名称，类型（Oracle/MySQL/ Greenplum），用户名，密码（需加密），URL链接和描述，参见图2。
接入数据库的具体数据，可以是某张表、某视图,还可以是自定义SQL的数据，参见图3。
步骤（1.2）接入结构化文件/结构化分布式目录。
通过上传结构化文件或者接入分布式文件目录。
配置文件名称，默认生成文件编码，文件类型(文件/目录)，文件路径和文件描述，参见图4。
步骤（1.3）接入结构化流式数据。
配置发送结构化流式数据的消息服务器。配置服务器名称，IP地址和端口号，参见图5。
配置消息服务器每次发送的主题内容，参见图6。
步骤2建立基于业务对象的统一物模型对象：
步骤（2.1）基于业务对象建立物模型，参见图7。
步骤（2.2）从属性描述了该模型是什么，参见图8。
步骤（2.3）从服务描述了该模型能做什么，参见图9。
步骤（2.4）从事件描述了该模型对外提供哪些信息，参见图10。
步骤3规则绑定：新增异构数据源的规则，将规则的数据格式与物模型属性进行绑定；
步骤（3.1）定义物模型能接入数据源的规则，数据接入类型可以是关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据的任意一种，参见图11。
步骤（3.2）将规则的数据格式与物模型属性进行绑定，参见图12。
步骤4基于业务对象的统一物模型的算法分析：
基于业务场景绑定物模型，通过编写分析物模型属性的SQL脚本，就能够处理多种异构数据源的能力，参见图13，为温度数据接入到物模型的界面。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (1)
1.基于异构数据源连接的物模型建模方法， 其特征在于：包括以下步骤：
步骤1：接入异构数据源：异构数据源包括多种关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据；
接入多种关系型数据库具体过程为：
步骤1.1a：通过JDBC驱动接入对应关系型数据库，JDBC驱动支持数据库类型有：MySQL、 Oracle和Greenplum；
步骤1.1b：配置关系型数据库接入的名称，类型，用户名，密码，URL链接和描述；
步骤1.1c：接入数据库的具体数据，具体数据为表格、视图，或者自定义SQL的数据；
接入结构化文件/结构化分布式目录具体过程为：
步骤1.2a：上传结构化文件/接入分布式文件目录；
步骤1.2b：配置结构化文件/接入分布式文件目录文件名称，默认生成文件编码，文件类型，文件路径和文件描述；
接入结构化流式数据具体过程为：
步骤1.3a：配置发送结构化流式数据的消息服务器，配置服务器名称，IP地址和端口号；
步骤1.3b：配置消息服务器每次发送的主题内容；
步骤2：建立基于业务对象的统一物模型对象：
步骤2a：基于业务对象建立物模型；
步骤2b：从属性描述该模型内容；
步骤2c：从服务描述该模型功能；
步骤2d：从事件描述该模型对外提供信息内容;
步骤3：规则绑定：新增异构数据源的规则，将规则的数据格式与物模型属性进行绑定：
步骤3a：定义物模型能接入数据源的规则，数据接入类型为关系型数据库、结构化文件、结构化分布式文件目录、结构化流式数据的任意一种；
步骤3b：将规则的数据格式与物模型属性进行绑定；
步骤4：基于业务对象的统一物模型的算法分析：
基于业务场景绑定物模型，通过编写分析物模型属性的SQL脚本，处理多种异构数据源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010957696.2A CN112100261B (zh) | 2020-09-14 | 2020-09-14 | 基于异构数据源连接的物模型建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010957696.2A CN112100261B (zh) | 2020-09-14 | 2020-09-14 | 基于异构数据源连接的物模型建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112100261A CN112100261A (zh) | 2020-12-18 |
| CN112100261B true CN112100261B (zh) | 2024-04-09 |
Family
ID=73751448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010957696.2A Active CN112100261B (zh) | 2020-09-14 | 2020-09-14 | 基于异构数据源连接的物模型建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112100261B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734893A (zh) * | 2021-01-15 | 2021-04-30 | 泰思物联网科技(广州)有限公司 | 一种物模型创建开发者工具 |
| CN116055313A (zh) * | 2021-10-28 | 2023-05-02 | 中国移动通信有限公司研究院 | 一种物模型的动态扩展方法及装置、处理设备 |
| CN116450609B (zh) * | 2023-04-14 | 2024-01-30 | 北京友友天宇系统技术有限公司 | 基于统一语法在异构数据源上建模的方法及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015062182A1 (zh) * | 2013-11-04 | 2015-05-07 | 广东电子工业研究院有限公司 | 大规模分布异构数据的虚拟化方法 |
| CN107402976A (zh) * | 2017-07-03 | 2017-11-28 | 国网山东省电力公司经济技术研究院 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
| WO2019084491A1 (en) * | 2017-10-28 | 2019-05-02 | TuSimple | STORAGE ARCHITECTURE FOR HETEROGENEOUS MULTIMEDIA DATA |
| CN110351257A (zh) * | 2019-06-27 | 2019-10-18 | 绿漫科技有限公司 | 一种分布式物联网安全接入系统 |
| CN110502795A (zh) * | 2019-07-23 | 2019-11-26 | 中国航空无线电电子研究所 | 外部仿真模型接入中间件 |
| CN110597844A (zh) * | 2019-08-14 | 2019-12-20 | 中国平安财产保险股份有限公司 | 异构数据库数据统一访问方法及相关设备 |
| CN111177244A (zh) * | 2019-12-24 | 2020-05-19 | 四川文轩教育科技有限公司 | 面向多个异构数据库的数据关联分析方法 |
| CN111585958A (zh) * | 2020-04-01 | 2020-08-25 | 西安电子科技大学 | 物联网平台异构设备自适应接入方法、系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW502181B (en) * | 2001-05-04 | 2002-09-11 | Lasmsoft Corp | Dynamic real-time exchange method and system of heterogeneous database and of heterogeneous data source |
-
2020
- 2020-09-14 CN CN202010957696.2A patent/CN112100261B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015062182A1 (zh) * | 2013-11-04 | 2015-05-07 | 广东电子工业研究院有限公司 | 大规模分布异构数据的虚拟化方法 |
| CN107402976A (zh) * | 2017-07-03 | 2017-11-28 | 国网山东省电力公司经济技术研究院 | 一种基于多元异构模型的电网多源数据融合方法及系统 |
| WO2019084491A1 (en) * | 2017-10-28 | 2019-05-02 | TuSimple | STORAGE ARCHITECTURE FOR HETEROGENEOUS MULTIMEDIA DATA |
| CN110351257A (zh) * | 2019-06-27 | 2019-10-18 | 绿漫科技有限公司 | 一种分布式物联网安全接入系统 |
| CN110502795A (zh) * | 2019-07-23 | 2019-11-26 | 中国航空无线电电子研究所 | 外部仿真模型接入中间件 |
| CN110597844A (zh) * | 2019-08-14 | 2019-12-20 | 中国平安财产保险股份有限公司 | 异构数据库数据统一访问方法及相关设备 |
| CN111177244A (zh) * | 2019-12-24 | 2020-05-19 | 四川文轩教育科技有限公司 | 面向多个异构数据库的数据关联分析方法 |
| CN111585958A (zh) * | 2020-04-01 | 2020-08-25 | 西安电子科技大学 | 物联网平台异构设备自适应接入方法、系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112100261A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112100261B (zh) | 基于异构数据源连接的物模型建模方法 | |
| JP7009456B2 (ja) | 分散イベント処理システムのためのグラフ生成 | |
| Dowler et al. | Table access protocol version 1.0 | |
| CN110837492B (zh) | 一种多源数据统一sql提供数据服务的方法 | |
| EP3695290B1 (en) | Alignment of source infrastructure data with a bis conceptual schema | |
| US7487191B2 (en) | Method and system for model-based replication of data | |
| US9535966B1 (en) | Techniques for aggregating data from multiple sources | |
| US10120915B2 (en) | Integrated framework for secured data provisioning and management | |
| US20120278334A1 (en) | Database System | |
| CA2519001A1 (en) | System and method of data agnostic business intelligence query | |
| CN103425726A (zh) | 使用业务智能工具访问开放数据 | |
| CN112883125A (zh) | 一种实体数据处理方法、装置、设备和存储介质 | |
| US11914560B2 (en) | Systems and methods for creating a reorganization-immune blockchain index using mono-increasing sequence records | |
| US9129035B2 (en) | Systems, methods, and apparatus for accessing object representations of data sets | |
| CN104572939B (zh) | 一种行业内异构数据交换的数据查询方法 | |
| CN113190517B (zh) | 数据集成方法、装置、电子设备和计算机可读介质 | |
| US10949423B2 (en) | Operation management device, operation management method, and operation management system | |
| US20210224271A1 (en) | System and method for performing semantically-informed federated queries across a polystore | |
| CN111814020A (zh) | 一种数据的获取方法和装置 | |
| Dowler et al. | IVOA Recommendation: Table Access Protocol Version 1.0 | |
| US10114864B1 (en) | List element query support and processing | |
| CN116627448A (zh) | 一种创建微服务的方法及相关设备 | |
| US11803568B1 (en) | Replicating changes from a database to a destination and modifying replication capacity | |
| US12061621B2 (en) | Bulk data extract hybrid job processing | |
| US20230030189A1 (en) | Self-service data provisioning system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |