CN112650757A - 结构化与非结构化数据的存储方法、装置、设备及介质 - Google Patents
结构化与非结构化数据的存储方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112650757A CN112650757A CN202011631490.7A CN202011631490A CN112650757A CN 112650757 A CN112650757 A CN 112650757A CN 202011631490 A CN202011631490 A CN 202011631490A CN 112650757 A CN112650757 A CN 112650757A
- Authority
- CN
- China
- Prior art keywords
- data
- structured
- unstructured
- database
- storing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013500 data storage Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007405 data analysis Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 239000003814 drug Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 229940079593 drug Drugs 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
Abstract
本申请实施例涉及数据处理技术领域，具体涉及一种结构化与非结构化数据的存储方法、装置、设备及介质，旨在实现结构化数据与非结构化数据的聚合存储。所述方法包括：接收各类设备发送的数据，所述各类设备为已知设备和未知设备；当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储；当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
Description
技术领域
本申请实施例涉及数据处理技术领域，具体而言，涉及一种结构化与非结构化数据的存储方法、装置、设备及介质。
背景技术
随着信息技术的发展，各个应用场景中每天有着大量的设备产生大量的数据，这些数据中有结构化数据也有非结构化数据，如何将这些大量的结构化数据与非结构化数据进行聚合存储，是一个亟待解决的问题。现有技术是将结构化数据与非结构化数据直接进行存储。
现有技术存在的问题是数据库没有配置界面，无法与用户进行交互式操作，必须通过编码才可以实现数据库的相关业务，支持的数据库类型较少，对位置设备数据无法进行很好的存储，无法实现对结构化数据和非结构化数据的整合处理。
发明内容
本申请实施例提供一种结构化与非结构化数据的存储方法、装置、设备及存储介质，旨在实现结构化数据与非结构化数据的聚合存储。
本申请实施例第一方面提供一种结构化与非结构化数据的存储方法，所述方法包括：
接收各类设备发送的数据，所述各类设备为已知设备和未知设备；
当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储；
当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
可选地，在接收各类设备发送的数据时，所述方法还包括：
将所述数据展示在终端设备上，所述终端设备上配置有可视化界面，用于显示所述数据，所述终端设备上还配置有用于触发用于对所述数据进行保存的标识。
可选地，当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储，包括：
根据所述结构化数据对应的结构化消息存储，获取所述结构化数据对应的数据库连接；
根据所述结构化消息存储定义的字段，将所述结构化数据与发送该结构化数据的设备进行一一对应并保存到对应的数据库中。
可选地，当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储，包括：
根据所述非结构化数据对应的非结构化消息存储，获取所述非结构化数据对应的数据库连接；
将所述非结构化数据完整存入对应的数据库中。
可选地，所述方法还包括：
对所述非结构化数据进行数据分析和结构化处理，得到所述非结构化数据对应的结构化数据；
将所述非结构化数据对应的结构化数据存入结构化数据库中。
可选地，述方法还包括：
当接收到的数据的数据结构与已知的数据库不符时，通过配置界面，根据所述接收到的数据的数据结构对数据库进行在线建模，得到与所述接收到的数据对应的数据库；
将所述接收到的数据保存入所述接收到的数据对应的数据库中。
本申请实施例第二方面提供一种结构化与非结构化数据的存储装置，所述装置包括：
数据接收模块，用于接收各类设备发送的数据，所述各类设备为已知设备和未知设备；
结构化数据存储模块，用于当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储；
非结构化数据存储模块，用于当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
可选地，所述装置还包括：
数据可视化模块，用于将所述数据展示在终端设备上，所述终端设备上配置有可视化界面，用于显示所述数据，所述终端设备上还配置有用于触发用于对所述数据进行保存的标识。
可选地，所述结构化数据存储模块包括：
第一数据库连接获得子模块，用于根据所述结构化数据对应的结构化消息存储，获取所述结构化数据对应的数据库连接；
第一数据存储子模块，用于根据所述结构化消息存储定义的字段，将所述结构化数据与发送该结构化数据的设备进行一一对应并保存到对应的数据库中。
可选地，所述非结构化数据存储模块包括：
第二数据库连接获得子模块，用于根据所述非结构化数据对应的非结构化消息存储，获取所述非结构化数据对应的数据库连接；
第二数据存储子模块，用于将所述非结构化数据完整存入对应的数据库中。
可选地，所述装置还包括：
数据处理子模块，用于对所述非结构化数据进行数据分析和结构化处理，得到所述非结构化数据对应的结构化数据；
第三数据存储子模块，用于将所述非结构化数据对应的结构化数据存入结构化数据库中。
可选地，所述装置还包括：
数据库建模子模块，用于当接收到的数据的数据结构与已知的数据库不符时，通过配置界面，根据所述接收到的数据的数据结构对数据库进行在线建模，得到与所述接收到的数据对应的数据库；
第四数据存储子模块，用于将所述接收到的数据保存入所述接收到的数据对应的数据库中。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
采用本申请提供的结构化与非结构化数据的存储方法，首先接收到多个已知设备或未知设备发送的数据，当接收到的数据为结构化数据时，通过该结构化数据对应的结构化消息存储，获取对应数据库的连接，进而根据消息存储所定义的字段将数据与设备一一对应，将该数据保存到数据库，当接收到的数为非结构化数据时，则根据该非结构化数据对应的非结构化消息存储，获取数据库的连接，把数据完整存放入数据库中，并对数据进行分析和结构化后存入结构化数据库中，并且在接收到数据时，将数据直接显示在终端设备上，供用户查看，在接收的数据的数据结构无法与可连接的数据库进行适配时，根据接收到数据的数据结构，在配置界面上进行数据库的在线建模，将接收到的数据存储在建模好的数据库中。本申请可以将结构化数据与非结构化数据保存在相应的数据库中，并且将非结构化数据进行解析，将非结构化数据对应的结构化数据存储在结构化数据库中，实现了结构化数据与非结构化数据的聚合存储，并且提供了配置界面实现数据库的在线建模，方便了人们操作，支持多种类型的数据库，使其能够适配更多的数据类型。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的结构化与非结构化数据的存储方法的流程图；
图2是本申请一实施例提供的设计方案框图；
图3是本发明一实施例提出的软件架构图；
图4是本申请一实施例提出的结构化与非结构化数据的存储装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，图1是本申请一实施例提出的结构化与非结构化数据的存储方法方法的流程图。如图1所示，该方法包括以下步骤：
S11：接收各类设备发送的数据，所述各类设备为已知设备和未知设备。
本实施例中，针对医院定制了一套可以存储结构化数据与非结构化数据的系统，方便统一存储医院中各种设备产生的大量数据，已知设备的详细信息是系统已知的，设备的编码，设备发送数据的数据结构等详细信息都是已知的，未知设备的信息是系统未知的，可以是新接入的设备等。
本实施例中，已知设备发送的数据的数据结构是已知的，未知设备发送的数据结构有可能是已知的，也有可能是未知的。
示例地，各类设备发送的数据可以是处方单，心电图，化验单等。
S12：当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储。
本实施例中，结构化数据也称为行数据，是由二维表结构来实现和表达的数据，主要通过关系型数据库进行存储和管理，结构化消息存储指的是接收到的结构化数据包含的存储信息。
本实施例中，当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储的具体步骤是：
S12-1：根据所述结构化数据对应的结构化消息存储，获取所述结构化数据对应的数据库连接。
本实施例中，结构化数据对应的结构化消息存储中包含了数据的结构信息，数据库的地址信息，数据库的字段信息，通过结构化消息存储，可以获取结构化数据对应的数据库连接，数据库连接就是数据库的客户端，结构化数据是规则的，具有统一结构的数据。
本实施例中，当多个设备的数据传送到接收数据的设备中时，接收数据的设备中的存储引擎开始运行，存储引擎是存储结构化与非结构化数据的存储模块，存储引擎可以得到结构化数据对应的结构化消息存储中含有的该结构化数据对应数据库的ip地址、端口号、用户名、密码、库等配置属性，通过存储引擎中的存储工可以配置对应数据库的ip地址、端口号、用户名、密码、库等配置属性，再由客户端中心与存储工厂的配置属性进行适配，客户端中心存储了多种已知数据库的客户端，并根据这些配置属性得到结构化数据对应的数据库连接，数据库连接即数据库的客户端，接收数据的设备可通过数据库的客户端远程访问数据库。
示例地，可通过mysqlClient(mysql的客户端)来访问mysq数据库，该数据库是一种关系型数据库，结构化数据一般存储在关系型数据库中。
S12-2：根据所述结构化消息存储定义的字段，将所述结构化数据与发送该结构化数据的设备进行一一对应并保存到对应的数据库中。
本实施例中，结构化消息存储中定义了该数据结构在数据库中存储的字段，结构化数据的标准存储结构是一个表结构，其中行是记录，列就是字段，字段代表了数据的某一个特征。
本实施例中，结构化消息进行存储时，以每一个设备的编号或其他特有属性作为该结构化数据存储在数据中的字段，根据结构化消息存储定义的字段，可以将该结构化数据与发送该结构化数据的设备对应起来进行存储，方便该结构化数据的调用。
示例地，若发送的数据为化验单，则对应的设备是化验仪，若该医院有多台化验仪，还可以将该化验仪的具体型号和编号进行记录。
本实施例中，在获取了该结构化数据对应的数据库的客户端之后，将该结构化数据发送至数据库中，将存储工作交由执行器执行，执行器可以通过对应的存储策略、数据源和拼接模板对数据进行存储操作。存储策略可以用来设定数据的持久化的失效时间，数据的持久化就是将数据永久保存在存储之中，而失效时间则是用来设置数据可以保存多久，还可以用来定时删除数据和将其归档。执行器还可以通过客户端中的数据源使设备连接至相应的数据库，拼接模板对不同类型的数据组装相应的语句，将数据中的语句按照数据库中的结构进行组装，使数据能够按照标准格式存储进入数据库中。
本实施例中，在向数据库发送数据时，还可以将数据分解为多个数据包，将多个数据包发送至数据库之中。
S13：当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
本实施例中，非结构化数据指的是数据结构不规则或不完整，不方便用数据库二维逻辑来表现的数据，例如图片、视频、音频和各类报表等。非结构化消息存储中包含了非结构化消息对应的和数据库连接等信息。
本实施例中，当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储的步骤包括：
S13-1：根据所述非结构化数据对应的非结构化消息存储，获取所述非结构化数据对应的数据库连接。
本实施例中，当多个设备的数据传送到接收数据的设备时，接收数据的设备中的存储引擎可以获得非结构化数据对应的非结构化消息存储中包含的ip地址、端口号、用户名、密码、库等配置属性，通过存储引擎中的存储工厂对ip地址、端口号、用户名、密码、库等配置属性进行配置，再由客户端中心与存储工厂的配置属性进行适配，获得对应数据库的连接，即对应数据库的客户端。
示例地，对应数据的客户端可以是mongodbClient(mongodb的客户端)，mongodb是一种非关系型数据库。
S13-2：将所述非结构化数据完整存入对应的数据库中。
本实施例中，非结构化数据应为数据结构是不规则的，所以无法按照固定结构进行存储，在得到非结构化数据对应的客户端后，同样由执行器对数据进行存储，执行器通过对应的存储策略，数据源和拼接模板对数据进行存储。
在本实施例的另一方面中，当非结构化数据存储完毕之后，还需进行以下步骤：
S13-3：对所述非结构化数据进行数据分析和结构化处理，得到所述非结构化数据对应的结构化数据。
本实施例中，非结构化数据中也包含有可以使用结构化数据来表示的信息，对非结构化数据进行数据分析和结构化处理，可以得到非结构化数据中的结构化数据。
示例地，非结构化数据为心电图，那么对心电图进行分析，可以得到心跳速度，心率等数据，这些数据就是结构化数据。
S13-4：将所述非结构化数据对应的结构化数据存入结构化数据库中。
本实施例中，当得到了非结构化数据对应的结构化数据之后，就将这些数据存储在对应的结构化数据库之中，可以存储在支持该数据结构的关系型数据库中。在调用数据时，可以同时调用该非结构化数据与其对应的结构化数据。
示例地，想调用某人的心电图来看，在调用心电图的同时还可以调用列有心跳速度，心率等结构化数据的表格。
在本申请的另一个实施例中，当接收到的数据的数据结构与已知的数据库不符时，可进行如下处理：
S21：当接收到的数据的数据结构与已知的数据库不符时，通过配置界面，根据所述接收到的数据的数据结构对数据库进行在线建模，得到与所述接收到的数据对应的数据库。
S22：本实施例中，用于接收数据的设备可能会接收到数据结构与已知数据库不符的数据，设备可连接的数据库都无法存储该数据，故需要对数据库进行在线建模，建模过程可以通过配置界面进行配置，在该配置界面中可以选择选择数据库的类型，选择数据源的地址，配置相应的数据库的表的名称，字段，数据类型，数据的长度大小，是否可以添加索引，是否可以添加嵌套的字段，这些功能均可以通过设置相应的表示以触发。
将所述接收到的数据保存入所述接收到的数据对应的数据库中。
本实施例中，在通过配置界面对数据库实现了在线建模之后，就可以按照之前步骤将数据存入建立好的数据库中，在之后接收到相同类型的数据时，仍然可以将数据存入本次建立好的数据库中，方便调用。
在本申请的另一个实施例中，可以进行如下处理：
S31：将所述数据展示在终端设备上，所述终端设备上配置有可视化界面，用于显示所述数据，所述终端设备上还配置有用于触发用于对所述数据进行保存的标识。
本实施例中，接收数据的设备可以连接多个终端显示设备，向终端显示设备中发送接收到的结构化数据或非结构化数据，将数据显示在终端设备上，可以方便医院工作人员调用查看和分析，同时，医院工作人员可以在查看该数据之后选择保存，则接收数据的设备开始进行数据的存储工作。
示例地，接收数据的设备接收到医生开的药单，将该药单发送至药房的显示设备上，药房的医生在帮病人拿药时可以通过该显示设备查看药单，并且可以点击保存标识对该药单进行保存。
在本申请另一个实施例中，该数据存储系统还支持以插件的形式横向扩展数据库类型。
本实施例中，当需要扩展数据库类型时，通过插件的形式横向扩展数据库类型，当数据库存储的数据过多，会影响读写的速度，这时可以通过在数据库中添加插件的方式，增加数据库的类型。
示例地，原来的药单都是在一个数据库中进行存储，通过插件的横向扩展，可以将不同科室的药单分开存储，这样就防止了数据库存储内容太过繁杂，影响读写速度。
在本申请另一个实施例中，当接收到的数据为未知设备发送的，看该设备发送的数据结构是否为已知的数据结构，若是已知的数据结构，则按照上述流程进行保存，若为未知的数据结构，则看是否可以对该数据结构进行在线数据库建模，若建模成功则将该数据存储对应数据库中，若不能解析建模，则直接将源数据存入数据库中，在调用时可以直接调用源数据。
本实施例中，如图2所示，图2是本申请一实施例提供的设计方案框图，图中数据先流入设备中，当数据是结构化数据时，先获取结构化数据库连接，在将数据分解为数据包发送至数据库存储结构化数据，当数据时非结构化数据时，获取非结构化数据库的连接，先将非结构化数据存入非结构化数据库中，再对非结构化数据进行数据分析和格式化，将非结构化数据对应的结构化数据存储结构化数据库中。
本实施例中，如图3所示，图3是本申请一实施例提出的软件架构图，图中数据的存储首先通过存储工厂(storageFactory)配置对应数据库的ip地址、端口号、用户名、密码、库等配置属性，再由客户端中心(clientCenter)与存储工厂的配置属性适配并获取对应的关系型数据库客户端及非关系型数据库客户端，例如:mysqlClient(关系型数据库mongodb的客户端)influxdbClient(时序数据库influxdb的客户端)、mongodbClient(非关系型数据mongodb的客户端)、hbaseClient(列式存储数据库hbase的客户端)等，之后由执行器(excutor)对数据进行存储，其中其中mongodb等非关系型数据库用来存储非结构化数据，mysql等关系型数据库用来存储结构化数据，执行器通过对应的存储策略(expirePolicy)、数据源(database)和拼接模板(sqlTemplate)对数据进行存储操作，其中，存储策略用来设定数据的持久化的失效时间，可以用来定时删除数据和归档，数据源是用来连接相应的数据库，拼接模板是将不同类型的数据组装为数据库可存储的语句的工具。
基于同一发明构思，本申请一实施例提供一种结构化与非结构化数据的存储装置。参考图4，图4是本申请一实施例提出的结构化与非结构化数据的存储装置400的示意图。如图4所示，该装置包括：
数据接收模块401，用于接收各类设备发送的数据，所述各类设备为已知设备和未知设备；
结构化数据存储模块402，用于当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储；
非结构化数据存储模块403，用于当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
可选地，所述装置还包括：
数据可视化模块，用于将所述数据展示在终端设备上，所述终端设备上配置有可视化界面，用于显示所述数据，所述终端设备上还配置有用于触发用于对所述数据进行保存的标识。
可选地，所述结构化数据存储模块包括：
第一数据库连接获得子模块，用于根据所述结构化数据对应的结构化消息存储，获取所述结构化数据对应的数据库连接；
第一数据存储子模块，用于根据所述结构化消息存储定义的字段，将所述结构化数据与发送该结构化数据的设备进行一一对应并保存到对应的数据库中。
可选地，所述非结构化数据存储模块包括：
第二数据库连接获得子模块，用于根据所述非结构化数据对应的非结构化消息存储，获取所述非结构化数据对应的数据库连接；
第二数据存储子模块，用于将所述非结构化数据完整存入对应的数据库中。
可选地，所述装置还包括：
数据处理子模块，用于对所述非结构化数据进行数据分析和结构化处理，得到所述非结构化数据对应的结构化数据；
第三数据存储子模块，用于将所述非结构化数据对应的结构化数据存入结构化数据库中。
可选地，所述装置还包括：
数据库建模子模块，用于当接收到的数据的数据结构与已知的数据库不符时，通过配置界面，根据所述接收到的数据的数据结构对数据库进行在线建模，得到与所述接收到的数据对应的数据库；
第四数据存储子模块，用于将所述接收到的数据保存入所述接收到的数据对应的数据库中。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的结构化与非结构化数据的存储方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的结构化与非结构化数据的存储方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种结构化与非结构化数据的存储方法、装置、设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (9)
1.一种结构化与非结构化数据的存储方法，所述方法包括：
接收各类设备发送的数据，所述各类设备为已知设备和未知设备；
当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储；
当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
2.根据权利要求1所述的方法，其特征在于，在接收各类设备发送的数据时，所述方法还包括：
将所述数据展示在终端设备上，所述终端设备上配置有可视化界面，用于显示所述数据，所述终端设备上还配置有用于触发用于对所述数据进行保存的标识。
3.根据权利要求1所述的方法，其特征在于，当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储，包括：
根据所述结构化数据对应的结构化消息存储，获取所述结构化数据对应的数据库连接；
根据所述结构化消息存储定义的字段，将所述结构化数据与发送该结构化数据的设备进行一一对应并保存到对应的数据库中。
4.根据权利要求1所述的方法，其特征在于，当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储，包括：
根据所述非结构化数据对应的非结构化消息存储，获取所述非结构化数据对应的数据库连接；
将所述非结构化数据完整存入对应的数据库中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对所述非结构化数据进行数据分析和结构化处理，得到所述非结构化数据对应的结构化数据；
将所述非结构化数据对应的结构化数据存入结构化数据库中。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当接收到的数据的数据结构与已知的数据库不符时，通过配置界面，根据所述接收到的数据的数据结构对数据库进行在线建模，得到与所述接收到的数据对应的数据库；
将所述接收到的数据保存入所述接收到的数据对应的数据库中。
7.一种结构化与非结构化数据的存储装置，其特征在于，所述装置包括：
数据接收模块，用于接收各类设备发送的数据，所述各类设备为已知设备和未知设备；
结构化数据存储模块，用于当所述数据为结构化数据时，根据所述结构化数据对应的结构化消息存储，对所述结构化数据进行存储；
非结构化数据存储模块，用于当所述数据为非结构化数据时，根据所述非结构化数据对应的非结构化消息存储，对所述非结构化数据进行存储。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至6任一所述的方法中的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011631490.7A CN112650757A (zh) | 2020-12-30 | 2020-12-30 | 结构化与非结构化数据的存储方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011631490.7A CN112650757A (zh) | 2020-12-30 | 2020-12-30 | 结构化与非结构化数据的存储方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112650757A true CN112650757A (zh) | 2021-04-13 |
Family
ID=75366796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011631490.7A Pending CN112650757A (zh) | 2020-12-30 | 2020-12-30 | 结构化与非结构化数据的存储方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650757A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114880690A (zh) * | 2022-06-08 | 2022-08-09 | 浙江省交通运输科学研究院 | 一种基于边缘计算的源数据时序精化方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104142949A (zh) * | 2013-05-10 | 2014-11-12 | 北京航天长峰科技工业集团有限公司 | 一种基于结构化和非结构化数据的统一管理方法 |
| CN106503091A (zh) * | 2016-10-12 | 2017-03-15 | 济南浪潮高新科技投资发展有限公司 | 一种可变数据结构自动同步匹配的实现方法 |
| US20180032591A1 (en) * | 2016-07-29 | 2018-02-01 | International Business Machines Corporation | Integration management for structured and unstructured data |
| CN108984598A (zh) * | 2018-05-31 | 2018-12-11 | 中国地质大学（武汉） | 一种关系型地质数据库与NoSQL的融合方法及系统 |
| CN111949850A (zh) * | 2020-08-14 | 2020-11-17 | 北京锐安科技有限公司 | 多源数据的采集方法、装置、设备及存储介质 |
| CN111984495A (zh) * | 2019-05-21 | 2020-11-24 | 武汉金山办公软件有限公司 | 一种大数据监控方法、装置和存储介质 |
-
2020
- 2020-12-30 CN CN202011631490.7A patent/CN112650757A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104142949A (zh) * | 2013-05-10 | 2014-11-12 | 北京航天长峰科技工业集团有限公司 | 一种基于结构化和非结构化数据的统一管理方法 |
| US20180032591A1 (en) * | 2016-07-29 | 2018-02-01 | International Business Machines Corporation | Integration management for structured and unstructured data |
| CN106503091A (zh) * | 2016-10-12 | 2017-03-15 | 济南浪潮高新科技投资发展有限公司 | 一种可变数据结构自动同步匹配的实现方法 |
| CN108984598A (zh) * | 2018-05-31 | 2018-12-11 | 中国地质大学（武汉） | 一种关系型地质数据库与NoSQL的融合方法及系统 |
| CN111984495A (zh) * | 2019-05-21 | 2020-11-24 | 武汉金山办公软件有限公司 | 一种大数据监控方法、装置和存储介质 |
| CN111949850A (zh) * | 2020-08-14 | 2020-11-17 | 北京锐安科技有限公司 | 多源数据的采集方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114880690A (zh) * | 2022-06-08 | 2022-08-09 | 浙江省交通运输科学研究院 | 一种基于边缘计算的源数据时序精化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11240126B2 (en) | Distributed tracing for application performance monitoring | |
| RU2546322C2 (ru) | Расширение возможностей сотрудничества при использовании внешних данных | |
| AU2019226217A1 (en) | Configuration of a digital twin for a building or other facility via bim data extraction and asset register mapping | |
| US7970630B2 (en) | Integrated biomedical information portal system and method | |
| US8930772B2 (en) | Method and system for implementing a test automation results importer | |
| CN107122301A (zh) | 界面测试方法及装置 | |
| US11533387B2 (en) | Interface engine architecture | |
| WO2019056494A1 (zh) | 图表生成方法、装置、计算机设备和存储介质 | |
| CN113204598B (zh) | 一种数据同步方法、系统及存储介质 | |
| CN111290951B (zh) | 测试方法、终端、服务器、系统及存储介质 | |
| CN110930069A (zh) | 数据采集打包方法和系统，可读存储介质和计算机 | |
| US10394844B2 (en) | Integrating co-deployed databases for data analytics | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| US20130339835A1 (en) | Dynamic presentation of a results set by a form-based software application | |
| CN112650757A (zh) | 结构化与非结构化数据的存储方法、装置、设备及介质 | |
| CN112269785B (zh) | Edc系统中受试者状态明细动态填充字段方法和系统 | |
| CN114116108A (zh) | 动态渲染方法、装置、设备及存储介质 | |
| US20160217203A1 (en) | Systems, Methods, and Apparatuses for Creating, Linking and Discovering Business Navigation Maps for Analyzing Data | |
| CN112988600A (zh) | 业务场景测试方法、装置、电子设备及存储介质 | |
| US20210248129A1 (en) | Stitching event data using identity mappings | |
| US20230153179A1 (en) | Visitor stitching with data science notebooks | |
| US10289978B2 (en) | Method and apparatus for integrating health care payers and provider systems with health care transaction systems using a single HIPAA EDI response generation component | |
| JP2017524211A (ja) | 複数の情報源からの情報とツールを統一する方法、並びに前記方法を応用するコンピュータプログラム製品及び装置 | |
| CN114168544A (zh) | 临床试验数据处理方法、装置、计算机设备和存储介质 | |
| CN114694813A (zh) | 临床试验数据处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |