CN114546530B - 一种大数据的加载方法、装置、设备及介质 - Google Patents
一种大数据的加载方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114546530B CN114546530B CN202210178753.6A CN202210178753A CN114546530B CN 114546530 B CN114546530 B CN 114546530B CN 202210178753 A CN202210178753 A CN 202210178753A CN 114546530 B CN114546530 B CN 114546530B
- Authority
- CN
- China
- Prior art keywords
- data
- matlab
- operating system
- client
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011068 loading method Methods 0.000 title claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 116
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 28
- 238000011161 development Methods 0.000 claims description 24
- 238000013499 data model Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 abstract description 10
- 238000011160 research Methods 0.000 abstract description 7
- 238000013178 mathematical model Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明实施例公开了一种大数据的加载方法、装置、设备及介质。其中，方法应用于客户端，客户端安装有Matlab，包括：基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使服务端基于预先确定的目标程序根据建模请求从数据库中确定请求响应数据；接收服务端基于预先确定的目标程序返回的请求响应数据；基于请求响应数据在Matlab中进行数据建模。通过执行本发明实施例提供的技术方案，可以实现Matlab对海量大数据进行实时加载，可以实现极大地丰富数据分析和数学建模的手段，可以极大提升科研和工程建模的转化能力。
Description
技术领域
本发明实施例涉及大数据分析技术领域，尤其涉及一种大数据的加载方法、装置、设备及介质。
背景技术
在Matlab中，数学模型的建立、数学模型的训练和数据分析都离不开强有力的数据支持，数据量越大，数据种类越丰富，得到的训练完成的模型以及分析数据的精确度越高。
相关技术中通过Matlab建立和分析模型时，需要通过导入外部平台的结构化静态数据文件，存在数据文本内容过多，加载数据缓慢等诸多弊端，还需要对Matlab的建模方式进行时时调整。导致无法实现大数据的动态获取和分析，数学模型的设计和优化效率低下的问题。
发明内容
本发明实施例提供了一种大数据的加载方法、装置、设备及介质，可以实现Matlab对海量大数据进行实时加载，可以实现极大地丰富数据分析和数学建模的手段，可以极大提升科研和工程建模的转化能力。
第一方面，本发明实施例提供了一种大数据的加载方法，该方法应用于客户端，所述客户端安装有Matlab，包括：
基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
接收所述服务端基于预先确定的目标程序返回的请求响应数据；
基于所述请求响应数据在所述Matlab中进行数据建模。
第二方面，本发明实施例还提供了一种大数据的加载方法，该方法应用于服务端，所述服务端配置有数据库，包括：
接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
第三方面，本发明实施例还提供了一种大数据的加载装置，该装置配置于客户端，包括：
建模请求发送模块，用于基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
请求响应数据接收模块，用于接收所述服务端基于预先确定的目标程序返回的请求响应数据；
数据建模模块，用于基于所述请求响应数据在所述Matlab中进行数据建模。
第四方面，本发明实施例还提供了一种大数据的加载装置，该装置配置于服务端，包括：
请求响应数据确定模块，用于接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
请求响应数据返回模块，用于基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
第五方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的由客户端执行的大数据的加载方法，或者如本发明任一实施例所述的由服务端执行的大数据的加载方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的由客户端执行的大数据的加载方法，或者如本发明任一实施例所述的由服务端执行的大数据的加载方法。
本发明实施例的技术方案，由客户端执行时，通过基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使服务端基于预先确定的目标程序根据建模请求从数据库中确定请求响应数据；接收服务端基于预先确定的目标程序返回的请求响应数据；基于请求响应数据在Matlab中进行数据建模。通过执行本方案，可以实现Matlab对海量大数据进行实时加载，可以实现极大地丰富数据分析和数学建模的手段，可以极大提升科研和工程建模的转化能力。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的由客户端执行的一种大数据的加载方法的流程图；
图2是本发明实施例提供的由服务端执行的一种大数据的加载方法的流程图；
图3是本发明实施例提供的大数据的加载方法具体实现的交互流程图；
图4是本发明实施例提供的配置于客户端的一种大数据的加载装置结构示意图；
图5是本发明实施例提供的配置于服务端的一种大数据的加载装置结构示意图；
图6是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1是本发明实施例提供的由客户端执行的大数据的加载方法的流程图，所述方法可以由大数据的加载装置来执行，所述装置可以由软件和/或硬件的方式实现，所述装置可以配置在客户端等电子设备中。所述方法应用于采用Matlab对大数据进行数据建模的场景中。如图1所示，本发明实施例提供的技术方案具体包括：
S110:基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据。
其中，建模请求可以是数据维度，建模请求也可以是数据格式，建模请求可以根据实际需要进行设置。Matlab动态链接库可以是compiler.runtime，可以给编译后的Matlab文件执行提供运行环境。目标组件为Matlab与服务端的目标程序之间进行通信提供了访问通道，目标组件可以是与客户端操作系统兼容的组件，例如如果客户端操作系统为Windows系统，目标组件可以是netframework组件，目标组件也可以是java组件，目标组件还可以是python组件，目标组件可以根据实际需要进行设置。目标程序可以是在服务端的集成开发环境中预先定义的指令集，目标程序可以是定义了与Matlab进行通信的通信机制以及通信接口，目标程序可以是定义了对数据库进行访问的访问规则以及将大数据反馈到程序出口的通信规范。当检测到用户通过Matlab发送数学建模请求时，本方案可以通过Matlab向服务端发送建模请求，使服务端的目标程序根据建模请求从服务端配置的数据库中获取满足条件的大数据，即请求响应数据。将请求响应数据反馈给Matlab或者将请求响应数据进行预处理之后得到的数据反馈给Matlab，Matlab根据接收的数据进行数据建模操作。
另外，本方案还可以通过Matlab对数据模型进行模型训练，即基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送模型训练请求，以使服务端基于预先确定的目标程序根据模型训练请求从数据库中确定请求响应数据。然后Matlab将接收到的数据进行用于对应模型的训练。
在本实施例中，可选的，所述Matlab动态链接库以及目标组件的构建过程包括：在Matlab中安装与客户端操作系统兼容的compiler.runtime；确定与所述客户端操作系统兼容的目标组件；在所述客户端操作系统上配置所述目标组件；其中，所述客户端操作系统包括Windows操作系统或者Mac操作系统。
示例性的，假设客户端操作系统为Mac操作系统，则当在Mac操作系统中成功配置了Matlab之后，本方案可以通过Matlab的可视化界面继续安装与Mac操作系统兼容的compiler.runtime，并确定与Mac操作系统兼容的组件，即目标组件。当客户端操作系统为Mac操作系统时，目标组件可以是python组件，目标组件也可以是java组件，目标组件还可以是C++组件，目标组件还可以是C组件。然后在Mac操作系统上安装上述组件中的一个组件。客户端操作系统可以是Windows操作系统或者Mac操作系统。
需要说明的是，对目标组件进行配置与对compiler.runtime进行配置的先后顺序没有要求。
由此，通过在客户端操作系统中构建与客户端操作系统兼容的Matlab动态链接库以及目标组件，可以实现为Matlab加载数据库中的大数据提供加载环境，可以实现为数学建模提供可靠以及海量的数据来源。
在本实施例中，可选的，确定与所述客户端操作系统兼容的目标组件，包括：若确定所述客户端操作系统为Windows操作系统，则确定与所述Windows操作系统兼容的目标组件为netframework组件、java组件、python组件、c组件以及C++组件中的至少一种；或者，若确定所述客户端操作系统为Mac操作系统，则确定与所述Mac操作系统兼容的目标组件为java组件、python组件、c组件以及c++组件中的至少一种。
其中，netframework组件、java组件、python组件、c组件以及c++组件可以实现Matlab在Windows操作系统环境中与与服务端的目标程序进行通信，进而获取存储了海量大数据的数据库内的数据。而java组件、python组件、c组件以及c++组件可以实现Matlab在Mac操作系统环境中与服务端的目标程序进行通信，进而获取存储了海量大数据的数据库内的数据。
在一个可行的实施方式中，可选的，所述建模请求包括数据维度以及数据格式中的至少一种；基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据，包括：基于预先构建的Matlab动态链接库以及预先构建的目标组件向所述服务端发送数据维度和/或数据格式，以使所述服务端基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据。
其中，数据维度可以是数据域，例如数据维度可以是地理纬度，数据维度也可以是时间维度，数据维度可以根据实际需要进行设置。数据格式可以是大数据的存储格式，例如数据格式可以是XML格式，数据格式可以是MapReduce格式，数据格式可以根据实际需要进行设置。本方案可以基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送数据维度，以使服务端基于预先确定的目标程序根据数据维度从数据库中确定满足该数据维度条件约束的请求响应数据。本方案也可以基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送数据格式，以使服务端基于预先确定的目标程序根据数据格式从数据库中确定满足该数据格式条件约束的请求响应数据。
由此，通过基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送数据维度和/或数据格式，以使服务端基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据。可以实现按需根据数学模型选择大数据，可以是提高模型种类的丰富性和数据建模的灵活性。
在本实施例中，可选的，所述数据库包括内存数据库以及文本数据库中的至少一种。
示例性的，内存数据库可以是Redis数据库，内存数据库也可以是Mysql数据库，内存数据库还可以是Hbase数据库，内存数据库可以根据实际需要进行设置。文本数据库可以是ELK海量静态数据库。文本数据库可以根据实际需要进行设置。
由此，通过设置文本数据库以及内存数据库，可以实现Matlab既可以对动态大数据进行加载，又可以对海量静态大数据进行加载，可以实现为数据建模提供丰富可靠的数据来源，进而可以提高建模质量，丰富数学模型种类。
S120:接收所述服务端基于预先确定的目标程序返回的请求响应数据。
其中，目标程序在根据建模请求从数据库中确定请求响应数据之后，可以将请求响应数据通过程序出口反馈到客户端，然后客户端通过目标组件将请求响应数据以传参的形式反馈到Matlab的数学模型中。
S130：基于所述请求响应数据在所述Matlab中进行数据建模。
具体的，以建立的数学模型为机器学习模型为例，客户端在Matlab中采用请求响应数据建立机器学习模型，或者，客户端在Matlab中采用请求响应数据对机器学习模型进行训练，得到训练完成的机器学习模型。
在另一个可行的实施方式中，可选的，基于所述请求响应数据在所述Matlab中进行数据建模，包括：通过所述目标程序将所述请求响应数据推送至Matlab的数据模型中，以实现在Matlab中采用所述请求响应数据进行数据建模。
具体的，目标程序中定义了与Matlab之间的通信接口以及通信机制，本方案在通过目标程序获取到请求响应数据之后，可以通过Matlab的参数传递接口将请求响应数据推送到Matlab的初始数据模型框架中，进而可以实现在Matlab中采用请求响应数据进行数据建模，从而完成通过Matlab对大数据的加载。
由此，通过目标程序将请求响应数据推送至Matlab的数据模型中，以实现在Matlab中采用请求响应数据进行数据建模。可以实现Matlab与服务端之间的数据交互，进而可以实现Matlab对数据库中大数据的动态加载。
本发明实施例的技术方案，由客户端执行时，通过基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使服务端基于预先确定的目标程序根据建模请求从数据库中确定请求响应数据；接收服务端基于预先确定的目标程序返回的请求响应数据；基于请求响应数据在Matlab中进行数据建模。通过执行本方案，可以实现Matlab对海量大数据进行实时加载，可以实现极大地丰富数据分析和数学建模的手段，可以极大提升科研和工程建模的转化能力。
图2是本发明实施例提供的由服务端执行的一种大数据的加载方法的流程图，所述方法可以由大数据的加载装置来执行，所述装置可以由软件和/或硬件的方式实现，所述装置可以配置在服务端等电子设备中。所述方法应用于采用Matlab对大数据进行数据建模的场景中。如图2所示，本发明实施例提供的技术方案具体包括：
S210：接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据。
其中，当检测到用户通过预先构建的Matlab动态链接库以及预先构建的目标组件发送数学建模请求时，本方案可以通过服务端的目标程序根据建模请求从服务端配置的数据库中获取满足条件的大数据，即请求响应数据。将请求响应数据反馈给Matlab或者将请求响应数据进行预处理之后得到的数据反馈给Matlab，Matlab根据接收的数据进行数据建模操作。
S220：基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
其中，在接收到从数据库返回的请求响应数据之后，根据目标程序的内容可以直接通过程序出口将请求响应数据返回给客户端的Matlab。也可以请求响应数据进行处理，得到结构化的大数据，并将结构化的大数据返回给客户端的Matlab。使Matlab根据接收到的大数据进行数学建模或者进行机器模型的训练。
在本实施例中，可选的，目标程序的确定过程包括：在服务端操作系统上配置与所述服务端操作系统兼容的集成开发环境；通过所述集成开发环境确定默认程序；在所述默认程序中确定所述集成开发环境与各个客户端操作系统中Matlab的通信接口；其中，所述通信接口包括所述集成开发环境与各个客户端操作系统中开发环境的通信机制；基于所述建模请求从所述数据库中确定目标大数据，并根据所述目标大数据确定结构化大数据流；将所述结构化大数据流通过所述通信接口发送至客户端的Matlab；将所述处理后的默认程序进行存储和编译，得到目标程序。
示例性的，假设服务端操作系统为Windows操作系统，本方案可以在Windows操作系统中配置集成开发环境，例如通过Visual Studio搭建NetFrameWork DotNetCore集成开发环境，然后在集成开发环境中创建一个新程序，即默认程序。在默认程序的框架中分别确定该集成开发环境与Mac操作系统下Matlab的通信接口，以及，确定该集成开发环境与Windows操作系统下Matlab的通信接口。其中，该通信接口中包括集成开发环境与各个客户端操作系统中目标组件的通信机制。并确定如何根据Matlab发送的建模请求从服务端操作系统的数据库中确定满足建模需求或者满足模型训练需求的大数据的指令集，以及，确定在确定大数据之后将大数据转换成结构化大数据流的转换规则。并确定将结构化大数据流通过前述定义的通信接口反馈到客户端Matlab的通信流程。对默认程序编辑完成之后，保存编辑后的程序，得到源程序，然后在集成开发环境中将源程序进行编译得到可执行的并可以与Matlab进行通信的目标程序。
由此，通过在服务端操作系统中确定与Matlab进行数据通信的目标程序，可以实现Matlab对数据库中的大数据进行动态访问，进而可以实现极大地丰富数据分析和数学建模的手段，可以极大提升科研和工程建模的转化能力。
本发明实施例的技术方案，由服务端执行时，接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据建模请求从数据库中确定请求响应数据；基于目标程序向客户端返回请求响应数据，以使客户端基于请求响应数据在Matlab中进行数据建模。通过执行本方案，可以实现Matlab对海量大数据进行实时加载，可以实现极大地丰富数据分析和数学建模的手段，可以极大提升科研和工程建模的转化能力。
图3是本发明实施例提供的大数据的加载方法具体实现的交互流程图。如图3所示，本发明实施例提供的技术方案包括如下步骤：
步骤1、客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据。
其中，本方案可以在任意平台上安装Matlab应用，并安装compiler.runtime。
步骤2、服务端接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据。
其中，本方案可以通过微软Visual Studio搭建NetFrameWork(win)DotNetCore(跨平台)开发环境。编译DotNetCore的程序应用实现跨平台应用。
步骤3、服务端基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
其中，本方案可以将DotNetCore编译后的文件引入Matlab。
步骤4、客户端接收所述服务端基于预先确定的目标程序返回的请求响应数据。
步骤5、客户端基于所述请求响应数据在所述Matlab中进行数据建模。
其中，本方案可以通过Matlab函数引用DotNetCore封装接口，实现数据调用和推送。
本发明实施例提供的技术方案，以Matlab应用环境为主,通过微软DotNetCore实现跨平台应用，使Matlab数据分析数据源和工具不再依赖Windows平台，可以将Linux、Mac操作系统上的开源组件与NetCore与相结合。可以实现Redis数据库的高效动态缓存，以及ELK等海量静态存储数据的动态分布式加载。例如既能实现Matlab浮点运算，同时也能满足神经元机器学习模型。极大丰富了数据分析的手段，拓展了数据维度，为定制化机器学习模型的训练提供有力的技术保障，极大提升了科研和工程建模的转化能力。
图4是本发明实施例提供的配置于客户端的一种大数据的加载装置结构示意图，所述装置可以配置在客户端等电子设备中。如图4所示，所述装置包括：
建模请求发送模块310，用于基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
请求响应数据接收模块320，用于接收所述服务端基于预先确定的目标程序返回的请求响应数据；
数据建模模块330，用于基于所述请求响应数据在所述Matlab中进行数据建模。
可选的，所述Matlab动态链接库以及目标组件的构建过程包括：在Matlab中安装与客户端操作系统兼容的compiler.runtime；确定与所述客户端操作系统兼容的目标组件；在所述客户端操作系统上配置所述目标组件；其中，所述客户端操作系统包括Windows操作系统或者Mac操作系统。
可选的，所述建模请求包括数据维度以及数据格式中的至少一种；建模请求发送模块310，具体用于基于预先构建的Matlab动态链接库以及预先构建的目标组件向所述服务端发送数据维度和/或数据格式，以使所述服务端基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据。
可选的，数据建模模块330，具体用于通过所述目标程序将所述请求响应数据推送至Matlab的数据模型中，以实现在Matlab中采用所述请求响应数据进行数据建模。
可选的，确定与所述客户端操作系统兼容的目标组件，包括：若确定所述客户端操作系统为Windows操作系统，则确定与所述Windows操作系统兼容的目标组件为netframework组件、java组件、python组件、c组件以及c++组件中的至少一种；或者，若确定所述客户端操作系统为Mac操作系统，则确定与所述Windows操作系统兼容的目标组件为java组件、python组件、c组件以及c++组件中的至少一种。
可选的，所述数据库包括内存数据库以及文本数据库中的至少一种。
上述实施例所提供的装置可以执行本发明任意实施例所提供的由客户端执行的大数据的加载方法，具备执行方法相应的功能模块和有益效果。
图5是本发明实施例提供的配置于服务端的一种大数据的加载装置结构示意图，所述装置可以配置在服务端等电子设备中。如图5所示，所述装置包括：
请求响应数据确定模块410，用于接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
请求响应数据返回模块420，用于基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
可选的，目标程序的确定过程包括：在服务端操作系统上配置与所述服务端操作系统兼容的集成开发环境；通过所述集成开发环境确定默认程序；在所述默认程序中确定所述集成开发环境与各个客户端操作系统中Matlab的通信接口；其中，所述通信接口包括所述集成开发环境与各个客户端操作系统中开发环境的通信机制；基于所述建模请求从所述数据库中确定目标大数据，并根据所述目标大数据确定结构化大数据流；将所述结构化大数据流通过所述通信接口发送至客户端的Matlab；将所述处理后的默认程序进行存储和编译，得到目标程序。
上述实施例所提供的装置可以执行本发明任意实施例所提供的由服务端执行的大数据的加载方法，具备执行方法相应的功能模块和有益效果。
图6是本发明实施例提供的一种电子设备结构示意图，如图6所示，该设备包括：
一个或多个处理器510，图6中以一个处理器510为例；
存储器520；
所述设备还可以包括：输入装置530和输出装置540。
所述设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器520作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种产品授权管理方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种由第客户端执行的大数据的加载方法，即：
基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
接收所述服务端基于预先确定的目标程序返回的请求响应数据；
基于所述请求响应数据在所述Matlab中进行数据建模。
或者实现如本发明实施例提供的一种由服务端执行的大数据的加载方法，也即：
接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种由客户端执行的大数据的加载方法，即：
基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
接收所述服务端基于预先确定的目标程序返回的请求响应数据；
基于所述请求响应数据在所述Matlab中进行数据建模。
或者，实现如本发明实施例提供的一种由服务端执行的大数据的加载方法，也即：
接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种大数据的加载方法，其特征在于，所述方法应用于客户端，所述客户端安装有Matlab，包括：
基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
接收所述服务端基于预先确定的目标程序返回的请求响应数据；
基于所述请求响应数据在所述Matlab中进行数据建模；
其中，基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据，包括：
基于预先构建的Matlab动态链接库以及预先构建的目标组件向所述服务端发送数据维度和/或数据格式，以使所述服务端基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据；
其中，所述Matlab动态链接库以及目标组件的构建过程包括：
在Matlab中安装与客户端操作系统兼容的compiler.runtime；
确定与所述客户端操作系统兼容的目标组件；
在所述客户端操作系统上配置所述目标组件；其中，所述客户端操作系统包括Windows操作系统或者Mac操作系统。
2.根据权利要求1所述的方法，其特征在于，基于所述请求响应数据在所述Matlab中进行数据建模，包括：
通过所述目标程序将所述请求响应数据推送至Matlab的数据模型中，以实现在Matlab中采用所述请求响应数据进行数据建模。
3.根据权利要求1所述的方法，其特征在于，确定与所述客户端操作系统兼容的目标组件，包括：
若确定所述客户端操作系统为Windows操作系统，则确定与所述Windows操作系统兼容的目标组件为netframework组件、java组件、python组件、c组件以及C++组件中的至少一种；或者，
若确定所述客户端操作系统为Mac操作系统，则确定与所述Windows操作系统兼容的目标组件为java组件、python组件、c组件以及C++组件中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述数据库包括内存数据库以及文本数据库中的至少一种。
5.一种大数据的加载方法，其特征在于，所述方法应用于服务端，所述服务端配置有数据库，包括：
接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；所述Matlab动态链接库以及目标组件基于与客户端操作系统兼容的compiler.runtime以及目标组件进行构建；所述客户端操作系统包括Windows操作系统或者Mac操作系统；
基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模；
其中，接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据，包括：
接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的数据维度和/或数据格式，基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据。
6.根据权利要求5所述的方法，其特征在于，目标程序的确定过程包括：
在服务端操作系统上配置与所述服务端操作系统兼容的集成开发环境；
通过所述集成开发环境确定默认程序；
在所述默认程序中确定所述集成开发环境与各个客户端操作系统中Matlab的通信接口；其中，所述通信接口包括所述集成开发环境与各个客户端操作系统中开发环境的通信机制；
确定如何根据所述建模请求从所述数据库中确定大数据的指令集，以及，确定将大数据转换成结构化大数据流的转换规则；
确定将结构化大数据流通过所述通信接口反馈到所述Matlab的通信流程；
将处理后的默认程序进行存储和编译，得到目标程序。
7.一种大数据的加载装置，其特征在于，所述装置配置于客户端，包括：
建模请求发送模块，用于基于预先构建的Matlab动态链接库以及预先构建的目标组件向服务端发送建模请求，以使所述服务端基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；
请求响应数据接收模块，用于接收所述服务端基于预先确定的目标程序返回的请求响应数据；
数据建模模块，用于基于所述请求响应数据在所述Matlab中进行数据建模；
其中，建模请求发送模块，具体用于基于预先构建的Matlab动态链接库以及预先构建的目标组件向所述服务端发送数据维度和/或数据格式，以使所述服务端基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据；
建模请求发送模块，还用于在Matlab中安装与客户端操作系统兼容的compiler.runtime；确定与所述客户端操作系统兼容的目标组件；在所述客户端操作系统上配置所述目标组件；其中，所述客户端操作系统包括Windows操作系统或者Mac操作系统。
8.一种大数据的加载装置，其特征在于，所述装置配置于服务端，包括：
请求响应数据确定模块，用于接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的建模请求，基于预先确定的目标程序根据所述建模请求从数据库中确定请求响应数据；所述Matlab动态链接库以及目标组件基于与客户端操作系统兼容的compiler.runtime以及目标组件进行构建；所述客户端操作系统包括Windows操作系统或者Mac操作系统；
请求响应数据返回模块，用于基于所述目标程序向所述客户端返回请求响应数据，以使所述客户端基于所述请求响应数据在所述Matlab中进行数据建模；
其中，请求响应数据确定模块，具体用于接收客户端基于预先构建的Matlab动态链接库以及预先构建的目标组件发送的数据维度和/或数据格式，基于预先确定的目标程序根据所述数据维度和/或数据格式从数据库中确定请求响应数据。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的由客户端执行的大数据的加载方法，或者如权利要求5-6中任一项所述的由服务端执行的大数据的加载方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-4中任一项所述的由客户端执行的大数据的加载方法，或者如权利要求5-6中任一项所述的由服务端执行的大数据的加载方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210178753.6A CN114546530B (zh) | 2022-02-25 | 2022-02-25 | 一种大数据的加载方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210178753.6A CN114546530B (zh) | 2022-02-25 | 2022-02-25 | 一种大数据的加载方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114546530A CN114546530A (zh) | 2022-05-27 |
| CN114546530B true CN114546530B (zh) | 2023-10-24 |
Family
ID=81680032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210178753.6A Active CN114546530B (zh) | 2022-02-25 | 2022-02-25 | 一种大数据的加载方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114546530B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104506606A (zh) * | 2014-12-19 | 2015-04-08 | 苏州卫生职业技术学院 | 一种嵌入式设备访问远程数据库的方法 |
| CN105051760A (zh) * | 2013-03-15 | 2015-11-11 | 费希尔-罗斯蒙特系统公司 | 数据建模工作室 |
| CN107508879A (zh) * | 2017-08-18 | 2017-12-22 | 东北大学 | 一种具有云端服务的开放式计算机控制实验系统 |
| CN110347374A (zh) * | 2019-06-14 | 2019-10-18 | 北京数立得科技有限公司 | 一种富客户端业务服务封装和调用系统、方法和装置 |
| CN111930534A (zh) * | 2020-07-29 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 数据调用方法、装置和电子设备 |
| CN112199219A (zh) * | 2020-11-17 | 2021-01-08 | 南开大学 | 一种跨语言作业远程调用方法 |
| CN113515263A (zh) * | 2021-04-26 | 2021-10-19 | 中国汽车技术研究中心有限公司 | 工业app机理模型部署方法、装置、设备和可读存储介质 |
| CN113589706A (zh) * | 2021-08-02 | 2021-11-02 | 天津大学 | 直升机后缘襟翼控制虚拟仿真方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8793339B2 (en) * | 2008-08-29 | 2014-07-29 | Red Hat, Inc. | Facilitating client server interaction |
| US8826247B2 (en) * | 2011-07-15 | 2014-09-02 | International Business Machines Corporation | Enabling computational process as a dynamic data source for BI reporting systems |
| WO2013078041A1 (en) * | 2011-11-22 | 2013-05-30 | Trimble Navigation Limited | 3d modeling system distributed between a client device web browser and a server |
-
2022
- 2022-02-25 CN CN202210178753.6A patent/CN114546530B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105051760A (zh) * | 2013-03-15 | 2015-11-11 | 费希尔-罗斯蒙特系统公司 | 数据建模工作室 |
| CN104506606A (zh) * | 2014-12-19 | 2015-04-08 | 苏州卫生职业技术学院 | 一种嵌入式设备访问远程数据库的方法 |
| CN107508879A (zh) * | 2017-08-18 | 2017-12-22 | 东北大学 | 一种具有云端服务的开放式计算机控制实验系统 |
| CN110347374A (zh) * | 2019-06-14 | 2019-10-18 | 北京数立得科技有限公司 | 一种富客户端业务服务封装和调用系统、方法和装置 |
| CN111930534A (zh) * | 2020-07-29 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 数据调用方法、装置和电子设备 |
| CN112199219A (zh) * | 2020-11-17 | 2021-01-08 | 南开大学 | 一种跨语言作业远程调用方法 |
| CN113515263A (zh) * | 2021-04-26 | 2021-10-19 | 中国汽车技术研究中心有限公司 | 工业app机理模型部署方法、装置、设备和可读存储介质 |
| CN113589706A (zh) * | 2021-08-02 | 2021-11-02 | 天津大学 | 直升机后缘襟翼控制虚拟仿真方法 |
Non-Patent Citations (2)
| Title |
|---|
| Matlab与Java混合编程的算法复用模型及实现;周涛;计算机应用;第37卷(第S2期);259-262 * |
| 多源遥感水库蓄水量估算系统;李闯 等;计算机系统应用;第30卷(第5期);66-75 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114546530A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11422778B2 (en) | Development environment for real-time dataflow programming language | |
| US10048948B2 (en) | Optimized retrieval of custom string resources | |
| CN110543297B (zh) | 用于生成源码的方法和装置 | |
| AU2017254506B2 (en) | Method, apparatus, computing device and storage medium for data analyzing and processing | |
| CN112148356B (zh) | 文档生成方法、接口开发方法、装置、服务器及存储介质 | |
| US20150120729A1 (en) | Web-based representational state transfer api server | |
| CN110955640B (zh) | 跨系统数据文件的处理方法、装置、服务器和存储介质 | |
| CN114500614B (zh) | 卫星遥测数据处理方法、装置、电子设备及可读介质 | |
| CN114117190A (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN111125064A (zh) | 一种生成数据库模式定义语句的方法和装置 | |
| CN114546530B (zh) | 一种大数据的加载方法、装置、设备及介质 | |
| CN115965227A (zh) | 工作流的数据处理方法、装置、设备、存储介质及产品 | |
| CN113821560A (zh) | 一种基于dap平台的大数据处理方法及系统 | |
| CN111367791A (zh) | 一种生成测试用例的方法、装置、介质和电子设备 | |
| CN112394972A (zh) | 一种云应用发布方法、装置、设备及存储介质 | |
| Chakraborty et al. | CRUD Operation on WordPress Database Using C# And REST API | |
| CN114553688B (zh) | 云计算部署方法、装置、设备及计算机可读存储介质 | |
| CN114968605A (zh) | 数据同步方法、装置、设备、介质和程序产品 | |
| CN114625377A (zh) | 框架项目转换方法、框架项目转换装置、设备及存储介质 | |
| CN115857887A (zh) | 项目创建方法、装置、设备及介质 | |
| KR101288845B1 (ko) | 멀티 모바일 서비스 시스템 및 그 방법 | |
| CN116450121A (zh) | 一种人员轨迹疫情防控模型分析方法及其系统 | |
| CN114816403A (zh) | 一种请求处理方法、装置、设备及存储介质 | |
| CN117573277A (zh) | 微信小程序页面动态化方法、系统、设备及储存介质 | |
| CN117195834A (zh) | 文档格式的转换控制方法、装置、计算机可读介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |