CN114785767A - 一种免安装客户端的连接TDengine的方法和系统 - Google Patents

一种免安装客户端的连接TDengine的方法和系统 Download PDF

Info

Publication number
CN114785767A
CN114785767A CN202210264414.XA CN202210264414A CN114785767A CN 114785767 A CN114785767 A CN 114785767A CN 202210264414 A CN202210264414 A CN 202210264414A CN 114785767 A CN114785767 A CN 114785767A
Authority
CN
China
Prior art keywords
tdengine
libtaos
client
server
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210264414.XA
Other languages
English (en)
Inventor
吴珉杰
李垚
朱小彦
赵凡举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Group Trade Union Shanghai Committee
China Telecom Corp Ltd Shanghai Branch
Original Assignee
China Telecom Group Trade Union Shanghai Committee
China Telecom Corp Ltd Shanghai Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Group Trade Union Shanghai Committee, China Telecom Corp Ltd Shanghai Branch filed Critical China Telecom Group Trade Union Shanghai Committee
Priority to CN202210264414.XA priority Critical patent/CN114785767A/zh
Publication of CN114785767A publication Critical patent/CN114785767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Abstract

本发明提供一种免安装客户端的连接TDengine的方法和系统，获取集群中为待执行任务分配的服务器节点；将预先存储在集群的预设存储路径中的一libtaos.so文件分别发送到为待执行任务分配的服务器节点上；基于libtaos.so文件，更改服务器节点的环境变量，实现在服务器节点上的TDengine客户端的配置；根据配置建立服务器节点与TDengine服务端的连接，以执行待执行任务。免去每个服务器节点安装以及升级客户端的困难；只修改了集群节点的逻辑系统路径，并未修改实际的系统路径，避免了对系统路径的污染，便于无权在服务器节点安装客户端或者无法知道服务器节点信息的普通用户使用。

Description

一种免安装客户端的连接TDengine的方法和系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种免安装客户端的连接TDengine的方法和系统。
背景技术
TDengine是涛思数据专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度，且核心代码，包括集群功能全部开源。Spark是一个用于大规模数据处理的统一分析引擎，Spark使用最先进的DAG调度程序、查询优化器和物理执行引擎，实现了批处理和流数据的高性能处理。在实际生产中，利用Spark来进行多数据源的OLAP是一种很流行的方式。Spark能够支持读写TDengine数据库，将很大程度的便利企业的数据处理。TDengine支持使用JDBC进行连接，Spark也支持JDBC类型的数据源，但是在Spark分布式读写TDengine的实践中，我们发现未安装TDengine客户端的机器在连接TDengine时会发生异常，原因是连接过程中程序会去系统路径下加载libtaos.so文件，即libtaos.so是TDengine进行JDBC连接的重要依赖，libtaos.so是TDengine客户端在安装过程中自动安装到服务器系统路径的，为了使集群各个节点都能成功连接到TDengine，需要在集群的每个节点上都安装TDengine客户端。利用原生方法，需要逐一在节点安装客户端，在现实生产环境中，这一操作增加了用户的使用难度，这是因为，普通用户无权在集群的服务器节点上安装客户端，而且集群的服务器节点众多，普通用户也无法知道每台服务器节点的信息，在每一台服务器节点上安装客户端过于繁琐，如果TDengine升级，客户端还需要全部重新安装升级。
发明内容
基于上述问题，本发明提供一种免安装客户端的连接TDengine的方法和系统，旨在解决现有技术中在集群每台服务器节点上安装TDengine客户端增加用户使用难度等技术问题。
一种免安装客户端的连接TDengine的方法，包括如下步骤：
步骤A1，获取集群中为待执行任务分配的服务器节点，其中所述集群由一组相互独立的、通过网络互联的服务器节点构成；
步骤A2，将预先存储在集群的预设存储路径中的一libtaos.so文件分别发送到为待执行任务分配的服务器节点上；
步骤A3，基于libtaos.so文件，更改服务器节点的环境变量，实现在服务器节点上的TDengine客户端的配置；
步骤A4，根据配置建立服务器节点与TDengine服务端的连接，以执行待执行任务。
进一步的，在步骤A2中，将当前发送的libtaos.so文件覆盖服务器节点已经存在的libtaos.so文件。
进一步的，在步骤A2中，通过如下步骤预先将libtaos.so文件存储在集群的预设存储路径：
步骤B1，在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端，于安装过程中生成libtaos.so文件；
步骤B2，复制libtaos.so文件；
步骤B3，将复制的libtaos.so文件发送到集群的预设存储路径中。
进一步的，在步骤B1中，对TDengine客户端进行升级后，形成升级后的libtaos.so文件；
在步骤B2中，复制升级后形成的libtaos.so文件；
在步骤B3中，将升级后形成的libtaos.so文件发送到集群的预设存储路径中，并覆盖集群的预设存储路径中已经存在的libtaos.so文件。
进一步的，在步骤A3中，通过Java反射机制更改服务器节点的环境变量。
进一步的，在步骤A2中，通过Spark引擎将libtaos.so文件发送到为待执行任务分配的服务器节点上。
一种免安装客户端的连接TDengine的系统，应用前述的一种免安装客户端的连接TDengine的系统，包括：
节点获取模块，用于获取集群中为待执行任务分配的服务器节点；
文件分发模块，连接节点获取模块，用于将预先存储在集群的预设存储路径中的一libtaos.so文件发送到为待执行任务分配的服务器节点中；
文件配置模块，连接文件分发模块，基于libtaos.so文件，更改服务器节点的环境变量，在服务器节点上的TDengine客户端的配置；
连接建立模块，连接文件配置模块，用于根据建立服务器节点与TDengine服务端的连接，以执行待执行任务。
进一步的，文件分发模块用于将当前发送的libtaos.so文件覆盖服务器节点已经存在的libtaos.so文件。
进一步的，还包括：
复制模块，用于复制在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端时生成的libtaos.so文件；
文件发送模块，连接复制模块，用于将复制的libtaos.so文件发送到集群的预设存储路径中。
进一步的，文件配置模块，通过Java反射机制更改服务器节点的环境变量。
本发明的有益技术效果在于，首先判断那些服务器节点用于执行待执行任务，将集群中的libtaos.so文件动态地分配到这些服务器节点中，更改环境变量，使得这些将要执行待执行任务的服务器节点实现TDengine客户端的配置，以与TDengine服务端建立连接，同时若存在libtaos.so文件更新时，无需重装每个服务器节点的客户端，免去每个服务器节点安装以及升级客户端的困难；只修改了集群节点的逻辑系统路径，并未修改实际的系统路径，避免了对系统路径的污染，便于无权在服务器节点安装客户端或者无法知道服务器节点信息的普通用户使用。
附图说明
图1为本发明一种免安装客户端的连接TDengine的方法的步骤流程图；
图2为本发明一种免安装客户端的连接TDengine的方法的文件存储在集群的步骤流程图；
图3为本发明一种免安装客户端的连接TDengine的方法的升级文件存储在集群的步骤流程图；
图4为本发明一种免安装客户端的连接TDengine的系统的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
参见图1，一种免安装客户端的连接TDengine的方法，包括如下步骤：
步骤A1，获取集群中为待执行任务分配的服务器节点，所述集群由一组相互独立的、通过网络互联的所述服务器节点构成；
步骤A2，将预先存储在集群的预设存储路径中的一libtaos.so文件分别发送到为待执行任务分配的服务器节点上；
步骤A3，基于libtaos.so文件，更改服务器节点的环境变量，实现在服务器节点上的TDengine客户端的配置；
步骤A4，根据配置建立服务器节点与TDengine服务端的连接，以执行待执行任务。
具体的，在集群中存在很多服务器节点，获取为将要被执行的待执行任务分配的服务器节点信息，将libtaos.so文件分配到这些服务器节点中，实现TDengine客户端在服务器节点的配置，服务器节点无需安装客户端便能与TDengine服务端建立连接，省去每个服务器节点安装和维护客户端的困难，便于无权在服务器节点安装客户端或者无法知道服务器节点信息的普通用户使用。
进一步的，在步骤A2中，将当前发送的libtaos.so文件覆盖服务器节点已经存在的libtaos.so文件。
如果一个服务器节点之前被使用过，其中已经存在libtaos.so文件，当该服务器节点再次被分配待执行任务时，当前发送过来的libtaos.so文件会覆盖掉原来已经存在的libtaos.so文件，通过这种覆盖方式有利于使用升级客户端后生成新版本的libtaos.so文件即使替换掉旧版本的libtaos.so文件，新版本的libtaos.so文件及时得到使用，旧版本的libtaos.so文件及时被淘汰。
参见图2，进一步的，在步骤A2中，通过如下步骤预先将libtaos.so文件存储在集群的预设存储路径：
步骤B1，在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端，于安装过程中生成libtaos.so文件；
步骤B2，复制libtaos.so文件；
步骤B3，将复制的libtaos.so文件发送到集群的预设存储路径中。
在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端，安装机器的系统路径下会生成libtaos.so文件，拷贝出此文件备用；通过spark--files方法将libtaos.so分配到集群指定的路径，即发送到集群的预设存储路径中，以便后续将libtaos.so文件发送到待执行任务的服务器节点上去。参见图3，进一步的，在步骤B1中，对TDengine客户端进行升级后，形成升级后的libtaos.so文件；
在步骤B2中，复制升级后形成的libtaos.so文件；
在步骤B3中，将升级后形成的libtaos.so文件发送到集群的预设存储路径中，并覆盖集群的预设存储路径中已经存在的libtaos.so文件。
通过spark--files方法将libtaos.so分发到集群的预设存储路径。
进一步的，在步骤A3中，通过Java反射机制更改服务器节点的环境变量。
通过反射机制更改服务器节点的环境变量，加载TDengine的JDBC Driver，连接TDengine Server。
进一步的，在步骤A2中，通过Spark引擎将libtaos.so文件发送到为待执行任务分配的服务器节点上。
具体的，通过Spark--files方法将libtaos.so分发到为待执行任务分配的服务器节点上。
参见图4，本发明还提供一种免安装客户端的连接TDengine的系统，应用前述的一种免安装客户端的连接TDengine的系统，包括：
节点获取模块1，用于获取集群中为待执行任务分配的服务器节点；
文件分发模块2，连接节点获取模块1，用于将预先存储在集群的预设存储路径中的一libtaos.so文件发送到为待执行任务分配的服务器节点中；
文件配置模块3，连接文件分发模块2，基于libtaos.so文件，更改服务器节点的环境变量，在服务器节点上的TDengine客户端的配置；
连接建立模块4，连接文件配置模块3，用于根据建立服务器节点与TDengine服务端的连接，以执行待执行任务。
进一步的，文件分发模块2用于将当前发送的libtaos.so文件覆盖服务器节点已经存在的libtaos.so文件。
进一步的，还包括：
复制模块5，用于复制在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端时生成的libtaos.so文件；
文件发送模块6，连接复制模块5，用于将复制的libtaos.so文件发送到集群的预设存储路径中。
进一步的，文件配置模块3，通过Java反射机制更改服务器节点的环境变量。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种免安装客户端的连接TDengine的方法，其特征在于，包括如下步骤：
步骤A1，获取集群中为待执行任务分配的服务器节点，所述集群由一组相互独立的、通过网络互联的服务器节点构成；
步骤A2，将预先存储在所述集群的预设存储路径中的一libtaos.so文件分别发送到为所述待执行任务分配的所述服务器节点上；
步骤A3，基于所述libtaos.so文件，更改所述服务器节点的环境变量，实现在所述服务器节点上的TDengine客户端的配置；
步骤A4，根据所述配置建立所述服务器节点与TDengine服务端的连接，以执行所述待执行任务。
2.如权利要求1所述的一种免安装客户端的连接TDengine的方法，其特征在于，在所述步骤A2中，将当前发送的所述libtaos.so文件覆盖所述服务器节点已经存在的所述libtaos.so文件。
3.如权利要求1所述的一种免安装客户端的连接TDengine的方法，其特征在于，在所述步骤A2中，通过如下步骤预先将libtaos.so文件存储在所述集群的预设存储路径：
步骤B1，在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端，于安装过程中生成所述libtaos.so文件；
步骤B2，复制所述libtaos.so文件；
步骤B3，将复制的所述libtaos.so文件发送到所述集群的预设存储路径中。
4.如权利要求3所述的一种免安装客户端的连接TDengine的方法，其特征在于：
在所述步骤B1中，对TDengine客户端进行升级后，形成升级后的所述libtaos.so文件；
在所述步骤B2中，复制升级后形成的所述libtaos.so文件；
在所述步骤B3中，将升级后形成的所述libtaos.so文件发送到所述集群的所述预设存储路径中，并覆盖所述集群的所述预设存储路径中已经存在的所述libtaos.so文件。
5.如权利要求1所述的一种免安装客户端的连接TDengine的方法，其特征在于，在所述步骤A3中，通过Java反射机制更改所述服务器节点的所述环境变量。
6.如权利要求1所述的一种免安装客户端的连接TDengine的方法，其特征在于，在所述步骤A2中，通过Spark引擎将所述libtaos.so文件发送到为所述待执行任务分配的所述服务器节点上。
7.一种免安装客户端的连接TDengine的系统，其特征在于，应用如权利要求1-6任意一项所述的一种免安装客户端的连接TDengine的系统，包括：
节点获取模块，用于获取集群中为待执行任务分配的服务器节点；
文件分发模块，连接所述节点获取模块，用于将预先存储在所述集群的预设存储路径中的一libtaos.so文件发送到为所述待执行任务分配的所述服务器节点中；
文件配置模块，连接所述文件分发模块，基于所述libtaos.so文件，更改所述服务器节点的环境变量，在所述服务器节点上的TDengine客户端的配置；
连接建立模块，连接所述文件配置模块，用于根据建立所述服务器节点与TDengine服务端的连接，以执行所述待执行任务。
8.如权利要求7所述的一种免安装客户端的连接TDengine的系统，其特征在于，所述文件分发模块用于将当前发送的所述libtaos.so文件覆盖所述服务器节点已经存在的所述libtaos.so文件。
9.如权利要求7所述的一种免安装客户端的连接TDengine的系统，其特征在于，还包括：
复制模块，用于复制在测试机或者虚拟机中安装与TDengine服务端对应版本的TDengine客户端时生成的所述libtaos.so文件；
文件发送模块，连接所述复制模块，用于将复制的所述libtaos.so文件发送到所述集群的预设存储路径中。
10.如权利要求7所述的一种免安装客户端的连接TDengine的系统，其特征在于，所述文件配置模块，通过Java反射机制更改所述服务器节点的环境变量。
CN202210264414.XA 2022-03-17 2022-03-17 一种免安装客户端的连接TDengine的方法和系统 Pending CN114785767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210264414.XA CN114785767A (zh) 2022-03-17 2022-03-17 一种免安装客户端的连接TDengine的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210264414.XA CN114785767A (zh) 2022-03-17 2022-03-17 一种免安装客户端的连接TDengine的方法和系统

Publications (1)

Publication Number Publication Date
CN114785767A true CN114785767A (zh) 2022-07-22

Family

ID=82425348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210264414.XA Pending CN114785767A (zh) 2022-03-17 2022-03-17 一种免安装客户端的连接TDengine的方法和系统

Country Status (1)

Country Link
CN (1) CN114785767A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171390B1 (en) * 1999-12-31 2007-01-30 Soft-On-Net, Inc. System and method for executing a rental software program in distributed computing environment
CN103488765A (zh) * 2013-09-28 2014-01-01 雷虹 一种代理数据库的访问驱动及其数据访问方法
CN107562391A (zh) * 2017-08-08 2018-01-09 北京北信源软件股份有限公司 一种打印方法及装置
CN108600029A (zh) * 2018-05-09 2018-09-28 深圳壹账通智能科技有限公司 一种配置文件更新方法、装置、终端设备及存储介质
CN109299172A (zh) * 2018-08-27 2019-02-01 北京神州泰岳软件股份有限公司 一种基于Spring Boot在不同环境的数据源接入方法和装置
CN111786810A (zh) * 2020-05-19 2020-10-16 中国科学院信息工程研究所 一种大规模测试床节点的自动化部署方法及系统
CN112631614A (zh) * 2020-12-30 2021-04-09 平安证券股份有限公司 应用部署方法、装置、计算机设备和存储介质
WO2021212757A1 (zh) * 2020-04-23 2021-10-28 平安科技（深圳）有限公司 集群的升级维护方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171390B1 (en) * 1999-12-31 2007-01-30 Soft-On-Net, Inc. System and method for executing a rental software program in distributed computing environment
CN103488765A (zh) * 2013-09-28 2014-01-01 雷虹 一种代理数据库的访问驱动及其数据访问方法
CN107562391A (zh) * 2017-08-08 2018-01-09 北京北信源软件股份有限公司 一种打印方法及装置
CN108600029A (zh) * 2018-05-09 2018-09-28 深圳壹账通智能科技有限公司 一种配置文件更新方法、装置、终端设备及存储介质
CN109299172A (zh) * 2018-08-27 2019-02-01 北京神州泰岳软件股份有限公司 一种基于Spring Boot在不同环境的数据源接入方法和装置
WO2021212757A1 (zh) * 2020-04-23 2021-10-28 平安科技（深圳）有限公司 集群的升级维护方法、装置、电子设备及存储介质
CN111786810A (zh) * 2020-05-19 2020-10-16 中国科学院信息工程研究所 一种大规模测试床节点的自动化部署方法及系统
CN112631614A (zh) * 2020-12-30 2021-04-09 平安证券股份有限公司 应用部署方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
登月归来: "如何安装Oracle客户端，不需要安装即可使用", pages 1 - 4, Retrieved from the Internet <URL:https://jingyan.baidu.com/article/19020a0a0a347f529d284216.html> *
邓新跃;: "不安装Oracle客户端连接Oracle服务器", 涟钢科技与管理, no. 06, 30 December 2015 (2015-12-30) *

Similar Documents

Publication Publication Date Title
CN109947773B (zh) 在多租户数据库系统中部署对键模式的改变
US7797670B2 (en) Mirrored file system
CN110019215B (zh) 多重租赁数据库系统中的键模式管理
CN110147369B (zh) 多重租赁数据库系统中的数据分离和写入重新定向
JP4159394B2 (ja) ネットワーク化された資源間でソースファイルを複製する方法及び記録媒体
US5832511A (en) Workgroup network manager for controlling the operation of workstations within the computer network
US7904595B2 (en) Globalization management system and method therefor
US20110066649A1 (en) Double map reduce distributed computing framework
US7962646B2 (en) Continuous feedback-controlled deployment of message transforms in a distributed messaging system
US8560938B2 (en) Multi-layer XML customization
US20090205013A1 (en) Customization restrictions for multi-layer XML customization
US20090204629A1 (en) Caching and memory optimizations for multi-layer xml customization
US6915452B2 (en) Method, system and program products for operationally migrating a cluster through emulation
US6775671B1 (en) Component-based adaptation system and method
CN112199334B (zh) 基于消息队列的数据流处理检查点文件存储的方法及装置
JPH08179980A (ja) 分散データベースシステム
US9258187B2 (en) System and method for optimizing and digitally correcting errors on a computer system
CN112445519A (zh) 文件变更控制方法、装置、设备及存储介质
CN114785767A (zh) 一种免安装客户端的连接TDengine的方法和系统
US10621163B2 (en) Tracking and reusing function results
CN114564404A (zh) 一种用于对第三方系统进行联调仿真的系统和方法
CN114020446A (zh) 一种跨多引擎的路由处理方法、装置、设备及存储介质
US10140155B2 (en) Dynamically provisioning, managing, and executing tasks
US20210182042A1 (en) Unified Installer
Installation Administration Guide

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination