CN112883095A - 多源异构数据汇聚的方法、系统、设备以及存储介质 - Google Patents
多源异构数据汇聚的方法、系统、设备以及存储介质 Download PDFInfo
- Publication number
- CN112883095A CN112883095A CN202110231296.8A CN202110231296A CN112883095A CN 112883095 A CN112883095 A CN 112883095A CN 202110231296 A CN202110231296 A CN 202110231296A CN 112883095 A CN112883095 A CN 112883095A
- Authority
- CN
- China
- Prior art keywords
- data
- source
- interface
- message
- source heterogeneous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种多源异构数据汇聚的方法、系统、设备以及存储介质,属于大数据技术领域。该方法通过分析数据源的属性，并据此对数据源进行分类，然后根据分类情况分别进行任务采集，采集的数据按预设的数组格式封装成消息对象，然后发送至消息列表并最终存入原始库，从而实现多源异构数据精确汇聚的问题。与现有技术相比，本发明能够解决不同来源、不同格式的数据精确汇聚的问题，从而为高性能访问服务和检索提供可能，提高数据实时利用率程度。
Description
技术领域
本发明属于大数据技术领域，尤其是一种多源异构数据汇聚的方法、系统、设备以及存储介质。
背景技术
随着科技的不断发展，全球数据总量出现了爆炸式的增长，社会、互联网、相关部门等数据呈现出多样化特征，数据类型、结构、标准日渐复杂，给数据的汇聚带来了新的挑战。
目前，数据汇聚多是针对单一数据源或单一形式的数据。而面对多元化的数据汇聚，现有技术则采用统一的方式将不同数据源的数据无差别的汇聚到大数据平台，这种方式未考虑数据的来源和格式，无法提供高性能的访问服务和检索能力，数据实时利用率程度不高。
综上可知，现有数据汇聚方式未能有效考虑数据的来源和格式，无法满足多源异构数据精准汇聚的问题，难以提供高性能的访问服务和检索能力。
发明内容
本发明提供了一种多源异构数据汇聚的方法、系统、设备以及存储介质，通过分析数据源的属性，并据此对数据源进行分类，然后根据分类情况分别进行任务采集，采集的数据按预设的数组格式封装成消息对象，然后发送至消息列表并最终存入原始库，从而实现多源异构数据精确汇聚的问题。
为实现上述目的，本发明采用以下技术方案：
第一方面，本发明实施例提供一种多源异构数据汇聚的方法，包括：
获取数据源的信息属性，包括：数据来源和数据接口；
根据数据接口的类型对数据源分类；
根据数据源的分类分别下发采集任务进行数据采集；
按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列；
获取消息队列中的消息对象，存入原始库。
在进一步的实施例中，所述数据接口至少包括数据库接口、FTP接口以及WebService接口中的一个。
在进一步的实施例中，所述数据源分类和数据采集的过程进一步为：
对数据源数据接口类型的判别，将提供相同数据接口的数据源进行统一归类，合并为一个数据集，并分别对归类的数据集进行编号；
根据归类的数据集，分别在对应的数据库中读取相关联的采集任务，然后下发给对应的数据采集工具；
数据采集工具在接收到采集任务后，根据任务采集的开始时间，开始执行数据采集操作。
在进一步的实施例中，所述数据采集工具采用Sqoop采集工具、Apache Flume采集工具。
在进一步的实施例中，所述消息队列采用主链路和备用链路同时接收数据；
当主链路正常时，主链路和备用链路同时接收数据，主链路数据进入消息队列，备链路数据缓存设定时间的数据，并不断被刷新；
当主链路出现故障断开时，备用链路改变服务序号，原备用链路切换为主链路进行工作，并将缓存的数据存入消息队列，原主链路自动切换为备用链路。
在进一步的实施例中，所述消息队列对接收到的数据进行确认，所述确认过程为：
将接收到的数据与源数据进行字段对比，判断接收的数据与源数据是否一致；如果不一致就停止接收该数据，并舍弃暂时存放的数据，重新对该数据进行分析、采集；如果接收的数据和源数据保持一致，对源数据进行数据字段的值的抽取，将结果进行重新封装。
在进一步的实施例中，判断所述接收的数据与源数据是否一致的过程进一步为：
分别将接收的数据和源数据按字符位数平均分为X个第一数据段和第二数据段；
分别将接收的数据和源数据按字符位数平均分为Y个第三数据段和第四数据段；
提取第一数据段和第三数据段的数值相乘形成X行Y列的第一矩阵
；
提取第二数据段和第四数据段的数值相乘形成X行Y列的第二矩阵
；
对位比较第一矩阵和第二矩阵，判断第一矩阵和第二矩阵是否完全一致；如果一
致，即
，则判断接收的数据和源数据一致；否则，判断接收的数据和源数
据不一致。
第二方面，本发明实施例提供一种多源异构数据汇聚的系统，包括：
第一模块，用于获取数据源的信息属性，包括：数据来源和数据接口；
第二模块，用于根据数据接口的类型对数据源分类；
第三模块，用于根据数据源的分类分别下发采集任务进行数据采集；
第四模块，用于按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列；
第五模块，用于获取消息队列中的消息对象，存入原始库。
第三方面，本发明实施例提供一种多源异构数据汇聚的设备，包括：
处理器以及存储有计算机程序的存储器；
所述处理器读取并执行所述计算机程序以实现本发明实施例第一方面提供的所述的多源异构数据汇聚的方法。
第四方面，本发明实施例提供一种用于多源异构数据汇聚的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述的多源异构数据汇聚的方法。
有益效果：本发明实施例提供的多源异构数据汇聚的方法、系统、设备以及存储介质能够解决不同来源、不同格式的数据精确汇聚的问题，从而为高性能访问服务和检索提供可能，提高数据实时利用率程度。
附图说明
图1是本发明的多源异构数据汇聚的方法的流程图。
图2是本发明的数据源分类和数据采集的流程图。
图3是本发明的多源异构数据汇聚的系统的结构示意图。
图4是本发明的多源异构数据汇聚的设备的结构示意图。
图5是本发明的存储器采用分布式文件存储系统的结构框图。
图1至图5中的各处标记分别为：第一模块10、第二模块20、第三模块30、第四模块40、第五模块50、处理器100、存储器200、输入装置300、输出装置400。
具体实施方式
下面将结合附图和实施例，对本发明技术方案进行清楚、完整的描述。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，数据汇聚通常采用统一的方式将不同的数据源的数据无差别的汇聚到大数据平台，这种方式未考虑数据的来源和格式，因此无法对多源异构数据进行精确汇聚。进而大数据平台无法为用户提供高性能的访问服务和检索能力，导致数据实时利用率程度不高。本申请通过以下实施例提供一种多源异构数据汇聚的方法、系统、设备以及存储介质来解决不同来源、不同格式的数据精确汇聚的问题，从而为高性能访问服务和检索提供可能，提高数据实时利用率程度。
实施例一
图1是本发明实施例一提供的多源异构数据汇聚的方法的流程图。本实施例适用于不同来源和格式的数据之间互联互通的复杂性。同时，该方法可以由多源异构数据汇聚的系统来执行，该系统可以由软件和/或硬件来予以实现，并一般集成于计算机设备中。
如图1所示，本发明实施例中提供的多源异构数据汇聚的方法包括以下步骤：
S01，获取数据源的信息属性，包括：数据来源和数据接口。根据需要汇聚的数据信息，判断数据的来源和数据接口。其中，对于不同数据提供方提供的数据，可以判断出数据的来源。数据来源可能包括：社会数据、互联网数据以及相关部门数据等。对于不同来源数据进一步分析数据接口类型，源数据保存在数据提供方的数据库中，则提供数据库访问接口；源数据为Internet上的文件数据，则提供FTP（File Transfer Protocol，文件传输协议）接口；源数据保存在大型分布式系统中，则提供WebService接口。在一个可能的实施例中，根据数据提供方的信息，可以判断出数据的来源，进一步的分析出数据接口类型。例如，数据提供方为互联网，需要从互联网上获取文件数据，可以判断出数据源为互联网数据，进一步根据数据为互联网上的文件数据，可以得到数据源提供的数据接口为FTP类型接口。
S02，根据数据接口的类型对数据源分类。结合图2，根据对数据源数据接口类型的分析，不同数据源可能提供不同的数据接口，包括数据库接口、FTP接口以及WebService接口等，将提供相同数据接口的数据源进行统一归类，合并为一个数据集，并对各数据集加以编号。例如提供数据库接口数据集编号为1，FTP接口数据集编号为2，WebService接口数据集编号3。进一步地，根据不同数据接口提供不同的配置信息，如数据集编号、端口号、地址等。
S03，根据数据源的分类分别下发采集任务进行数据采集。通过对数据源的数据接口类型机械能判别，对不同接口的数据集，分别在数据库中读取相关联的采集任务，下发对应的数据采集工具。数据采集工具在接收到采集任务后，根据任务的采集开始时间，开始执行数据采集操作。其中，对于提供同一接口的数据集可以包含多个采集任务，多个采集任务可以并发执行，同一个采集任务只能访问一种数据接口。采集工具可以采用批量采集工具或者其他一些ETL工具，例如Sqoop批量采集工具、Apache Flume等，同一采集任务也可以采用不同采集工具来实现。进一步地，对于数据库接口相关联的采集任务，可以执行SQL的Select语句获取数据，也可以通过JDBC接口直接获取数据；对于FTP接口相关联的采集任务，执行FTP下载数据；对于WebService接口相关联的采集任务，获取数据源的IP地址，与该地址进行连接，提供采集请求，获取返回数据。举例说明：当源数据存放在MySQL关系型数据库中，提供数据库接口。采用Sqoop批量采集工具进行数据采集。Sqoop批量采集工具在接收到数据源信息，生成Map Reduce任务提交给Hadoop集群，Hadoop集群执行任务获取数据。在计算机中，数据采集的部分代码如下：
sqoop-import\--connect jdbc:mysql://hadoop01:3306/Company\--drivercom.mysql.jdbc.Driver\--table shop\--username root\--password ok\--target-dir/data/work/sqoop \--m3。该行代码用来将MySQL数据库中的表导入到HDFS中的指定目录下。
S04，按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列。数据在经过采集任务解析后，将数据统一封装成数组格式的消息对象：将数据按数据字段的顺序放入数组中，如第一位存放数据集编号，第二位存放时间戳，第三位存放数据编码等，其中一个数组存放一条数据。数据封装完成后，通过网络链路发送至消息队列。为确保接入数据的高可靠性，采用主链路与备用链路同时接收数据的方法。当主链路正常时，主链路和备用链路同时接收数据，主链路数据进入消息队列，备链路数据缓存设定时间的数据，并不断被刷新。当主链路出现故障断开时，备用链路改变服务序号，原备用链路切换为主链路进行工作，并将缓存的数据存入消息队列，原主链路自动切换为备用链路。
S05，获取消息队列中的消息对象，存入原始库。当监听程序监听到消息队列中消息信息时，立即向系统汇报该消息，同时获得该消息。系统接收到监听程序发送过来的信息，立即从消息队列中获取数据，进行暂时存储，等待确认过程。消息队列对接收到的数据进行确认：将接收到的数据与源数据进行字段对比，判断接收的数据与源数据是否一致；如果不一致就停止接收该数据，并舍弃暂时存放的数据，重新对该数据进行分析、采集；如果接收的数据和源数据保持一致，对源数据进行数据字段的值的抽取，定义相应的字段，将数据按字段值进行重新封装，并存入原始库中。因此，判断接收的数据与源数据是否一致成为数据确认的关键。具体包括验证接收到数据的每一个字段，判断是否符合消息对象中数组的格式；以及验证接收到数据的第一个字段，判断数据来源的数据集，再将接收到的数据与数据集中源数据进行字段对比，验证时间戳、数据编码等各字段是否与源数据一致。
现有技术中，通常采用一一对比判断的方式来判别两组数据是否完全一致。即：判断的次数与数据的字符位数成正比，这会导致数据处理大量的判断，降低数据的处理效率。而为了解决这一问题，在一个优选的方案中，判断所述接收的数据与源数据是否一致的过程进一步为：
分别将接收的数据和源数据按字符位数平均分为X个第一数据段和第二数据段；
分别将接收的数据和源数据按字符位数平均分为Y个第三数据段和第四数据段；
提取第一数据段和第三数据段的数值相乘形成X行Y列的第一矩阵
；
提取第二数据段和第四数据段的数值相乘形成X行Y列的第二矩阵
；
对位比较第一矩阵和第二矩阵，判断第一矩阵和第二矩阵是否完全一致；如果一
致，即
，则判断接收的数据和源数据一致；否则，判断接收的数据和源数
据不一致。采用此种方式来判断所述接收的数据与源数据是否一致只需经过依次判断即可
判断接收的数据和源数据是否一致，大大提升了数据的处理效率。
实施例二
图3是本发明实施例二提供的多源异构数据汇聚的系统的结构示意图。如图3所示，本实施例中所提供的多源异构数据汇聚的系统包括第一模块10、第二模块20、第三模块30、第四模块40以及第五模块50。
具体的，第一模块用于获取数据源的信息属性，包括：数据来源和数据接口。第二模块用于根据数据接口的类型对数据源分类。第三模块，用于根据数据源的分类分别下发采集任务进行数据采集。第四模块用于按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列。第五模块，用于获取消息队列中的消息对象，存入原始库。
本实施例中提供的多源异构数据汇聚的系统可执行本发明任意实施例所提供的多源异构数据汇聚的方法，并具备该方法的有益效果。
实施例三
图4是本发明实施例三提供的多源异构数据汇聚的设备的结构示意图。如图4所示，本发明实施例中提供的多源异构数据汇聚的设备包括处理器100、存储器200、输入装置300以及输出装置400。
具体的，处理器100、存储器200、输入装置300以及输出装置400可以通过总线连接的方式进行连接。其中存储器作为一种计算机可读存储介质，可以用于存储软件程序、计算机可执行程序以及模块。其中存储器200采用分布式存储方式，并利用主备副本策略来保证数据的安全性和可靠性。同时，在存储系统之上提供分布式的实时数据库，用来提供高并发、低延时的检索能力，对外提供高性能的访问服务。
在一个可能的实施例中，存储器200中的数据采用Hadoop分布式文件存储系统HDFS进行数据存储，采用主备副本策略来保证数据的安全性和可靠性。如图5所示，在存储系统之上提供分布式NOSQL实时数据库Hyperbase，通过资源管理器YARN来调度和管理，用来提供高并发、低延时的检索能力；通过多种索引支持海量数据多维度的毫秒级检索查询，为海量数据存储和使用提供高性能支持。
处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，进而实现上述多源异构数据汇聚的方法。该方法包括：
获取数据源的信息属性，包括：数据来源和数据接口；
根据数据接口的类型对数据源分类；
根据数据源的分类分别下发采集任务进行数据采集；
按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列；
获取消息队列中的消息对象，存入原始库。
实施例四
本发明实施例四还提供一种用于多源异构数据汇聚的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例第一方面提供的所述的多源异构数据汇聚的方法。该方法包括：
获取数据源的信息属性，包括：数据来源和数据接口；
根据数据接口的类型对数据源分类；
根据数据源的分类分别下发采集任务进行数据采集；
按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列；
获取消息队列中的消息对象，存入原始库。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种多源异构数据汇聚的方法，其特征在于，包括：
获取数据源的信息属性，包括：数据来源和数据接口；
根据数据接口的类型对数据源分类；
根据数据源的分类分别下发采集任务进行数据采集；
按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列；
获取消息队列中的消息对象，存入原始库。
2.根据权利要求1所述的多源异构数据汇聚的方法，其特征在于，所述数据接口至少包括数据库接口、FTP接口以及WebService接口中的一个。
3.根据权利要求1所述的多源异构数据汇聚的方法，其特征在于，所述数据源分类和数据采集的过程进一步为：
对数据源数据接口类型的判别，将提供相同数据接口的数据源进行统一归类，合并为一个数据集，并分别对归类的数据集进行编号；
根据归类的数据集，分别在对应的数据库中读取相关联的采集任务，然后下发给对应的数据采集工具；
数据采集工具在接收到采集任务后，根据任务采集的开始时间，开始执行数据采集操作。
4.根据权利要求3所述的多源异构数据汇聚的方法，其特征在于，所述数据采集工具采用Sqoop采集工具、Apache Flume采集工具。
5.根据权利要求1所述的多源异构数据汇聚的方法，其特征在于，所述消息队列采用主链路和备用链路同时接收数据；
当主链路正常时，主链路和备用链路同时接收数据，主链路数据进入消息队列，备链路数据缓存设定时间的数据，并不断被刷新；
当主链路出现故障断开时，备用链路改变服务序号，原备用链路切换为主链路进行工作，并将缓存的数据存入消息队列，原主链路自动切换为备用链路。
6.根据权利要求1所述的多源异构数据汇聚的方法，其特征在于，所述消息队列对接收到的数据进行确认，所述确认过程为：
将接收到的数据与源数据进行字段对比，判断接收的数据与源数据是否一致；如果不一致就停止接收该数据，并舍弃暂时存放的数据，重新对该数据进行分析、采集；如果接收的数据和源数据保持一致，对源数据进行数据字段的值的抽取，将结果进行重新封装。
7.根据权利要求6所述的多源异构数据汇聚的方法，其特征在于，判断所述接收的数据与源数据是否一致的过程进一步为：
分别将接收的数据和源数据按字符位数平均分为X个第一数据段和第二数据段；
分别将接收的数据和源数据按字符位数平均分为Y个第三数据段和第四数据段；
提取第一数据段和第三数据段的数值相乘形成X行Y列的第一矩阵
；
提取第二数据段和第四数据段的数值相乘形成X行Y列的第二矩阵
；
对位比较第一矩阵和第二矩阵，判断第一矩阵和第二矩阵是否完全一致；如果一致，即
，则判断接收的数据和源数据一致；否则，判断接收的数据和源数据不一
致。
8.一种多源异构数据汇聚的系统，其特征在于，包括：
第一模块，用于获取数据源的信息属性，包括：数据来源和数据接口；
第二模块，用于根据数据接口的类型对数据源分类；
第三模块，用于根据数据源的分类分别下发采集任务进行数据采集；
第四模块，用于按预设的数组格式将采集到的数据封装成消息对象，然后发送至消息队列；
第五模块，用于获取消息队列中的消息对象，存入原始库。
9.一种多源异构数据汇聚的设备，其特征在于，包括：
处理器以及存储有计算机程序的存储器；
所述处理器读取并执行所述计算机程序以实现如权利要求1-7任意一项所述的多源异构数据汇聚的方法。
10.一种用于多源异构数据汇聚的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的多源异构数据汇聚的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110231296.8A CN112883095A (zh) | 2021-03-02 | 2021-03-02 | 多源异构数据汇聚的方法、系统、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110231296.8A CN112883095A (zh) | 2021-03-02 | 2021-03-02 | 多源异构数据汇聚的方法、系统、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883095A true CN112883095A (zh) | 2021-06-01 |
Family
ID=76055218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110231296.8A Withdrawn CN112883095A (zh) | 2021-03-02 | 2021-03-02 | 多源异构数据汇聚的方法、系统、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883095A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590626A (zh) * | 2021-08-03 | 2021-11-02 | 中铁工程装备集团有限公司 | 隧道掘进装备多源异构数据采集系统及方法 |
| CN113656445A (zh) * | 2021-08-26 | 2021-11-16 | 五八同城信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114070787A (zh) * | 2021-11-15 | 2022-02-18 | 南京航空航天大学 | 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备 |
| CN115633090A (zh) * | 2022-10-21 | 2023-01-20 | 北京中电飞华通信有限公司 | 一种基于eSIM卡和5G网络的多源数据链接方法 |
| CN116244359A (zh) * | 2022-11-23 | 2023-06-09 | 北京瑞风协同科技股份有限公司 | 一种试验数据汇聚装置、方法及设备 |
| CN117041123A (zh) * | 2023-10-08 | 2023-11-10 | 广东保伦电子股份有限公司 | 一种双任务并发广播监听方法 |
| CN117061584A (zh) * | 2023-10-09 | 2023-11-14 | 广东保伦电子股份有限公司 | 一种基于双通道链路的音频传输方法 |
| CN117112039A (zh) * | 2023-08-24 | 2023-11-24 | 中邮通建设咨询有限公司 | 一种数据中心的传输优化系统及运行方法 |
| CN117135408A (zh) * | 2023-10-23 | 2023-11-28 | 广东保伦电子股份有限公司 | 一种云桌面的视频传输方法 |
-
2021
- 2021-03-02 CN CN202110231296.8A patent/CN112883095A/zh not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590626A (zh) * | 2021-08-03 | 2021-11-02 | 中铁工程装备集团有限公司 | 隧道掘进装备多源异构数据采集系统及方法 |
| CN113656445A (zh) * | 2021-08-26 | 2021-11-16 | 五八同城信息技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN114070787A (zh) * | 2021-11-15 | 2022-02-18 | 南京航空航天大学 | 面向警务大数据的数据汇聚方法、装置、存储介质和电子设备 |
| CN115633090A (zh) * | 2022-10-21 | 2023-01-20 | 北京中电飞华通信有限公司 | 一种基于eSIM卡和5G网络的多源数据链接方法 |
| CN116244359A (zh) * | 2022-11-23 | 2023-06-09 | 北京瑞风协同科技股份有限公司 | 一种试验数据汇聚装置、方法及设备 |
| CN116244359B (zh) * | 2022-11-23 | 2023-09-29 | 北京瑞风协同科技股份有限公司 | 一种试验数据汇聚装置、方法及设备 |
| CN117112039A (zh) * | 2023-08-24 | 2023-11-24 | 中邮通建设咨询有限公司 | 一种数据中心的传输优化系统及运行方法 |
| CN117112039B (zh) * | 2023-08-24 | 2024-04-26 | 中邮通建设咨询有限公司 | 一种数据中心的传输优化系统及运行方法 |
| CN117041123A (zh) * | 2023-10-08 | 2023-11-10 | 广东保伦电子股份有限公司 | 一种双任务并发广播监听方法 |
| CN117041123B (zh) * | 2023-10-08 | 2024-02-09 | 广东保伦电子股份有限公司 | 一种双任务并发广播监听方法 |
| CN117061584B (zh) * | 2023-10-09 | 2024-02-09 | 广东保伦电子股份有限公司 | 一种基于双通道链路的音频传输方法 |
| CN117061584A (zh) * | 2023-10-09 | 2023-11-14 | 广东保伦电子股份有限公司 | 一种基于双通道链路的音频传输方法 |
| CN117135408A (zh) * | 2023-10-23 | 2023-11-28 | 广东保伦电子股份有限公司 | 一种云桌面的视频传输方法 |
| CN117135408B (zh) * | 2023-10-23 | 2024-02-09 | 广东保伦电子股份有限公司 | 一种云桌面的视频传输方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112883095A (zh) | 多源异构数据汇聚的方法、系统、设备以及存储介质 | |
| US11436224B2 (en) | Parallel processing database system with a shared metadata store | |
| Tao et al. | Minimal mapreduce algorithms | |
| CN105824868B (zh) | 一种分布式数据库数据处理方法和分布式数据库系统 | |
| CN109656963B (zh) | 元数据获取方法、装置、设备及计算机可读存储介质 | |
| WO2020087082A1 (en) | Trace and span sampling and analysis for instrumented software | |
| CN108228743A (zh) | 一种实时大数据搜索引擎系统 | |
| CN111078781B (zh) | 一种多源流式大数据融合汇聚处理框架模型实现方法 | |
| CN111352950A (zh) | 数据库表等值连接的优化方法、装置、服务器及存储介质 | |
| CN106599190A (zh) | 基于云计算的动态Skyline查询方法 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN111125199B (zh) | 一种数据库访问方法、装置及电子设备 | |
| CN113901078A (zh) | 业务订单关联查询方法、装置、设备及存储介质 | |
| CN106599189A (zh) | 基于云计算的动态Skyline查询装置 | |
| WO2015196885A1 (zh) | 云计算系统的性能数据的采集与存储方法及装置 | |
| CN106919607B (zh) | 一种数据访问方法、装置及系统 | |
| CN113553341A (zh) | 多维数据分析方法、装置、设备及计算机可读存储介质 | |
| Ding et al. | Commapreduce: An improvement of mapreduce with lightweight communication mechanisms | |
| CN113568931A (zh) | 一种数据访问请求的路由解析系统及方法 | |
| CN108228654A (zh) | 一种大数据分布式存储方法和系统 | |
| CN111159213A (zh) | 一种数据查询方法、装置、系统和存储介质 | |
| CN112948531B (zh) | 海量轨迹查询方法、检索服务器及系统 | |
| CN114416489A (zh) | 系统运行状态的监控方法、装置、计算机设备及存储介质 | |
| CN110990430A (zh) | 一种大规模数据并行处理系统 | |
| CN107368477B (zh) | 基于HBase协处理器的类SQL查询的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210601 |
|
| WW01 | Invention patent application withdrawn after publication |