CN114925087A - 数据获取方法、装置、计算机设备和存储介质 - Google Patents
数据获取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114925087A CN114925087A CN202210580992.4A CN202210580992A CN114925087A CN 114925087 A CN114925087 A CN 114925087A CN 202210580992 A CN202210580992 A CN 202210580992A CN 114925087 A CN114925087 A CN 114925087A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- preset
- position data
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011068 loading method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及一种数据获取方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：数据获取方法、装置、计算机设备、存储介质和计算机程序产品，该方法包括：响应于实时消息的接收操作，通过计算节点，提取实时消息中所携带的目标对象的第一位置数据，并确定第一位置数据对应的目标位置数据；在预设广播流数据中，提取目标位置数据对应的目标流式数据。预设广播流数据是从预设数据库中读取并进行转换后得到的数据。通过采用本方法，本发明可以及时响应实时消息，并根据实时消息中的位置坐标数据，快速地在预设数据库中提取准确的流式数据数据，提取的效率较高。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种数据获取方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着科技的发展，出现了一种大数据计算引擎Flink(数据读取组件)，可以被用于处理流式数据，例如获取流式数据。通过Flink的异步处理(异步IO)流程，可以使得流任务通过异步IO来请求外部系统。但是，对于异步IO来说，如果获取一条数据就查询一次外部系统，则在数据量比较大的情况下，外部系统的查询性能会出现限制。
传统技术中，通常的优化方法可以是在本地设置内存缓存规则以及过期时间，在需要处理流任务的情况下，异步IO可以根据预先设置的过期时间判断内存缓存规则是否过期，如果内存缓存规则不过期的话，flink可以直接获取内存中的流式数据，但是，如果内存缓存规则过期，就需要重新查询内存缓存规则，导致数据的获取出现延迟。
发明内容
基于此，有必要针对上述技术问题，提供一种能够快速且准确获取数据的数据获取方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据获取方法。该数据获取方法应用于数据读取组件，所述数据读取组件包括至少一个计算节点，所述方法包括：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
在其中一个实施例中，所述实时消息是主流数据的形式；
所述确定所述第一位置数据对应的目标位置数据，包括：
根据预设的广播流数据与主流数据的对应关系，确定所述第一位置数据对应的目标位置数据。
在其中一个实施例中，所述数据获取方法还包括：
读取预设数据库中的目标数据，所述目标数据包括所述目标对象的第二位置数据；
对所述目标数据进行转换，得到所述预设广播流数据，
在其中一个实施例中，所述数据获取方法还包括：
对所述预设数据库进行监听，在监听到所述预设数据库存在新增数据情况下，将所述预设数据库中的新增数据添加至所述目标数据。
在其中一个实施例中，所述数据获取方法还包括：
通过预设的二进制传输方法，将所述预设广播流数据广播所述至少一个计算节点。
第二方面，本申请还提供了一种数据获取装置。应用于数据读取组件，所述数据读取组件包括至少一个计算节点，所述装置包括：
响应模块，用于响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
提取模块，用于在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
在其中一个实施例中，所述实时消息是主流数据的形式；
所述响应模块具体用于：根据预设的广播流数据与主流数据的对应关系，确定所述第一位置数据对应的目标位置数据。
在其中一个实施例中，所述数据获取装置还包括：
目标数据读取模块，用于读取预设数据库中的目标数据，所述目标数据包括所述目标对象的第二位置数据；
目标数据转换模块，用于对所述目标数据进行转换，得到所述预设广播流数据，
在其中一个实施例中，所述数据获取装置还包括：
预设数据库监听模块，用于对所述预设数据库进行监听，在监听到所述预设数据库存在新增数据情况下，将所述预设数据库中的新增数据添加至所述目标数据。
在其中一个实施例中，所述数据获取装置还包括：
广播模块，用于通过预设的二进制传输方法，将所述预设广播流数据广播所述至少一个计算节点。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
上述数据获取方法、装置、计算机设备、存储介质和计算机程序产品，该方法包括：响应于实时消息的接收操作，通过计算节点，提取实时消息中所携带的目标对象的第一位置数据，并确定第一位置数据对应的目标位置数据；在预设广播流数据中，提取目标位置数据对应的目标流式数据。预设广播流数据是从预设数据库中读取并进行转换后得到的数据。通过采用本方法，本发明可以及时响应实时消息，并根据实时消息中的位置坐标数据，快速地在预设数据库中提取准确的流式数据数据，提取的效率较高。
附图说明
图1为一个实施例中数据获取方法的流程示意图；
图2为一个实施例中得到预设广播流数据步骤的流程示意图；
图3为另一个实施例中数据获取方法的流程示意图；
图4为一个实施例中数据获取装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
处理流式数据的场景存在多种，例如实时的ETL(Extraction TransformationLoading，数据抽取、转换和加载)、检测报警等业务场景。而上述各种业务场景通常需要涉及到规则的更新。举例来说，如果解析规则以及报警规则进行更改后，处理流式数据的流任务可能实时感知到规则的更新，且应用新的规则继续处理，可以避免因为规则的更改而导致流任务重启造成的额外开销。
对于异步IO来说若对于每条数据查一次外部系统，当数据量比较大的时候，外部系统的查询性能会比较容易出现瓶颈，导致流处理能力达到上限。通常的优化方法是设置本地内存缓存规则，并设置过期时间，每次处理数据时判断规则是否过期，若过期则重新查询规则，这也导致了规则的获取可能有一定的延迟性，也就是说需要在数据量较大的情况下需要对处理性能和规则实时性作出一定的平衡，另外若任务运行在分布式架构上，同一算子可能在不同的机器或者容器中运行，则可能导致多个节点查询同一外部数据源的情况。
在一个实施例中，如图1所示，提供了一种数据获取方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现，上述终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，应用于数据读取组件，数据读取组件包括至少一个计算节点，该数据获取方法包括以下步骤：
步骤102，响应于实时消息的接收操作，通过计算节点，提取实时消息中所携带的目标对象的第一位置数据，并确定第一位置数据对应的目标位置数据。
在本实施例中，数据读取组件可以是flinkcdc(flink-cdc-connectors)，例如数据读取组件可以是source组件(消息来源组件)，该数据读取组件可以预设数据库内读取全量数据以及增量变更数据。预设数据库可以是mysql(结构化查询语言)数据库或者是postgresql数据库(关系型数据库)。实时消息可以是kafka消息(分布式发布订阅消息系统)，flinkcdc中可以包括多个计算节点。目标对象可以是车道，第一位置数据可以是车道的经纬度数据，也可以是车道在大地坐标系中的坐标位置数据等。
这样，数据读取组件在接收到实时消息后，可以通过计算节点，提取该实时消息中所携带的车道的第一经纬度数据，并根据预设的对应关系，确定第一经纬度数据对应的目标经纬度数据。
步骤104，在预设广播流数据中，提取目标位置数据对应的目标流式数据。
其中，预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
在本实施例中，数据读取组件可以从预设数据库中读取预设数据库内的全量数据以及增量变更数据，并将该全量数据以及增量变更数据进行转换，生成预设广播流数据。预设广播流数据中存储的数据是目标对象的位置数据以及该位置数据对应的目标信息。这样，数据读取组件可以在预设广播流数据中，提取目标位置数据对应的目标信息，即目标流式数据。
上述数据获取方法中，响应于实时消息的接收操作，通过计算节点，提取实时消息中所携带的目标对象的第一位置数据，并确定第一位置数据对应的目标位置数据；在预设广播流数据中，提取目标位置数据对应的目标流式数据。预设广播流数据是从预设数据库中读取并进行转换后得到的数据。通过采用本方法，本发明可以及时响应实时消息，并根据实时消息中的位置坐标数据，快速地在预设数据库中提取准确的流式数据数据，提取的效率较高。
在一个实施例中，实时消息是主流数据的形式。
相应地，步骤102“确定第一位置数据对应的目标位置数据”的具体处理过程，包括：根据预设的广播流数据与主流数据的对应关系，确定第一位置数据对应的目标位置数据。
具体地，预设的广播流数据与主流数据的对应关系可以是数据读取组件根据实际应用场景确定的。这样，数据读取组件可以根据实时确定的广播流数据与主流数据的对应关系，确定第一位置数据对应的目标位置数据。
在一个示例中，预设的广播流数据与主流数据的对应关系可以是广播流数据中的位置数据与主流数据中的位置数据一致，这样，在数据读取组件确定第一位置数据是a的情况下，数据读取组件可以确定第一位置数据a对应的目标位置数据是a。
在另一个示例中，预设的广播流数据与主流数据的对应关系可以是包含关系，这样，在数据读取组件确定第一位置数据是a的情况下，包含a的标识的位置数据是目标位置数据，例如，可以是xx-a。
本实施例中，通过数据读取组件在预设广播流数据中进行数据读取，可以获取动态的数据，保证数据获取的及时性与准确性。
在一个实施例中，如图2所示，该数据获取方法还包括：
步骤202，读取预设数据库中的目标数据。
其中，目标数据包括目标对象的第二位置数据。
具体地，预设数据库可以是mysql(结构化查询语言)数据库或者是postgresql数据库(关系型数据库)，目标对象可以是供车辆进行行驶的车道。在数据读取组件启动的情况下，数据读取组件可以读取预设数据库内存在的全量数据作为目标数据，该目标数据所包含的实际数据是各车道的位置数据(第二位置数据，例如车道的经纬度信息等)以及该车道的目标信息，目标信息例如可以是车道的名称信息、允许车道通过的最大承重信息等等。
步骤204，对目标数据进行转换，得到预设广播流数据，
具体地，数据读取组件可以通过数据转换算法将目标数据转换为预设广播流数据。转换的具体过程可以包括：数据读取组件可以将读取到的预设数据库中的数据转换为动态配置流数据，该动态配置流数据是可以实时新增和实时变化的，这样，数据读取组件可以根据该动态配置流数据以及预设的二进制传输算法，得到预设广播流数据。
本实施例中，通过数据读取组件生成预设广播流数据，以使在后续处理过程中可以在预设广播流数据中进行数据读取，可以获取动态的数据，保证数据获取的及时性与准确性。
在一个实施例中，该数据获取方法还包括：
对预设数据库进行监听，在监听到预设数据库存在新增数据情况下，将预设数据库中的新增数据添加至目标数据。
具体地，数据读取组件可以通过检测预设数据库的日志文件的变化情况，实现对预设数据库的监听，并确定预设数据库内是否存在有新增数据等。在数据读取组件监听到预设数据库内存在新增数据后，数据读取组件可以将新增的目标数据动态添加至目标数据。由于动态配置流数据是可以实时新增和实时变化的，这样，数据读取组件可以根据新增数据后目标数据，生成新增数据对应的预设广播流数据。
在本实施例中，由于动态配置流数据的动态新增和变化的功能，可以实现动态感知预设数据库的变化，并对预设广播流数据进行实时更新，实现数据获取的准确性。
在一个实施例中，该数据获取方法还包括：
通过预设的二进制传输方法，将所述预设广播流数据广播所述至少一个计算节点。
具体地，预设的二进制传输方法可以是进行二进制计算并将数据进行传输的算法，例如可以是socket数据通信算法；数据读取组件可以将预设广播流数据传输至数据读取组件中的每一个计算节点(task)。这样，计算节点可以将kafka消息对应的主流数据与动态配置流数据进行融合，得到融合后的流数据。
如图3所示，以下可以结合一个具体实现方式详细描述上述数据获取方法的实现过程：
在一个示例中，数据读取组件可以对预设数据库的日志文件进行监听，在数据读取组件启动的情况下，可以读取预设数据库中所存储的数据表中的全量数据，并将读取到的全量数据存储至预设内存位置。
数据读取组件可以根据预设数据库日志文件(mysql数据库的日志文件)，确定是否已经读取到预设数据库的全部数据。在数据读取组件确定已经读取到预设数据库的全量数据的情况下，可以通过对预设数据库的日志文件的变化情况，确定预设数据库内是否存在有新增数据等。
数据读取组件可以将读取到的预设数据库中的数据转换为动态配置流数据，该动态配置流数据可以实时新增或者变化。这样，数据读取组件可以开始监听实时消息(kafka消息)，实时消息可以是主流形式的数据，这样，数据读取组件可以将主流形式的数据与动态配置流数据进行连接。
数据读取组件可以将动态配置流数据转换为预设广播流数据，且可以将生成的预设广播流数据广播至数据读取组件中所包含的每一个计算节点(tsak)。
这样，数据读取组件可以使主流形式的数据，动态地从预设广播流数据中获取所需要的数据(如配置数据等)，继而根据配置数据进行后续处理。由于车道的配置信息均在预设广播流数据中进行存储，因此，可以通过预设的算子获取预设广播流数据。
数据读取组件(flinkcdc)监控的数据有新增情况的话，新增数据可以是是新增车道的位置数据以及车道的目标信息，这样，通过上述实施例所述的方法，可以将新增车道的数据转换预设广播流数据，并传输至每一个计算节点中，实现实时感知数据的经纬度的变化，通过车的经纬度获取车道的信息，然后获取动态的车道信息。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据获取方法的数据获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据获取装置实施例中的具体限定可以参见上文中对于数据获取方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种数据获取装置400，应用于数据读取组件，数据读取组件包括至少一个计算节点，该数据获取装置400包括：响应模块401以及提取模块402，其中：
响应模块401，用于响应于实时消息的接收操作，通过计算节点，提取实时消息中所携带的目标对象的第一位置数据，并确定第一位置数据对应的目标位置数据；
提取模块402，用于在预设广播流数据中，提取目标位置数据对应的目标流式数据。预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
在其中一个实施例中，所述实时消息是主流数据的形式；
所述响应模块具体用于：根据预设的广播流数据与主流数据的对应关系，确定所述第一位置数据对应的目标位置数据。
在其中一个实施例中，所述数据获取装置还包括：
目标数据读取模块，用于读取预设数据库中的目标数据，所述目标数据包括所述目标对象的第二位置数据；
目标数据转换模块，用于对所述目标数据进行转换，得到所述预设广播流数据，
在其中一个实施例中，所述数据获取装置还包括：
预设数据库监听模块，用于对所述预设数据库进行监听，在监听到所述预设数据库存在新增数据情况下，将所述预设数据库中的新增数据添加至所述目标数据。
在其中一个实施例中，所述数据获取装置还包括：
广播模块，用于通过预设的二进制传输方法，将所述预设广播流数据广播所述至少一个计算节点。
上述数据获取装置400中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标对象的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据获取方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现实现以下步骤：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现实现以下步骤：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据。所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据获取方法，其特征在于，应用于数据读取组件，所述数据读取组件包括至少一个计算节点，所述方法包括：
响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
在预设广播流数据中，提取所述目标位置数据对应的目标流式数据，所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
2.根据权利要求1所述的方法，其特征在于，所述实时消息是主流数据的形式；
所述确定所述第一位置数据对应的目标位置数据，包括：
根据预设的广播流数据与主流数据的对应关系，确定所述第一位置数据对应的目标位置数据。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
读取预设数据库中的目标数据，所述目标数据包括所述目标对象的第二位置数据；
对所述目标数据进行转换，得到所述预设广播流数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对所述预设数据库进行监听，在监听到所述预设数据库存在新增数据的情况下，将所述预设数据库中的新增数据添加至所述目标数据。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
通过预设的二进制传输方法，将所述预设广播流数据广播至所述至少一个计算节点。
6.一种数据获取装置，其特征在于，应用于数据读取组件，所述数据读取组件包括至少一个计算节点，所述装置包括：
响应模块，用于响应于实时消息的接收操作，通过所述计算节点，提取所述实时消息中所携带的目标对象的第一位置数据，并确定所述第一位置数据对应的目标位置数据；
提取模块，用于在预设广播流数据中，提取所述目标位置数据对应的目标流式数据，所述预设广播流数据是从预设数据库中读取并进行转换后得到的数据。
7.根据权利要求6所述的装置，其特征在于，所述实时消息是主流数据的形式；
所述响应模块具体用于：根据预设的广播流数据与主流数据的对应关系，确定所述第一位置数据对应的目标位置数据。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210580992.4A CN114925087A (zh) | 2022-05-26 | 2022-05-26 | 数据获取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210580992.4A CN114925087A (zh) | 2022-05-26 | 2022-05-26 | 数据获取方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114925087A true CN114925087A (zh) | 2022-08-19 |
Family
ID=82810638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210580992.4A Pending CN114925087A (zh) | 2022-05-26 | 2022-05-26 | 数据获取方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114925087A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003143588A (ja) * | 2001-11-02 | 2003-05-16 | Nec Software Kyushu Ltd | 動画配信センタ装置、動画配信システム、移動体端末並びに動画配信プログラム |
| CN112506870A (zh) * | 2020-12-18 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 数据仓库增量更新方法、装置及计算机设备 |
| CN112712690A (zh) * | 2019-10-24 | 2021-04-27 | 浙江大搜车软件技术有限公司 | 车辆电子围栏方法、装置、电子设备 |
| CN114255593A (zh) * | 2021-12-24 | 2022-03-29 | 瀚云科技有限公司 | 监控车流的方法、装置、和存储介质 |
-
2022
- 2022-05-26 CN CN202210580992.4A patent/CN114925087A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003143588A (ja) * | 2001-11-02 | 2003-05-16 | Nec Software Kyushu Ltd | 動画配信センタ装置、動画配信システム、移動体端末並びに動画配信プログラム |
| CN112712690A (zh) * | 2019-10-24 | 2021-04-27 | 浙江大搜车软件技术有限公司 | 车辆电子围栏方法、装置、电子设备 |
| CN112506870A (zh) * | 2020-12-18 | 2021-03-16 | 上海哔哩哔哩科技有限公司 | 数据仓库增量更新方法、装置及计算机设备 |
| CN114255593A (zh) * | 2021-12-24 | 2022-03-29 | 瀚云科技有限公司 | 监控车流的方法、装置、和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐霞婷: "动态路网监控与导航推荐系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10129118B1 (en) | Real time anomaly detection for data streams | |
| US10002170B2 (en) | Managing a table of a database | |
| JP2017538200A (ja) | 分散環境におけるサービスアドレッシング | |
| CN111352902A (zh) | 日志处理方法、装置、终端设备及存储介质 | |
| US10496645B1 (en) | System and method for analysis of a database proxy | |
| US20140095508A1 (en) | Efficient selection of queries matching a record using a cache | |
| EP2980701B1 (en) | Stream processing with context data affinity | |
| CN113918437B (zh) | 用户行为数据分析方法、装置、计算机设备和存储介质 | |
| CN113111078B (zh) | 资源数据处理方法、装置、计算机设备和存储介质 | |
| CN114153703A (zh) | 微服务的异常定位方法、装置、电子设备和程序产品 | |
| CN114089921A (zh) | 电力系统数据存储方法、装置、计算机设备和存储介质 | |
| CN116433388B (zh) | 数据存储资源划分方法、装置、电子设备和计算机介质 | |
| CN112988604B (zh) | 对象测试方法、测试系统、电子设备及可读存储介质 | |
| CN114925087A (zh) | 数据获取方法、装置、计算机设备和存储介质 | |
| CN114356713A (zh) | 线程池监控方法、装置、电子设备及存储介质 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN112799863A (zh) | 用于输出信息的方法和装置 | |
| CN113987322A (zh) | 指标数据查询方法、装置、计算机设备和计算机程序产品 | |
| CN117170844A (zh) | 分布式锁的离线传播方法、装置、计算机设备及存储介质 | |
| CN114036171B (zh) | 应用数据管理方法、装置、计算机设备和存储介质 | |
| CN117742567A (zh) | 数据存储方法、装置、电子设备以及存储介质 | |
| CN116795835A (zh) | 关联查询方法和装置 | |
| CN115599968A (zh) | 交易数据处理方法、装置、计算机设备和存储介质 | |
| CN114138196A (zh) | 电力系统数据存储方法、装置、计算机设备和存储介质 | |
| CN117667825A (zh) | 远程直接内存访问方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220819 |