CN117407454A - 一种数据处理方法、装置、计算机设备和可读存储介质 - Google Patents
一种数据处理方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN117407454A CN117407454A CN202311436064.1A CN202311436064A CN117407454A CN 117407454 A CN117407454 A CN 117407454A CN 202311436064 A CN202311436064 A CN 202311436064A CN 117407454 A CN117407454 A CN 117407454A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- identification information
- configuration file
- extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000013075 data extraction Methods 0.000 claims abstract description 165
- 238000006243 chemical reaction Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims abstract description 6
- 230000015654 memory Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012938 design process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及汽车数据通信技术领域,公开了一种数据处理方法、装置、计算机设备和可读存介质,方法包括:当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息;获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略;当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据;将多个第二数据发送至对应的外域服务。本发明驾驶域内应用服务无需额外关注外域服务杂乱的数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
Description
技术领域
本发明涉及汽车数据通信技术领域,具体涉及一种数据处理方法、装置、计算机设备和可读存储介质。
背景技术
现有汽车驾驶域内的应用服务主要采用protobuf定义输入输出接口,与外域服务通过DDS(Data Distribution Service,数据分发服务)通信,数据采用CDR(Common DataRepresentation,通用数据表示)格式。数据从驾驶域发往外域时需要将protobuf数据转换为CDR序列化的数据。
对于驾驶域服务发布的同一topic数据,不同的外域服务期望接收的具体数据字段可能不同,若是由设计驾驶域内算法模块的生产者在进行算法设计时服务适配外域服务的不同需求,发布不同的topic数据,那么对于生产者来说在进行算法设计时就需要关注外域服务的各种数据抽取需求。此外,外域服务的数据抽取不仅涉及字段的变化,还可能涉及数据周期的变化,这要求每个生产者都需要关心多种数据抽取的场景,会使生产者模块的设计越来越臃肿。
发明内容
有鉴于此,本发明提供了一种数据处理方法、装置、计算机设备和可读存储介质,以解决现有技术中的汽车驾驶域数据抽取不灵活的问题。
第一方面,本发明提供了一种数据处理方法,应用于驾驶域网关,方法包括以下步骤:当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息;获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略;当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据;将多个第二数据发送至对应的外域服务。
本发明实施例提供的数据处理方法,在驾驶域的网关内通过获取到驾驶域内应用服务的数据发送请求时,判断预设的配置文件是否包含与应用服务所发布第一数据的标识信息相对应的数据抽取策略,若包含则按照数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据,并将多个第二数据发送至对应的外域服务。本发明在驾驶域网关内根据配置文件中的数据抽取策略将驾驶域内不同应用服务所发布的数据统一抽取为外域服务所需数据,由此驾驶域的应用服务无需额外关注外域服务的各种数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
在一种可选的实施方式中,还包括:在网关初始化时,加载配置文件。
本发明驾驶域网关在初始化时将预先设置好配置文件进行加载,将数据抽取相关的处理抽象为数据抽取服务,在需要进行数据发送时只需按照配置文件中的数据抽取策略进行收据抽取,在设计驾驶域的算法模块时只需聚焦算法实现,无需关注外域服务的数据需求,从而简化设计过程。
在一种可选的实施方式中,数据抽取策略包括以下中的至少一项:与外域服务相对应的第一数据的部分字段、与外域服务相对应的第一数据的重复字段、与外域服务相对应的第一数据的抽取周期。
本发明根据外域服务的实际业务需求,可以从原始数据中抽取部分字段、将某些字段数据进行在重复或改变数据抽取周期,使经过数据抽取的数据直接为外域服务应用,避免外域服务接收到冗余的原始数据,还需进行额外数据处理。
在一种可选的实施方式中,当数据抽取策略为与外域服务相对应的第一数据的部分字段时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照部分字段从第一数据中进行数据裁剪,并将裁剪后的数据进行预设格式转换;和/或,当数据抽取策略为与外域服务相对应的第一数据的重复字段时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照重复字段选取第一数据中对应数据字段进行复制,并将复制后数据进行预设格式转换;和/或,当数据抽取策略为与外域服务相对应的第一数据的抽取周期时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照抽取周期对第一数据的预设帧率或预设频率进行修改,并将修改后数据进行预设格式转换。
本发明驾驶域网关在发送数据时,只需根据配置文件中对应的数据抽取策略进行相应数据抽取,且在获取到所需发送数据后还进行格式转换,能够保证所生成数据既满足外域服务的业务应用需求,也满足外域服务的数据处理格式需求。
在一种可选的实施方式中,将裁剪后的数据进行预设格式转换包括:通过预设SDK接口将裁剪后的数据转换为CDR格式的数据;和/或,将复制后数据进行预设格式转换包括:通过预设SDK接口将复制后数据转换为CDR格式的数据;和/或,将修改后数据进行预设格式转换包括:通过预设SDK接口将修改后数据转换为CDR格式的数据。
本发明驾驶域网关通过调用预设SDK接口完成数据抽取和格式转换的任务,在设计过程中能够加速程序开发过程,减少开发成本和时间,且能够实现稳定统一的数据抽取和格式转换。
在一种可选的实施方式中,还包括:当配置文件中不包含与标识信息相对应的数据抽取策略时,通过预设SDK接口将第一数据转换为CDR格式的第二数据。
本发明在进行数据发送时,如果判断不包含与驾驶域内应用服务所发布数据的标识信息相对应的数据抽取策略,证明此应用服务的数据无需进行额外抽取处理,直接将所有数据进行数据转换后发送出去即可,能够兼顾无特殊数据需求的外域服务。
在一种可选的实施方式中,还包括,预先存储服务器生成的配置文件,服务器通过获取用户根据外域服务的实际业务需求设置的数据抽取策略,将数据抽取策略与第一数据的标识信息和对应外域服务同时进行匹配,生成并导出配置文件。
本发明通过外部服务器完成数据抽取策略的配置,并生成专门的配置文件,以供驾驶域网关使用,能够将数据抽取相关的数据处理抽象为数据抽取服务,进行统一处理,使驾驶域程序开发者只需关注算法实现,无需关注杂乱的外域服务数据需求,从而简化设计流程。
第二方面,本发明提供了一种数据处理装置,应用于驾驶域网关,装置包括:
数据获取模块,用于当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息;
策略获取模块,用于获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略;
数据抽取模块,用于当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据;
数据发送模块,用于将多个第二数据发送至对应的外域服务。
本发明实施例提供的数据处理装置,在驾驶域的网关内通过获取到驾驶域内应用服务的数据发送请求时,判断预设的配置文件是否包含与应用服务所发布第一数据的标识信息相对应的数据抽取策略,若包含则按照数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据,并将多个第二数据发送至对应的外域服务。本发明在驾驶域网关内根据配置文件中的数据抽取策略将驾驶域内不同应用服务所发布的数据统一抽取为外域服务所需数据,由此驾驶域的应用服务无需额外关注外域服务的各种数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的数据处理方法。
第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的数据处理方法。
本发明的有益效果:
(1)本发明能够获取预先通过服务器生成的包含数据抽取策略的配置文件,配置文件根据外域服务的实际业务需求确定外域服务的数据需求,不同的外域服务可设置不同的数据抽取策略,驾驶域算法生产者只需关注算法实现,无需关注杂乱的外域服务需求,简化设计流程;
(2)本发明能够根据加载的配置文件确定当前驾驶域内应用服务的数据抽取策略,将数据抽取相关处理抽象为数据抽取服务,统一进行,每个应用服务能够根据不同的外域服务需求进行不同策略的数据抽取,能够使所发送的数据直接为外域服务使用,满足不同的数据抽取场景。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的数据处理方法的流程示意图;
图2是根据本发明实施例的数据处理方法的交互过程示意图;
图3是根据本发明实施例的数据处理方法的数据抽取场景示意图;
图4是根据本发明实施例的另一数据处理方法的流程示意图;
图5是根据本发明实施例的数据处理方法的数据抽取策略配置示意图;
图6是根据本发明实施例的又一数据处理方法的流程示意图;
图7是根据本发明实施例的数据处理装置的结构框图;
图8是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例适用于汽车驾驶域向外域发送数据的场景。本发明实施例提供了一种数据处理方法,通过配置文件中的数据抽取策略进行数据处理以达到灵活进行数据抽取的效果。需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种数据处理方法,可用于上述的计算机,图1是根据本发明实施例的数据处理方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息。
具体地,在本发明实施例中,将汽车各种应用服务按照驾驶域内应用服务和驾驶域外应用服务进行区分,驾驶域内应用服务主要采用protobuf定义输入输出接口,与驾驶域之外的其他域(统称为外域)内应用服务以CDR数据格式通过DDS进行通信。其中,驾驶域内应用服务包括:视觉感知模块、激光感知模块、融合模块、环境模块和规划控制模块等,外域包括:动力域、底盘域、座舱域和车身域,每个外域内也包含不同的应用服务,仅作为举例,不以此为限。本发明实施例驾驶域网关GateWay以数据订阅形式按照预设频率或预设帧率向外域服务进行数据转发,如图2所示,当网关GateWay获取到驾驶域内某个应用服务的数据发送请求时,对数据发送请求进行解析,得到应用服务所发布的第一数据和第一数据的标识信息。如图3所示,以驾驶域内某应用服务发布的第一数据为例,第一数据包括field_1、field_2、field_3、field_4、field_5、field_6、field_7、field_8、field_9和field_10,第一数据的标识信息为messageA,仅作为举例,不以此为限。
步骤S102,获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略。
具体地,在本发明实施例中,驾驶域网关在进行数据转发前,通过获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略。其中,配置文件中包含与驾驶域内一个或多个应用服务所发布第一数据的标识信息相对应的数据抽取策略,是软件开发人员根据外域服务的实际业务需求提前进行设置的,一个应用服务的数据可供不同外域服务使用,同一外域服务也可使用多个应用服务的数据,因此配置文件中包含多种数据抽取策略,驾驶域网关需根据应用服务所发布数据的标识信息确定其对应的数据抽取策略,然后根据数据抽取策略进行数据处理。例如,本发明实施例的驾驶域内包含第一应用服务和第二应用服务,所发布第一数据的标识信息分别为messageA1和messageA2,驾驶域网关在进行数据发送前需根据messageA1和messageA2确定第一应用服务和第二应用服务的数据抽取策略,仅作为举例,不以此为限。
步骤S103,当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据。
具体地,在本发明实施例中,当确定配置文件中包含驾驶域内应用服务所发布第一数据的标识信息所对应的数据抽取策略,需要根据数据抽取策略将应用服务的第一数据进行数据转换,从而获得与外域服务的需求相对应的第二数据。
步骤S104,将多个第二数据发送至对应的外域服务。
具体地,在本发明实施例中,驾驶域网关将转化生成的多个第二数据通过DDS发送至对应的外域服务,其中一个驾驶域内应用服务的数据可能被多个外域服务使用,一个外域服务也可能使用多个驾驶域内应用服务的数据,具体数据需求均按照对应的数据抽取策略设置于配置文件中,在发送时也需根据数据需求有针对性的进行数据转发。本发明实施例若转换了N份第二数据,会将N份第二数据和原始数据统一转发出去,及发送N+1份数据到外域,具体的外域服务则接收对应的第二数据。
本发明实施例提供的数据处理方法,在驾驶域的网关内通过获取到驾驶域内应用服务的数据发送请求时,判断预设的配置文件是否包含与应用服务所发布第一数据的标识信息相对应的数据抽取策略,若包含则按照数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据,并将多个第二数据发送至对应的外域服务。本发明在驾驶域网关内根据配置文件中的数据抽取策略将驾驶域内不同应用服务所发布的数据统一抽取为外域服务所需数据,由此驾驶域的应用服务无需额外关注外域服务的各种数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
在本实施例中提供了一种数据处理方法,可用于上述的计算机,图4是根据本发明实施例的数据处理方法的流程图,如图4所示,该流程包括如下步骤:
步骤S400,在网关初始化时,加载配置文件。
具体的,在本发明实施例中,驾驶域网关内预先预先存储服务器生成的配置文件,并在初始化时进行加载。其中,服务器可以是外部服务器,也可以是网关内部服务器,用于通过获取用户根据外域服务的实际业务需求设置的数据抽取策略,将数据抽取策略与第一数据的标识信息和对应外域服务同时进行匹配,生成并导出配置文件。如图5所示,本发明实施例通过在外部服务器新增WEB配置页面,配置页面中提供相应的配置选项,软件开发人员登录到服务器后在WEB配置页面根据外域服务的实际业务需求设置对应的数据抽取策略,将数据抽取策略与第一数据的标识信息进行匹配后,也会根据不同外域服务的数据需求生成对应的标识信息(图5中message代表标识信息),将数据抽取策略与外域服务进行匹配,即某一数据抽取策略既包含对应驾驶域内应用服务所发布数据的标识信息,也包含对应外域服务所需要数据的标识信息,仅作为举例,不以此为限。
在一种可选的实施方式中,数据抽取策略包括以下中的至少一项:与外域服务相对应的第一数据的部分字段、与外域服务相对应的第一数据的重复字段、与外域服务相对应的第一数据的抽取周期。
在一种可选的实施方式中,本发明实施例设置好数据抽取策略后,将数据抽取策略与对应的第一数据的标识信息和对应外域服务同时进行匹配。如图3所示,某外域的多个服务期望接收到某驾驶域内第一数据messageA内的部分字段,分别表示为messageB、messageC、messageD、messageE,其中,messageB中包括field_1、field_3、field_4、field_5、field_8、field_9和field_10,messageC中包括field_2和field_7,messageD中包括field_6,messageE中包括field_1和field_3。多个外域服务对应的数据抽取策略均为与外域服务相对应的第一数据的部分字段,将此四种收据抽取策略与messageA进行匹配,同时也将每种抽取策略与对应外域服务messageB、messageC、messageD、messageE进行匹配,并根据匹配好的WEB页面生成并导出配置文件,以上仅作为举例,不以此为限。
步骤S401,当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息。详细请参见图1所示实施例的步骤S101,在此不再赘述。
步骤S402,获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略。详细请参见图1所示实施例的步骤S102,在此不再赘述。
步骤S403,当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据。详细请参见图1所示实施例的步骤S103,在此不再赘述。
步骤S404,将多个第二数据发送至对应的外域服务。详细请参见图1所示实施例的步骤S104,在此不再赘述。
本发明实施例提供的数据处理方法,在驾驶域网关内根据配置文件中的数据抽取策略将驾驶域内不同应用服务所发布的数据统一抽取为外域服务所需数据,由此驾驶域的应用服务无需额外关注外域服务的各种数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
在本实施例中提供了一种数据处理方法,可用于上述的计算机,图6是根据本发明实施例的数据处理方法的流程图,如图6所示,该流程包括如下步骤:
步骤S601,当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息。详细请参见图1所示实施例的步骤S101,在此不再赘述。
步骤S602,获取预设的配置文件。请参见图1所示实施例的步骤S102,在此不再赘述。
步骤S603,判断配置文件中是否包含与标识信息相对应的数据抽取策略。
具体地,在本发明实施例中,当配置文件中包含与标识信息messageA相对应的数据抽取策略时,进入步骤S604进行下一步处理,当配置文件中不包含与标识信息相对应的数据抽取策略时,进入步骤S605进行下一步处理。详细请参见图1所示实施例的步骤S102,在此不再赘述。
步骤S604,当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据。
具体地,上述步骤S604包括:
步骤S6041,当数据抽取策略为与外域服务相对应的第一数据的部分字段时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照部分字段从第一数据中进行数据裁剪,并将裁剪后的数据进行预设格式转换。
具体的,在本发明实施例中,以抽取部分字段为例,判断出配置文件中包含与messageA对应的四种数据抽取策略后,需要根据数据抽取策略确定各个外域服务与对应所需的message B、messageC、messageD和messageE,然后调用预设SDK接口从驾驶域内应用服务所发布的messageA中按照外域服务所需的message B、messageC、messageD和messageE进行裁剪,最后将裁剪后的protobuf格式的messageB、messageC、messageD和messageE转换为CDR格式的第二数据。
步骤S6042,当数据抽取策略为与外域服务相对应的第一数据的重复字段时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照重复字段选取第一数据中对应数据字段进行复制,并将复制后数据进行预设格式转换。
具体的,在本发明实施例中,以重复字段为例,判断出配置文件中包含与messageA对应的数据抽取策略后,需要根据数据抽取策略确定各个外域与对应所需重复字段,然后调用预设SDK接口从驾驶域内应用服务所发布的messageA中根据数据抽取策略设置的字段个数进行复制,最后将复制后数据转换为CDR格式的第二数据。
步骤S6043,当数据抽取策略为与外域服务相对应的第一数据的抽取周期时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照抽取周期对第一数据的预设帧率或预设频率进行修改,并将修改后数据进行预设格式转换。
具体的,在本发明实施例中,以抽取周期为例,判断出配置文件中包含与messageA对应的数据抽取策略后,需要根据数据抽取策略确定各个外域与对应所需数据频率。若驾驶域应用服务发送的视频流数据messageA在驾驶域内统一帧率为x,但是外域服务对其帧率有不同的需求,期望帧率为y。该场景下调用预设SDK接口来根据WEB页面上设置的外域服务的帧率需求值,将数据帧率从x转换为y,完成从原周期到目标周期的数据转换,然后将修改后数据转换为CDR格式的第二数据。
步骤S605中,当配置文件中不包含与标识信息相对应的数据抽取策略时,通过预设SDK接口将第一数据转换为CDR格式的第二数据,然后发送至外域服务,即无需进行数据抽取,只需进行数据格式转换。
步骤S606,将多个第二数据发送至对应的外域服务。详细请参见图1所示实施例的步骤S104,在此不再赘述。
本发明实施例提供的数据处理方法,在驾驶域网关内根据配置文件中的数据抽取策略将驾驶域内不同应用服务所发布的数据统一抽取为外域服务所需数据,由此驾驶域的应用服务无需额外关注外域服务的各种数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
本实施例提供一种驾驶域的数据抽取装置,如图7所示,包括:
数据获取模块701,用于当获取到驾驶域内应用服务的数据发送请求时,对数据发送请求进行解析得到应用服务所发布的第一数据及第一数据的标识信息;
策略获取模块702,用于获取预设的配置文件,并判断配置文件中是否包含与标识信息相对应的数据抽取策略;
数据抽取模块703,用于当配置文件中包含与标识信息相对应的数据抽取策略时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,得到与外域服务的需求相对应的第二数据;
数据发送模块704,用于将多个第二数据发送至对应的外域服务。
本发明实施例提供的数据处理装置在驾驶域网关内根据配置文件中的数据抽取策略将驾驶域内不同应用服务所发布的数据统一抽取为外域服务所需数据,由此驾驶域的应用服务无需额外关注外域服务的各种数据抽取需求,能够满足不同的数据抽取场景,提高数据抽取的灵活性。
在一些可选的实施方式中,还包括:文件加载模块705,用于在网关初始化时,加载配置文件。
在一些可选的实施方式中,策略获取模块702的数据抽取策略包括以下中的至少一项:与外域服务相对应的第一数据的部分字段、与外域服务相对应的第一数据的重复字段、与外域服务相对应的第一数据的抽取周期。
在一些可选的实施方式中,数据抽取模块703包括:
部分字段数据抽取单元,用于当数据抽取策略为与外域服务相对应的第一数据的部分字段时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照部分字段从第一数据中进行数据裁剪,并将裁剪后的数据进行预设格式转换。
重复字段数据抽取单元,用于当数据抽取策略为与外域服务相对应的第一数据的重复字段时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照重复字段选取第一数据中对应数据字段进行复制,并将复制后数据进行预设格式转换;
周期数据抽取单元,用于当数据抽取策略为与外域服务相对应的第一数据的抽取周期时,按照与标识信息相对应的数据抽取策略对第一数据进行数据转换,包括:按照抽取周期对第一数据的预设帧率或预设频率进行修改,并将修改后数据进行预设格式转换。
在一些可选的实施方式中,部分字段数据抽取单元中将裁剪后的数据进行预设格式转换包括:通过预设SDK接口将裁剪后的数据转换为CDR格式的第二数据;重复字段数据抽取单元中将复制后数据进行预设格式转换包括:通过预设SDK接口将复制后数据转换为CDR格式的第二数据;周期数据抽取单元中将修改后数据进行预设格式转换包括:通过预设SDK接口将修改后数据转换为CDR格式的第二数据。
在一些可选的实施方式中,数据抽取模块703还包括:当配置文件中不包含与标识信息相对应的数据抽取策略时,通过预设SDK接口将第一数据转换为CDR格式的第二数据。
在一些可选的实施方式中,还包括:文件存储模块706,用于预先存储服务器生成的配置文件,服务器通过获取用户根据外域服务的实际业务需求设置的数据抽取策略,将数据抽取策略与第一数据的标识信息和对应外域服务同时进行匹配,生成并导出配置文件。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本实施例中的驾驶域的数据抽取装置是以功能单元的形式来呈现,这里的单元是指FPGA(Field Programmable Gate Array,现场可编程门阵列)电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备,具有上述图7所示的驾驶域的数据抽取装置。
请参阅图8,图8是本发明可选实施例提供的一种计算机设备的结构示意图,如图8所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,存储器20存储有可由至少一个处理器10执行的指令,以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,应用于驾驶域网关,所述方法包括:
当获取到驾驶域内应用服务的数据发送请求时,对所述数据发送请求进行解析得到所述应用服务所发布的第一数据及所述第一数据的标识信息;
获取预设的配置文件,并判断所述配置文件中是否包含与所述标识信息相对应的数据抽取策略;
当所述配置文件中包含与所述标识信息相对应的数据抽取策略时,按照与所述标识信息相对应的数据抽取策略对所述第一数据进行数据转换,得到与外域服务的需求相对应的第二数据;
将多个所述第二数据发送至对应的所述外域服务。
2.根据权利要求1所述的方法,其特征在于,还包括:在所述网关初始化时,加载所述配置文件。
3.根据权利要求1所述的方法,其特征在于,所述数据抽取策略包括以下中的至少一项:
与外域服务相对应的所述第一数据的部分字段、与外域服务相对应的所述第一数据的重复字段、与外域服务相对应的所述第一数据的抽取周期。
4.根据权利要求3所述的方法,其特征在于:
当所述数据抽取策略为与外域服务相对应的所述第一数据的部分字段时,所述按照与所述标识信息相对应的数据抽取策略对所述第一数据进行数据转换,包括:
按照所述部分字段从所述第一数据中进行数据裁剪,并将裁剪后的数据进行预设格式转换;
和/或,
当所述数据抽取策略为与外域服务相对应的所述第一数据的重复字段时,所述按照与所述标识信息相对应的数据抽取策略对所述第一数据进行数据转换,包括:
按照所述重复字段选取所述第一数据中对应数据字段进行复制,并将复制后数据进行预设格式转换;
和/或,
当所述数据抽取策略为与外域服务相对应的所述第一数据的抽取周期时,所述按照与所述标识信息相对应的数据抽取策略对所述第一数据进行数据转换,包括:
按照所述抽取周期对所述第一数据的预设帧率或预设频率进行修改,并将修改后数据进行预设格式转换。
5.根据权利要求4所述的方法,其特征在于:
所述将裁剪后的数据进行预设格式转换包括:
通过预设SDK接口将裁剪后的数据转换为CDR格式的第二数据;
和/或,
所述将复制后数据进行预设格式转换包括:
通过预设SDK接口将复制后数据转换为CDR格式的第二数据;
和/或,
所述将修改后数据进行预设格式转换包括:
通过预设SDK接口将修改后数据转换为CDR格式的第二数据。
6.根据权利要求5所述的方法,其特征在于,还包括:当所述配置文件中不包含与所述标识信息相对应的数据抽取策略时,通过预设SDK接口将所述第一数据转换为CDR格式的第二数据。
7.根据权利要求4所述的方法,其特征在于,还包括:
预先存储服务器生成的所述配置文件,所述服务器通过获取用户根据外域服务的实际业务需求设置的所述数据抽取策略,将所述数据抽取策略与所述第一数据的标识信息和对应外域服务同时进行匹配,生成并导出配置文件。
8.一种数据处理装置,其特征在于,应用于驾驶域网关,所述装置包括:
数据获取模块,用于当获取到驾驶域内应用服务的数据发送请求时,对所述数据发送请求进行解析得到所述应用服务所发布的第一数据及所述第一数据的标识信息;
策略获取模块,用于获取预设的配置文件,并判断所述配置文件中是否包含与所述标识信息相对应的数据抽取策略;
数据抽取模块,用于当所述配置文件中包含与所述标识信息相对应的数据抽取策略时,按照与所述标识信息相对应的数据抽取策略对所述第一数据进行数据转换,得到与外域服务的需求相对应的第二数据;
数据发送模块,用于将多个所述第二数据发送至对应的所述外域服务。
9.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1至7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至7中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311436064.1A CN117407454A (zh) | 2023-10-31 | 2023-10-31 | 一种数据处理方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311436064.1A CN117407454A (zh) | 2023-10-31 | 2023-10-31 | 一种数据处理方法、装置、计算机设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117407454A true CN117407454A (zh) | 2024-01-16 |
Family
ID=89490526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311436064.1A Pending CN117407454A (zh) | 2023-10-31 | 2023-10-31 | 一种数据处理方法、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117407454A (zh) |
-
2023
- 2023-10-31 CN CN202311436064.1A patent/CN117407454A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110012002B (zh) | 报文解析方法、装置及服务器、计算机可读存储介质 | |
CN110704518B (zh) | 基于Flink引擎的业务数据处理方法及装置 | |
CN103346974B (zh) | 一种业务流程的控制方法及网络设备 | |
US20180247244A1 (en) | Service and Resource Orchestration System and Method, and Apparatus | |
CN112491948A (zh) | 非侵入式的单体应用微服务化方法、装置及计算机设备 | |
CN104239114A (zh) | 应用程序的编译处理方法及装置 | |
CN111897738B (zh) | 基于原子服务的自动化测试方法及装置 | |
CN112860308A (zh) | 接口定义的配置方法、业务处理方法、服务器及存储介质 | |
CN111046245A (zh) | 多源异构数据源融合计算方法、系统、设备和存储介质 | |
CN113127335A (zh) | 一种系统测试的方法和装置 | |
CN111125681A (zh) | 业务处理方法、装置及存储介质 | |
US20200210148A1 (en) | Method for adapting to blockchain and device, terminal and medium performing the same | |
CN116248559A (zh) | 一种获取监控日志的方法、系统、装置、设备及介质 | |
CN117407454A (zh) | 一种数据处理方法、装置、计算机设备和可读存储介质 | |
CN110943971A (zh) | 一种事件业务处理方法及系统 | |
CN116051218A (zh) | 一种基于内嵌浏览器的客户端开票方法及系统 | |
CN115185841A (zh) | 系统重构测试方法、装置、设备及存储介质 | |
CN113821430B (zh) | 一种多服务测试方法和装置 | |
CN111049877B (zh) | 一种大数据对外输出方法、装置及数据开放平台 | |
CN114785847B (zh) | 网络控制软件开发配置方法、终端及存储介质 | |
CN114844898B (zh) | 一种互联网接入方法、装置及系统 | |
CN118041417B (zh) | 链路追踪方法、装置、设备及可读存储介质 | |
CN114500089B (zh) | 基于OAuth2.0协议的授权登录方法、系统及电子设备 | |
US20230179480A1 (en) | Method and apparatus for remote customization of function, device, and storage medium | |
CN103312812B (zh) | 一种移动应用的业务处理方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |