CN112383452B - 基于dpdk框架的dds数据传输诊断方法及系统 - Google Patents
基于dpdk框架的dds数据传输诊断方法及系统 Download PDFInfo
- Publication number
- CN112383452B CN112383452B CN202110052050.4A CN202110052050A CN112383452B CN 112383452 B CN112383452 B CN 112383452B CN 202110052050 A CN202110052050 A CN 202110052050A CN 112383452 B CN112383452 B CN 112383452B
- Authority
- CN
- China
- Prior art keywords
- dds
- message
- data
- diagnosis
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 42
- 230000005540 biological transmission Effects 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000007619 statistical method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000002405 diagnostic procedure Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 16
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明提供基于DPDK框架的DDS数据传输诊断方法及系统，包括构建基于DPDK框架的DDS诊断工具，接入DDS数据传输网络；在DDS诊断工具中，构建DDS数据的接收、发送、诊断三个线程，并预先分配报文共享队列；DDS诊断工具从网络接入端口循环读取DDS数据报文，并复制DDS特征报文放入预先分配的报文共享队列，用于诊断处理。本发明采用DPDK的用户态数据转发框架，保证在不影响车载以太网络DDS正常通信的前提下，实现DDS数据传输的诊断和监控。
Description
技术领域
本发明属于自动驾驶技术领域，尤其涉及一种基于DPDK框架的DDS数据传输诊断方法及系统。
背景技术
随着汽车电子电气架构的不断发展，未来车辆对车载计算机的性能，灵活性，互联性提出更高的要求。尤其是车载网络通信部分，业界更倾向于采用“以数据为中心”的DDS协议/中间件来承载实现，主要原因还是对车载网络数据通信有大带宽、高实时性以及稳定性的诉求。
数据分发服务（Data Distribution Service，DDS）是一种分布式实时通信中间件，采用发布-订阅体系架构，以数据为中心，支持服务发现协议，并提供QoS服务质量策略，保障数据传输的实时性、可靠性。
数据平面开发套件（Data Plane Development Kit，DPDK）是一种用户态的高性能数据转发框架，使用了轮询（polling）而不是中断来处理数据包。在收到数据包时，经DPDK重载的网卡驱动不会通过中断通知CPU，而是直接将数据包存入内存，交付应用层软件通过DPDK提供的接口来直接处理，这样节省了大量的CPU中断时间和内存拷贝时间。
目前各DDS厂商都会在DDS标准规范的框架下进行业务场景定制，但基于汽车功能安全的考虑，DDS作为车载网络的通信中间件，也需要满足一定的安全级别。所以，一种诊断DDS的功能安全的设计方法很有必要。虽然有些DDS厂商基于DDS协议扩展了安全检查机制，但是这种设计方法会增加DDS本身的复杂度，使用场景也是定制的，缺少一定的灵活性。
目前基于DPDK框架实现汽车以太网DDS诊断的开发方法还是空白，所以一个基于DPDK转发框架实现汽车以太网DDS诊断的设计方法就显得十分必要。
发明内容
发明目的：针对以上问题，本发明提出一种基于DPDK框架的DDS数据传输诊断方法及系统，在基于ARM 处理器的硬件单板上，叠加DPDK的用户态数据转发框架技术，从车载网络的底层链路上分析和诊断DDS数据传输，实现功能安全的无损检测和监控。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于DPDK框架的DDS数据传输诊断方法，包括步骤：
（1）构建基于DPDK框架的DDS诊断工具，接入DDS数据传输网络；
（2）在DDS诊断工具中，构建DDS数据的接收、发送以及DDS复制与诊断三个线程，并预先分配报文共享队列；
（3）DDS诊断工具从网络接入端口循环读取DDS数据报文，并复制DDS特征报文放入预先分配的报文共享队列，用于诊断处理；原DDS数据报文从输出端口转发出去；
（4）DDS复制与诊断线程从报文共享队列中读取复制的DDS特征报文，进行统计分析；
（5）将统计分析的结果传输到远程用户PC机的UI界面，进行实时查看。
进一步地，所述DDS诊断工具，以ARM嵌入式硬件和Linux操作系统为基础。
进一步地，所述DDS数据的接收、发送以及DDS复制与诊断三个线程，绑定在不同的处理器上面。
进一步地，所述步骤（3）中，从网络接入端口循环读取DDS数据报文，并解析DDS数据报文，识别是否是DDS特征报文；如果不是DDS特征报文，则从输出端口转发出去；如果是DDS特征报文，则复制DDS特征报文，放入预先分配的报文共享队列中，用于诊断处理。
进一步地，所述步骤（4）中，DDS复制与诊断线程基于DDS特征报文，解析数据消息内容，区分发现阶段和数据阶段的数据消息类型；
基于DDS发现阶段的特征报文，提取报文中的topic name和guid域段，生成以guid为键值的主题名映射表；
基于DDS数据阶段的特征报文，解析报文头携带的guid域段，查询主题名映射表，进行DDS数据统计分析。
一种基于DPDK框架的DDS数据传输诊断系统，采用分层架构，包括底层的ARM嵌入式硬件和Linux操作系统，中间以DPDK实现用户态数据转发，并叠加DDS诊断工具实现DDS数据统计分析，上层通过UI显示。
有益效果：本发明采用DPDK的用户态数据转发框架，保证在不影响车载以太网络DDS正常通信的前提下，实现DDS数据传输的诊断和监控。本发明既能够保障DDS数据传输的实时性，又解决了直接修改或者扩展DDS带来的复杂性和灵活性问题。
附图说明
图1是本发明DDS诊断工具组网拓扑结构示意图；
图2是本发明DDS诊断系统架构示意图；
图3是本发明DDS诊断处理流程图；
图4是本发明节点监控UI功能示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明所述的基于DPDK框架的汽车以太网DDS数据传输诊断方法，使用基于ARM处理的嵌入式单板作为硬件平台，同时搭载Linux操作系统，形成一套硬件诊断工具，可以任意接入支持DDS通信的车载以太网中，实现快速部署和诊断。包括以下步骤：
（1）搭建以ARM嵌入式硬件和Linux操作系统为基础的环境，并构建支持DPDK 用户态驱动的开发环境；
（2）将DDS数据报文的数据发送、接收以及DDS诊断三个线程绑定到不同的处理器上面，并预先分配报文共享队列；
（3）从网络接口循环读取数据包，并解析数据报文，识别是否是DDS特征报文；如果不是DDS特征报文，则从网络接口转发出去；如果是DDS特征报文，则快速复制DDS特征报文，放入预先分配的报文共享队列中，用于诊断处理；
（4）DDS诊断线程循环从队列读取复制的DDS特征报文，进行流量分析和统计；
（5）将统计到的DDS特征报文的数据，传输到远端用户PC，再把数据呈现到UI界面；通过远端PC运行UI可以实时查看DDS节点通信数据量变化，从而实现DDS数据传输诊断和监控。
本发明以DPDK框架为基础，在不影响车载网络正常DDS通信的前提下，通过复制DDS数据报文做诊断分析的方法，实现DDS数据传输的诊断和分析。本发明适用于在车载以太网中，使用DDS协议进行数据传输的场景，可以为车企提供快速解决DDS数据资源分配和传输诊断的问题。
如图1所示，本发明采用ARM嵌入式硬件平台作为DDS诊断工具，接入DDS数据通信网络的拓扑结构。DDS 节点发布消息后，DDS诊断工具基于接入端口的进行DDS数据报文采集，复制DDS消息结构部分作DDS诊断分析，原DDS数据包正常从输出端口快速转发出去。
如图2所示，本发明采用分层架构，通过分层实现高内聚低耦合，使系统以更松散的方式耦合，从而更易于维护。底层使用ARM嵌入式平台和通用Linux系统，中间用户态数据以DPDK转发为基础，并叠加DDS诊断实现DDS协议的解析和分析业务逻辑，上层通过UI显示，实现DDS的数据统计诊断和监控。
如图3所示，本发明通过DPDK旁路技术，接收物理网络接口的数据包，绕过内核协议栈，直接上送到用户态处理。用户态部署的诊断线程，收到原始报文后，进行报文解析和过滤，识别出DDS特征报文。基于DDS特征报文的标准消息结构解析消息内容，区分发现阶段和数据阶段的数据消息类型。
首先识别出DDS发现阶段的特征报文，提取报文中的topic name和guid域段，生成以guid为键值的topic映射表。然后，对后续接收的DDS数据阶段的特征报文，解析出报文头携带的guid域段查询topic映射表，记录当前报文的字节数，时间戳等信息。通过记录的报文字节数以及时间戳等关键信息，就可以诊断出一段时间间隔内该链路的DDS通信流量分布情况。
如图4所示，本发明为了便于用户可以更直观的诊断和监控DDS通信流量分布情况，把实时采集的统计数据，通过网络传输到用户界面显示。其中，DDS全局标识符标签包含DDS全局标识符1、DDS全局标识符2、DDS全局标识符3，用于显示DDS通信主题以及数据类型等信息。DDS网络拓扑标签包括DDS网络拓扑1、DDS网络拓扑2、DDS网络拓扑3，用于显示通信双方的连接信息，如IP地址，端口，协议等信息。DDS带宽统计标签包括DDS带宽统计1、DDS带宽统计2、DDS带宽统计3，用于当前数据主题的通信流量分布，如单位时间的带宽吞吐量情况。用户界面可以辅助用户开展Qos策略的调整，从而提高汽车以太网数据通信的效率，有效减少DDS流量拥塞的问题发生。
Claims (3)
1.一种基于DPDK框架的DDS数据传输诊断方法，其特征在于，应用于基于DPDK框架的DDS数据传输诊断系统，所述系统采用分层架构，包括底层的ARM嵌入式硬件和Linux操作系统，中间以DPDK实现用户态数据转发，并叠加DDS诊断工具实现DDS数据统计分析，上层通过UI显示；所述方法包括步骤：
（1）构建基于DPDK框架的DDS诊断工具，接入DDS数据传输网络；
（2）在DDS诊断工具中，构建DDS数据的接收、发送以及DDS复制与诊断三个线程，并预先分配报文共享队列；
（3）DDS诊断工具从网络接入端口循环读取DDS数据报文，并解析DDS数据报文，识别是否是DDS特征报文；如果不是DDS特征报文，则从输出端口转发出去；如果是DDS特征报文，则复制DDS特征报文，放入预先分配的报文共享队列中，用于诊断处理；
（4）DDS复制与诊断线程从报文共享队列中读取复制的DDS特征报文，解析数据消息内容，区分发现阶段和数据阶段的数据消息类型；
基于DDS发现阶段的特征报文，提取报文中的topic name和guid域段，生成以guid为键值的主题名映射表；
基于DDS数据阶段的特征报文，解析报文头携带的guid域段，查询主题名映射表，进行DDS数据统计分析；
（5）将统计分析的结果传输到远程用户PC机的UI界面，进行实时查看。
2.根据权利要求1所述的基于DPDK框架的DDS数据传输诊断方法，其特征在于，所述DDS诊断工具，以ARM嵌入式硬件和Linux操作系统为基础。
3.根据权利要求1所述的基于DPDK框架的DDS数据传输诊断方法，其特征在于，所述DDS数据的接收、发送以及DDS复制与诊断三个线程，绑定在不同的处理器上面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110052050.4A CN112383452B (zh) | 2021-01-15 | 2021-01-15 | 基于dpdk框架的dds数据传输诊断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110052050.4A CN112383452B (zh) | 2021-01-15 | 2021-01-15 | 基于dpdk框架的dds数据传输诊断方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112383452A CN112383452A (zh) | 2021-02-19 |
| CN112383452B true CN112383452B (zh) | 2021-03-23 |
Family
ID=74581905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110052050.4A Active CN112383452B (zh) | 2021-01-15 | 2021-01-15 | 基于dpdk框架的dds数据传输诊断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112383452B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112667387B (zh) * | 2021-03-15 | 2021-06-18 | 奥特酷智能科技(南京)有限公司 | 一种基于dds的持久型数据对象同步的设计模型 |
| CN113271336B (zh) * | 2021-04-21 | 2022-04-22 | 湖南大学 | 基于dpdk的机器人中间件dds数据传输方法、电子设备及计算机可读存储介质 |
| CN115442255B (zh) * | 2022-03-11 | 2024-02-06 | 北京罗克维尔斯科技有限公司 | 以太网检测方法、系统、装置、电子设备和存储介质 |
| CN115333977B (zh) * | 2022-08-11 | 2023-08-15 | 南京国电南自电网自动化有限公司 | 一种基于网络接口的系统诊断通道实现方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633170A (zh) * | 2018-06-22 | 2019-12-31 | 英特尔公司 | 本地化服务恢复 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101781159B1 (ko) * | 2010-12-20 | 2017-09-22 | 한국전자통신연구원 | 데이터 분배 서비스에서 경량 멀티캐스트를 제공하는 방법 및 장치 |
| CN105577567B (zh) * | 2016-01-29 | 2018-11-02 | 国家电网公司 | 基于Intel DPDK的网络数据包并行处理方法 |
| CN107196870B (zh) * | 2017-07-20 | 2021-07-20 | 哈尔滨工业大学 | 一种基于dpdk的流量动态负载均衡方法 |
-
2021
- 2021-01-15 CN CN202110052050.4A patent/CN112383452B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633170A (zh) * | 2018-06-22 | 2019-12-31 | 英特尔公司 | 本地化服务恢复 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112383452A (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112383452B (zh) | 基于dpdk框架的dds数据传输诊断方法及系统 | |
| CN112291124B (zh) | 一种基于some/ip协议的车载网络ecu通信方法 | |
| EP3780502A1 (en) | Underlay-overlay correlation | |
| CN112367233B (zh) | 基于面向服务的架构下车载网络ecu通信方法及装置 | |
| US10740027B2 (en) | High speed logging system | |
| CN112714047B (zh) | 基于工控协议流量的测试方法、装置、设备及存储介质 | |
| CN108848006B (zh) | 一种端口状态的监测方法与装置 | |
| TW200818773A (en) | Merging multi-line log entries | |
| JP2012050090A (ja) | フロー統計集約 | |
| CN110855493B (zh) | 用于混合环境的应用拓扑图绘制装置 | |
| CN112825508B (zh) | 用于分布式面向服务的系统中集中式数据采集的系统 | |
| EP4191355A1 (en) | Uds-based communication method, ecu and upper computer | |
| CN102752219B (zh) | 用于实现vd互连的方法和交换设备 | |
| CN106549844B (zh) | 一种most-can网关和基于该网关的诊断报文路由方法 | |
| CN106656838A (zh) | 一种流量分析方法及系统 | |
| JP2016500500A (ja) | Ｍｄｉｏをｓｇｍｉｉ送信に符号化するための装置及び方法 | |
| CN118227343B (zh) | 一种数据处理方法、系统、装置、设备、介质及产品 | |
| CN111711801A (zh) | 视频数据传输方法、装置、服务器和计算机可读存储介质 | |
| US7209971B1 (en) | Architecture and run-time environment for network filter drivers | |
| CN114500307A (zh) | 基于端口镜像技术的网络流量监控、储存及回放的方法 | |
| CN117176802B (zh) | 一种业务请求的全链路监控方法、装置、电子设备及介质 | |
| US11528187B1 (en) | Dynamically configurable networking device interfaces for directional capacity modifications | |
| CN116647490A (zh) | 一种航空afdx网络数据检测系统 | |
| CN114095383B (zh) | 网络流量采样方法、系统和电子设备 | |
| CN113973105B (zh) | 一种简化服务总线上soap消息的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 210012 room 401-404, building 5, chuqiaocheng, No. 57, Andemen street, Yuhuatai District, Nanjing, Jiangsu Province Patentee after: AUTOCORE INTELLIGENT TECHNOLOGY (NANJING) Co.,Ltd. Address before: 211800 building 12-289, 29 buyue Road, Qiaolin street, Pukou District, Nanjing City, Jiangsu Province Patentee before: AUTOCORE INTELLIGENT TECHNOLOGY (NANJING) Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| CP03 | Change of name, title or address |
Address after: 12th Floor, Building 5, Jieyuan Financial City, No. 55 Andemen Street, Yuhuatai District, Nanjing City, Jiangsu Province, China 210012 Patentee after: AUTOCORE INTELLIGENT TECHNOLOGY (NANJING) Co.,Ltd. Country or region after: China Address before: 210012 room 401-404, building 5, chuqiaocheng, No. 57, Andemen street, Yuhuatai District, Nanjing, Jiangsu Province Patentee before: AUTOCORE INTELLIGENT TECHNOLOGY (NANJING) Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |