CN112784982A - 一种基于pegasus平台的自动驾驶的感知模型测试方法和系统 - Google Patents
一种基于pegasus平台的自动驾驶的感知模型测试方法和系统 Download PDFInfo
- Publication number
- CN112784982A CN112784982A CN202110087451.3A CN202110087451A CN112784982A CN 112784982 A CN112784982 A CN 112784982A CN 202110087451 A CN202110087451 A CN 202110087451A CN 112784982 A CN112784982 A CN 112784982A
- Authority
- CN
- China
- Prior art keywords
- environment image
- scene environment
- image data
- tensorrt
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000008447 perception Effects 0.000 title claims abstract description 113
- 238000012360 testing method Methods 0.000 title claims abstract description 81
- 241001596784 Pegasus Species 0.000 title claims abstract description 65
- 238000004364 calculation method Methods 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 30
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于pegasus平台的自动驾驶的感知模型测试方法和系统,其中,该基于pegasus平台的自动驾驶的感知模型测试方法包括:获取与自动驾驶相关的场景环境图像数据;在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化;使用tensorRT化的感知模型,对场景环境图像数据进行推理计算。本发明的技术方案能解决现有技术中不同车载计算平台对同一感知模型的兼容性差,测试工作量大且调试周期长,影像感知模型测试效率的问题。
Description
技术领域
本发明涉及电子设备技术领域,尤其涉及一种基于pegasus平台的自动驾驶的感知模型测试方法和系统。
背景技术
自动驾驶技术的飞速发展推动了自动驾驶汽车的快速迭代,但自动驾驶汽车在量产前需要进行大量的里程测试,以确保其行驶域的安全性。自动驾驶汽车主要依靠摄像头、扫描仪或激光雷达等视觉传感器对场景环境进行感知,然后再由决策控制系统进行路径规划和控制,因此自动驾驶的感知模型的测试效果至关重要。
当前,自动驾驶的感知模型大多是通过深度学习算法训练的神经网络模型进行的。具体在研发人员训练好感知模型后,使用该感知模型在上车测试之前提前进行大量测试,在实验室就把各种情况考虑到,这样能提高后续测试效率,节省上车测试的成本。对于研发好的感知模型,车端部署工程师需要比较不同车载计算平台之间的性能差异。对于性能差异的比较,目前主要通过人工将感知模型输入至嵌入式的车载计算平台进行迁移测试。如果要对不同计算平台进行性能测试,需要工程师按照各车载计算平台的要求逐一进行迁移测试。
然而因为不同车载计算平台对同一感知模型的兼容性差,感知模型进行车载计算平台迁移测试的工作量大且调试周期长,需要花费大量时间;数据处理团队与模型开发团队的工作成串行状态,经常出现相互等待的尴尬局面;这样就导致感知模型的测试效率低下。
发明内容
本发明提供了一种基于pegasus平台的自动驾驶的感知模型测试方法和系统,旨在解决现有技术中不同车载计算平台对同一感知模型的兼容性差,测试工作量大且调试周期长,影响感知模型测试效率的问题。
根据本发明的第一方面,本发明提供了一种基于pegasus平台的自动驾驶的感知模型测试方法,包括:
获取与自动驾驶相关的场景环境图像数据;
在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化;
使用tensorRT化的感知模型,对场景环境图像数据进行推理计算。
优选地,上述获取与自动驾驶相关的场景环境图像数据的步骤,包括:
摄取与自动驾驶相关的场景环境图像;
使用图像信号处理技术对场景环境图像进行信号处理;
对信号处理后的场景环境图像进行软解码,得到与场景环境图像对应的视频流数据;
按照预定帧率截取视频流数据,得到场景环境图像数据。
优选地,上述使用tensorRT工具对神经网络生成的感知模型进行tensorRT化的步骤,包括:
将神经网络训练生成的感知模型转化为onnx模型;
使用tensorRT工具将onnx模型进行tensorRT化,得到tensorRT化的感知模型。
优选地,上述使用tensorRT化的感知模型,对场景环境图像数据进行推理计算的步骤,包括:
使用Socket监听网络将监听到的场景环境图像数据推送至pegasus平台的tensorRT化的感知模型;
使用tensorRT化的感知模型对场景环境图像数据进行推理计算。
优选地,上述根据tensorRT化的感知模型,对场景环境图像数据进行推理计算的步骤,包括:
在除pegasus平台外的其他测试平台上部署Socket监听网络;
使用Socket监听网络监听其他测试平台的场景环境图像数据;
使用Socket监听网络将场景环境图像数据推送至pegasus平台;
使用pegasus平台上tensorRT化的感知模型对场景环境图像数据进行推理计算,得到推理结果;
使用Socket监听网络将推理结果返回至其他测试平台。
根据本发明的第二方面,本发明还提供了一种基于pegasus平台的自动驾驶的感知模型测试系统,包括:
数据获取模块,用于获取与自动驾驶相关的场景环境图像数据;
优化模块,用于在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化;
推理计算模块,用于使用tensorRT化的感知模型,对场景环境图像数据进行推理计算。
优选地,上述数据获取模块,包括:
图像摄取子模块,用于摄取与自动驾驶相关的场景环境图像;
信号处理子模块,用于使用图像信号处理技术对场景环境图像进行信号处理;
图像解码子模块,用于对信号处理后的场景环境图像进行软解码,得到与场景环境图像对应的视频流数据;
数据截取子模块,用于按照预定帧率截取视频流数据,得到场景环境图像数据。
优选地,上述优化模块,包括:
第一模型转化子模块,用于将神经网络训练生成的感知模型转化为onnx模型;
第二模型转化子模块,用于使用tensorRT工具将onnx模型进行tensorRT化,得到tensorRT化的感知模型。
优选地,上述推理计算模块,包括:
图像数据推送子模块,用于使用Socket监听网络将监听到的场景环境图像数据推送至pegasus平台的tensorRT化的感知模型;
图像数据计算子模块,用于使用tensorRT化的感知模型对场景环境图像数据进行推理计算。
优选地,上述推理计算模块,包括:
网络部署子模块,用于在除pegasus平台外的其他测试平台上部署Socket监听网络;
数据监听子模块,用于使用Socket监听网络监听其他测试平台的场景环境图像数据;
数据推送子模块,用于使用Socket监听网络将场景环境图像数据推送至pegasus平台;
推理计算子模块,用于使用pegasus平台上tensorRT化的感知模型对场景环境图像数据进行推理计算,得到推理结果;
结果发送子模块,用于使用Socket监听网络将推理结果返回至其他测试平台。
综上,本申请提供的基于pegasus平台的自动驾驶的感知模型测试方案,通过获取与自动驾驶相关的场景环境图像数据,然后在pegasus平台上使用tensorRT工具对神经网络生成的感知模型进行tensorRT化,因为tensorRT工具是一种高性能的深度学习推理优化器,能够支持几乎所有已知的深度学习框架,因此使用tensorRT工具对神经网络生成的感知模型进行tensorRT化能够提高神经网络生成的感知模型的兼容性,进而使得感知模型能够在几乎所有框架中有效和高速地部署推理;最后,使用tensorRT化的感知模型对场景环境图像数据进行推理计算,能够使得同一感知模型的兼容性更高,提高感知模型的测试效率。综上本申请提供的技术方案能够解决现有技术中不同车载计算平台对同一感知模型的兼容性差,测试工作量大且调试周期长,影响感知模型测试效率的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的一种基于pegasus平台的自动驾驶的感知模型测试方法的流程示意图;
图2是图1所示实施例提供的一种场景环境图像数据的获取方法的流程示意图;
图3是图1所示实施例提供的一种感知模型的优化方法的流程示意图;
图4是图1所示实施例提供的第一种场景环境图像数据的推理计算方法的流程示意图;
图5是图1所示实施例提供的第二种场景环境图像数据的推理计算方法的流程示意图;
图6是本发明实施例提供的一种基于pegasus平台的自动驾驶的感知模型测试系统的结构示意图;
图7是图6所示实施例提供的一种数据获取模块的结构示意图;
图8是图6所示实施例提供的一种优化模块的结构示意图;
图9是图6所示实施例提供的第一种推理计算模块的结构示意图;
图10是图6所示实施例提供的第二种推理计算模块的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要技术问题如下:
现有的自动驾驶相关的感知模型大多通过深度学习算法训练神经网络得到。如果要对不同计算平台进行性能测试,需要工程师按照各车载计算平台的要求逐一进行迁移测试,然而因为不同车载计算平台对同一感知模型的兼容性差,感知模型进行车载计算平台迁移测试的工作量大且调试周期长,需要花费大量时间,这样就导致感知模型测试效率低下,并且不同平台同一模型测试评估容易出现差异。
为解决上述问题,参见图1,图1为本发明提供的一种基于pegasus平台的自动驾驶的感知模型测试方法的流程示意图。如图1所示,该基于pegasus平台的自动驾驶的感知模型测试方法,包括:
S110:获取与自动驾驶相关的场景环境图像数据。
作为一种优选的实施例,如图2所示,该获取与自动驾驶相关的场景环境图像数据的步骤包括:
S111:摄取与自动驾驶相关的场景环境图像。
S112:使用图像信号处理技术对场景环境图像进行信号处理。其中,摄像头通常自带图像信号处理器ISP,通过该ISP能够对场景环境图像进行信号处理,得到DwStreamer(Pegasus driverworks框架下定义的视频流)。
S113:对信号处理后的场景环境图像进行软解码,得到与场景环境图像对应的视频流数据。本申请实施例中通过SoftISP软件进行软解码,得到程序能够处理的视频流数据。
S114:按照预定帧率截取视频流数据,得到场景环境图像数据。本申请实施例中预定帧率设置为30帧/s-60帧/s,优选30帧/s或60帧/s;然后按照该预定帧率获取图像帧的句柄,再根据该图像帧的句柄获取图片并保存。
通过摄取与自动驾驶相关的场景环境图像,然后使用图像信号处理技术对场景环境图像进行信号处理,再对该场景环境图像进行软解码操作,最终按照预定帧率截取视频流数据,就能够得到与自动驾驶相关的场景环境图像数据。
S120:在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化。Pegasus平台是一种自动驾驶平台,tensorRT工具是一种高性能的深度学习推理优化器,能够为深度学习应用提供低延迟、高吞吐率的部署推理。tensorRT工具可用于自动驾驶平台上进行推理加速。tensorRT能够支持TensorFlow、Caffe、Mxnet和Pythorch等几乎所有深度学习框架,这样将tensorRT部署在pegasus平台上,能够将几乎所有深度学习框架中进行快速和高效部署推理。另外,因为tensorRT工具能够支持几乎所有深度学习框架,所以使用tensorRT工具对神经网络生成的感知模型进行tensorRT化,能够使得感知模型具有高度的兼容性,能够对几乎所有自动驾驶平台输入的数据进行处理。
具体地,作为一种优选的实施例,如图3所示,该使用tensorRT工具对神经网络生成的感知模型进行tensorRT化的步骤具体包括以下步骤:
S121:将神经网络训练生成的感知模型转化为onnx模型。其中,感知模型包括caffe、TensorFlow和pythorch等常用深度学习框架训练的模型。
S122:使用tensorRT工具将onnx模型进行tensorRT化,得到tensorRT化的感知模型。
本申请实施例提供的技术方案,通过将神经网络训练生成的感知模型转化为onnx模型,然后使用tensorRT工具将该onnx模型进行tensorRT化,转化为tensorRT化后的感知模型,能够能够感知模型对深度学习框架的兼容性,进而对各种自动驾驶平台的场景环境图像数据进行推理计算。
S130:使用tensorRT化的感知模型,对场景环境图像数据进行推理计算。因为场景环境图像数据可能存在于pegasus平台上或其他测试平台,因此本发明使用tensorRT化的感知模型对场景环境图像数据进行推理计算,需要分成两种情况,具体地需要使用基于UDP设计的Socket监听网络进行场景环境图像数据的推送。
首先,若是在pegasus平台上直接进行推理计算,那么作为一种优选的实施例,如图4所示,该使用tensorRT化的感知模型,对场景环境图像数据进行推理计算的步骤具体包括:
S131:使用Socket监听网络将监听到的场景环境图像数据推送至pegasus平台的tensorRT化的感知模型。
S132:使用tensorRT化的感知模型对场景环境图像数据进行推理计算。
本申请实施例提供的技术方案,通过使用Socket监听网络将监听到的场景环境图像数据推送至pegasus平台的tensorRT化的感知模型,然后使用该tensorRT化的感知模型在pegasus平台上直接对场景环境图像数据进行推理计算,这样只需要通过Socket监听网络推送数据,然后直接调用tensorRT化的感知模型进行推理服务即可。该感知模型具体的推理计算如下:平台程序会统计生成性能报表,例如单位时间计算的图片数、模型推理时间以及CPU、ARM和GPU资源利用率等。
另外,若在其他测试平台上进行推理计算,就需要在其他测试平台上部署Socket监听网络,然后该Socket监听网络将监听到的其他测试平台上的场景环境图像数据推送至pegasus平台。作为一种优选的实施例,如图5所示,该根据tensorRT化的感知模型,对场景环境图像数据进行推理计算的步骤包括:
S133:在除pegasus平台外的其他测试平台上部署Socket监听网络;
S134:使用Socket监听网络监听其他测试平台的场景环境图像数据;
S135:使用Socket监听网络将场景环境图像数据推送至pegasus平台;
S136:使用pegasus平台上tensorRT化的感知模型对场景环境图像数据进行推理计算,得到推理结果;
S137:使用Socket监听网络将推理结果返回至其他测试平台。
本申请实施例提供的技术方案,通过在除pegasus平台外的其他测试平台上部署Socket监听网络,然后使用该Socket监听网络监听上述其他测试平台的场景环境图像数据,再使用Socket监听网络将场景环境图像数据推送至pegasus平台,这样就能够使用该pegasus平台上已经tensorRT化的感知模型对场景环境图像数据进行推理计算,因为感知模型已tensorRT化,因此该tensorRT化的感知模型具有一定的兼容性,能够对各种测试平台的场景环境图像数据进行处理,得到推理结果;最后再使用Socket监听网络将推理结果反馈至其他测试平台。
综上,本申请提供的基于pegasus平台的自动驾驶的感知模型测试方法,通过获取与自动驾驶相关的场景环境图像数据,然后在pegasus平台上使用tensorRT工具对神经网络生成的感知模型进行tensorRT化,因为tensorRT工具是一种高性能的深度学习推理优化器,能够支持几乎所有已知的深度学习框架,因此使用tensorRT工具对神经网络生成的感知模型进行tensorRT化能够提高神经网络生成的感知模型的兼容性,进而使得感知模型能够在几乎所有框架中有效和高速地部署推理;最后,使用tensorRT化的感知模型对场景环境图像数据进行推理计算,能够使得同一感知模型的兼容性更高,提高感知模型的测试效率。综上本申请提供的技术方案能够解决现有技术中不同车载计算平台对同一感知模型的兼容性差,测试工作量大且调试周期长,影响感知模型测试效率的问题。
另外,基于上述方法实施例的同一构思,本发明实施例还提供了一种基于pegasus平台的自动驾驶的感知模型测试系统,用于实现本发明的上述方法,由于该系统实施例解决问题的原理与上述方法相似,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参见图6,图6为本发明实施例提供的一种基于pegasus平台的自动驾驶的感知模型测试系统的结构示意图。如图6所示,该基于pegasus平台的自动驾驶的感知模型测试系统包括:
数据获取模块110,用于获取与自动驾驶相关的场景环境图像数据;
优化模块120,用于在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化;
推理计算模块130,用于使用tensorRT化的感知模型,对场景环境图像数据进行推理计算。
综上,本申请提供的基于pegasus平台的自动驾驶的感知模型测试系统,通过数据获取模块110获取与自动驾驶相关的场景环境图像数据,然后优化模块120在pegasus平台上使用tensorRT工具对神经网络生成的感知模型进行tensorRT化,因为tensorRT工具是一种高性能的深度学习推理优化器,能够支持几乎所有已知的深度学习框架,因此使用tensorRT工具对神经网络生成的感知模型进行tensorRT化能够提高神经网络生成的感知模型的兼容性,进而使得感知模型能够在几乎所有框架中有效和高速地部署推理;最后,通过推理计算模块130使用tensorRT化的感知模型对场景环境图像数据进行推理计算,能够使得同一感知模型的兼容性更高,提高感知模型的测试效率。综上本申请提供的技术方案能够解决现有技术中不同车载计算平台对同一感知模型的兼容性差,测试工作量大且调试周期长,影响感知模型测试效率的问题。
其中,作为一种优选的实施例,如图7所示,该数据获取模块110,包括:
图像摄取子模块111,用于摄取与自动驾驶相关的场景环境图像;
信号处理子模块112,用于使用图像信号处理技术对场景环境图像进行信号处理;
图像解码子模块113,用于对信号处理后的场景环境图像进行软解码,得到与场景环境图像对应的视频流数据;
数据截取子模块114,用于按照预定帧率截取视频流数据,得到场景环境图像数据。
其中,作为一种优选的实施例,如图8所示,上述优化模块120,包括:
第一模型转化子模块121,用于将神经网络训练生成的感知模型转化为onnx模型;
第二模型转化子模块122,用于使用tensorRT工具将onnx模型进行tensorRT化,得到tensorRT化的感知模型。
其中,作为一种优选的实施例,如图9所示,上述推理计算模块130,包括:
图像数据推送子模块131,用于使用Socket监听网络将监听到的场景环境图像数据推送至pegasus平台的tensorRT化的感知模型;
图像数据计算子模块132,用于使用tensorRT化的感知模型对场景环境图像数据进行推理计算。
其中,作为一种优选的实施例,如图10所示,上述推理计算模块130,包括:
网络部署子模块133,用于在除pegasus平台外的其他测试平台上部署Socket监听网络;
数据监听子模块134,用于使用Socket监听网络监听其他测试平台的场景环境图像数据;
数据推送子模块135,用于使用Socket监听网络将场景环境图像数据推送至pegasus平台;
推理计算子模块136,用于使用pegasus平台上tensorRT化的感知模型对场景环境图像数据进行推理计算,得到推理结果;
结果发送子模块137,用于使用Socket监听网络将推理结果返回至其他测试平台。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于pegasus平台的自动驾驶的感知模型测试方法,其特征在于,包括:
获取与自动驾驶相关的场景环境图像数据;
在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化;
使用tensorRT化的所述感知模型,对所述场景环境图像数据进行推理计算。
2.根据权利要求1所述的感知模型测试方法,其特征在于,所述获取与自动驾驶相关的场景环境图像数据的步骤,包括:
摄取与自动驾驶相关的场景环境图像;
使用图像信号处理技术对所述场景环境图像进行信号处理;
对信号处理后的所述场景环境图像进行软解码,得到与所述场景环境图像对应的视频流数据;
按照预定帧率截取所述视频流数据,得到所述场景环境图像数据。
3.根据权利要求1所述的感知模型测试方法,其特征在于,所述使用tensorRT工具对神经网络生成的感知模型进行tensorRT化的步骤,包括:
将所述神经网络训练生成的感知模型转化为onnx模型;
使用所述tensorRT工具将所述onnx模型进行tensorRT化,得到tensorRT化的所述感知模型。
4.根据权利要求1所述的感知模型测试方法,其特征在于,所述使用tensorRT化的感知模型,对场景环境图像数据进行推理计算的步骤,包括:
使用Socket监听网络将监听到的场景环境图像数据推送至所述pegasus平台的tensorRT化的感知模型;
使用所述tensorRT化的感知模型对所述场景环境图像数据进行推理计算。
5.根据权利要求1所述的感知模型测试方法,其特征在于,所述根据tensorRT化的感知模型,对场景环境图像数据进行推理计算的步骤,包括:
在除所述pegasus平台外的其他测试平台上部署Socket监听网络;
使用所述Socket监听网络监听所述其他测试平台的场景环境图像数据;
使用所述Socket监听网络将所述场景环境图像数据推送至所述pegasus平台;
使用所述pegasus平台上tensorRT化的感知模型对所述场景环境图像数据进行推理计算,得到推理结果;
使用所述Socket监听网络将所述推理结果返回至所述其他测试平台。
6.一种基于pegasus平台的自动驾驶的感知模型测试系统,其特征在于,包括:
数据获取模块,用于获取与自动驾驶相关的场景环境图像数据;
优化模块,用于在pegasus平台上,使用tensorRT工具对神经网络生成的感知模型进行tensorRT化;
推理计算模块,用于使用tensorRT化的所述感知模型,对所述场景环境图像数据进行推理计算。
7.根据权利要求6所述的感知模型测试系统,其特征在于,所述数据获取模块,包括:
图像摄取子模块,用于摄取与自动驾驶相关的场景环境图像;
信号处理子模块,用于使用图像信号处理技术对所述场景环境图像进行信号处理;
图像解码子模块,用于对信号处理后的所述场景环境图像进行软解码,得到与所述场景环境图像对应的视频流数据;
数据截取子模块,用于按照预定帧率截取所述视频流数据,得到所述场景环境图像数据。
8.根据权利要求6所述的感知模型测试系统,其特征在于,所述优化模块,包括:
第一模型转化子模块,用于将所述神经网络训练生成的感知模型转化为onnx模型;
第二模型转化子模块,用于使用所述tensorRT工具将所述onnx模型进行tensorRT化,得到tensorRT化的所述感知模型。
9.根据权利要求6所述的感知模型测试系统,其特征在于,所述推理计算模块,包括:
图像数据推送子模块,用于使用Socket监听网络将监听到的场景环境图像数据推送至所述pegasus平台的tensorRT化的感知模型;
图像数据计算子模块,用于使用所述tensorRT化的感知模型对所述场景环境图像数据进行推理计算。
10.根据权利要求6所述的感知模型测试系统,其特征在于,所述推理计算模块,包括:
网络部署子模块,用于在除所述pegasus平台外的其他测试平台上部署Socket监听网络;
数据监听子模块,用于使用所述Socket监听网络监听所述其他测试平台的场景环境图像数据;
数据推送子模块,用于使用所述Socket监听网络将所述场景环境图像数据推送至所述pegasus平台;
推理计算子模块,用于使用所述pegasus平台上tensorRT化的感知模型对所述场景环境图像数据进行推理计算,得到推理结果;
结果发送子模块,用于使用所述Socket监听网络将所述推理结果返回至所述其他测试平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110087451.3A CN112784982A (zh) | 2021-01-22 | 2021-01-22 | 一种基于pegasus平台的自动驾驶的感知模型测试方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110087451.3A CN112784982A (zh) | 2021-01-22 | 2021-01-22 | 一种基于pegasus平台的自动驾驶的感知模型测试方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112784982A true CN112784982A (zh) | 2021-05-11 |
Family
ID=75758481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110087451.3A Withdrawn CN112784982A (zh) | 2021-01-22 | 2021-01-22 | 一种基于pegasus平台的自动驾驶的感知模型测试方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112784982A (zh) |
-
2021
- 2021-01-22 CN CN202110087451.3A patent/CN112784982A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10579453B2 (en) | Stream-processing data | |
US9324192B2 (en) | Real-time monitoring of vehicle | |
US10885240B2 (en) | Deterministic simulation framework for autonomous vehicle testing | |
US11257309B2 (en) | Systems and methods to test an autonomous vehicle | |
CN109060370B (zh) | 对自动驾驶车辆进行车辆测试的方法及装置 | |
CN113826051A (zh) | 生成实体系统零件之间的交互的数字孪生 | |
CN110780608B (zh) | 仿真测试方法及装置 | |
US11971709B2 (en) | Learning device, control device, learning method, and recording medium | |
CN114781635B (zh) | 模型部署方法、装置、设备和介质 | |
CN112085056A (zh) | 目标检测模型生成方法、装置、设备及存储介质 | |
CN115879323B (zh) | 自动驾驶仿真测试方法、电子设备及计算机可读存储介质 | |
JP7164028B2 (ja) | 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム | |
CN110245619B (zh) | 一种用于自动扶梯上超限物体判断方法及系统 | |
CN114529890A (zh) | 状态检测方法、装置、电子设备及存储介质 | |
CN112784982A (zh) | 一种基于pegasus平台的自动驾驶的感知模型测试方法和系统 | |
CN109829004B (zh) | 基于无人车的数据处理方法、装置、设备以及存储介质 | |
CN113591885A (zh) | 目标检测模型训练方法、设备及计算机存储介质 | |
CN114896168B (zh) | 用于自动驾驶算法开发的快速调试系统、方法以及存储器 | |
WO2020252926A1 (zh) | 自动驾驶行为预测方法、装置、计算机设备及存储介质 | |
CN115562707A (zh) | 一种车载终端模型部署方法、装置、设备及介质 | |
CN112395695A (zh) | 一种实时建立仿真场景的方法及系统 | |
US20230410573A1 (en) | Vehicular control system with automatic subsystem selection | |
CN117009124A (zh) | 一种基于云阶虚拟化平台的巡检方法、装置、设备和介质 | |
KR20220166108A (ko) | 고장 진단 기능을 갖는 전자 제어 유닛 | |
CN111627056A (zh) | 基于深度估计的行车能见度确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210511 |