CN117629647A - 自动驾驶主观体验评测方法、系统、终端及介质 - Google Patents
自动驾驶主观体验评测方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN117629647A CN117629647A CN202310453718.5A CN202310453718A CN117629647A CN 117629647 A CN117629647 A CN 117629647A CN 202310453718 A CN202310453718 A CN 202310453718A CN 117629647 A CN117629647 A CN 117629647A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- video
- data
- axis
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004088 simulation Methods 0.000 claims abstract description 96
- 238000012360 testing method Methods 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 8
- 230000001133 acceleration Effects 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 8
- 238000012827 research and development Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种自动驾驶主观体验评测方法及系统，其中评测方法包括：构建包括测试车辆及其周边交通环境的测试场景，获取环车辆多视角视频和车辆动态信息数据；将环车辆多视角视频拼接为360度视频数据；将车辆动态信息数据与360度视频数据进行时间轴同步，利用VR工具加载车辆周边环境模拟视频，利用多轴模拟器平台加载车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化；重复上述步骤，完成自动驾驶主观评测。本发明能极大的减少主观体验需求/问题沟通中理解偏差，有效缩短打造更个性化自动驾驶功能的研发周期；无需在实际测试场地，更具便捷性；可以模拟不同的车辆特性。
Description
技术领域
本发明涉及自动驾驶技术领域，具体地，涉及一种自动驾驶主观体验评测方法、系统、终端及介质。
背景技术
虚拟现实技术(Virtual Reality,VR)越来越受到市场的重视。它可以将构建的三维世界，通过特殊的显示眼镜，营造身临其境的效果。VR技术主要是一种显示技术，它将构建的虚拟场景通过双目眼镜，结合人头部状态的变化，转换虚拟场景中的视角，营造身临其境的效果。随着VR技术趋于成熟，更多的交互也引入到了VR技术的方案中。目前VR技术结合各种输入设置，可以在虚拟环境中构建主视角的虚拟人物做出不同的动作，以达到交互。目前主要用于游戏，特殊技术的培训中。
在汽车制造及赛车赛事中，会使用驾驶模拟器进行轴动态模拟，模拟车辆在不同轴向上的动态响应，以加速汽车研发或提升驾驶人员的驾驶水平。
自动驾驶功能，需要控制车辆除了保证功能的安全性，也需要考虑到驾驶员驾乘的舒适性。在目前自动驾驶研发中，对于主观体验的评价主要通过在实车上，到真实场景中体验。这种方式比较耗时，也无法将需要评测的场景重复定量的分析。但是，如果将上述的VR技术或驾驶模拟技术应用在自动驾驶主观体验评价中，则会存在如下技术问题：
单纯的VR无法反应功能在体感上的反馈；单纯的车辆驾驶模拟器是通过获取驾驶员的输入，模拟产生车辆的动态信息。二者数据无法同步，无法直观的反应出某个具体功能场景下，车辆的动态响应，也就无法完成在该场景下的主观评价。
经过检索发现：
申请号为201910482252.5的中国发明专利申请《智能驾驶评测系统及评测方法》，包括：定位设备、行人模拟设备、车辆模拟设备、测试场地和控制器，其中，定位设备安装在测试车辆上，用于将测试车辆的位置实时反馈给控制器，行人模拟设备用于接收并执行来自控制器的指令以模拟行人运动，车辆模拟设备用于接收并执行来自控制器的指令以模拟车辆运动，测试场地上设置有交通信号灯，交通信号灯接收并执行来自控制器的指令以变换信号灯的亮灯颜色，控制器包括信号发生器，用于向行人模拟设备、车辆模拟设备和测试场地中的交通信号灯发送控制指令。该评测系统及评测方法，需要在实际测试场地中部署，需要有足够的测试空间；需要依赖实际的车辆，且每次部署，都需要切换一台实际的车辆。
申请号为201910684034.X的中国发明专利申请《一种基于虚拟现实的交通场景模拟实验平台和方法》，包括：所述仿真场景控制模块(1)、人机交互机制决策模块(2)、网络通信仿真模块(3)和操纵输入接口(4)，所述仿真场景控制模块(1)、网络通信仿真模块(3)、操纵输入接口(4)与所述人机交互机制决策模块(2)连接，在所述人机交互机制决策模块(2)中具有预先封装好的虚拟驾驶人特性；所述人机交互机制决策模块(2)模拟真实驾驶人或虚拟驾驶人以及其他交通要素对于各种场景的行为决策，并进行人-车-路联合运行虚拟仿真，基于真实环境车辆具备的动力学属性、在虚拟环境下控制虚拟车辆进行加速、减速、刹车、超车和/或换道。该模拟实验平台和方法，通过构建全虚拟场景，进行的模拟实验，主要在于应用仿真场景，进行主车及其它交通车辆、交通设施及驾驶员交互的虚拟场景仿真；使用纯办件的仿真，车辆动态信息无法模拟，只能通过方向盘，踏板作为驾驶员的输入。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种自动驾驶主观体验评测方法、系统、终端及介质。
根据本发明的一个方面，提供了一种自动驾驶主观体验评测方法，包括：
构建包括测试车辆及其周边交通环境的测试场景，基于所述测试场景，获取环车辆多视角视频和车辆动态信息数据；
将所述环车辆多视角视频拼接为360度视频数据；
将所述车辆动态信息数据与所述360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；利用VR工具加载所述车辆周边环境模拟视频，利用多轴模拟器平台加载所述车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化；
重复上述步骤，完成自动驾驶主观评测。
优选地，所述测试场景，包括：真实道路场景和虚拟仿真场景；其中：
针对所述真实道路场景，构建所述测试场景，包括：
基于ISO车辆坐标系，采用多摄像头同步采集延xy轴平面的多角度视频图像，得到环车辆视频；
在ISO车辆坐标系下，通过车载IMU传感器获取xyz三个轴上的车辆动态信息数据，包括：沿x轴的加速度ax、绕x轴的角度ωx、沿y轴的加速度ay、绕y轴的角度θy、沿z轴的加速度az以及绕z轴的角度ψy；
基于所述环车辆视频和所述车辆动态信息数据，重现包括测试车辆及其交通环境的测试场景；
针对所述虚拟仿真场景，构建所述测试场景，包括：
利用虚拟场景编辑器，通过人为设定环车辆视频和车辆动态信息数据，构建包括当前测试及其交通环境的测试场景。
优选地，所述将所述环车辆多视角视频拼接为360度视频，包括：
将所述环车辆多视角视频进行拼接，并采用尺度不变特征变换匹配算法局部检测视频每一帧图像中的特征及关键点；
采用随机抽样一致方法，将相邻的视频不符合几何变化的匹配进行排除，利用剩余匹配的点计算变换矩阵H；
将相邻的视频，对每一帧待拼接的图像使用变换矩阵H进行投影变换，变换后重叠部分的像素进行加权平均融合；
通过以上骤完成对同一时刻的环车辆多视角视频的拼接，生成连续的基于车辆xy平面的360度视角视频图像。
优选地，所述将所述车辆动态信息数据与所述360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据，包括：
通过实车录制或仿真生成的车辆运行数据中的时间轴对所述360度视频数据及车辆动态信息数据进行同步，调取同一时刻的360度视频数据和车辆动态信息数据；
同时采集评测人员头姿的输入关注的视野方向，设视角为yaw；通过评测人员输入的视角yaw，实时加载该视野方向上指定360度视频数据的可视范围，得到车辆周边环境模拟视频为：
Videoo＝f(timestamps,yaw,FOV)
式中：
timestamps为同步的时刻；
Videoo为车辆周边环境模拟视频；
yaw为评测人员的头姿，沿车辆行驶方向的偏转角；
FOV为VR视频可视范围；
调取与360度视频数据同一时刻的车辆动态信息数据，得到车辆运动模拟数据为：
Poseo＝f(timestamps)
式中：
Poseo为车辆运动模拟数据，包括：沿x轴的加速度ax、绕x轴的角度ωx、沿y轴的加速度ay、绕y轴的角度θy、沿z轴的加速度az以及绕z轴的角度ψy；
得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据表示为：
[Videoo,Poseo]＝f(timestamps,,，pause)
式中：
pause为是否暂停360度视频与车辆动态信息数据的接口，用于方便在某一时刻随时暂停，进行当前测试场景下测试车辆的动态响应评估。
优选地，所述利用VR工具加载车辆周边环境模拟视频，利用多轴模拟器平台加载车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化，包括：
将获得的车辆周边环境模拟视频输出至评测人员的VR头显中；
通过CAN通信，将获得的车辆运动模拟数据响应在多轴模拟器平台上，得到不同轴向上的姿态；其中：
所述多轴模拟器平台根据平台请求的不同轴向上的姿态，控制多轴模拟器的电动推杆的推力模拟不同轴上的加速度；通过不同推杆行程的组合，模拟绕不同轴的偏转角。
根据本发明的另一个方面，提供了一种自动驾驶主观体验评测系统，包括：
测试场景构建模块，该模块用于构建包括测试车辆及其周边交通环境的测试场景，基于所述测试场景，获取环车辆多视角视频和车辆动态信息数据；
视频拼接模块，该模块用于将所述环车辆多视角视频拼接为360度视频数据；
模拟数据获取模块，该模块用于将所述车辆动态信息数据与所述360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；
模拟显示模块，该模块利用VR模块和多轴模拟器模块，分别加载所述车辆周边环境模拟视频和所述车辆运动模拟数据，观测车辆周边环境信息和感受车辆六轴姿态变化，完成主观评测。
优选地，该系统还包括：数据回放工具模块，所述数据回放工具模块用于布置所述模拟数据获取模块，控制所述时间轴同步，并与所述模拟显示模块控制连接，用于控制所述VR模块播放、暂停或回放所述车辆周边环境模拟视频以及控制所述多轴模拟器模块执行所述车辆运动模拟数据。
根据本发明的第三个方面，提供了一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法，或，运行上述的系统。
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述的系统。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
本发明提供的自动驾驶主观体验评测方法、系统、终端及介质，为主观评价提供定量分析工具，可以有效定量反复评估不同场景下的主观体验，打磨产品细节，解决了测试过程中主观评价问题的不可复现性、量化的数据与实际体感无法复现的问题，能极大的减少主观体验需求/问题沟通中理解偏差，有效缩短打造更个性化自动驾驶功能的研发周期。
本发明提供的自动驾驶主观体验评测方法、系统、终端及介质，无需在实际测试场地，只需要部署在实验室中，相比于传统自动驾驶主观体验测试需要依赖不同的道路环境或专业的测试场地，更具便捷性。
本发明提供的自动驾驶主观体验评测方法、系统、终端及介质，只需构建多轴自由度仿真平台，可以模拟不同的车辆特性，进而模拟不同车辆。
本发明提供的自动驾驶主观体验评测方法、系统、终端及介质，侧重于重建真实车辆采集的数据，重建为虚拟场景，从数据中直接生成，而不依赖人为构建虚拟场景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中自动驾驶主观体验评测方法的工作流程图。
图2为本发明一优选实施例中获得的车辆周边环境模拟视频的原理图。
图3为本发明一优选实施例中自动驾驶主观体验评测方法的工作原理图。
图4为本发明一优选实施例中自动驾驶主观体验评测系统的组成模块示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种自动驾驶主观体验评测方法，该方法通过将车辆周围的环境信息的视频后处理为VR视频，同时将车辆的动态信息在多自由度车辆动态仿真平台上呈现，进而复现出自动驾驶车辆所处的环境及车辆动态响应。场景信息，可以来自于纯仿真平台构建，也可通过实车记录。通过复现的周围环境及车辆的动态响应，建立一套可将自动驾驶中影响主观体验的数据复现的仿真系统。
如图1所示，该实施例提供的自动驾驶主观体验评测方法，可以包括：
S1，构建包括测试车辆及其周边交通环境的测试场景，基于测试场景，获取环车辆多视角视频和车辆动态信息数据；
S2，将环车辆多视角视频拼接为360度视频数据；
S3，将车辆动态信息数据与360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；利用VR工具加载车辆周边环境模拟视频，利用多轴模拟器平台加载车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化；
重复上述步骤，完成自动驾驶主观评测。
下面对本发明上述实施例提供的技术方案进一步详细说明。
本发明上述实施例提供的自动驾驶主观体验评测方法，包括如下步骤：
步骤1：构建包括测试车辆及其周边交通环境的测试场景，基于测试场景，获取环车辆多视角视频和车辆动态信息数据；
步骤2：将环车辆多视角视频拼接为360度视频；
步骤3：将车辆动态信息数据与360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；利用VR工具加载车辆周边环境模拟视频，利用多轴模拟器平台加载车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化；
步骤4：测试人员利用上述步骤进行多次评测，最终得到主观评测结果，主观评测结果可用于指导产品下一步的研发。
在步骤1的一优选实施例中，测试场景，包括：真实道路场景和虚拟仿真场景；其中：
针对真实道路场景，构建测试场景，包括：
步骤1.1.1，基于ISO车辆坐标系，采用多摄像头同步采集延xy轴平面的多角度视频图像，得到环车辆视频；
步骤1.1.2，在ISO车辆坐标系下，通过车载IMU传感器获取xyz三个轴上的车辆动态信息数据，包括：沿x轴的加速度ax、绕x轴的角度ωx、沿y轴的加速度ay、绕y轴的角度θy、沿z轴的加速度az以及绕z轴的角度ψy；
步骤1.1.3，基于环车辆视频和车辆动态信息数据，重现包括测试车辆及其交通环境的测试场景；
针对虚拟仿真场景，构建测试场景，包括：
步骤1.2.1，利用虚拟场景编辑器，通过人为设定环车辆视频和车辆动态信息数据，构建包括当前测试及其交通环境的测试场景。
在该步骤中，若需要评价的场景由真实的车辆中产生，可以通过采集的车辆数据来构建待评价的场景；若需要评价虚拟构建的场景，需要构建虚拟场景，如本车的动态信息，及其它交通参与者的运动信息。
在步骤1的一优选实施例中，构建的数据需要满足以下要求：
基于ISO车辆坐标系，延xy轴平面的360度的视频图像(需要由多摄像头同步采集的数据组成)；
车辆的动态信息，在ISO车辆坐标系下，三个轴上的动态信息，包括沿x轴的加速度(ax),绕x轴的角度(ωx)，沿y轴的加速度(ay),绕y轴的角度(θy)，沿z轴的加速度(az),绕z轴的角度(ψy)。
在步骤2的一优选实施例中，将环车辆多视角视频拼接为360度视频数据，包括如下步骤：
步骤2.1，将环车辆多视角视频进行拼接，并运用SIFT(Scale Invariant FeatureTransform，尺度不变特征变换匹配算法)局部描述片子检测视频每一帧图像中的特征及关键点；
步骤2.2，再采用RANSAC(RANdom SAmple Consensus,随机抽样一致)方法排除掉将相邻的视频不符合大部分几何变化的匹配，利用剩余匹配的点估算变换矩阵H；
步骤2.3，将相邻的视频，对每一帧需要拼接的图像使用变换矩阵H进行投影变换，变换后重叠部分的像素进行加权平均融合。
在该步骤中，通过以上三个步骤可将周一时刻的环车辆多视角视频完成拼接。即可以生成连续的基于车辆XY平面360视角的视频图像。
在该步骤中，环车辆多视角视频可来自于实车记录的数据或虚拟场景构建的车辆运行数据，该数据可以包括：每一个时刻车辆所对应的绝对时间、自车车速、加速度等。
在步骤3的一优选实施例中，将车辆动态信息数据与360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据，包括如下步骤：
步骤3.1：通过通过实车录制或仿真生成的车辆运行数据中的时间轴对360度视频数据及车辆动态信息数据进行同步，调取同一时刻(timestamps)的360度视频数据和车辆动态信息数据；
步骤3.2：同时采集评测人员头姿的输入关注的视野方向，设视角为yaw；输入的视频应满足以下关系，通过评测人员输入的yaw，实时加载该视野方向上，指定视频的可视范围，获得车辆周边环境模拟视频：
Videoo＝f(timestamps,yaw,FOV)
式中：
Timestamps：同步的时刻；
Videoo：为车辆周边环境模拟视频；
yaw：评测人员的头姿，沿车辆行驶方向的偏转角；
FOV：VR视频可视范围；
获得的车辆周边环境模拟视频的原理，如图2所示；
步骤3.3：调取与360度视频数据同一时刻的车辆动态信息数据，获得车辆运动模拟数据：
Poseo＝f(timestamps)
式中：
Poseo为车辆运动模拟数据，包括：沿x轴的加速度ax、绕x轴的角度ωx、沿y轴的加速度ay、绕y轴的角度θy、沿z轴的加速度az以及绕z轴的角度ψy；
得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据表示为：
[Videoo,Poseo]＝f(timestamps,,，pause)
式中：
pause为是否暂停360度视频与车辆动态信息数据的接口，用于方便在某一时刻随时暂停，进行当前测试场景下测试车辆的动态响应评估。
在步骤3的另一优选实施例中，利用VR工具加载车辆周边环境模拟视频，利用多轴模拟器平台加载车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化，包括如下步骤：
步骤3.01：将获得的车辆周边环境模拟视频输出至评测人员的VR头显中；
步骤3.02：通过CAN通信，将获得的车辆运动模拟数据响应在多轴模拟器平台上，得到不同轴向上的姿态；其中：
多轴模拟器平台，根据平台请求的不同轴向上的姿态，控制模拟器的电动推杆，通过控制推杆的推力模拟不同轴上的加速度；通过不同推杆行程的组合，模拟出绕不同轴的们偏转角。
在一优选实施例中，上述步骤中，还包括：
使用数据回放工具,控制视频与姿态数据同时回放。同时也支持暂停数据回放，可以用来精细化分析。为保护体感与实际数据不存在显示延迟，整体设备响应的延迟要控制在100ms以内。
在步骤3和/或步骤4的一优选实施例中，要求评测人员在环测试，对车辆响应进行主观评价。
本发明上述实施例提供的评测方法，其基本工作原理，如图3所示。
本发明上述实施例提供的评测方法，基于实车测试视频数据或构建的虚拟场景，生成VR视频，该VR视频将可以呈现车辆不同位置的视角，便于在得到数据后，模拟车辆任一视角的主观体验。
本发明上述实施例提供的评测方法，在回放VR视频的同时，车辆的动态数据在多轴模拟器上回放，重现数据中车辆的姿态。主观体验评测人员可以在模拟器上，同时结合VR视频及车辆动态姿态，做出更详细的主观体验的分析。
本发明一实施例提供了一种自动驾驶主观体验评测系统。
如图4所示，该实施例提供的自动驾驶主观体验评测系统，可以包括：
测试场景构建模块，该模块用于构建包括测试车辆及其周边交通环境的测试场景，基于测试场景，获取环车辆多视角视频和车辆动态信息数据；
视频拼接模块，该模块用于将环车辆多视角视频拼接为360度视频数据；
模拟数据获取模块，该模块用于将车辆动态信息数据与360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；
模拟显示模块，该模块利用VR模块和多轴模拟器模块，分别加载车辆周边环境模拟视频和车辆运动模拟数据，观测车辆周边环境信息和感受车辆六轴姿态变化，完成主观评测。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。
本发明一实施例提供了一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施例中任一项的方法，或，运行本发明上述实施例中任一项的系统。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤或系统各种的各个模块。具体可以参见前面方法和系统实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本发明一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行本发明上述实施例中任一项的方法，或，运行本发明上述实施例中任一项的系统。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明上述实施例提供的自动驾驶主观体验评测方法、系统、终端及介质，为主观评价提供定量分析工具，可以有效定量反复评估不同场景下的主观体验，打磨产品细节，解决了测试过程中主观评价问题的不可复现性、量化的数据与实际体感无法复现的问题，能极大的减少主观体验需求/问题沟通中理解偏差，有效缩短打造更个性化自动驾驶功能的研发周期；无需在实际测试场地，只需要部署在实验室中，相比于传统自动驾驶主观体验测试需要依赖不同的道路环境或专业的测试场地，更具便捷性；只需构建多轴自由度仿真平台，可以模拟不同的车辆特性，进而模拟不同车辆；侧重于重建真实车辆采集的数据，重建为虚拟场景，从数据中直接生成，而不依赖人为构建虚拟场景。
本发明上述实施例提供的自动驾驶主观体验评测方法、系统、终端及介质，构建了一套数据控制技术，该技术可以通过已有数据，控制同时回放VR视频及车辆的动态响应，用于主观评价；或通过构建的仿真场景，控制同时生成VR视频及车辆的动态响应，用于主观评价。
本发明上述实施例中未尽事宜均为本领域公知技术。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (9)
1.一种自动驾驶主观体验评测方法，其特征在于，包括：
构建包括测试车辆及其周边交通环境的测试场景，基于所述测试场景，获取环车辆多视角视频和车辆动态信息数据；
将所述环车辆多视角视频拼接为360度视频数据；
将所述车辆动态信息数据与所述360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；利用VR工具加载所述车辆周边环境模拟视频，利用多轴模拟器平台加载所述车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化；
重复上述步骤，完成自动驾驶主观评测。
2.根据权利要求1所述的自动驾驶主观体验评测方法，其特征在于，所述测试场景，包括：真实道路场景和虚拟仿真场景；其中：
针对所述真实道路场景，构建所述测试场景，包括：
基于ISO车辆坐标系，采用多摄像头同步采集延xy轴平面的多角度视频图像，得到环车辆视频；
在ISO车辆坐标系下，通过车载IMU传感器获取xyz三个轴上的车辆动态信息数据，包括：沿x轴的加速度ax、绕x轴的角度ωx、沿y轴的加速度ay、绕y轴的角度θy、沿z轴的加速度az以及绕z轴的角度ψy；
基于所述环车辆视频和所述车辆动态信息数据，重现包括测试车辆及其交通环境的测试场景；
针对所述虚拟仿真场景，构建所述测试场景，包括：
利用虚拟场景编辑器，通过人为设定环车辆视频和车辆动态信息数据，构建包括当前测试及其交通环境的测试场景。
3.根据权利要求1所述的自动驾驶主观体验评测方法，其特征在于，所述将所述环车辆多视角视频拼接为360度视频，包括：
将所述环车辆多视角视频进行拼接，并采用尺度不变特征变换匹配算法局部检测视频每一帧图像中的特征及关键点；
采用随机抽样一致方法，将相邻的视频不符合几何变化的匹配进行排除，利用剩余匹配的点计算变换矩阵H；
将相邻的视频，对每一帧待拼接的图像使用变换矩阵H进行投影变换，变换后重叠部分的像素进行加权平均融合；
通过以上骤完成对同一时刻的环车辆多视角视频的拼接，生成连续的基于车辆xy平面的360度视角视频图像。
4.根据权利要求1所述的自动驾驶主观体验评测方法，其特征在于，所述将所述车辆动态信息数据与所述360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据，包括：
通过实车录制或仿真生成的车辆运行数据中的时间轴对所述360度视频数据及车辆动态信息数据进行同步，调取同一时刻的360度视频数据和车辆动态信息数据；
同时采集评测人员头姿的输入关注的视野方向，设视角为yaw；通过评测人员输入的视角yaw，实时加载该视野方向上指定360度视频数据的可视范围，得到车辆周边环境模拟视频为：
Videoo＝f(timestamps,yaw,FOV)
式中：
timestamps为同步的时刻；
Videoo为车辆周边环境模拟视频；
yaw为评测人员的头姿，沿车辆行驶方向的偏转角；
FOV为VR视频可视范围；
调取与360度视频数据同一时刻的车辆动态信息数据，得到车辆运动模拟数据为：
Poseo＝f(timestamps)
式中：
Poseo为车辆运动模拟数据，包括：沿x轴的加速度ac、绕x轴的角度ωc、沿y轴的加速度ay、绕y轴的角度θy、沿z轴的加速度az以及绕z轴的角度ψy；
得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据表示为：
[Videoo,Poseo]＝f(timestamps,,，pause)
式中：
pause为是否暂停360度视频与车辆动态信息数据的接口，用于方便在某一时刻随时暂停，进行当前测试场景下测试车辆的动态响应评估。
5.根据权利要求1所述的自动驾驶主观体验评测方法，其特征在于，所述利用VR工具加载车辆周边环境模拟视频，利用多轴模拟器平台加载车辆运动模拟数据，模拟车辆周边环境信息和车辆六轴姿态变化，包括：
将获得的车辆周边环境模拟视频输出至评测人员的VR头显中；
通过CAN通信，将获得的车辆运动模拟数据响应在多轴模拟器平台上，得到不同轴向上的姿态；其中：
所述多轴模拟器平台根据平台请求的不同轴向上的姿态，控制多轴模拟器的电动推杆的推力模拟不同轴上的加速度；通过不同推杆行程的组合，模拟绕不同轴的偏转角。
6.一种自动驾驶主观体验评测系统，其特征在于，包括：
测试场景构建模块，该模块用于构建包括测试车辆及其周边交通环境的测试场景，基于所述测试场景，获取环车辆多视角视频和车辆动态信息数据；
视频拼接模块，该模块用于将所述环车辆多视角视频拼接为360度视频数据；
模拟数据获取模块，该模块用于将所述车辆动态信息数据与所述360度视频数据进行时间轴同步，得到同一时刻的车辆周边环境模拟视频和车辆运动模拟数据；
模拟显示模块，该模块利用VR模块和多轴模拟器模块，分别加载所述车辆周边环境模拟视频和所述车辆运动模拟数据，观测车辆周边环境信息和感受车辆六轴姿态变化，完成主观评测。
7.根据权利要求6所述的自动驾驶主观体验评测系统，其特征在于，还包括：数据回放工具模块，所述数据回放工具模块用于布置所述模拟数据获取模块，控制所述时间轴同步，并与所述模拟显示模块控制连接，用于控制所述VR模块播放、暂停或回放所述车辆周边环境模拟视频以及控制所述多轴模拟器模块执行所述车辆运动模拟数据。
8.一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-5中任一项所述的方法，或，运行权利要求6-7中任一项所述的系统。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-5中任一项所述的方法，或，运行权利要求-6-7中任一项所述的系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310453718.5A CN117629647A (zh) | 2023-04-24 | 2023-04-24 | 自动驾驶主观体验评测方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310453718.5A CN117629647A (zh) | 2023-04-24 | 2023-04-24 | 自动驾驶主观体验评测方法、系统、终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117629647A true CN117629647A (zh) | 2024-03-01 |
Family
ID=90034498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310453718.5A Pending CN117629647A (zh) | 2023-04-24 | 2023-04-24 | 自动驾驶主观体验评测方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117629647A (zh) |
-
2023
- 2023-04-24 CN CN202310453718.5A patent/CN117629647A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110531846B (zh) | 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 | |
| US10817134B2 (en) | Systems and methods for training robots using augmented reality and machine learning | |
| US20230079335A1 (en) | Spatially consistent representation of hand motion | |
| US20040054512A1 (en) | Method for making simulator program and simulator system using the method | |
| WO2020197621A1 (en) | Spatially consistent representation of hand motion | |
| CN103258338A (zh) | 利用真实数据来驱动仿真的虚拟环境的方法和系统 | |
| CN110544314B (zh) | 虚拟现实与仿真模型的融合方法、系统、介质及设备 | |
| JP6856936B2 (ja) | 学習方法、学習装置及び学習プログラム | |
| Tao et al. | Manufacturing assembly simulations in virtual and augmented reality | |
| Fouladinejad et al. | Modeling virtual driving environment for a driving simulator | |
| Schwab et al. | Consistent test method for assistance systems | |
| Rastogi et al. | Telerobotic control with stereoscopic augmented reality | |
| Serrano et al. | Insertion of real agents behaviors in CARLA autonomous driving simulator | |
| US20230206529A1 (en) | Generation method for a steerable realistic image contents and motion simulation system thereof | |
| CN117629647A (zh) | 自动驾驶主观体验评测方法、系统、终端及介质 | |
| CN113946259B (zh) | 车辆信息的处理方法、装置、电子设备及可读介质 | |
| KR20230126662A (ko) | 기록된 물리적 상호작용 재생 | |
| Schaub et al. | Simulation of artificial intelligence agents using Modelica and the DLR visualization library | |
| EP3534240A1 (de) | Verfahren und vorrichtung zur daten-annotation | |
| CN112753008B (zh) | 中间新兴内容 | |
| CN114220149A (zh) | 一种头部姿势真值的获取方法、装置、设备及存储介质 | |
| KR20210105484A (ko) | 문화유적복원 실감 장치 | |
| Peng et al. | A Vehicle Driving Simulator Based on Virtual Reality | |
| US20210141972A1 (en) | Method for generating an image data set for a computer-implemented simulation | |
| US20210097769A1 (en) | Virtual reality vehicle testing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |