CN114820898A - 模拟驾驶的图像渲染方法、装置、模拟器及存储介质 - Google Patents

Abstract

本公开涉及一种模拟驾驶的图像渲染方法、装置、模拟器及存储介质，所述方法包括：获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像，所述车辆行驶图像为全景图像；根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据；响应于用户的开始模拟驾驶操作，根据所述道路数据在三维虚拟场景中渲染虚拟道路；在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶；根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆。

Description

模拟驾驶的图像渲染方法、装置、模拟器及存储介质

技术领域

本公开涉及驾驶模拟领域，具体地，涉及一种模拟驾驶的图像渲染方法、装置、模拟器及存储介质。

背景技术

随着汽车的普及，人们需要考取驾照才能够驾驶车辆上路，为了缩短驾驶培训机构的培训时间，降低使用真实交通工具培训的成本，以及保证初学者的人身安全，提出了利用驾驶模拟器，使用软件模拟出交通工具的运动学、电气系统和所处环境的运作，并采用仿真的实物驾驶舱让用户操作，通过一个或多个显示屏显示出交通工具外部的虚拟场景画面。然而，在相关技术中，一般采用计算机模拟生成道路以及道路上的车辆，学员不能够真实的感受到驾驶考试时的道路情况，导致训练效果较差。

发明内容

为了提高模拟驾驶的真实性，本公开提供一种模拟驾驶的图像渲染方法、装置、模拟器及存储介质。

为了实现上述目的，本公开提供一种模拟驾驶的图像渲染方法，应用于驾驶模拟器，所述方法包括：

获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像，所述车辆行驶图像为全景图像；

根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据；

响应于用户的开始模拟驾驶操作，根据所述道路数据在三维虚拟场景中渲染虚拟道路；

在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶；

根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆。

可选地，所述根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据包括：

响应于检测到所述车辆行驶图像中存在其他车辆与所述数据采集车的间距小于预设间距阈值的第一时长超过预设时长阈值的情况下，记录该其他车辆初次与所述数据采集车的间距小于预设阈值的第一位置；

确定该其他车辆与所述数据采集车的间距小于预设阈值期间的相对速度以及车道信息；

所述根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆包括：

在确定所述模拟车辆在虚拟道路行驶至所述第一位置的情况下，根据所述第一时长、相对速度以及车道信息，渲染该其他车辆。

可选地，所述方法包括：

根据用户的输入信息，确定该用户的目标驾考路段；

所述根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据包括：

根据所述数据采集车在所述目标驾考路段的行驶数据以及车辆行驶图像，确定与该目标驾考路段对应的道路数据以及其他车辆数据。

可选地，所述方法包括：

获取与所述目标驾考路段对应的考核标准；

根据所述模拟车辆在所述虚拟道路的行驶情况，确定所述用户是否通过模拟考核。

可选地，所述数据采集车为真实驾考车辆，所述方法包括：

采集所述驾考车辆的语音指示，并记录发出所述语音指示的第二位置；

在确定所述模拟车辆在虚拟道路行驶至所述第二位置的情况下，播放所述语音指示。

可选地，所述获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像包括：

在确定所述驾考车辆的考试学员通过考试的情况下，获取设置于所述驾考车辆上的摄像头沿驾考路段行驶采集到的车辆行驶图像。

本公开第二方面提供一种模拟驾驶的图像渲染装置，所述装置包括：

获取模块，用于获取设置于数据采集车上的摄像头采集到的车辆行驶图像，所述车辆行驶图像为全景图像；

确定模块，用于根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据；

第一渲染模块，用于根据所述道路数据，在所述驾驶模拟器的显示模块中渲染虚拟道路；

第二渲染模块，用于在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶；

第三渲染模块，用于根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，渲染其他车辆。

本公开第三方面提供一种驾驶模拟器，所述驾驶模拟器用于执行本公开第一方面中任一项所述的驾驶模拟的图像显示方法。

本公开第四方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面中任一项所述方法的步骤。

本公开第五方面提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述方法的步骤。

通过上述技术方案，通过数据采集车在真实的驾考路段上行驶，以采集真实的驾考路段上的道路信息以及其他车辆的行驶情况，并根据采集到的数据渲染生成驾驶模拟器中显示的模拟场景，能够使得驾驶模拟器中的模拟场景更加符合真实的驾考道路情况，令驾驶学员在模拟驾驶考试时能够更真实地体验真实驾考时的道路场景。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种模拟驾驶的图像渲染方法的流程图；

图2是根据一示例性实施例示出的一种模拟驾驶的图像渲染方法的另一流程图；

图3是根据一示例性实施例示出的一种模拟驾驶的图像渲染装置的框图；

图4是根据一示例性实施例示出的一种驾驶模拟器的框图；

图5是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

随着汽车的普及，人们需要考取驾照才能够驾驶车辆上路，为了缩短驾驶培训机构的培训时间，降低使用真实交通工具培训的成本，以及保证初学者的人身安全，提出了利用驾驶模拟器，使用软件模拟出交通工具的运动学、电气系统和所处环境的运作，并采用仿真的实物驾驶舱让用户操作，通过一个或多个显示屏显示出交通工具外部的虚拟场景画面。然而，在相关技术中，一般采用计算机模拟生成道路以及道路上的车辆，学员不能够真实的感受到驾驶考试时的道路情况，导致训练效果较差。

为了解决相关技术中存在的问题，本申请提供一种模拟驾驶的图像渲染方法、装置、驾驶模拟器、存储介质及电子设备。

图1是根据一示例性实施例示出的一种模拟驾驶的图像渲染方法，应用于驾驶模拟器，具体的，该方法的执行主体可以是该驾驶模拟器中的中央处理器或者图形处理器。

可选地，该驾驶模拟器可以是基于VR的驾驶模拟器，包括操控座舱，座舱中包括方向盘，油门踏板，刹车踏板以及离合踏板、数据采集模块、驾驶模拟仿真软件、模拟驾驶场景VR显示设备，该操控座舱的输出端通过CAN控制器连接于数据采集模块的输入端，数据采集模块的输出端连接于电脑端驾驶模拟仿真软件的输入端，驾驶模拟仿真软件的输出端连接于模拟驾驶场景VR显示设备，通过上述装置，可以实现用户针对操控座舱的操作能够反馈于该驾驶模拟器的VR显示设备，以使得用户能够体验较为真实的驾驶体验。

所述方法包括：

S101、获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像。

其中，驾考路段可以是某一考场科目三的考试路段。在一些可选地实施例中，可以同一数据采集车可以沿多个考场的驾考路段行驶，以获取不同考场的驾考路段的行驶录像。或者，可以在同一驾考路段获取采集多次车辆行驶图像。

示例地，该摄像头可以是360度三原色全景摄像头，也可以是两组双目摄像头，一组双目摄像头用于拍摄车辆前方的图像，一组用于拍摄车辆后方图像，还可以设置多摄像头阵列，将该多摄像头阵列获取的图像按照预设算法拼接为全景图像。在一些可能的实施方式中，还可以设置激光雷达传感器，以使得该数据采集车更准确地采集附近车辆的之间的间距。

应理解的是，由于需要采集数据采集车辆附件的全方位的道路图像以及附近的车辆图像，因此需要全景图像才能够保证行驶中的数据不会缺失。

另外，该车辆行驶图像可以是视频的形式，也可以是按照预设采样周期采集的图像帧，本公开对此不作限定。

该车辆行驶图像可以是数据采集车的摄像头采集后，通过无线网络发送至数据采集平台或者服务器，再由该驾驶模拟器通过有线网络或者无线网络或者其他通信方式从该平台或者服务器获取的。

在一些可能的实施方式中，还可以在驾考路段设置电子围栏，响应于配置有摄像头的车辆进入该电子围栏后，检测该车辆的行驶路径，若该行驶路径与驾考的路径匹配，则将该车辆作为数据采集车，并获取该车辆在该电子围栏内的车辆行驶图像以及行驶数据。

S102、根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据。

其中，该行驶数据可以包括车辆速度、车辆行驶的车道、车辆档位等信息。应理解的是，其他车辆数据指道路中除去该数据采集车之外的一个或多个其他车辆的行驶数据，例如车速、行驶车道、车辆大小以及与数据采集车间距等数据。

具体地，该道路数据可以是包括车道信息、车道宽度、坑洼路段、红绿灯信息等的三维图像数据。

其中，根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据的具体实施方式可以是将该行驶数据以及车辆行驶图像输入预先配置的道路识别模型得到的。

示例地，将所述行驶数据以及车辆行驶图像输入预先配置的道路识别模型，该道路识别模型根据该车辆行驶图像中的图像帧检测道路宽度以及道路车道线，并根据数据采集车的行驶车道，生成三维图像作为该道路数据。

同理，根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定所述数据采集车行驶过程中的其他车辆数据可以是将该行驶数据以及车辆行驶图像输入预先训练的目标检测模型，通过该目标检测模型检测该车辆行驶图像中出现的其他车辆的行驶速度、行驶车道等其他车辆数据，并将该其他车辆数据输出。

S103、响应于用户的开始模拟驾驶操作，根据所述道路数据在三维虚拟场景中渲染虚拟道路。

可以理解的是，该用户的开始模拟驾驶操作可以是用户点击驾驶模拟器上的某个实体按钮，或者驾驶模拟器的显示器上的“开始模拟”的虚拟按钮，或者发出“开始模拟”的语音指示，本公开对此不作限定。

本领域技术人员应知悉，在三维虚拟场景中渲染得到的虚拟道路可以包括该道路数据中包括的所有信息，例如车道信息、红绿灯信息等，该驾驶模拟器可以配置有三维图形接口和三维游戏引擎，所述三维图形接口可以包括OpenGL、Metal、Direct3D，所述三维游戏引擎可以包括Unity和Unreal等，具体地图形渲染、显示方法本公开不做限定。

S104、在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶。

应理解的是，驾驶模拟器设置有油门踏板、离合踏板、刹车踏板、方向盘等设备，并能够采集油门踏板、离合踏板、刹车踏板、方向盘等设备的信号，并根据该信号控制虚拟场景中的模拟车辆的移动以及运动参数，以使得用户能体验到真实驾驶时的操作反馈。

S105、根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆。

示例地，在根据步骤S102到的其他车辆数据表征存在一个车辆以70码的车速，从第一车道变换至与数据采集车所在的第二车道的情况下，若模拟车辆在虚拟道路的第二车道上行驶，则可以在该三维虚拟场景中渲染出一个虚拟其他车辆，从虚拟道路的第一车道变换至第二车道。

在本公开实施例中，通过数据采集车在真实的驾考路段上行驶，以采集真实的驾考路段上的道路信息以及其他车辆的行驶情况，并根据采集到的数据渲染生成驾驶模拟器中显示的模拟场景，能够使得驾驶模拟器中的模拟场景更加符合真实的驾考道路情况，令驾驶学员在模拟驾驶考试时能够更真实地体验真实驾考时的道路场景。

在一些可选地实施例中，所述根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据包括：

响应于检测到所述车辆行驶图像中存在其他车辆与所述数据采集车的间距小于预设间距阈值的第一时长超过预设时长阈值的情况下，记录该其他车辆初次与所述数据采集车的间距小于预设阈值的第一位置；

确定该其他车辆与所述数据采集车的间距小于预设阈值期间的相对速度以及车道信息；

所述根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆包括：

在确定所述模拟车辆在虚拟道路行驶至所述第一位置的情况下，根据所述第一时长、相对速度以及车道信息，渲染该其他车辆。

其中，预设间距阈值可以是20米、30米或者100米，本公开对此不作限定，只要是在该预设间距阈值内的车辆可能会影响到数据采集车或者驾考车辆的行驶情况，或者会出现在驾驶员的视野内即可，例如，若超过40米的车辆，则无法对驾考车辆造成影响，则无需获取该车辆的行驶数据。预设时长阈值可以是10秒、20秒，本公开对此也不作具体限定。应理解的是，车辆在保持一定速度范围内时，其他车辆与数据采集车之间的间距可能在该预设间距阈值的附近波动，若不设置该预设时长阈值，则可能反复采集该其他车辆的行驶数据，进而导致在渲染时可能需要反复生成与删除模拟车辆，导致资源的浪费。

还应理解的是，若数据采集车在采集数据时的驾驶速度较快，而用户在模拟驾驶时，模拟车辆的行驶速度较慢，若还是按照实际采集的其他车辆数据进行车辆的渲染，可能导致模拟车辆在模拟过程中遇不到任何一辆其他车辆，为了解决该可能存在的技术问题，本方案通过记录其他车辆出现的位置(即初次与所述数据采集车的间距小于预设阈值的第一位置)，在模拟车辆行至该位置时，再根据相对速度以及车道信息，并在该其他车辆的可能对模拟车辆造成影响的时长内，再渲染该车辆，能够避免无效的模型渲染，节省该驾驶模拟器的数据处理资源。

在一些可能的实施方式中，若在第一时长内，虚拟场景中的模拟车辆超过其他车辆，且间距已经大于预设距离阈值的第二时长超过第二时长阈值，及时未达到第一时长，也停止渲染该其他车辆，以进一步节省数据处理资源。

在另一些可能的实施方式中，所述方法包括：

根据用户的输入信息，确定该用户的目标驾考路段；

在步骤S102中，所述根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据包括：

根据所述数据采集车在所述目标驾考路段的行驶数据以及车辆行驶图像，确定与该目标驾考路段对应的道路数据以及其他车辆数据。

应理解的是，采用方案的方法在步骤S102确定目标驾考路段对应的道路数据以及其他车辆数据后，还可以基于目标驾考路段对应的道路数据以及其他车辆数据执行步骤S103至S105。

示例地，用户的输入信息可以是该用户报名考试的考场名称，例如XX考场，则可以根据该XX考场确定该考场的科目三考试路段为XXX路至XXXX路，若数据采集车采集了XXX路至XXXX路的行驶数据以及所述车辆行驶图像，则可以根据该行驶数据以及车辆行驶图像，确定该路段的道路数据以及其他车辆数据，以渲染虚拟场景中的道路以及其他车辆。在一些可能的实施方式中，若数据采集车未经过该路段，则可以将该路段信息发送至数据采集平台，以使得相关工作人员采集该路段的数据。

采用本方案，可以根据用户的输入信息确定该用户想要进行模拟的路段，并根据预先采集的数据采集车在该路段的行驶数据以及车辆行驶图像确定该路段的道路数据以及其他车辆数据，进而进行虚拟场景的渲染以使得该用户能够更加真实地体验用户想要模拟的考试路段的道路情况，进一步使得用户了解真实路况，提高驾考成功率。

在又一些可能的实施例中，所述方法包括：

获取与所述目标驾考路段对应的考核标准；

根据所述模拟车辆在所述虚拟道路的行驶情况，确定所述用户是否通过模拟考核。

示例地，目标驾考路段的考核标准包括在第一路口减速让行，在第三位置变更车道等。若模拟车辆在该虚拟道路上的行驶情况表征该模拟车辆在第一路口未在该第一路口减速，且在该第三位置变更车道时，为开启转向灯，则可以确定该用户未通过该模拟考核。若模拟车辆在该虚拟道路上的行驶情况表征该模拟车辆在行驶过程中满足了目标驾考路段对应的所有考核标准，或者在该行驶过程中扣除的分数小于预设分数阈值，则可以确定该用户通过本次模拟考核。

进一步地，在一些可能的实施方式中，在确定所述用户未通过模拟考核，还可以根据所述模拟车辆在所述虚拟道路的行驶情况以及考核标准，确定该用户的扣分点信息，并将该扣分点信息发送至该用户或者教练，以使得该用户或者该教练能够根据针对性地进行改进，以提高该用户的考试通过率。

采用本方案，通过获取目标驾考路段的考核标准，并根据模拟车辆在该虚拟道路上的行驶情况确定模拟用户是否通过模拟考核能够使得该模拟用户更加真实地体验考试的实际情况，能够更具针对性地进行训练。

在一些可选地实施例中，所述数据采集车为真实驾考车辆，所述方法包括：

采集所述驾考车辆的语音指示，并记录发出所述语音指示的第二位置；

在确定所述模拟车辆在虚拟道路行驶至所述第二位置的情况下，播放所述语音指示。

其中，可以在作为数据采集车的驾考车辆上设置麦克风以获取语音指示。可以理解的是，该第二位置可以存在多个，例如在开始行驶后的第A米，发出语音指示“向左变道”，则可以记录一个第二位置为第A米，在开始行驶后的第B米，发出语音指示“调头”，则可以记录另一第二位置为第B米。

进一步地，还可以根据模拟车辆在该虚拟道路上的行驶情况，以及该语音指示对应的操作，确定所述用户是否通过模拟考核。

示例地，若语音指示用户在开始行驶后的第A米向左变道，若模拟车辆在该虚拟道路的第A米至第A+N米内，并无向左变道的操作，或者存在向左变道的操作，但是并无打开左转弯灯的操作，则可以确定该用户未通过该模拟考核。

采用本方案，通过采集真实驾考车辆上的真实语音指示，并在模拟车辆在虚拟道路上行驶时，若到达语音指示对应的位置，则播放语音指示以提示模拟用户进行相应的操作，可以进一步地使得该模拟场景更加符合真实的驾考场景，提高用户的训练效率。

在又一些可选地实施例中，所述获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像包括：

在确定所述驾考车辆的考试学员通过考试的情况下，获取设置于所述驾考车辆上的摄像头沿驾考路段行驶采集到的车辆行驶图像。

可选地，其他车辆数据还可以包括车辆的尺寸数据，并根据该尺寸数据确定车辆类型，例如某车辆的尺寸为长度4米，宽度1.5米，高度为1.4米，则可以确定该其他车辆为轿车，若某车辆的尺寸为长度4.2米，宽度1.9米，高度1.8米，则可以确定该其他车辆为小货车。在步骤S105中对其他车辆渲染时，还可以根据其他车辆的类型，渲染不同大小、类型的其他车辆。例如，若数据采集车采集到存在其他车辆A为小轿车，则在渲染其他车辆A时，则渲染体积较小的虚拟的其他车辆，若采集到存在其他车辆B为大卡车，则在渲染其他车辆B时，则渲染体积较大的虚拟的其他车辆。采用本方案，能够更加真实的体现在该驾考路段上的行驶的车辆的类型。

基于相同还发明构思，图2是根据一示例性实施例示出的一种模拟驾驶的图像渲染方法的另一流程图，如图2所示，该方法包括步骤：

S201、根据用户的输入信息，确定该用户的目标驾考路段。

其中，该用户可以是在其他电子设备上输入的信息再将该信息发送至该方法的执行主体的，本公开对此不做限定。

S202、获取与所述目标驾考路段对应的考核标准。

示例地，目标驾考路段的考核标准包括在第一路口减速让行，在第三位置变更车道等。在步骤S212中，若模拟车辆在该虚拟道路上的行驶情况表征该模拟车辆在第一路口未在该第一路口减速，且在该第三位置变更车道时，为开启转向灯，则可以确定该用户未通过该模拟考核。若模拟车辆在该虚拟道路上的行驶情况表征该模拟车辆在行驶过程中满足了目标驾考路段对应的所有考核标准，或者在该行驶过程中扣除的分数小于预设分数阈值，则可以确定该用户通过本次模拟考核。

S203、获取设置于真实驾考车辆上的摄像头沿目标驾考路段行驶采集到的车辆行驶图像以及行驶音频。

S204、根据所述行驶音频，采集驾考车辆的语音指示，并记录发出所述语音指示的第二位置。

具体地，在该步骤S204中，可以将行驶音频输入预习训练的语音识别模型，通过该语音识别模型检测该行驶音频中的语音指示，并记录检测到该语音指示的时刻，根据该时刻确定该语音指示发出的第二位置。

应理解的是，该第二位置可以是多个，例如在开始行驶后的第A米，发出语音指示“向左变道”，则可以记录一个第二位置为第A米，在开始行驶后的第B米，发出语音指示“调头”，则可以记录另一第二位置为第B米。在步骤S212中，可以根据模拟车辆在该虚拟道路上的行驶情况，以及该语音指示对应的操作，确定所述用户是否通过模拟考核。例如，若语音指示用户在开始行驶后的第A米向左变道，若模拟车辆在该虚拟道路的第A米至第A+N米内，并无向左变道的操作，或者存在向左变道的操作，但是并无打开左转弯灯的操作，则可以确定该用户未通过该模拟考核。

S205、将该驾考车辆的行驶数据以及该车辆行驶图像输入预先配置的道路识别模型，确定道路数据。

其中，该道路数据可以是包括车道信息、车道宽度、坑洼路段、红绿灯信息等的三维图像数据。具体地，在步骤S205中，可以是该道路识别模型根据该车辆行驶图像中的图像帧检测道路宽度以及道路车道线，并根据驾考车辆的行驶车道，生成三维图像作为该道路数据。

S206、根据道路数据在三维虚拟场景中渲染道路。

在步骤S206中，该方法的执行主体可以配置有三维图形接口和三维游戏引擎，所述三维图形接口可以包括OpenGL、Metal、Direct3D，所述三维游戏引擎可以包括Unity和Unreal等，具体地图形渲染、显示方法本公开不做限定。

S207、将驾考车辆的行驶数据以及该车辆行驶图像数据预先训练的目标检测模型，确定是否存在其他车辆与该驾考车辆的间距小于预设间距阈值的第一时长超过预设时长阈值。

在确定存在至少一个其他车辆与该驾考车辆的间距小于预设间距阈值的第一时长超过预设时长阈值的情况下，执行步骤S208。

应理解的是，可能会存在多个其他车辆与该驾考车辆的间距小于预设间距阈值的第一时长超过预设时长阈值，则可以多次执行步骤S208至步骤S209，直至每一个满足该条件的其他车辆的第一位置以及车辆数据被采集完成后，再执行步骤S210。

其中，预设间距阈值可以是20米、30米或者100米，本公开对此不作限定，只要是在该预设间距阈值内的车辆可能会影响到驾考车辆的行驶情况，或者会出现在驾驶员的视野内即可，例如，若超过40米的车辆，则无法对驾考车辆造成影响，则无需获取该车辆的行驶数据。预设时长阈值可以是10秒、20秒，本公开对此也不作具体限定。

S208、记录该其他车辆初次与该驾考车辆的间距小于预设阈值的第一位置。

S209、确定该其他车辆与所述数据采集车的间距小于预设阈值期间的相对速度以及车道信息。

S210、在所述模拟车辆在所述虚拟道路的行驶情况表征该模拟车辆行驶至该第一位置的情况下，根据该其他车辆数据，在所述三维虚拟场景中渲染其他车辆。

本领域技术人员应理解，其他车辆可以有多个，该第一位置可以有多个，在步骤S210中，可以在所述模拟车辆在虚拟道路的行驶情况表征该模拟车辆行驶至每一个第一位置的情况下，均会根据对应该第一位置的其他车辆数据在三维虚拟场景中渲染其他车辆。

S211、在所述模拟车辆在所述虚拟道路的行驶情况表征该模拟车辆行驶至该第二位置的情况下，播放该第二位置对应的语音指示。

本领域技术人员应理解，该第二位置可以有多个，在步骤S211中，可以在所述模拟车辆在所述虚拟道路的行驶情况表征该模拟车辆行驶至每一第二位置的情况下，均会播放该第二位置对应的语音指示。

S212、根据所述模拟车辆在所述虚拟道路的行驶情况，确定该用户是否通过模拟考核。

S213、在确定该用户未通过模拟考核的情况下，根据模拟车辆在虚拟道路的行驶情况，确定该用户的扣分点信息。

S214、将该扣分点信息发送至该用户或者教练。

具体地，该用户在模拟驾驶之前，可以预先存储该用户或者该用户教练的手机号或者邮箱，在步骤S214执行时则可以直接获取该用户或者该用户的教练的手机号或者邮箱，并通过短信或者邮件的方式将该用户的扣分点信息发送至该用户或者教练的手机或者邮箱。

在本公开实施例中，通过数据采集车在真实的驾考路段上行驶，以采集真实的驾考路段上的道路信息以及其他车辆的行驶情况，并根据采集到的数据渲染生成驾驶模拟器中显示的模拟场景，能够使得驾驶模拟器中的模拟场景更加符合真实的驾考道路情况，令驾驶学员在模拟驾驶考试时能够更真实地体验真实驾考时的道路场景。

并且，根据步骤S207至步骤S210，通过记录其他车辆出现的位置(即初次与所述数据采集车的间距小于预设阈值的第一位置)，在模拟车辆行至该位置时，再根据相对速度以及车道信息，并在该其他车辆的可能对模拟车辆造成影响的时长内，再渲染该车辆，能够避免无效的模型渲染，节省该驾驶模拟器的数据处理资源。

根据步骤S201，根据用户的输入信息确定该用户想要进行模拟的路段，并根据预先采集的数据采集车在该路段的行驶数据以及车辆行驶图像确定该路段的道路数据以及其他车辆数据，进而进行虚拟场景的渲染以使得该用户能够更加真实地体验用户想要模拟的考试路段的道路情况，进一步使得用户了解真实路况，提高驾考成功率。

根据步骤S202，通过获取目标驾考路段的考核标准，并根据模拟车辆在该虚拟道路上的行驶情况确定模拟用户是否通过模拟考核能够使得该模拟用户更加真实地体验考试的实际情况，能够更具针对性地进行训练。

根据步骤S202以及步骤S211，通过采集真实驾考车辆上的真实语音指示，并在模拟车辆在虚拟道路上行驶时，若到达语音指示对应的位置，则播放语音指示以提示模拟用户进行相应的操作，可以进一步地使得该模拟场景更加符合真实的驾考场景，提高用户的训练效率。

图3是根据一示例性实施例示出的一种模拟驾驶的图像渲染装置30，该装置30可以作为驾驶模拟器，或者驾驶模拟器的一部分，所述装置包括：

获取模块31，用于获取设置于数据采集车上的摄像头采集到的车辆行驶图像，所述车辆行驶图像为全景图像；

确定模块32，用于根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据；

第一渲染模块33，用于根据所述道路数据，在所述驾驶模拟器的显示模块中渲染虚拟道路；

第二渲染模块34，用于在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶；

第三渲染模块35，用于根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，渲染其他车辆。

可选地，所述确定模块32具体用于：

响应于检测到所述车辆行驶图像中存在其他车辆与所述数据采集车的间距小于预设间距阈值的第一时长超过预设时长阈值的情况下，记录该其他车辆初次与所述数据采集车的间距小于预设阈值的第一位置；

确定该其他车辆与所述数据采集车的间距小于预设阈值期间的相对速度以及车道信息；

所述第三渲染模块35具体用于：

在确定所述模拟车辆在虚拟道路行驶至所述第一位置的情况下，根据所述第一时长、相对速度以及车道信息，渲染该其他车辆。

可选地，所述装置30包括：

第二确定模块，用于根据用户的输入信息，确定该用户的目标驾考路段；

所述确定模块32用于：

根据所述数据采集车在所述目标驾考路段的行驶数据以及车辆行驶图像，确定与该目标驾考路段对应的道路数据以及其他车辆数据。

可选地，所述装置30包括：

第二获取模块，用于获取与所述目标驾考路段对应的考核标准；

第三确定模块，用于根据所述模拟车辆在所述虚拟道路的行驶情况，确定所述用户是否通过模拟考核。

可选地，所述数据采集车为真实驾考车辆，所述装置30包括：

采集模块，用于采集所述驾考车辆的语音指示，并记录发出所述语音指示的第二位置；

播放模块，用于在确定所述模拟车辆在虚拟道路行驶至所述第二位置的情况下，播放所述语音指示。

可选地，所述获取模块32包括：

在确定所述驾考车辆的考试学员通过考试的情况下，获取设置于所述驾考车辆上的摄像头沿驾考路段行驶采集到的车辆行驶图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种驾驶模拟器40，该驾驶模拟器40可以包括如图3所示的模拟驾驶的图像渲染装置30，该装置30用于执行上述模拟驾驶的图像渲染方法的步骤。

本领域技术人员应该知悉，在具体实施时，驾驶模拟器40还包括其它部件，图4只是示出了与本公开实施例相关的部分，其它必要的车辆部件未一一示出。

例如，该驾驶模拟器还可以包括操控座舱，座舱中包括方向盘，油门踏板，刹车踏板以及离合踏板、数据采集模块、驾驶模拟仿真软件、显示设备，该显示设备可以是模拟驾驶场景VR显示设备，该操控座舱的输出端通过CAN控制器连接于数据采集模块的输入端，数据采集模块的输出端连接于电脑端驾驶模拟仿真软件的输入端，驾驶模拟仿真软件的输出端连接于模拟驾驶场景VR显示设备，实现用户针对操控座舱的操作能够反馈于该驾驶模拟器的VR显示设备，以使得用户能够体验较为真实的驾驶体验。

图5是根据一示例性实施例示出的一种充电装置500的框图。例如，装置500可以是驾驶模拟器，移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件506为装置500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到装置500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的充电方法的代码部分。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种模拟驾驶的图像渲染方法，其特征在于，应用于驾驶模拟器，所述方法包括：

获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像，所述车辆行驶图像为全景图像；

根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据；

响应于用户的开始模拟驾驶操作，根据所述道路数据在三维虚拟场景中渲染虚拟道路；

在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶；

根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据包括：

响应于检测到所述车辆行驶图像中存在其他车辆与所述数据采集车的间距小于预设间距阈值的第一时长超过预设时长阈值的情况下，记录该其他车辆初次与所述数据采集车的间距小于预设阈值的第一位置；

确定该其他车辆与所述数据采集车的间距小于预设阈值期间的相对速度以及车道信息；

所述根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，在所述三维虚拟场景中渲染其他车辆包括：

在确定所述模拟车辆在虚拟道路行驶至所述第一位置的情况下，根据所述第一时长.相对速度以及车道信息，渲染该其他车辆。

3.根据权利要求1所述的方法，其特征在于，所述方法包括：

根据用户的输入信息，确定该用户的目标驾考路段；

所述根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据包括：

根据所述数据采集车在所述目标驾考路段的行驶数据以及车辆行驶图像，确定与该目标驾考路段对应的道路数据以及其他车辆数据。

4.根据权利要求3所述的方法，其特征在于，所述方法包括：

获取与所述目标驾考路段对应的考核标准；

根据所述模拟车辆在所述虚拟道路的行驶情况，确定所述用户是否通过模拟考核。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述数据采集车为真实驾考车辆，所述方法包括：

采集所述驾考车辆的语音指示，并记录发出所述语音指示的第二位置；

在确定所述模拟车辆在虚拟道路行驶至所述第二位置的情况下，播放所述语音指示。

6.根据权利要求5所述的方法，其特征在于，所述获取设置于数据采集车上的摄像头沿驾考路段行驶采集到的车辆行驶图像包括：

在确定所述驾考车辆的考试学员通过考试的情况下，获取设置于所述驾考车辆上的摄像头沿驾考路段行驶采集到的车辆行驶图像。

7.一种模拟驾驶的图像渲染装置，其特征在于，所述装置包括：

获取模块，用于获取设置于数据采集车上的摄像头采集到的车辆行驶图像，所述车辆行驶图像为全景图像；

确定模块，用于根据所述数据采集车的行驶数据以及所述车辆行驶图像，确定道路数据以及所述数据采集车行驶过程中的其他车辆数据；

第一渲染模块，用于根据所述道路数据，在驾驶模拟器的显示模块中渲染虚拟道路；

第二渲染模块，用于在所述虚拟道路上渲染模拟车辆，以使得所述驾驶模拟器响应于用户的操作指令控制所述模拟车辆在所述虚拟道路上行驶；

第三渲染模块，用于根据所述模拟车辆在所述虚拟道路的行驶情况，以及所述其他车辆数据，渲染其他车辆。

8.一种驾驶模拟器，其特征在于，所述驾驶模拟器用于执行如权利要求1-6任一项所述的模拟驾驶的图像渲染方法。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。

Images