CN116012474B - 仿真测试图像生成、回注方法及系统、工控机、装置 - Google Patents

Abstract

本发明实施例提供了一种仿真测试图像生成、回注方法及系统、工控机、装置，涉及图像生成技术领域。仿真测试图像生成方法包括：接收虚拟情境数据；设置渲染分辨率为目标分辨率，目标分辨率小于目标采集传感器的采集分辨率；根据渲染分辨率对虚拟情境数据进行取景与渲染，得到初始仿真图像数据，并将初始仿真图像数据发送到图像处理装置，以供图像处理装置在需要对所述初始仿真图像数据进行上采样时，对所述初始仿真图像数据进行上采样得到分辨率等于所述采集分辨率的目标仿真图像数据。本发明中，减轻了工控机的渲染压力，突破了工控机的性能瓶颈，有效提升了整体的仿真图像数据生成效率。

Description

仿真测试图像生成、回注方法及系统、工控机、装置

技术领域

本发明涉及图像生成技术领域，具体涉及一种仿真测试图像生成、回注方法及系统、工控机、装置。

背景技术

车辆中，图像处理算法是关乎于车辆行驶安全的重要部分之一，例如针对新能源车中的摄像头所采集图像的目标检测算法，对行车过程中的智能避障、主动刹车、车速控制来说起到非常重要的作用。

在对图像处理算法进行训练、测试以及验证的过程中往往需要大量的视频数据，但是真实的视频数据往往是非常有限的，难以覆盖各种可能的情形，一般会通过仿真的方式来生成更多的仿真视频数据。

然而，车辆中所配备的用于图像采集的摄像头等传感器的分辨率是非常高的，例如常规的车辆用摄像头的分辨率在800M像素(3840x2160)；在仿真渲染过程中，高分辨率图像的仿真渲染很容易达到仿真渲染设备的性能瓶颈，存在仿真视频数据的生成效率低、生成速度慢等问题。基于上述技术问题，申请人提出了本申请的技术方案。

发明内容

本发明的目的是提供了一种仿真测试图像生成、回注方法及系统、工控机、装置，能够在得到符合目标传感器的采集分辨率的仿真图像数据的基础上，减轻了工控机的渲染压力，突破了工控机的性能瓶颈，有效提升了整体的仿真图像数据生成效率；同时，降低了对工控机的渲染能力的性能配置要求，即可以采用更低性能的工控机进行图像生成工作，降低了工控机的成本。

为实现上述目的，本发明提供了一种仿真测试图像生成方法，应用于工控机，所述方法包括：接收虚拟情境数据；设置渲染分辨率为目标分辨率，所述目标分辨率小于目标采集传感器的采集分辨率；根据所述渲染分辨率对所述虚拟情境数据进行取景与渲染，得到初始仿真图像数据，并将所述初始仿真图像数据发送到图像处理装置，以供所述图像处理装置在需要对所述初始仿真图像数据进行上采样时，对所述初始仿真图像数据进行上采样得到分辨率等于所述采集分辨率的目标仿真图像数据。

本发明还提供了一种工控机，用于执行上述的仿真测试图像生成方法。

本发明还提供了一种仿真测试图像生成方法，应用于图像处理装置，所述方法包括：接收由工控机发送的初始仿真图像数据；在需要对所述初始仿真图像数据进行上采样时，对所述初始仿真图像数据进行上采样得到分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据，并将所述目标仿真图像数据回注到数据处理设备。

本发明还提供了一种图像处理装置，用于执行上述的仿真测试图像生成方法。

本发明还提供了一种可读存储介质，用于执行上述的仿真测试图像生成方法。

本发明还提供了一种仿真测试图像生成系统，包括上述的仿真测试图像生成方法的工控机，以及上述的仿真测试图像生成方法的图像处理装置。

本发明实施例提供了一种仿真测试图像生成方法，能够在得到符合目标传感器的采集分辨率的仿真图像数据的基础上，减轻了工控机的渲染压力，突破了工控机的性能瓶颈，有效提升了整体的仿真图像数据生成效率；同时，降低了对工控机的渲染能力的性能配置要求，即可以采用更低性能的工控机进行图像生成工作，降低了工控机的成本。

在一个实施例中，所述设置渲染分辨率为目标分辨率之前，还包括：获取所述工控机当前的负荷信息，其中所述负荷信息用于表征出所述工控机的负荷程度；若所述工控机当前的负荷信息为第一负荷信息，进入所述设置渲染分辨率为目标分辨率的步骤；所述的仿真测试图像生成方法，还包括：若所述工控机当前的负荷信息为第二负荷信息，则设置渲染分辨率为所述采集分辨率，所述第二负荷信息表征出的负荷程度低于所述第一负荷信息表征出的负荷程度。

在一个实施例中，所述采集分辨率与所述目标分辨率之间呈正比，且所述正比的比例系数为预设目标系数；所述方法还包括：获取所述工控机当前的负荷信息，并基于所述当前的负荷信息，调整所述预设目标系数，其中所述负荷信息用于表征出所述工控机的负荷程度。

在一个实施例中，所述工控机的负荷信息的获取方式为：获取所述工控机的运行信息，所述运行信息包括以下任意之一或任意组合：待处理的任务量、待处理的数据量以及GPU占用率；基于所述工控机的运行信息，得到所述工控机的负荷信息。

在一个实施例中，在所述根据所述渲染分辨率对所述虚拟情境数据进行渲染得到仿真图像数据之前，还包括：获取所述虚拟情境数据当前所处的初始驾驶场景，并将所述虚拟情境数据的初始驾驶场景替换到目标驾驶场景，得到处于所述目标驾驶场景的所述虚拟情境数据；所述根据所述渲染分辨率对所述虚拟情境数据进行取景与渲染，得到初始仿真图像数据，包括：根据所述渲染分辨率对处于目标驾驶场景的所述虚拟情境数据进行取景与渲染，得到初始仿真图像数据。

附图说明

图1是根据本发明第一实施例中的仿真测试图像生成方法的具体流程图；

图2是根据本发明第二实施例中的仿真测试图像生成方法的具体流程图；

图3是根据本发明第三实施例中的仿真测试图像生成方法的具体流程图；

图4是根据本发明第四实施例中的仿真测试图像生成方法的具体流程图；

图5是根据本发明第八实施例的仿真测试图像生成系统的示意图。

具体实施方式

以下将结合附图对本发明的各实施例进行详细说明，以便更清楚理解本发明的目的、特点和优点。应理解的是，附图所示的实施例并不是对本发明范围的限制，而只是为了说明本发明技术方案的实质精神。

在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。

除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。

在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。

如该说明书和所附权利要求中所用的单数形式“一”和“所述”包括复数指代物，除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“或/和”的含义使用，除非文中清楚地另外规定。

在以下描述中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语，而不应当理解为限定性词语。

本发明第一实施方式涉及一种仿真测试图像生成方法，应用于工控机，工控机可以采用本实施例中的仿真测试图像生成方法生成初始仿真测试图像，再发送到图像处理装置中进行上采样得到符合目标采集传感器的采集分辨率的目标仿真图像数据，目标仿真图像数据可以大量生成并回注到数据处理设备中用于进行图像处理算法的训练、测试以及验证等。其中，目标采集传感器即为待仿真的采集传感器，例如为车载的摄像头传感器、雷达传感器等，其所采集的视频数据可用于智能驾驶(例如自动驾驶辅助系统ADAS，再例如更高阶的L3、L4、L5级的自动驾驶)。

本实施方式的仿真测试图像生成方法的具体流程如图1所示。

步骤101，接收虚拟情境数据。

具体而言，虚拟情境数据可以由于工控机通信连接的电子设备来生成，电子设备例如为上位机、台式主机、笔记本电脑等，电子设备生成该虚拟情境数据的方式可以为：采用已有的物体模型，物体模型包括但不限于：道路模型(包含仿真路面、仿真车道线等)、动态模型(人、车等)以及静态模型(树木、建筑、障碍物、路牌等)，在选定各类模型之后，设定动态模型的运行规则、运行时间，并记录整个运行过程，由此能够得到一个虚拟情境数据，虚拟情境数据能够表征车辆在整个运行时间中的行驶过程以及非真实的周围环境的变化。

在另一方式中，电子设备接收与目标采集传感器相同或不同的采集传感器所采集的视频数据，该视频数据能够反应车辆在行驶时间段内的行驶过程及周围的真实环境变化，包括但不限于：人、车等动态对象，道路、树木、建筑、障碍物、路牌等静态对象，以及人、车等动态对象的运动过程。随后，获取该视频数据所覆盖的行驶时间段中每个时刻得到真实环境中所出现的动态对象与静待对象，以及静态对象、动态对象与车辆的位置关系，继而能够构建出该行驶时间段内的虚拟情境数据，该虚拟情境数据能够在三维的虚拟仿真环境中表征出车辆在行驶时间段内的行驶过程及车辆周围的真实环境变化。

步骤102，设置渲染分辨率为目标分辨率，目标分辨率小于目标采集传感器的采集分辨率。

步骤103，根据渲染分辨率对虚拟情境数据进行取景与渲染，得到初始仿真图像数据，并将初始仿真图像数据发送到图像处理装置，以供图像处理装置在需要对初始仿真图像数据进行上采样时，对初始仿真图像数据进行上采样得到分辨率等于采集分辨率的目标仿真图像数据。

具体而言，工控机在对虚拟情境数据进行渲染之前，先获取一个目标分辨率作为渲染分辨率，目标分辨率可以是工控机所接收到的人工设定的分辨率，或者是工控机生成的分辨率，目标分辨率小于目标采集传感器的采集分辨率；随后，工控机通过虚拟采集传感器对三维的虚拟情境数据进行取景，再采用渲染分辨率(即目标分辨率)对取景得到数据进行渲染得到初始仿真图像数据。具体的，虚拟采集传感器对三维的虚拟情境数据进行取景，即将三维的虚拟情境数据向虚拟采集传感器进行投影，初始仿真图像数据中的每一个像素需要基于虚拟情境数据中对应的像素通过光线追踪的方式计算得到该像素的颜色。其中，工控机中包括GPU，由GPU负责图像渲染，采用低于目标采集传感器的采集分辨率的渲染分辨率进行渲染，能够降低GPU的渲染压力。

在一个例子中，在渲染之前，工控机会先获取目标采集传感器的可视角度信息，可视角度信息表征了目标采集传感器的可视范围，包括水平和垂直两个维度的信息；在渲染过程中，工控机结合目标采集传感器的可视角度信息进行渲染，从而能够渲染得到符合目标采集传感器的可视角度的初始仿真图像数据，使得仿真得到的目标图像传感器的图像数据更加准确。

需要说明的，本实施例中仅简单描述了对虚拟情境数据进行取景与渲染的过程，现有的取景、渲染技术均可应用在本申请中，在此不再一一赘述。

工控机在得到初始仿真图像数据后，将分辨率为目标分辨率的初始仿真图像数据发送到图像处理装置，由图像处理装置对初始仿真图像数据进行上采样，得到分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据。继而，图像处理装置再将所得到的目标仿真图像数据回注到数据处理设备，数据处理设备中包含可运行图像处理算法的控制器，控制器利用回注的目标仿真图像数据进行图像处理算法的训练、测试以及验证等。

其中，工控机在将初始仿真图像数据发送到图像处理装置时，还会将指示是否需要上采样的指令发送到图像处理装置，该指令中还包括：初始仿真图像数据的渲染分辨率(即目标分辨率)，由此图像处理装置在接收到该指令后，基于该指令判断是否需要对初始仿真图像数据进行上采样，并在需要上采样时，基于初始仿真图像数据的渲染分辨率与目标采集传感器的采集分辨率对初始仿真图像数据进行上采样，得到与分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据。

本实施例中，工控机在接收到虚拟情境数据后，先设置渲染分辨率为目标分辨率，随后根据渲染分辨率对虚拟情境数据进行取景与渲染，得到初始仿真图像数据，其中目标分辨率小于目标采集传感器的采集分辨率，由此可以减小渲染过程中工控机的渲染计算量；随后工控机再将初始仿真图像数据发送到图像处理装置，由图像处理装置对初始仿真图像数据进行上采样，得到分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据，并将目标仿真图像数据回注到数据处理设备中。由此能够在得到符合目标传感器的采集分辨率的仿真图像数据的基础上，减轻了工控机的渲染压力，突破了工控机的性能瓶颈，有效提升了整体的仿真图像数据生成效率；同时，降低了对工控机的渲染能力的性能配置要求，即可以采用更低性能的工控机进行图像生成工作，降低了工控机的成本。

本发明的第二实施例涉及一种仿真测试图像生成方法，本实施方式相对于第一实施方式而言，主要改进之处在于：本实施例中，工控机能够基于自身的负荷信息来调整渲染策略。

本实施例的仿真测试图像生成方法的具体流程如图2所示。

步骤201，接收虚拟情境数据。与第一实施例中的步骤101大致相同，在此不再赘述。

步骤202，获取工控机当前的负荷信息，并判断工控机当前的负荷信息为第一负荷信息或第二负荷信息；其中负荷信息用于表征出工控机的负荷程度。若工控机当前的负荷信息为第一负荷信息，进入步骤203；若工控机当前的负荷信息为第二负荷信息，进入步骤203。

步骤203，设置渲染分辨率为目标分辨率，采集分辨率与目标分辨率之间呈正比，且正比的比例系数为预设目标系数。

步骤204，设置渲染分辨率为采集分辨率。

具体而言，工控机在设置渲染分辨率之前，先获取自身当前的负荷信息，该负荷信息表征了工控机的负荷程度，工控机中预设了第一负荷信息与第二负荷信息，第一负荷信息所表征的负荷程度大于或等于设定的负荷阈值，第二负荷信息所表征的负荷程度小于设定的负荷阈值，即第二负荷信息表征出的负荷程度低于第一负荷信息表征出的负荷程度。

工控机在当前的负荷信息为第一负荷信息时，认为当前的负荷程度较高(即工控机中GPU当前的负荷较高)，确定需要采用低于目标采集传感器的采集分辨率的渲染分辨率进行渲染，此时设置渲染分辨率为目标分辨率，目标采集传感器的采集分辨率与目标分辨率之间呈正比，且正比的比例系数为预设目标系数，假设预设目标系数为采集分辨率除以目标分辨率的商值，则预设目标系数大于0且小于1；工控机将目标采集传感器的采集分辨率与预设目标系数的乘积作为目标分辨率，可以得到小于目标采集传感器的采集分辨率的目标分辨率，随后设置渲染分辨率为目标分辨率，后续工控机渲染得到的初始仿真图像数据的分辨率小于目标采集传感器的采集分辨率。举例来说，预设目标系数为1/2，目标采集传感器的采集分辨率为800M像素(3840x2160)，则目标分辨率为采集分辨率的高、宽分别乘以1/2，则目标分辨率为200M像素(1920x1080)。

工控机在当前的负荷信息为第二负荷信息时，工控机认为当前的负荷程度较低(即工控机中GPU当前的负荷较低)，无需降低分辨率进行渲染，设置渲染分辨率为目标采集传感器的采集分辨率，后续工控机渲染得到的初始仿真图像数据的分辨率与目标采集传感器的采集分辨率相同。

本实施例中，工控机的负荷信息的获取方式为：获取工控机的运行信息，运行信息包括以下任意之一或任意组合：待处理的任务量、待处理的数据量以及GPU占用率；基于工控机的运行信息，得到工控机的负荷信息。具体的，上述的任意一个指标(即待处理的任务量、待处理的数据量以及GPU占用率)均可以表征工控机的负荷程度，若运行信息包括上述的多个指标，则可以采用归一化的方式将各个指标归一化到同一纬度并相加，得到能够表征工控机的负荷程度的负荷信息。

步骤205，根据渲染分辨率对虚拟情境数据进行取景与渲染，得到初始仿真图像数据，并将初始仿真图像数据发送到图像处理装置，以供图像处理装置在需要对初始仿真图像数据进行上采样时，对初始仿真图像数据进行上采样得到分辨率等于采集分辨率的目标仿真图像数据。与第一实施例中的步骤102大致相同，主要不同之处在于：

工控机在基于前述步骤确定出渲染分辨率，完成对虚拟情境数据进行取景与渲染，得到初始仿真图像数据，随后将初始仿真图像数据发送到图像处理装置，并发送指示是否需要上采样的指令到图像处理装置；具体的，工控机在初始仿真图像数据的渲染分辨率等于目标采集传感器的采集分辨率，发送指示不需要上采样的指令到图像处理装置；工控机在初始仿真图像数据的渲染分辨率小于目标采集传感器的采集分辨率，发送指示需要上采样的指令到图像处理装置，其中该指令还可以包括预设目标系数，由此图像处理装置可以基于该预设目标系数，对初始仿真图像数据进行上采样，得到目标仿真图像数据。例如，图像处理装置采用插值的方式进行上采样，则可以根据预设目标系数来确定上采样时所需插值的数据。

需要说明的是，本实施例中还可以由图像处理装置根据初始仿真图像数据的渲染分辨率与目标采集传感器的采集分辨率之间关系，来确定是否需要上采样；图像处理装置在初始仿真图像数据的渲染分辨率小于目标采集传感器的采集分辨率时，确定需要对初始仿真图像数据进行上采样；在初始仿真图像数据的渲染分辨率等于目标采集传感器的采集分辨率时，确定不需要对初始仿真图像数据进行上采样。

步骤206，获取工控机当前的负荷信息，并基于当前的负荷信息，调整预设目标系数，其中负荷信息用于表征出工控机的负荷程度。

具体的，工控机可以周期性的获取当前的负荷信息，负荷信息表征了工控机当前的负荷程度，工控机在每次获取当前的负荷信息之后，将本次获取的负荷信息与前一次获取的负荷信息进行对比，若本次获取的负荷信息所指示的负荷程度大于前一次获取的负荷信息所指示的负荷程度，工控机减小预设目标系数，例如按照设定的步长减小预设目标系数；若本次获取的负荷信息所指示的负荷程度等于前一次获取的负荷信息所指示的负荷程度，则保持预设目标系数不变；若本次获取的负荷信息所指示的负荷程度小于前一次获取的负荷信息所指示的负荷程度，则增大预设目标系数，例如按照设定的步长增大预设目标系数。

或者，工控机中设定多种负荷状态对应的多个预设目标系数，工控机在每次获取当前的负荷信息之后，获取该负荷信息所表征的负荷程度属于哪种负荷状态，然后使用该负荷信息所属的负荷状态对应的预设目标系数替换当前的预设目标系数。例如，工控机包括两种负荷状态，高负荷状态与低负荷状态，高负荷状态对应的预设目标系数为1/2，低负荷状态对应的预设目标系数为3/4，假设当前的预设目标系数为3/4，若工控机在某次获取的负荷信息所表征的负荷程度属于高负荷状态时，则将预设目标系数更新为1/2。

需要说明的是，本实施例中仅示意性给出了步骤206中调整预设目标系数的时机，工控机可以在每次渲染之前调整预设目标系数，或者按照一定的周期自动调整预设目标系数，又或者每次渲染结束后调整预设目标系数。

本发明的第三实施例涉及一种仿真测试图像生成方法，本实施方式相对于第一实施方式而言，主要改进之处在于：本实施例中，通过驾驶场景的替换生成更多的仿真图像数据。

本实施例的仿真测试图像生成方法的具体流程如图3所示。

步骤301，接收虚拟情境数据。与第一实施例中的步骤101大致相同，在此不再赘述。

步骤302，设置渲染分辨率为目标分辨率，目标分辨率小于目标采集传感器的采集分辨率。与第一实施例中的步骤102大致相同，在此不再赘述。

步骤303，获取虚拟情境数据当前所处的初始驾驶场景，并将虚拟情境数据的初始驾驶场景替换到目标驾驶场景，得到处于目标驾驶场景的虚拟情境数据。

具体而言，虚拟情境数据的初始驾驶场景可以是构建该虚拟情境数据时所选择的驾驶场景，也可以由电子设备从构建该虚拟情境数据的视频数据中得到，例如视频数据为车辆中的摄像头采集的车辆行驶数据，该车辆行驶数据中包含了车辆的位置信息，由此可以基于车辆的位置与地图中预设的驾驶场景标识，可以得到虚拟情境数据的初始驾驶场景；又或者，电子设备识别车辆行驶数据中的道路特征(例如，行人、树木、路边立牌等)，不同的驾驶场景对应了不同的道路特征，由此可以基于车辆行驶数据中的道路特征来判断驾驶场景，由此可以得到虚拟情境数据的初始驾驶场景。常见的驾驶场景，例如为高速场景、城市场景、乡村场景、野外场景等。

目标驾驶场景可以是预设的与初始驾驶场景对应的驾驶场景，又或者是与初始驾驶场景不同的任一驾驶场景；在将虚拟情境数据的初始驾驶场景替换到目标驾驶场景时，可以将虚拟情境数据中初始驾驶场景所涉及到的全部或者部分初始元素替换为目标驾驶场景中的目标元素，由此可以得到处于目标驾驶场景的虚拟情境数据。

其中，可以预先设定不同驾驶场景之间的元素对应关系，由此在将两个驾驶场景进行进行元素替换时，查询该元素对应关系，得到初始驾驶场景中的各初始元素所对应的至少一种目标元素，随后便可以将各初始元素替换为对应的目标元素；

例如初始元素对应一种目标元素，在将初始元素替换为该目标元素时，考虑初始元素与目标元素之间的体积关系，以确保替换之后二者体积的平衡，若初始元素与目标元素之间的体积相差较小，则先获取目标元素的边界轮廓上的所有的边界点与初始元素的边界轮廓上的边界点，然后设置目标元素的边界轮廓上的边界点与初始元素的边界轮廓上的边界点对应关系并进行映射，将目标元素的边界轮廓上的边界点一一映射到初始元素的边界轮廓上，由此实现了初始元素到目标元素的元素替换。若初始元素的体积是目标元素的体积的多倍，则利用多个目标元素叠加组合来替换该初始元素，可以将叠加之后的多个目标元素看做一个整体采用上述的边界轮廓映射的方式来替换初始元素。

例如初始元素对应多种目标元素，则可以从多种目标元素中选择一种目标元素来替换初始元素，或者选择多种目标元素来替换该初始元素。具体可以基于初始元素与各目标元素的体积关系来确定，例如选择一个体积与初始元素相当的目标元素来替换初始元素，替换方式则采用上述的边界轮廓映射的方式。若初始元素的体积较大，则可以选择体积小于该初始元素的多种目标元素组合后得到一个体积与初始元素的体积相当的组合体，并将该组合体看做一个整体采用上述的边界轮廓映射的方式来替换初始元素。

步骤304，根据渲染分辨率对处于目标驾驶场景的虚拟情境数据进行取景与渲染，得到初始仿真图像数据。与第一实施例中的步骤103大致相同，主要不同之处在于，本步骤中进行取景与渲染的是处于目标驾驶场景的虚拟情境数据。

需要说明的是，本实施例中以虚拟情境数据的初始驾驶场景为同一个驾驶场景为例进行说明的，然不限于此，若虚拟情境数据可以按照时间段或者行驶路段分为多个初始驾驶场景(相邻的两个时间段或者行驶路段的驾驶场景不同)时，则可以按照步骤303中的方式对各时间段或者行驶路段的初始驾驶场景进行分段替换再组合得到一个完整的虚拟情境数据(即驾驶场景替换后的虚拟情境数据)，然后再对该经过驾驶场景替换的虚拟情境数据进行取景与渲染，得到初始仿真图像数据。

本实施例中，能够通过驾驶场景的替换得到更多不同场景下的虚拟情境数据，然后在各虚拟情境数据中取景进行渲染得到对应的仿真图像数据，虚拟情境数据的驾驶场景不同，可以推出各仿真图像数据的驾驶场景也是不同的，由此能够得到场景内容更加丰富的仿真图像数据，这些不同驾驶场景下的仿真图像视频数据回注到数据处理设备中后，有助于数据处理设备利用回注的仿真图像数据更好的进行图像处理算法的训练、测试以及验证等。

另外，若虚拟情境数据是由真实的车辆视频数据所构建得到，在后续仅对虚拟情境数据的驾驶场景进行替换，所得到不同驾驶场景下的目标虚拟场景仍然能反映出车辆在行驶时间段内的真实环境变化，然后得到的不同驾驶场景下的仿真图像数据被回注到数据处理设备中，在不同背景下识别检测动态对象、静待对象的难度、影响是不同的，由此数据处理设备基于这些不同驾驶场景下的仿真图像数据完成算法的训练、测试及验证流程后，使得算法在不同驾驶场景下均能有效的识别动态对象与静待对象，以更好的辅助智能驾驶。

本发明第四实施方式涉及一种仿真测试图像生成方法，应用于图像处理装置，图像处理装置可以为基于FPGA的视频板卡，本实施方式的仿真测试图像生成方法的具体流程如图4所示。

步骤401，接收由工控机发送的初始仿真图像数据。

步骤402，在需要对初始仿真图像数据进行上采样时，对初始仿真图像数据进行上采样得到分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据，并将目标仿真图像数据回注到数据处理设备。

具体而言，工控机在得到初始仿真图像数据后，将分辨率为目标分辨率的初始仿真图像数据发送到图像处理装置，由图像处理装置对初始仿真图像数据进行上采样，得到分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据。

图像处理装置上采样的方式例如为双线性差值、双三次插值(BiCubic插值)_以及最近邻算法等。以双线性差值为例，在仿真YUV422格式的摄像头时，将200M像素的初始仿真图像数据恢复至800M像素时，则将初始仿真图像数据的Y通道和UV通道分别进行双线性差值上采样，从而能够得到800M像素的目标仿真图像数据；在仿真RAW12格式的摄像头时，则对拜耳阵列(Bayer阵列)中的每一个元素形成的子图提取出来进行双线性差值上采样，得到800M像素的目标仿真图像数据。

继而，图像处理装置再将所得到的目标仿真图像数据回注到数据处理设备，数据处理设备中包含可运行图像处理算法的控制器，控制器利用回注的目标仿真图像数据进行图像处理算法的训练、测试以及验证等。

本实施例中，利用图像处理装置来对初始仿真图像数据进行上采样，由此将渲染与上采样分摊到不同的硬件中，分摊了计算压力；而基于FPGA的视频板卡是具有高度并行能力的可编程器件，由此其足以支撑上采样带来的性能压力，给工控机中GPU减小了很大的计算压力。

由于第一至第三实施例与本实施例相互对应，因此本实施例可与第一实施例至第三互相配合实施。第一至第三实施例中提到的相关技术细节在本实施例中依然有效，在第一至第三实施例中所能达到的技术效果在本实施例中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在第一至第三实施例中。

本发明的第五实施例涉及一种工控机，工控机为包含GPU的电子设备，工控机用于执行第一至第三实施例中任一项的仿真测试图像生成方法。

本发明的第六实施例涉及一种图像处理装置，图像处理装置可以为基于FPGA的视频板卡，图像处理装置用于执行第四实施例中的仿真测试图像生成方法。

本发明的第七实施例涉及一种可读存储介质，其特征在于，存储有程序，程序运行时实现如第一至第三实施例中任一项的仿真测试图像生成方法，和/或第四实施例的仿真测试图像生成方法。

本发明的第八实施例涉及一种仿真测试图像生成系统，请参考图5，仿真测试图像生成系统包括：第五实施例中的工控机1与第六实施例中的图像处理装置2，工控机1与图像处理装置2通信连接，图像处理装置2与数据处理设备3通信连接。

工控机1可以采用第一至第三实施例中任一项的仿真测试图像生成方法生成初始仿真测试图像，再发送到图像处理装置2中进行上采样得到符合目标采集传感器的采集分辨率的目标仿真图像数据，目标仿真图像数据可以大量生成并回注到数据处理设备3中用于进行图像处理算法的训练、测试以及验证等。

以上已详细描述了本发明的较佳实施例，但应理解到，若需要，能修改实施例的方面来采用各种专利、申请和出版物的方面、特征和构思来提供另外的实施例。

考虑到上文的详细描述，能对实施例做出这些和其它变化。一般而言，在权利要求中，所用的术语不应被认为限制在说明书和权利要求中公开的具体实施例，而是应被理解为包括所有可能的实施例连同这些权利要求所享有的全部等同范围。

Claims (9)

1.一种仿真测试图像生成方法，其特征在于，应用于工控机，所述方法包括：

接收虚拟情境数据；

设置渲染分辨率为目标分辨率，所述目标分辨率小于目标采集传感器的采集分辨率，所述目标采集传感器为待仿真的采集传感器；

根据所述渲染分辨率对所述虚拟情境数据进行取景与渲染，得到初始仿真图像数据，并将所述初始仿真图像数据发送到图像处理装置，以供所述图像处理装置在需要对所述初始仿真图像数据进行上采样时，对所述初始仿真图像数据进行上采样得到分辨率等于所述采集分辨率的目标仿真图像数据，所述目标仿真图像数据用于供所述图像处理装置回注到数据处理设备；

其中，在所述根据所述渲染分辨率对所述虚拟情境数据进行渲染得到仿真图像数据之前，还包括：

获取所述虚拟情境数据当前所处的初始驾驶场景，并将所述虚拟情境数据的初始驾驶场景替换到目标驾驶场景，得到处于所述目标驾驶场景的所述虚拟情境数据；

所述根据所述渲染分辨率对所述虚拟情境数据进行取景与渲染，得到初始仿真图像数据，包括：

根据所述渲染分辨率对处于目标驾驶场景的所述虚拟情境数据进行取景与渲染，得到初始仿真图像数据；

其中，所述虚拟情境数据的构建方式如下：

接收与所述目标采集传感器相同或不同的采集传感器所采集的视频数据，所述视频数据用于反应车辆在行驶时间段内的行驶过程及周围的真实环境变化；

获取所述视频数据所覆盖的行驶时间段中每个时刻得到真实环境中所出现的动态对象与静待对象，以及静态对象、动态对象与车辆的位置关系，并构建出所述行驶时间段内的虚拟情境数据；

所述虚拟情境数据当前所处的初始驾驶场景的获取方式为：

构建所述虚拟情境数据的所述视频数据为车辆中的摄像头采集的车辆行驶数据，所述车辆行驶数据中包含了车辆的位置信息；

基于车辆的位置与地图中预设的驾驶场景标识，得到所述虚拟情境数据的初始驾驶场景。

2.根据权利要求1所述的仿真测试图像生成方法，其特征在于，所述设置渲染分辨率为目标分辨率之前，还包括：

获取所述工控机当前的负荷信息，其中所述负荷信息用于表征出所述工控机的负荷程度；

若所述工控机当前的负荷信息为第一负荷信息，进入所述设置渲染分辨率为目标分辨率的步骤；

所述的仿真测试图像生成方法，还包括：

若所述工控机当前的负荷信息为第二负荷信息，则设置渲染分辨率为所述采集分辨率，所述第二负荷信息表征出的负荷程度低于所述第一负荷信息表征出的负荷程度。

3.根据权利要求1所述的仿真测试图像生成方法，其特征在于，所述采集分辨率与所述目标分辨率之间呈正比，且所述正比的比例系数为预设目标系数；所述方法还包括：

获取所述工控机当前的负荷信息，并基于所述当前的负荷信息，调整所述预设目标系数，其中所述负荷信息用于表征出所述工控机的负荷程度。

4.根据权利要求2或3所述的仿真测试图像生成方法，其特征在于，所述工控机的负荷信息的获取方式为：

获取所述工控机的运行信息，所述运行信息包括以下任意之一或任意组合：待处理的任务量、待处理的数据量以及GPU占用率；

基于所述工控机的运行信息，得到所述工控机的负荷信息。

5.一种仿真测试图像回注方法，其特征在于，应用于图像处理装置，所述方法包括：

接收由工控机发送的初始仿真图像数据，其中所述工控机基于权利要求1至4中任一项所述的仿真测试图像生成方法生成所述初始仿真图像数据；

在需要对所述初始仿真图像数据进行上采样时，对所述初始仿真图像数据进行上采样得到分辨率等于目标采集传感器的采集分辨率的目标仿真图像数据，并将所述目标仿真图像数据回注到数据处理设备。

6.一种工控机，其特征在于，用于执行权利要求1至4中任一项所述的仿真测试图像生成方法。

7.一种图像处理装置，其特征在于，用于执行权利要求5所述的仿真测试图像回注方法。

8.一种可读存储介质，其特征在于，存储有程序，所述程序运行时实现如权利要求1至4中任一项所述的仿真测试图像生成方法，和/或权利要求5所述的仿真测试图像回注方法。

9.一种仿真测试图像生成系统，其特征在于，包括用于执行权利要求1至4中任一项所述的仿真测试图像生成方法的工控机，以及用于执行权利要求5所述的仿真测试图像回注方法的图像处理装置。