CN111812691B - 一种车载终端及图像帧检测处理方法、装置 - Google Patents

Abstract

本发明实施例公开了一种车载终端及图像帧检测处理方法、装置。该方法包括：针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；在第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对第一待处理图像帧进行检测；在第二线程中，控制第二GPU根据预先训练的第二检测模型对第一待处理图像进行检测；其中，第一GPU的处理能力大于第二GPU的处理能力；当分别单独采用第一GPU或者第二GPU对图像帧进行处理时，第一检测模型的耗时长于第二检测模型的耗时，第二检测模型的耗时长于第三检测模型的耗时。应用本发明实施例提供的方案，能够减少对图像帧的处理时间。

Description

一种车载终端及图像帧检测处理方法、装置

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种车载终端及图像帧检测处理方法、装置。

背景技术

在自动驾驶车辆行驶过程中，对自动驾驶车辆在地图中的位置的定位是不可或缺的一部分。在自动驾驶车辆行驶过程中，车载终端中加载有已有的地图信息，并且能根据车载卫星定位模块确定自动驾驶车辆在地图中的具体位置。

为了更精确地确定车辆在地图中的位置，通常也会对车载的图像传感器采集的道路图像进行检测，识别道路图像中的车道线、路灯杆和交通牌等道路信息，将识别出的道路信息与地图中标注的道路信息进行匹配，能够在地图中对车辆的位置进行重定位，以确定更精确的车辆位置。

为了满足在线实时定位的要求，从图像传感器采集道路图像到采用感知模型识别道路图像中的道路信息，所耗费的时间应尽可能少。因此，亟待一种能够节省对图像的处理时间的方式。

发明内容

本发明提供了一种车载终端及图像帧检测处理方法、装置，以减少对图像帧的处理时间。具体的技术方案如下。

第一方面，本发明实施例公开了一种车载终端，包括：处理器、第一图形处理单元GPU和第二GPU；

所述处理器，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；在所述第一线程中，控制所述第一GPU依次根据预先训练的第一检测模型和第三检测模型对所述第一待处理图像帧进行检测；在所述第二线程中，控制所述第二GPU根据预先训练的第二检测模型对所述第一待处理图像帧进行检测；

其中，所述第一GPU的处理能力大于所述第二GPU的处理能力；当分别单独采用所述第一GPU或者所述第二GPU对图像帧进行处理时，所述第一检测模型的耗时长于所述第二检测模型的耗时，所述第二检测模型的耗时长于所述第三检测模型的耗时。

可选的，所述车载终端还包括图像采集设备；所述图像采集设备采集第一图像帧；所述第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；所述处理器，还采用以下操作对获取的第一图像帧进行去畸变处理：

在所述第二线程中控制所述第二GPU根据所述第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，所述前一待处理图像帧为所述第一待处理图像帧的前一图像帧；

在第三线程中，控制所述第二GPU对所述第一图像帧进行去畸变处理，得到所述第一待处理图像帧。

可选的，所述处理器，还在得到所述第一GPU根据所述第一检测模型对所述第一待处理图像帧检测后的第一检测结果，所述第一GPU根据所述第三检测模型对所述第一待处理图像帧检测后的第三检测结果，以及所述第二GPU根据所述第二检测模型对所述第一待处理图像帧检测后的第二检测结果时，确定第四线程；在所述第四线程中，对所述第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

可选的，所述处理器，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程时，包括：

当确定已完成对所述前一待处理图像帧的各个检测结果的发布时，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程。

可选的，所述第一待处理图像帧为道路图像帧，所述第一检测模型、所述第二检测模型和所述第三检测模型分别为：用于检测道路图像帧中的车道线的检测模型，用于检测道路图像帧中的交通牌的检测模型，和用于检测道路图像帧中的路灯杆的检测模型。

第二方面，本发明实施例公开了一种图像帧检测处理方法，应用于处理器，包括：

针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；

在所述第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对所述第一待处理图像帧进行检测；

在所述第二线程中，控制第二GPU根据预先训练的第二检测模型对所述第一待处理图像帧进行检测；

其中，所述第一GPU的处理能力大于所述第二GPU的处理能力；当分别单独采用所述第一GPU或者所述第二GPU对图像帧进行处理时，所述第一检测模型的耗时长于所述第二检测模型的耗时，所述第二检测模型的耗时长于所述第三检测模型的耗时。

可选的，所述第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；采用以下方式对获取的第一图像帧进行去畸变处理：

在所述第二线程中控制所述第二GPU根据所述第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，所述前一待处理图像帧为所述第一待处理图像帧的前一图像帧；

在所述第三线程中，控制所述第二GPU对所述第一图像帧进行去畸变处理，得到所述第一待处理图像帧。

可选的，所述方法还包括：

在得到所述第一GPU根据所述第一检测模型对所述第一待处理图像帧检测后的第一检测结果，所述第一GPU根据所述第三检测模型对所述第一待处理图像帧检测后的第三检测结果，以及所述第二GPU根据所述第二检测模型对所述第一待处理图像帧检测后的第二检测结果时，确定第四线程；

在所述第四线程中，对所述第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

可选的，所述针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的步骤，包括：

当确定已完成对所述前一待处理图像帧的各个检测结果的发布时，执行所述针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的步骤。

第三方面，本发明实施例提供了一种图像帧检测处理装置，应用于处理器，包括：

第一确定模块，被配置为针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；

第一控制模块，被配置为在所述第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对所述第一待处理图像帧进行检测；

第二控制模块，被配置为在所述第二线程中，控制第二GPU根据预先训练的第二检测模型对所述第一待处理图像帧进行检测；

其中，所述第一GPU的处理能力大于所述第二GPU的处理能力；当分别单独采用所述第一GPU或者所述第二GPU对图像帧进行处理时，所述第一检测模型的耗时长于所述第二检测模型的耗时，所述第二检测模型的耗时长于所述第三检测模型的耗时。

可选的，第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；该装置还包括去畸变模块，去畸变模块被配置为采用以下操作对获取的第一图像帧进行去畸变处理：

在第二线程中控制第二GPU根据第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，前一待处理图像帧为第一待处理图像帧的前一图像帧；

在第三线程中，控制第二GPU对第一图像帧进行去畸变处理，得到第一待处理图像帧。

可选的，该装置还包括：

第二确定模块(图中未示出)，被配置为在得到第一GPU根据第一检测模型对第一待处理图像帧检测后的第一检测结果，第一GPU根据第三检测模型对第一待处理图像帧检测后的第三检测结果，以及第二GPU根据第二检测模型对第一待处理图像帧检测后的第二检测结果时，确定第四线程；

发布模块(图中未示出)，被配置为在第四线程中，对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

可选的，第一确定模块510，具体被配置为：

当确定已完成对前一待处理图像帧的各个检测结果的发布时，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程。

可选的，第一待处理图像帧为道路图像帧，第一检测模型、第二检测模型和第三检测模型分别为：用于检测道路图像帧中的车道线的检测模型，用于检测道路图像帧中的交通牌的检测模型，和用于检测道路图像帧中的路灯杆的检测模型。

由上述内容可知，本发明实施例提供的车载终端及图像帧检测处理方法、装置中，在第一GPU的处理能力大于第二GPU的处理能力，并且当分别单独采用第一GPU或者第二GPU对图像帧进行处理时，第一检测模型的耗时长于第二检测模型的耗时，第二检测模型的耗时长于第三检测模型的耗时的情况下，经过实际实验结果可知，相比于在三个并行线程中控制第一GPU分别根据第一检测模型、第二检测模型和第三检测模型对第一待处理图像帧进行检测，或者其他检测方案，本发明实施例中在与第二线程并行的第一线程中控制第一GPU依次根据第一检测模型和第三检测模型对第一待处理图像帧进行检测，在第二线程中控制第二GPU根据第二检测模型对第一待处理图像帧进行检测的方案，耗时最短，因此能够减少对图像帧的处理时间。

本发明实施例的创新点包括：

1、分别在并行的两个线程中，控制第一GPU根据第一检测模型和第二检测模型对第一待处理图像帧进行检测，控制第二GPU根据第二检测模型对第一待处理图像帧进行检测，该方案从开始检测到得到三个检测结果，在可能的方案中所用耗时最短。

2、针对间隔性确定的图像帧，在对当前图像帧的上一图像帧进行感知检测的过程中，叠加上对当前图像帧的去畸变处理，能够在总时间中节省去畸变处理的耗时，缩短对图像帧的处理时间。

3、在确定已完成对上一图像帧的各个检测结果的发布时，开始对当前图像帧进行各个感知检测，保证每次发布的检测结果都是针对同一图像帧的，提高图像帧检测结果的有序性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的车载终端的一种结构示意图；

图2为本发明实施例提供的各个方案及耗时的对比示意图；

图3(1)为对图像帧的检测处理过程在智能驾驶项目中的位置示意图；

图3(2)为本发明实施例提供的车载终端在对图像帧检测处理时的一种流程示意图；

图4为本发明实施例提供的图像帧检测处理方法的一种流程示意图；

图5为本发明实施例提供的图像帧检测处理装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种车载终端及图像帧检测处理方法、装置，能够减少对图像帧的处理时间。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的车载终端的一种结构示意图。该车载终端包括：处理器110、第一GPU120和第二GPU130。GPU为图像处理单元(Graphic Processing Unit)。处理器可以为CPU。处理器110分别与第一GPU120和第二GPU130相互连接。相比于CPU，GPU将更多的晶体管用于算数逻辑运算，而不是用于控制和缓存，因此GPU更适合大规模的并行计算。CPU可以与GPU协同工作，将部分计算处理的任务分配到GPU中，以提高总体的处理效率。

处理器110，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；在第一线程中，控制第一GPU120依次根据预先训练的第一检测模型和第三检测模型对第一待处理图像帧进行检测；在第二线程中，控制第二GPU130根据预先训练的第二检测模型对第一待处理图像帧进行检测；

其中，第一GPU120的处理能力大于第二GPU130的处理能力。处理能力也可以称为运算能力或计算能力。处理能力是评价GPU或CPU性能的重要指标，其可以根据单位时间内执行的指令条数来衡量。当分别单独采用第一GPU120或者第二GPU130对图像帧进行处理时，第一检测模型的耗时长于第二检测模型的耗时，第二检测模型的耗时长于第三检测模型的耗时。GPU的处理能力与GPU自身的参数相关，可以预先采用专门的检测设备和/或检测方法检测得到第一GPU120的处理能力和第二GPU130的处理能力。

本实施例中，待处理图像帧可以为按照预设间隔生成的。第一待处理图像帧可以理解为当前图像帧。当第一待处理图像帧为第一次确定的图像帧时，处理器110确定并行的第一线程和第二线程时，可以包括创建并行的第一线程和第二线程。

当第一待处理图像帧不是第一次确定的图像帧时，处理器110确定并行的第一线程和第二线程，可以包括唤醒并行的第一线程和第二线程。当第一线程和第二线程不被使用时，可以处于休眠状态。

其中，线程是进程中的一个实体，是被CPU系统独立调度和分派的基本单位。线程可以包括线程ID(Identity，身份)等。线程可以存在休眠和运行等状态。

处理器110，在第一线程中，控制第一GPU120依次根据预先训练的第一检测模型和第三检测模型对第一待处理图像帧进行检测时，可以包括：在第一线程中，调用与第一GPU120对应的接口函数，将第一待处理图像帧复制到第一GPU120中。当第一GPU120接收到该第一待处理图像帧时，根据第一检测模型对第一待处理图像帧进行检测，得到第一检测结果。第一GPU120可以将第一检测结果发送至CPU。当已完成根据第一检测模型对第一待处理图像帧的检测时，第一GPU120可以根据第三检测模型对第一待处理图像帧进行检测，得到第三检测结果。第一GPU120可以将第三检测结果发送至CPU。

处理器110，在第二线程中，控制第二GPU根据预先训练的第二检测模型对第一待处理图像帧进行检测时，可以包括：在第二线程中，调用第二GPU130对应的接口函数，将第一待处理图像帧复制到第二GPU130中。当第二GPU130接收到该第一待处理图像帧时，根据第二检测模型对第一待处理图像帧进行检测，得到第二检测结果。第二GPU130可以将第二检测结果发送至CPU。

其中，第一线程和第二线程为并行运行的。即，根据第一检测模型和第三检测模型对第一待处理图像帧的检测过程，与根据第二检测模型对第一待处理图像帧的检测过程，是并行处理的。根据第一检测模型对第一待处理图像帧的检测过程，与根据第三检测模型对第一待处理图像帧的检测过程，是串行处理的。

并行和串行是任务的执行方式。串行是指针对多个任务，各个任务按顺序执行，完成一个之后才能进行下一个。并行是指针对多个任务，各个任务可以同时执行。

第一检测模型、第二检测模型和第三检测模型可以为根据样本图像，采用机器学习算法训练得到的不同功能的检测模型。当模型的检测功能不同时，模型对图像帧的检测时长也会不同。

在一种具体实施方式中，在智能驾驶场景下，第一待处理图像帧可以为道路图像帧，第一检测模型、第二检测模型和第三检测模型分别为：用于检测道路图像帧中的车道线的检测模型，用于检测道路图像帧中的交通牌的检测模型，和用于检测道路图像帧中的路灯杆的检测模型。第一GPU120采用GPU0表示，第二GPU采用GPU1表示。第一检测模型、第二检测模型和第三检测模型可以分别采用车道线检测模型、交通牌检测模型和路灯杆检测模型表示。

表1中列出了根据实际的实验结果得到的三种检测模型单独运行的耗时比较。表2中列出了根据实际的实验结果得到的三种检测模型同时运行在GPU0上时的耗时比较，即三个检测模型分布在不同的线程中，均由GPU0来处理。已知GPU0的处理能力大于GPU1的处理能力。

表1三种检测模型单独运行时的各种感知耗时

表2三种检测模型同时运行时的各种感知耗时

感知类型	耗时最大值/ms	耗时最小值/ms	平均耗时/ms
				交通牌+GPU0	94	28	53
车道线+GPU0	105	44	71
				路灯杆+GPU0	41	26	21

在实验中，预先采集了24103个样本图像帧，对每个样本图像帧进行对应类型的检测，可以得到每个样本图像帧的耗时，对24103个样本图像帧的耗时求平均，即可得到表1和表2中的每个平均耗时。其中的耗时最大值和耗时最小值能够体现出24103个样本图像帧的耗时的分布情况。

从上面的表1中可以得到，当分别单独采用GPU0或者GPU1对图像帧进行处理时，可知车道线检测模型的耗时>交通牌检测模型的耗时>路灯杆检测模型的耗时。

在已知GPU0的处理能力大于GPU1的处理能力时，结合表1和表2中的结果，可以至少得到以下几种对图像帧的处理方案，以及对应的总耗时。各个方案及总耗时可以参见图2所示。

方案一，将耗时最长的车道线检测模型和耗时最短的路灯杆检测模型分配到处理能力较强的GPU0上，并且车道线检测模型和路灯杆检测模型是串行处理的，即车道线检测模型处理结束后再处理路灯杆检测模型；同时将耗时适中的交通牌检测模型分配到GPU1上，GPU0和GPU1的计算分别在不同的线程中完成，即车道线感知和路灯杆感知在同一个线程，交通牌感知在另一个线程，二者并行处理。

方案二，将车道线检测模型、路灯杆检测模型和交通牌检测模型均分配到处理能力较强的GPU0上，并且三者对图像帧的感知分别在不同的线程中并行处理。

方案三，将车道线检测模型、交通牌检测模型分配到GPU0，并且车道线感知和交通牌感知在同一个线程内串行处理；将路灯杆检测模型分配到GPU1。车道线感知和交通牌感知在同一个线程，路灯杆感知在另一个线程，二者并行处理。

方案四，将交通牌检测模型、路灯杆检测模型分配到GPU0，并且交通牌感知和路灯杆感知在同一个线程内串行处理；将车道线检测模型分配到GPU1。交通牌感知和路灯杆感知在同一个线程，车道线感知在另一个线程，二者并行处理。

由于方案四中，车道线感知过程的耗时82ms比预先设定的耗时上限80ms大。其中，耗时上限可以是根据图像采集设备采集图像帧时的帧率确定的。例如，当图像采集设备采集图像时的帧率为12.5Hz时，也就是每80ms采集一帧图像时，耗时上限可以设置为80ms。当车道线感知过程的耗时超过该80ms时，图像采集设备采集的图像帧会出现堆积，无法及时进行图像感知。因此方案四被舍弃。

方案一～方案三的感知总时长采用以下公式计算，max为取最大值函数：

方案一：感知总时长＝max(车道线感知耗时+路灯杆感知耗时，交通牌感知耗时)

方案二：感知总时长＝max(车道线感知耗时，路灯杆感知耗时，交通牌感知耗时)

方案三：感知总时长＝max(车道线感知耗时+交通牌感知耗时，路灯杆感知耗时)

根据表1中的数据可知(参见图2)，方案一的感知总时长＝max[33ms(车道线+GPU0耗时单独)+15ms(路灯杆+GPU0耗时单独)＝48ms，53ms(交通牌GPU1耗时单独)]＝53ms。

方案二的感知总时长＝max[71ms(车道线+GPU0耗时同时)，53ms(交通牌+GPU0耗时同时)，21ms(路灯杆+GPU0耗时同时)]＝71ms。

方案三的感知总时长＝max[33ms(车道线+GPU0耗时单独)+27ms(交通牌+GPU0耗时单独)＝60ms，27ms(路灯杆+GPU1耗时单独)]＝60ms。

可见，在各种可能的方案中，方案一也就是本实施例提供的方案，其总时长是最短的。

由上述内容可知，本实施例中，在第一GPU的处理能力大于第二GPU的处理能力，并且当分别单独采用第一GPU或者第二GPU对图像帧进行处理时，第一检测模型的耗时长于第二检测模型的耗时，第二检测模型的耗时长于第三检测模型的耗时的情况下，经过实际实验结果可知，相比于在三个并行线程中控制第一GPU分别根据第一检测模型、第二检测模型和第三检测模型对第一待处理图像帧进行检测，或者其他检测方案，本实施例中在与第二线程并行的第一线程中控制第一GPU依次根据第一检测模型和第三检测模型对第一待处理图像帧进行检测，在第二线程中控制第二GPU根据第二检测模型对第一待处理图像帧进行检测的方案，耗时最短，因此能够减少对图像帧的处理时间。

按照常规的方式可能认为方案二的总耗时最短。在方案二中，处理器可以先缓存一定的数据量，再传输至GPU，供GPU进行计算。这样的方式虽然可以获得比较高的吞吐量，但单个数据经过缓冲、传输至GPU计算、再拷贝回缓存就会存在一定的时延。若多个检测模型同时在一个GPU内并行计算，每个模型的数据均需等待前一个检测模型数据计算完成后，才会从缓存中传输给GPU，这样每个检测模型计算的时长往往比单个检测模型在GPU内计算的时长大。

在本发明的另一实施例中，图1所示实施例中，车载终端还包括图像采集设备。图像采集设备可以采集第一图像帧，第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧。本实施例中，处理器110还可以采用以下操作对获取的第一图像帧进行去畸变处理：

在第二线程中控制第二GPU根据第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；在第三线程中，控制第二GPU对第一图像帧进行去畸变处理，得到第一待处理图像帧。

其中，第三线程和第二线程为并行的线程。前一待处理图像帧为第一待处理图像帧的前一图像帧。具体的，前一待处理图像帧为第一待处理图像帧之前的、距离第一待处理图像帧最近的待处理图像帧。

当前一待处理图像帧在采集时间上为第一个图像帧时，确定第三线程可以包括：创建第三线程。当前一待处理图像帧在采集时间上不为第一个图像帧时，确定第三线程可以包括：唤醒第三线程。具体确定第三线程的操作，可以是在确定第二线程的开始时刻执行，也可以是在确定第二线程之后的较短时间内开始执行。

例如，针对第一个图像帧，可以在执行完成去畸变操作之后，再确定并行的第一线程和第二线程，对第一个去畸变后的图像进行感知。在获取到第二个图像帧时，可以在对第一个去畸变后的图像进行感知的过程中对第二个图像帧执行去畸变操作。后续的处理延续这种叠加的去畸变操作即可。

图像采集设备的感光元件(例如透镜)在成像时由于精度和组装工艺的偏差，会导致采集的图像失真。因此在对图像帧进行感知之前，可以对图像进行去畸变处理，这样能够提高检测结果的准确性。

在另一实施方式中，处理器110可以在第三线程中控制第二GPU获取第一图像帧，并对第一图像帧进行去畸变处理，得到第一待处理图像帧。

本实施例中，第二GPU可以在第二线程和第三线程中交替性地执行两个处理任务。由于第二GPU单独执行去畸变处理所耗费的时间较短(大概在10ms左右)，相比于第二GPU仅仅在第二线程中根据第二检测模型对前一待处理图像帧进行检测，再在第二GPU中叠加上第三线程的去畸变处理，并不会使得第二GPU的检测处理过程的耗时增加很多。

综上，针对间隔性确定的图像帧，在对当前图像帧的上一图像帧进行感知检测的过程中，叠加上对当前图像帧的去畸变处理，能够在总时间中节省去畸变处理的耗时，缩短对图像帧的处理时间。

在本发明的另一实施例中，处理器110还可以执行以下发布操作：

在得到第一GPU根据第一检测模型对第一待处理图像帧检测后的第一检测结果，第一GPU根据第三检测模型对第一待处理图像帧检测后的第三检测结果，以及第二GPU根据第二检测模型对第一待处理图像帧检测后的第二检测结果时，确定第四线程；在第四线程中，对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

其中，当第一检测模型为车道线检测模型时，第一检测结果可以包括从第一待处理图像帧中检测得到的车道线位置、数量等信息。当第二检测模型为交通牌检测模型时，第二检测结果可以包括从第一待处理图像帧中检测得到的交通牌的位置、数量等信息。当第三检测模型为路灯杆检测模型时，第三检测结果可以包括从第一待处理图像帧中检测得到的路灯杆的位置、数量等信息。

当第一待处理图像帧为第一个图像帧时，确定第四线程的操作可以为创建第四线程的操作。当第一待处理图像帧不为第一个图像帧时，确定第四线程的操作可以为唤醒第四线程的操作。

本实施例中，第四线程实际是处理器执行的。对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布，可以理解为，对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行存储；或者，将第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果发送至指定设备；或者，对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行指定处理。

综上，由于每个检测模型的检测过程时长不同，本实施例在均得到三个检测模型的检测结果之后，确定第四线程，将各个检测结果发布出去，能够保证在一次发布过程中，所发布的检测结果都属于同一图像帧。

在本发明的另一实施例中，处理器110，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程时，可以包括：

当确定已完成对前一待处理图像帧的各个检测结果的发布时，执行针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的操作。

综上，本实施例中，前一待处理图像帧为第一待处理图像帧的上一图像帧，在确定已完成对上一图像帧的各个检测结果的发布时，开始对当前图像帧进行各个感知检测，保证每次发布的检测结果都是针对同一图像帧的，提高图像帧检测结果的有序性。

上述实施例中对图像帧的检测处理过程可以应用在智能驾驶场景下。图3(1)为对图像帧的检测处理过程在智能驾驶项目中的位置示意图。左侧虚线框为智能车辆中的多传感器采集的硬件平台。其中，惯性感测单元(Inertial Measurement Unit，IMU)和里程计采集的经过微控制单元(Microcontroller Unit，MCU)处理后的数据，全球定位系统(GlobalPositioning System，GPS)采集的数据，相机传感器采集的图像帧，均通过该硬件平台发送至电子设备。电子设备接收硬件平台发送的数据，并对该数据进行解析后供感知工程使用。

IMU、里程计和GPS的数据的组合可以共同用于对智能车辆的重定位。图像帧经过车道线检测模型、路灯杆检测模型和交通牌检测模型的检测之后，得到的各个检测结果可以输入重定位算法，进而重定位。其中，图像感知包括对图像帧进行的车道线检测、路灯杆检测和交通牌检测等。

图3(2)为本发明实施例提供的车载终端在对图像帧进行处理时的一种流程示意图。

S1，处理器110在第二线程中控制第二GPU130根据第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程。

S2，处理器110在第三线程中，控制第二GPU130获取第一图像帧并对第一图像帧进行去畸变处理，得到第一待处理图像帧。

S3，当确定已完成对前一待处理图像帧的各个检测结果的发布时，处理器110针对确定的第一待处理图像帧，确定并行的第一线程和第二线程。

S4，在第一线程中，处理器110控制第一GPU120依次根据预先训练的第一检测模型和第三检测模型对第一待处理图像帧进行检测，得到第一检测结果和第三检测结果。

S5，在第二线程中，处理器110控制第二GPU130根据预先训练的第二检测模型对第一待处理图像帧进行检测，得到第二检测结果。

S6，在得到第一检测结果、第二检测结果和第三检测结果时，处理器110确定第四线程。

S7，在第四线程中，处理器110对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

图4为本发明实施例提供的图像帧检测处理方法的一种流程示意图。该方法应用于处理器，处理器可以为CPU。该方法具体包括：

S410：针对确定的第一待处理图像帧，确定并行的第一线程和第二线程。

S420：在第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对第一待处理图像帧进行检测。

S430：在第二线程中，控制第二GPU根据预先训练的第二检测模型对第一待处理图像帧进行检测。

其中，第一GPU的处理能力大于第二GPU的处理能力。当分别单独采用第一GPU或者第二GPU对图像帧进行处理时，第一检测模型的耗时长于第二检测模型的耗时，第二检测模型的耗时长于第三检测模型的耗时。

在本发明的另一实施例中，基于图4所示实施例，第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；采用以下方式对获取的第一图像帧进行去畸变处理：

在第二线程中控制第二GPU根据第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，前一待处理图像帧为第一待处理图像帧的前一图像帧；

在第三线程中，控制第二GPU对第一图像帧进行去畸变处理，得到第一待处理图像帧。

在本发明的另一实施例中，基于图4所示实施例，该方法还包括：

在得到第一GPU根据第一检测模型对第一待处理图像帧检测后的第一检测结果，第一GPU根据第三检测模型对第一待处理图像帧检测后的第三检测结果，以及第二GPU根据第二检测模型对第一待处理图像帧检测后的第二检测结果时，确定第四线程；

在第四线程中，对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

在本发明的另一实施例中，基于图4所示实施例，步骤S410，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的步骤，包括：

当确定已完成对前一待处理图像帧的各个检测结果的发布时，执行针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的步骤。

在本发明的另一实施例中，基于图4所示实施例，第一待处理图像帧为道路图像帧，第一检测模型、第二检测模型和第三检测模型分别为：用于检测道路图像帧中的车道线的检测模型，用于检测道路图像帧中的交通牌的检测模型，和用于检测道路图像帧中的路灯杆的检测模型。

该方法实施例与图1所示终端实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述方法实施例与终端实施例相对应，与该终端实施例具有同样的技术效果，具体说明参见方法实施例。

图5为本发明实施例提供的图像帧检测处理装置的一种结构示意图。该装置应用于处理器，该处理器可以为CPU。该装置包括：

第一确定模块510，被配置为针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；

第一控制模块520，被配置为在第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对第一待处理图像帧进行检测；

第二控制模块530，被配置为在第二线程中，控制第二GPU根据预先训练的第二检测模型对第一待处理图像帧进行检测；

其中，第一GPU的处理能力大于第二GPU的处理能力；当分别单独采用第一GPU或者第二GPU对图像帧进行处理时，第一检测模型的耗时长于第二检测模型的耗时，第二检测模型的耗时长于第三检测模型的耗时。

在本发明的另一实施例中，基于图5所示实施例，第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；该装置还包括去畸变模块(图中未示出)，去畸变模块被配置为采用以下操作对获取的第一图像帧进行去畸变处理：

在第二线程中控制第二GPU根据第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，前一待处理图像帧为第一待处理图像帧的前一图像帧；

在第三线程中，控制第二GPU对第一图像帧进行去畸变处理，得到第一待处理图像帧。

在本发明的另一实施例中，基于图5所示实施例，该装置还包括：

第二确定模块(图中未示出)，被配置为在得到第一GPU根据第一检测模型对第一待处理图像帧检测后的第一检测结果，第一GPU根据第三检测模型对第一待处理图像帧检测后的第三检测结果，以及第二GPU根据第二检测模型对第一待处理图像帧检测后的第二检测结果时，确定第四线程；

发布模块(图中未示出)，被配置为在第四线程中，对第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

在本发明的另一实施例中，基于图5所示实施例，第一确定模块510，具体被配置为：

当确定已完成对前一待处理图像帧的各个检测结果的发布时，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程。

在本发明的另一实施例中，基于图5所示实施例，第一待处理图像帧为道路图像帧，第一检测模型、第二检测模型和第三检测模型分别为：用于检测道路图像帧中的车道线的检测模型，用于检测道路图像帧中的交通牌的检测模型，和用于检测道路图像帧中的路灯杆的检测模型。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，而方法实施例可参见终端实施例，因此装置实施例也可以参见终端实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见终端实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (8)

1.一种车载终端，其特征在于，包括：处理器、第一GPU和第二GPU；

所述处理器，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；在所述第一线程中，控制所述第一GPU依次根据预先训练的第一检测模型和第三检测模型对所述第一待处理图像帧进行检测；在所述第二线程中，控制所述第二GPU根据预先训练的第二检测模型对所述第一待处理图像帧进行检测；

其中，所述第一GPU的处理能力大于所述第二GPU的处理能力；当分别单独采用所述第一GPU或者所述第二GPU对图像帧进行处理时，所述第一检测模型的耗时长于所述第二检测模型的耗时，所述第二检测模型的耗时长于所述第三检测模型的耗时；

所述车载终端还包括图像采集设备；所述图像采集设备采集第一图像帧；所述第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；所述处理器，还采用以下操作对获取的第一图像帧进行去畸变处理：

在所述第二线程中控制所述第二GPU根据所述第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，所述前一待处理图像帧为所述第一待处理图像帧的前一图像帧；

在所述第三线程中，控制所述第二GPU对所述第一图像帧进行去畸变处理，得到所述第一待处理图像帧。

2.根据权利要求1所述的车载终端，其特征在于，所述处理器，还：

在得到所述第一GPU根据所述第一检测模型对所述第一待处理图像帧检测后的第一检测结果，所述第一GPU根据所述第三检测模型对所述第一待处理图像帧检测后的第三检测结果，以及所述第二GPU根据所述第二检测模型对所述第一待处理图像帧检测后的第二检测结果时，确定第四线程；在所述第四线程中，对所述第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

3.根据权利要求2所述的车载终端，其特征在于，所述处理器，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程时，包括：

当确定已完成对所述前一待处理图像帧的各个检测结果的发布时，针对确定的第一待处理图像帧，确定并行的第一线程和第二线程。

4.根据权利要求1～3任一项所述的车载终端，其特征在于，所述第一待处理图像帧为道路图像帧，所述第一检测模型、所述第二检测模型和所述第三检测模型分别为：用于检测道路图像帧中的车道线的检测模型，用于检测道路图像帧中的交通牌的检测模型，和用于检测道路图像帧中的路灯杆的检测模型。

5.一种图像帧检测处理方法，其特征在于，应用于处理器，包括：

针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；

在所述第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对所述第一待处理图像帧进行检测；

在所述第二线程中，控制第二GPU根据预先训练的第二检测模型对所述第一待处理图像帧进行检测；

其中，所述第一GPU的处理能力大于所述第二GPU的处理能力；当分别单独采用所述第一GPU或者所述第二GPU对图像帧进行处理时，所述第一检测模型的耗时长于所述第二检测模型的耗时，所述第二检测模型的耗时长于所述第三检测模型的耗时；

所述第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；采用以下方式对获取的第一图像帧进行去畸变处理：

在所述第二线程中控制所述第二GPU根据所述第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，所述前一待处理图像帧为所述第一待处理图像帧的前一图像帧；

在所述第三线程中，控制所述第二GPU对所述第一图像帧进行去畸变处理，得到所述第一待处理图像帧。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在得到所述第一GPU根据所述第一检测模型对所述第一待处理图像帧检测后的第一检测结果，所述第一GPU根据所述第三检测模型对所述第一待处理图像帧检测后的第三检测结果，以及所述第二GPU根据所述第二检测模型对所述第一待处理图像帧检测后的第二检测结果时，确定第四线程；

在所述第四线程中，对所述第一待处理图像帧的第一检测结果、第二检测结果和第三检测结果进行发布。

7.根据权利要求6所述的方法，其特征在于，所述针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的步骤，包括：

当确定已完成对所述前一待处理图像帧的各个检测结果的发布时，执行所述针对确定的第一待处理图像帧，确定并行的第一线程和第二线程的步骤。

8.一种图像帧检测处理装置，其特征在于，应用于处理器，包括：

第一确定模块，被配置为针对确定的第一待处理图像帧，确定并行的第一线程和第二线程；

第一控制模块，被配置为在所述第一线程中，控制第一GPU依次根据预先训练的第一检测模型和第三检测模型对所述第一待处理图像帧进行检测；

第二控制模块，被配置为在所述第二线程中，控制第二GPU根据预先训练的第二检测模型对所述第一待处理图像帧进行检测；

其中，所述第一GPU的处理能力大于所述第二GPU的处理能力；当分别单独采用所述第一GPU或者所述第二GPU对图像帧进行处理时，所述第一检测模型的耗时长于所述第二检测模型的耗时，所述第二检测模型的耗时长于所述第三检测模型的耗时；

第一待处理图像帧为对获取的第一图像帧进行去畸变处理后的图像帧；该装置还包括去畸变模块，去畸变模块被配置为采用以下操作对获取的第一图像帧进行去畸变处理：

在第二线程中控制第二GPU根据第二检测模型对前一待处理图像帧进行检测的过程中，确定第三线程；其中，前一待处理图像帧为第一待处理图像帧的前一图像帧；

在第三线程中，控制第二GPU对第一图像帧进行去畸变处理，得到第一待处理图像帧。