CN115431968B - 车辆控制器、车辆及车辆控制方法 - Google Patents

Abstract

本申请提供了一种车辆控制器、车辆及车辆控制方法，涉及车辆技术领域。其中，所述车辆控制器包括处理模块和控制模块，所述处理模块和所述控制模块相连接，其中：所述处理模块，用于获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；所述控制模块，用于基于所述每个像素对应的TTC控制车辆的行驶状态。其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。本申请能够提高车辆的控制效果。

Description

车辆控制器、车辆及车辆控制方法

技术领域

本申请涉及车辆技术领域，尤其涉及一种车辆控制器、车辆及车辆控制方法。

背景技术

目前车辆通常具备智能的驾驶辅助系统。车辆上配置有前视摄像头，可用于执行多种辅助驾驶任务，例如前向碰撞预警和自动紧急刹车等。对于前向碰撞预警及自动紧急刹车等功能，需要感知模块提供障碍物的碰撞时间，一般通过障碍物到自车的距离除以相对速度计算障碍物的碰撞时间。为实现障碍物目标识别，一般需要对障碍物进行目标检测、语义分割或关键点检测等依赖语义信息的操作。然而，由于车辆、行人及未知物体等多种障碍物在实际环境的巨大特征变化，导致障碍物目标识别的准确性较差，从而计算的障碍物的碰撞时间的准确性较差，进而导致车辆的控制效果较差。

发明内容

本申请提供了一种车辆控制器、车辆及车辆控制方法。

根据本申请的第一方面，提供了一种车辆控制器，所述车辆控制器包括处理模块和控制模块，所述处理模块和所述控制模块相连接，其中：

所述处理模块，用于获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；

所述控制模块，用于基于所述每个像素对应的TTC控制车辆的行驶状态；

其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。

根据本申请的第二方面，提供了一种车辆，所述车辆包括第一方面所述的车辆控制器。

根据本申请的第三方面，提供了一种车辆控制方法，所述方法包括：

获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；

基于所述每个像素对应的TTC控制车辆的行驶状态；

其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。

根据本申请的第四方面，提供了一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被处理器执行时实现如第三方面所述的方法。

本申请实施例中，处理模块获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；控制模块基于所述每个像素对应的TTC控制车辆的行驶状态；其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。这样，通过网络模型获得所述目标图像的每个像素对应的TTC，并基于每个像素对应的TTC控制车辆的行驶状态，无需对障碍物进行目标检测、语义分割或关键点检测等依赖语义信息的操作，能够提高计算障碍物的碰撞时间的准确性，从而提高车辆的控制效果；进一步的，基于图像像素的尺寸变化率确定用于所述网络模型训练的损失函数，尺寸变化率能够反映物体的尺度信息，结合稠密光流信息及尺寸变化率能够较好地反映障碍物的运动状态，从而能够提高计算障碍物的碰撞时间的准确性，从而提高车辆的控制效果。

附图说明

图1是本申请实施例提供的一种电子设备的结构示意图；

图2是本申请实施例提供的一种车辆控制器的结构示意图；

图3是本申请实施例提供的一种网络模型的结构示意图；

图4是本申请实施例提供的一种拍摄图像的示意图之一；

图5是本申请实施例提供的一种拍摄图像的示意图之二；

图6是本申请实施例提供的一种拍摄图像的示意图之三；

图7是本申请实施例提供的一种拍摄图像的示意图之四；

图8是本申请实施例提供的一种拍摄图像的部分示意图；

图9是本申请实施例提供的一种车辆控制方法的流程示意图；

图10是本申请实施例提供的一种车辆的结构示意图。

具体实施方式

图1示出了可以用来实施本申请的实施例的示例电子设备100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图1所示，电子设备100包括计算单元101，其可以根据存储在只读存储器（ROM）102中的计算机程序或者从存储单元108加载到随机访问存储器（RAM）103中的计算机程序，来执行各种适当的动作和处理。在RAM 103中，还可存储电子设备100操作所需的各种程序和数据。计算单元101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出（I/O）接口105也连接至总线104。

电子设备100中的多个部件连接至I/O接口105，包括：输入单元106，例如键盘、鼠标等；输出单元107，例如各种类型的显示器、扬声器等；存储单元108，例如磁盘、光盘等；以及通信单元109，例如网卡、调制解调器、无线通信收发机等。通信单元109允许电子设备100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元101的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元101可用于执行本申请实施例所描述的各个方法和处理，例如本申请实施例中的车辆控制方法。例如，在一些实施例中，车辆控制方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 102和/或通信单元109而被载入和/或安装到电子设备100上。当计算机程序加载到RAM 103并由计算单元101执行时，可以执行车辆控制方法的一个或多个步骤。备选地，在其他实施例中，计算单元101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行车辆控制方法。

需要说明的是，本申请实施例中的车辆控制器可以为电子设备100中的计算单元101。

请参见图2，图2是本申请实施例提供的一种车辆控制器200的结构示意图，如图2所示，所述车辆控制器200包括处理模块201和控制模块202，所述处理模块201和所述控制模块202相连接，其中：

所述处理模块201，用于获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间（time to collision，TTC）；

所述控制模块202，用于基于所述每个像素对应的TTC控制车辆的行驶状态；

其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。

其中，目标图像可以包括一张或多张图像。稠密光流信息可以通过稠密光流算法获得。光流信息的物理含义可以为空间运动物体在观察成像平面上的像素运动的瞬时速度，稠密光流信息表示稠密的光流信息。TTC的物理含义可以为车辆与前方障碍物之间的距离除以相对速度的值。网络模型用于预测TTC，网络模型可以包括全连接神经网络，或者可以包括卷积神经网络，或者可以包括循环神经网络，等等，本实施例对网络模型的具体结构不进行限定。如图3所示，可以对目标图像提取图像特征，并计算目标图像的稠密光流信息，将图像特征和稠密光流信息输入网络模型，网络模型输出每个像素对应的TTC。

另外，所述第一损失函数可以基于TTC真值及TTC预测值确定，示例地，所述第一损失函数可以基于TTC真值与TTC预测值的差值确定，或者，所述第一损失函数可以基于TTC真值的对数值与TTC预测值的对数值的差值确定。

另外，所述第二损失函数可以基于所述尺寸变化率的真值及所述尺寸变化率的预测值确定，示例地，所述第二损失函数可以基于所述尺寸变化率的真值与所述尺寸变化率的预测值的差值确定，或者，所述第二损失函数可以基于所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值确定。

一种实施方式中，网络模型可以为类似U-Net的深度神经网络模型，其反向传播所用损失函数为包括TTC损失和尺寸变化率损失的联合平滑L1损失函数。示例地，用于所述网络模型训练的损失函数L可以为：

其中，

为TTC真值，

为TTC预测值，

为尺寸变化率的真值，

为尺寸变化率的预测值。

需要说明的是，由于TTC与尺寸变化率均是基于尺寸、距离等基本物理量获得的比值，使用以10为底的对数设计损失函数，能够降低损失函数中的非线性，从而能够提高网络模型计算障碍物的碰撞时间的准确性。

一种实施方式中，所述基于所述每个像素对应的TTC控制车辆的行驶状态，可以包括，基于所述每个像素对应的TTC控制是否对车辆进行制动处理，示例地，若存在目标区域，则对车辆进行制动处理；若不存在目标区域，则不对车辆进行制动处理，其中，在目标区域内TTC值小于TTC阈值的像素的个数与目标区域内的像素的总个数的比值大于预设比值，该预设比值可以按照实际需求设计，例如，可以设计为80%，或者90%，或者95%等等。

需要说明的是，可以根据实际碰撞时间需求，设置相应的阈值，筛选出TTC小于TTC阈值的区域，形成是否对车辆制动的决策。

作为一种具体的实施例，获取到每个像素对应的TTC之后，可以根据防碰撞功能需求设置相应的感兴趣区域（ROI），该感兴趣区域可以是可行驶区域。可以剔除TTC小于0的像素，使用可行驶区域分割的结果剔除感兴趣区域以外的区域，然后对于不同的防碰撞功能可以采用不同的设定阈值对TTC矩阵进行二值化，得到TTC二值图像，对于前向防碰撞预警（FCW）功能，该设定阈值可以为2.7S，对于自动紧急刹车（AEB）功能，该设定阈值可以为1.4S。

另外，对于TTC二值图像，可以进行连通域的提取，获取到对车辆存在一定碰撞危险的物体，在连通域提取过程中可以剔除面积小于第一预设面积阈值的连通域，TTC连通域较小表明物体本身较小或距离车辆较远，存在碰撞危险的概率较小。该第一预设面积阈值可以根据实际防碰撞功能需求进行设置。当TTC的连通域的面积大于第二预设面积阈值时，可以将该连通域所在的区域设置为潜在碰撞区域，并结合连续多帧图像（例如，3~5帧）对潜在碰撞区域进行校验，若在该连续多帧图像中均存在该潜在碰撞区域，则触发车辆制动。该第二预设面积阈值可以根据实际防碰撞功能需求进行设置。

需要说明的是，光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，包含了物体的运动信息，但无法直接反映物体的尺度信息，因此无法完全描述物体在三维世界中的运动。尺寸变化率能够较好地反映物体的尺度信息，如图4及图6所示，从图4可以看到拍摄的前方车辆，从图5可以看到图4拍摄的车辆的位置变化，从图6可以看到车辆的尺寸变化。本申请实施例结合光流信息和尺寸变化率，使得网络模型预测的TTC能够较为准确地反映物体的实际运动，从而能够提高网络模型计算障碍物的碰撞时间的准确性。

本申请实施例通过网络模型预测像素级TTC，进行防碰撞预警，可以应对乱石、树枝、前车散落物体等未知物体的防碰撞感知；本申请实施例无需对图像数据中的目标进行目标检测、语义分割、关键点检测等依赖语义信息的感知手段，即可实现防碰撞感知；本申请实施例无需对目标的位置、速度等属性信息进行测量或估计，即可实现物体碰撞时间计算，且相比于利用目标位置与速度信息计算碰撞时间的方法，本申请实施例通过网络模型预测像素级TTC的精度更高，鲁棒性更好。

本申请实施例中，处理模块获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；控制模块基于所述每个像素对应的TTC控制车辆的行驶状态；其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。这样，通过网络模型获得所述目标图像的每个像素对应的TTC，并基于每个像素对应的TTC控制车辆的行驶状态，无需对障碍物进行目标检测、语义分割或关键点检测等依赖语义信息的操作，能够提高计算障碍物的碰撞时间的准确性，从而提高车辆的控制效果；进一步的，基于图像像素的尺寸变化率确定用于所述网络模型训练的损失函数，尺寸变化率能够反映物体的尺度信息，结合稠密光流信息及尺寸变化率能够较好地反映障碍物的运动状态，从而能够提高计算障碍物的碰撞时间的准确性，从而提高车辆的控制效果。

可选地，所述第一损失函数基于TTC真值的对数值与TTC预测值的对数值的差值确定。

其中，第一损失函数可以为TTC真值的对数值与TTC预测值的对数值的差值；或者，第一损失函数可以为TTC真值的对数值与TTC预测值的对数值的差值的绝对值；或者，第一损失函数可以为TTC真值的对数值与TTC预测值的对数值的差值的平方；等等，本实施例对此不进行限定。

该实施方式中，所述第一损失函数基于TTC真值的对数值与TTC预测值的对数值的差值确定，由于TTC的实际物理含义为相对距离与相对速度的比值，通过对数运算能够将相对距离与相对速度的比值转化为相对距离的对数值与相对速度的对数值的差值，从而能够将比值的运算转化为差值的运算，降低损失函数中的非线性，能够提高网络模型计算障碍物的碰撞时间的准确性。

可选地，所述第二损失函数基于所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值确定。

其中，所述第二损失函数可以为所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值；或者，所述第二损失函数可以为所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值的绝对值；或者，所述第二损失函数可以为所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的平方；等等，本实施例对此不进行限定。

该实施方式中，所述第二损失函数基于所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值确定，由于尺寸变化率的实际物理含义为尺寸变化值与时间的比值，通过对数运算能够将尺寸变化值与时间的比值转化为尺寸变化值的对数值与时间的对数值的差值，从而能够将比值的运算转化为差值的运算，降低损失函数中的非线性，能够提高网络模型计算障碍物的碰撞时间的准确性。

可选地，所述处理模块还用于：

获取多个样本图像，所述样本图像标注有每个像素对应的TTC的真值，及所述每个像素的尺寸变化率的真值；

基于所述多个样本图像对所述网络模型进行训练。

其中，可以对样本图像进行标注处理，使得样本图像标注有每个像素对应的TTC的真值，及所述每个像素的尺寸变化率的真值。可以通过实验测试或者仿真的方式获取样本图像中每个像素对应的TTC的真值。

另外，对于样本图像中的非边缘像素，可以将以非边缘像素为中心像素的像素块的尺寸变化率的真值作为该非边缘像素的尺寸变化率的真值；对于样本图像中的边缘像素，可以将距离边缘像素最近的非边缘像素的尺寸变化率的真值作为该边缘像素的尺寸变化率的真值。

该实施方式中，获取多个样本图像，所述样本图像标注有每个像素对应的TTC的真值，及所述每个像素的尺寸变化率的真值；基于所述多个样本图像对所述网络模型进行训练。这样，网络模型能够较好地学习尺寸变化率表征的尺度信息，使得网络模型预测的TTC能够较为准确地反映物体的实际运动，从而能够提高网络模型计算障碍物的碰撞时间的准确性。

可选地，第一像素的尺寸变化率的真值为距离所述第一像素最近的非边缘像素的尺寸变化率的真值，所述第一像素为所述样本图像的边缘像素，所述边缘像素为像素光流变化值大于预设阈值的像素。

其中，所述边缘像素可以为图像中表征物体的边缘的像素。预设阈值可以按照实际需求设计，示例地，预设阈值可以设计为3m/s，或者5m/s，或者10m/s，等等。

需要说明的是，对于边缘像素，以其为中心的像素块运动不一致，无法表征中心像素的尺寸变化率。如图7所示，图像中显示有物体，该物体的像素包括物体的中心像素11，及物体的边缘像素12。对于边缘像素12，由于其左右像素的光流方向相同，且上下像素的光流方向不反向，边缘像素的光流存在明显变化，可以根据像素光流变化值对每个像素进行判断，筛选出边缘像素，并使用最近非边缘像素的尺寸变化率作为当前边缘像素的尺寸变化率。

该实施方式中，第一像素的尺寸变化率的真值为距离所述第一像素最近的非边缘像素的尺寸变化率的真值，所述第一像素为所述样本图像的边缘像素，所述边缘像素为像素光流变化值大于预设阈值的像素，这样，由于边缘像素与以其为中心的像素块的运动不一致，通过以边缘像素为中心的像素块的尺寸变化率的真值计算边缘像素的尺寸变化率的真值的准确性较差，将距离边缘像素最近的非边缘像素的尺寸变化率的真值作为边缘像素的尺寸变化率的真值，能够较为准确地获得边缘像素的尺寸变化率的真值。

可选地，所述处理模块还用于：

确定第二像素的横向相邻像素的光流横向变化值，所述第二像素为所述样本图像的任意一个像素；

确定所述第二像素的纵向相邻像素的光流纵向变化值；

基于所述光流横向变化值及所述光流纵向变化值确定所述第二像素的像素光流变化值；

基于所述第二像素的像素光流变化值确定所述第二像素是否为边缘像素。

其中，第二像素的横向相邻像素可以包括位于第二像素的左方的一个像素或多个相邻像素，及位于第二像素的右方的一个像素或多个相邻像素。示例地，第二像素的横向相邻像素可以包括，位于第二像素的左方且与第二像素相邻的一个像素，及位于第二像素的右方且与第二像素相邻的一个像素。第二像素的纵向相邻像素可以包括位于第二像素的上方的一个像素或多个相邻像素，及位于第二像素的下方的一个像素或多个相邻像素。示例地，第二像素的纵向相邻像素可以包括，位于第二像素的上方且与第二像素相邻的一个像素，及位于第二像素的下方且与第二像素相邻的一个像素。

一种实施方式中，如图8所示，第二像素的横向相邻像素可以包括像素a1及像素a2，第二像素的纵向相邻像素可以包括像素b1及像素b2。光流横向变化值可以为像素a1的光流横向分量与像素a2的光流横向分量的和值的绝对值，光流纵向变化值可以为像素b1的光流纵向分量与像素b2的光流纵向分量的和值的绝对值。第二像素的像素光流变化值可以为光流横向变化值与光流纵向变化值的和值。

一种实施方式中，像素光流变化值

的计算公式可以如下：

其中，i，j分别为像素的横纵坐标，

代表光流横向分量，

代表光流纵向分量，

为光流横向变化值，

为光流纵向变化值。

该实施方式中，确定第二像素的横向相邻像素的光流横向变化值，所述第二像素为所述样本图像的任意一个像素；确定所述第二像素的纵向相邻像素的光流纵向变化值；基于所述光流横向变化值及所述光流纵向变化值确定所述第二像素的像素光流变化值；基于所述第二像素的像素光流变化值确定所述第二像素是否为边缘像素。这样，能够通过光流横向变化值及光流纵向变化值确定像素光流变化值，并通过像素光流变化值确定样本图像中的边缘像素。

可选地，第三像素的尺寸变化率的真值为以所述第三像素为中心像素的像素块的尺寸变化率的真值，所述像素块的尺寸变化率的真值为所述像素块对应的仿射变换矩阵的秩 ，所述第三像素为所述样本图像的非边缘像素，所述非边缘像素为像素光流变化值小于或等于预设阈值的像素。

其中，像素块的大小可以预先设置，例如，可以设置为5*5大小的像素块，或者，可以设置为7*7大小的像素块，或者，可以设置为10*10大小的像素块，等等，本实施例对像素块的大小不进行限定。

作为一种具体的实施例，样本图像可以为2D图像，对样本图像中的每一个非边缘像素，以该非边缘像素为中心，选取一个长为n，宽为n的像素块，示例地，n可以取值为5。假设这个像素块是一个刚体，并且平行于像平面运动，即不存在旋转运动。由于假设这个像素块是刚体，这个像素块可以用一个仿射变换矩阵来对其进行变换，并且变换后的坐标位置，和用光流做逐像素变换后的坐标位置是一致的。因此，可以使用最小二乘算法对该像素块计算得到仿射变换矩阵 A。对于相对像平面的平移运动，这个仿射变换矩阵 A的秩，就是像素块的尺寸变化率的真值。可以将该像素块的尺寸变化率的真值作为中心点像素的尺寸变化率的真值。

该实施方式中，第三像素的尺寸变化率的真值为以所述第三像素为中心像素的像素块的尺寸变化率的真值，所述像素块的尺寸变化率的真值为所述像素块对应的仿射变换矩阵的秩 ，所述第三像素为非边缘像素，这样，由于非边缘像素与以其为中心的像素块的运动一致，通过以其为中心的像素块的尺寸变化率的真值计算非边缘像素的尺寸变化率的真值，能够较为准确地确定非边缘像素的尺寸变化率的真值。

根据本申请的实施例，本申请还提供了一种车辆控制方法，如图9所示，车辆控制方法包括以下步骤：

步骤301：获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；

步骤302：基于所述每个像素对应的TTC控制车辆的行驶状态；

其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数。

可选地，所述第一损失函数基于TTC真值的对数值与TTC预测值的对数值的差值确定。

可选地，所述第二损失函数基于所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值确定。

可选地，所述获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型之前，所述方法还包括：

获取多个样本图像，所述样本图像标注有每个像素对应的TTC的真值，及所述每个像素的尺寸变化率的真值；

基于所述多个样本图像对所述网络模型进行训练。

可选地，第一像素的尺寸变化率的真值为距离所述第一像素最近的非边缘像素的尺寸变化率的真值，所述第一像素为所述样本图像的边缘像素，所述边缘像素为像素光流变化值大于预设阈值的像素。

可选地，所述获取多个样本图像，包括：

确定第二像素的横向相邻像素的光流横向变化值，所述第二像素为所述样本图像的任意一个像素；

确定所述第二像素的纵向相邻像素的光流纵向变化值；

基于所述光流横向变化值及所述光流纵向变化值确定所述第二像素的像素光流变化值；

基于所述第二像素的像素光流变化值确定所述第二像素是否为边缘像素。

可选地，第三像素的尺寸变化率的真值为以所述第三像素为中心像素的像素块的尺寸变化率的真值，所述像素块的尺寸变化率的真值为所述像素块对应的仿射变换矩阵的秩 ，所述第三像素为所述样本图像的非边缘像素，所述非边缘像素为像素光流变化值小于或等于预设阈值的像素。

本申请的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本申请的实施例，本申请还提供了一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被处理器执行时实现本申请实施例中的车辆控制方法。

本申请中的车辆控制方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。

所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

根据本申请的实施例，本申请还提供了一种车辆，所述车辆包括本申请实施例所述的车辆控制器，可选地，如图10所示，该车辆400可以包括计算单元401、ROM402、RAM403、总线404、I/O接口405、输入单元406、输出单元407、存储单元408和通信单元409。上述各部分的具体实施方式可以参照上述实施例中对电子设备的各部分的说明，为避免重复，在此不再赘述。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (7)

1.一种车辆控制器，其特征在于，所述车辆控制器包括处理模块和控制模块，所述处理模块和所述控制模块相连接，其中：

所述处理模块，用于获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；

所述控制模块，用于基于所述每个像素对应的TTC控制车辆的行驶状态；

其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数；

所述第一损失函数基于TTC真值的对数值与TTC预测值的对数值的差值确定；

所述第二损失函数基于所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值确定。

2.根据权利要求1所述的车辆控制器，其特征在于，所述处理模块还用于：

获取多个样本图像，所述样本图像标注有每个像素对应的TTC的真值，及所述每个像素的尺寸变化率的真值；

基于所述多个样本图像对所述网络模型进行训练。

3.根据权利要求2所述的车辆控制器，其特征在于，第一像素的尺寸变化率的真值为距离所述第一像素最近的非边缘像素的尺寸变化率的真值，所述第一像素为所述样本图像的边缘像素，所述边缘像素为像素光流变化值大于预设阈值的像素。

4.根据权利要求3所述的车辆控制器，其特征在于，所述处理模块还用于：

确定第二像素的横向相邻像素的光流横向变化值，所述第二像素为所述样本图像的任意一个像素；

确定所述第二像素的纵向相邻像素的光流纵向变化值；

基于所述光流横向变化值及所述光流纵向变化值确定所述第二像素的像素光流变化值；

基于所述第二像素的像素光流变化值确定所述第二像素是否为边缘像素。

5.根据权利要求2所述的车辆控制器，其特征在于，第三像素的尺寸变化率的真值为以所述第三像素为中心像素的像素块的尺寸变化率的真值，所述像素块的尺寸变化率的真值为所述像素块对应的仿射变换矩阵的秩 ，所述第三像素为所述样本图像的非边缘像素，所述非边缘像素为像素光流变化值小于或等于预设阈值的像素。

6.一种车辆，其特征在于，所述车辆包括如权利要求1-5中任一项所述的车辆控制器。

7.一种车辆控制方法，其特征在于，所述方法包括：

获取车载摄像头拍摄的目标图像的稠密光流信息，并将所述稠密光流信息与所述目标图像的图像特征输入网络模型，获得所述目标图像的每个像素对应的碰撞时间TTC；

基于所述每个像素对应的TTC控制车辆的行驶状态；

其中，用于所述网络模型训练的损失函数基于第一损失函数和第二损失函数确定，所述第一损失函数为TTC的损失函数，所述第二损失函数为图像像素的尺寸变化率的损失函数；

所述第一损失函数基于TTC真值的对数值与TTC预测值的对数值的差值确定；

所述第二损失函数基于所述尺寸变化率的真值的对数值与所述尺寸变化率的预测值的对数值的差值确定。

Images