CN115115964A - 车载视频稳像方法、装置、车辆及存储介质 - Google Patents

车载视频稳像方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN115115964A
CN115115964A CN202210055801.2A CN202210055801A CN115115964A CN 115115964 A CN115115964 A CN 115115964A CN 202210055801 A CN202210055801 A CN 202210055801A CN 115115964 A CN115115964 A CN 115115964A
Authority
CN
China
Prior art keywords
image
vehicle
video
mounted video
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210055801.2A
Other languages
English (en)
Inventor
魏建军
贾澜鹏
樊强
刁玥
颉毅
赵龙
陈现岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202210055801.2A priority Critical patent/CN115115964A/zh
Publication of CN115115964A publication Critical patent/CN115115964A/zh
Priority to PCT/CN2023/072397 priority patent/WO2023138538A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种车载视频稳像方法、装置、车辆及存储介质，该方法包括：获取车辆的车载视频；将车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，第一运动向量图用于表征车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；对第一运动向量图进行平滑处理，得到处理后的第二运动向量图；根据第二运动向量图，计算得到第一运动光流图；根据第一运动光流图对车载视频中的帧图像进行运动补偿，得到稳像视频。上述方法提高了神经网络对视频图像的运动估计的准确度，从而提升视频稳像的处理效果。

Description

车载视频稳像方法、装置、车辆及存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种车载视频稳像方法、装置、车辆及存储介质。
背景技术
目前车载的视频录制功能是非常通用的，各个车型上都有相关的设备，在录制视频过程中，难免会遇到路面颠簸的情况，这时就需要稳像的功能。稳像分为两种通路，一个是云台为主的硬件稳像方法，一种是纯软件的解决思路。
现有技术中通常是利用神经网络提取图像的关键点，从而对全图估计一个运动矩阵，其运动估计准确度低，从而导致视频稳像的处理效果差的问题。
发明内容
本申请实施例提供了一种车载视频稳像方法、装置、车辆及存储介质，可以提高神经网络对视频图像的运动估计的准确度，从而提升视频稳像的处理效果。
第一方面，本申请实施例提供了一种车载视频稳像方法，包括：
获取车辆的车载视频；
将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；
对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；
根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；
根据所述第一运动光流图对所述车载视频中的帧图像进行运动补偿，得到稳像视频。
第二方面，本申请实施例提供了一种车载视频稳像装置，包括：
第一获取模块，用于获取车辆的车载视频；
网络处理模块，用于将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；
平滑处理模块，用于对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；
计算模块，用于根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；
运动补偿模块，用于根据所述第一运动光流图对所述车载视频中的帧图像进行运动补偿，得到稳像视频。
第三方面，本申请实施例提供了一种车辆，包括终端设备，该终端设备包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的车载视频稳像方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的车载视频稳像方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的车载视频稳像方法。
本申请第一方面实施例与现有技术相比存在的有益效果是：通过获取车辆的车载视频；将车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，第一运动向量图用于表征车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；对第一运动向量图进行平滑处理，得到处理后的第二运动向量图；根据第二运动向量图，计算得到第一运动光流图，其中，第一运动光流图用于表征车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；根据第一运动光流图对车载视频中的帧图像进行运动补偿，得到稳像视频。本申请实施例利用第一神经网络，将全图按照网格方式估计出网格状的运动向量图，并通过该网络状的运动向量图进行车载视频图像的稳像处理，在做到了端到端的运动估计的基础上，将原有的单个运动矩阵估计的方法扩展到平面网格，提高了神经网络对视频图像的运动估计的准确度，从而提升视频稳像的处理效果。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的车载视频稳像方法的流程示意图；
图2是图1中的步骤S203的平滑处理过程的直观展示示意图；
图3是图2中步骤S204的具体实现步骤流程示意图；
图4是本申请一实施例提供的车辆视频稳像装置的结构示意图；
图5是本申请一实施例提供的车辆的结构示意图。
具体实施方式
本申请实施例的车载视频稳像方法需要利用到第一神经网络，而第一神经网络是预先训练好的网络。所以在详述本申请实施例的车载视频稳像方法之前，首先说明第一神经网络的训练过程，其中，第一神经网络的训练过程如下：
S101，获取训练数据集，训练数据集包括多个数据对，每个数据对包括第一图像和第二图像，其中，第二图像相对于第一图像存在抖动。
需要说明的是，第一图像与第二图像的图像内容连续。可选的，第一图像和第二图像可为样本视频中相邻两帧图像，其中第二图像为相邻两帧图像中的后一帧图像，第一图像为相邻两帧图像中的前一帧图像。
S102，基于训练数据集对无监督神经网络进行训练，得到训练后的第一神经网络。
这里，无监督神经网络是一种不需要给出类别(标签)，只需要给出输入的神经网络。
在一种可能的实现方式中，步骤S102的实现过程可以包括：
步骤S1021，将数据对中的第一图像和第二图像输入无监督神经网络，得到网格状的第三运动向量图，第三运动向量图用于表征第二图像相对于第一图像的每个网格偏移向量。
这里，第一图像和第二图像输入无监督神经网络，会在第一图像和第二图像之间构建一个网格总个数为S×S的网格图，其中一个S表示网格图的行数，另一个S表示网格图的列数，每个网格通过无监督神经网络均会回归4个运动向量Δi,j，其中，i∈[0,S)，j∈[0,S)，其中，Δi,j表示网格图中坐标位置为(i,j)的网格角点对应的运动向量，i表示网格图的行号，j表示网格图的列号，最后输出一个网格状的第三运动向量图，该第三运动向量图为一个S×S×3的三维运动矩阵，其中S×S×3的三维运动矩阵中每个维度均表示x方向、y方向和z方向的运动偏移量。
步骤S1022，根据第三运动向量图，计算得到第二运动光流图，第二运动光流图用于表征第二图像相对于第一图像的每个像素点对应的运动位移。
在一种可能的实现方式中，步骤S1022的实现过程可包括：
S1，将第三运动向量图进行直线线性变换，计算得到第三运动向量图中每个网格的单应性矩阵。
这里，将第三运动向量图中每个网格对应的4个运动向量进行直线线性变换，计算得到第三运动向量图中每个网格的单应性矩阵。
S2，根据第三运动向量图中每个网格的单应性矩阵，计算得到第一运动光流图。
具体的，针对第三运动向量图中每个网格，获取网格投影到图像上所包含的多个像素点对应的齐次坐标；根据网格的单应性矩阵和网格投影的图像上所包含的多个像素点对应的齐次坐标，计算得到第二运动光流图。
通过上述处理过程，利用稀疏网格的单应性矩阵去近似全局的光流图，即第二运动光流图，可以降低计算量，提升运行速度。
步骤S1023，根据第二运动光流图，对第二图像进行双线性插值运算，得到第二图像运动后的第三图像。
需要说明的是，基于第二运动光流图，对第二图像进行双线性插值运算，得到的第二图像运动后的第三图像，是对第二图像的运动补偿，即利用神经网络，得到预估的第二图像相对于第一图像的运动位移(第二运动光流图)，利用第二图像相对于第一图像的运动位移修正第二图像，得到第三图像。这里，第三图像需要与第一图像尽可能的相似，才可以达到稳像的效果，所以需要通过计算第一图像与第三图像之间的损失值，不断地优化无监督神经网络，从而得到准确的运动估计。
步骤S1024，计算第一图像与第三图像之间的损失值。
这里，可采用下述公式(1)计算第一图像与第三图像之间的损失值。
Figure BDA0003476161820000051
其中，Ai,j表示第一图像中第i行第j列的像素值，B’i,j表示第三图像中第i行第j列的像素值，i表示图像像素的行号，j表示图像像素的列号，M表示图像像素的总行数，N表示图像像素的总列数，L1表示第一图像与第三图像之间的损失值。
步骤S1025，基于所述损失值更新所述无监督网络的网络参数，获得所述第一神经网络。
本步骤中，基于损失值更新无监督网络的网络参数后，若本次更新后的无监督网络的损失值小于预设阈值，且本次更新后的无监督网络的损失值与其上一次更新后的无监督网络的损失值相等，则将本次更新后的无监督网络确定为第一神经网络，否则，返回执行步骤S1024以及后续步骤，直至本次更新后的无监督网络的损失值小于预设阈值，且本次更新后的无监督网络的损失值与其上一次更新后的无监督网络的损失值相等。或者，基于损失值更新无监督网络的网络参数后，判断网络参数更新的次数，若网络参数更新的次数达到预设次数，则将本次更新后的无监督网络确定为第一神经网络；否则，返回执行步骤S1024以及后续步骤，直至本次更新后的无监督网络对应的网络参数更新的次数达到预设次数，将本次更新后的无监督网络确定为第一神经网络。
图1示出了本申请提供的车载视频稳像方法的示意性流程图，参照图1，对该车载视频稳像方法的详述如下：
S201，获取车辆的车载视频。
这里，可通过安装在车辆上的视频录制设备获取车辆的车载视频。
S202，将车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，第一运动向量图用于表征车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量。
这里，第一神经网络是预先训练好的神经网络。具体训练过程详见上述说明，这里不再赘述。
需要说明的是，车载视频中每相邻两帧图像经经过第一神经网络输出一张网格状的第一运动向量图。比如，车载视频包括N帧图像，N帧图像输入第一神经网络，第一帧图像和第二帧图像对应一张网格状的第一运动向量图，第二帧图像和第三帧图像对应一张网格状的第一运动向量图，以此类推，得到N-1张网络状的第一运动向量图。
S203，对第一运动向量图进行平滑处理，得到处理后的第二运动向量图。
需要说明的是，对第一运动向量图进行平滑处理，其目的是为了去除帧图像遇到的明显的抖动，保证整个车载视频的运动趋势的一致性。
在一种可能的实现方式中，步骤S203的实现过程可以包括：
S2031，针对车载视频的每帧图像，获取当前帧图像的前后K帧图像各自对应的第一运动向量图，其中，K为正整数。
S2032，将当前帧图像的前后K帧图像各自对应的第一运动向量图进行加权融合计算，得到第二运动向量图。
具体的，可采用下述公式(2)计算得到第二运动向量图：
Figure BDA0003476161820000071
其中，
Figure BDA0003476161820000072
是符合高斯分布的权值，
Figure BDA0003476161820000073
表示当前帧图像的前后帧图像对当前帧图像的影响，其中距离当前帧图像越远的帧图像，对当前帧的影响越小。-K表示当前帧之前的第K帧图像，K表示当前帧之后的第K帧图像，
Figure BDA0003476161820000074
表示当前帧图像tk的运动向量，即第一运动向量图对应的各运动向量，
Figure BDA0003476161820000075
表示帧图像tk+的运动向量，
Figure BDA0003476161820000076
表示当前帧图像的第二运动向量图。
经过上述处理得到车载视频的所有帧图像对应的平滑后的第二运动向量图。
为了便于理解，参照图2展示平滑处理过程。假设整个车载视频的运动趋势都是向正上方的，这里仅展示第一运动向量图的网格中左上角点的运动向量。图中可以看出，t2帧图像遇到了明显的抖动，运动向量发生了偏移，利用前后多帧的平滑处理，对运动向量的偏移进行了修正。
S204，根据第二运动向量图，计算得到第一运动光流图，其中，第一运动光流图用于表征车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移。
参照图3，在一种可能的实现方式中，步骤204的实现过程可以包括：
步骤2041，对第二运动向量图进行直线线性变换，得到第二运动向量图中每个网格的单应性矩阵。
步骤2042，根据第二运动向量图中每个网格的单应性矩阵，计算得到第一运动光流图。
可选的，步骤2042可以具体包括：
针对第二运动向量图中每个网格，获取网格投影到图像上所包含的多个像素点对应的齐次坐标；根据网格的单应性矩阵和网格投影到图像上所包含的多个像素点对应的齐次坐标，计算得到第一运动光流图。
通过上述处理过程，利用稀疏网格的单应性矩阵去近似全局的光流图，即第一运动光流图，可以降低计算量，提升运行速度。
S205，根据第一运动光流图对车载视频中的帧图像进行运动补偿，得到稳像视频。
具体的，针对车载视频中的每帧图像，根据其对应的第一运动光流图对帧图像进行运动补偿，得到由补偿后的帧图像构成的稳像视频。
发明人进一步发现用统一的模型训练所有不同的运动模糊，并不适用所有车辆行驶工况，如发明人发现当车辆的车速不同时，车辆抖动是不同的，拍摄得到的车载视频的抖动程度也是不一样的，此时，仍然使用上述已完成训练的模型进行处理时，容易导致对不同抖动程度的车载视频的处理效果不佳。针对该技术问题，本申请提出，针对不同的移动速度范围训练得到不同的神经网络；即不同的移动范围对应不同的神经网络。因此，可以将摄像设备在不同移动速度下拍摄得到车载视频，输入至该移动速度对应的神经网络中进行处理，即不同抖动程度的车载视频可以输入至不同的神经网络中进行处理，提高了稳像效果。针对该思路，本申请一实施例提供的车载视频稳像方法还可以包括步骤S601和S602，详细介绍如下：
在S601中，获取目标移动速度。
其中，目标移动速度为拍摄车载视频的摄像设备，在拍摄所述车载视频时的移动速度。在实际应用中，当用户坐在处于行驶状态的火车、小车或大巴等行驶工具内的位置上时，用户可以对外面的景色拍照留念。由于行驶工具处于行驶状态，导致拍摄得到的视频可能是抖动的，因此，用户可以向终端设备发送视频去抖动的请求。
需要说明的是，终端设备检测到用户发送了上述视频去抖动的请求可以是：检测到用户打开预设APP或者检测到用户在预设APP内执行预设操作。其中，预设操作可以根据实际需要确定，此处不作限制。示例性的，预设操作可以是点击预设控件，即终端设备若检测到用户点击预设APP内的预设控件，则认为检测到了预设操作，即认为检测到用户发送了视频去抖动的请求。
在一些可能的实施例中，上述预设操作也可以是一个时间触发操作，终端设备在运行时可以配置有相应的视频处理流程，该视频处理流程包含有多个关键事件的触发节点，上述关键事件包括视频去抖动的请求，在该情况下，若终端设备检测到到达视频去抖动事件关联的触发节点，则执行步骤本方案的操作，以得到稳像视频。
本申请实施例中，终端设备在检测到视频去抖动的请求后，可以获取车载视频以及摄像设备在拍摄该车载视频时的移动速度。
在本申请的一个实施例中，当用户是在处于行驶状态的车辆上拍摄视频时，拍摄车载视频的摄像设备可以是该车辆上安装的摄像头。基于此，终端设备具体可以根据以下步骤得到车载视频在被拍摄时对应摄像头的移动速度，详述如下：
当摄像头拍摄所述车载视频时，获取车辆的行驶速度；将车辆的行驶速度确定为目标移动速度。
本实施例中，终端设备可以与车辆上安装的摄像头无线通信连接，因此，终端设备在检测到该摄像头在进行拍摄时，可以实时通过与终端设备无线通信连接的车载系统获取到此时车辆的行驶速度。需要说明的是，车载系统包括轮速传感器，该轮速传感器可以是磁电式轮速传感器，也可以是霍尔式轮速传感器，此处不作限制。
在S602中，从多个神经网络中查找与目标移动速度匹配的神经网络，并将匹配得到的神经网络作为第一神经网络。
其中，神经网络以目标样本图像作为训练集训练获得，所述目标样本图像在拍摄时，对应摄像头的移动速度所处的范围区间，涵盖目标移动速度。
本申请实施例中，终端设备可以预先存储有不同移动速度范围与不同神经网络之间的匹配关系，因此，终端设备在获取到车载视频在拍摄时对应摄像头的目标移动速度之后，可以根据该目标移动速度所处的移动速度范围，以及预先存储的不同移动速度范围与不同神经网络之间的匹配关系，得到与该目标移动速度匹配的神经网络，并以该神经网络作为第一神经网络进行后续处理。
具体通过以下步骤S701～S702构建不同移动速度范围与不同神经网络之间的匹配关系，详述如下：
在S701中，获取多个预设速度范围区间各自对应的原始样本图像。
在本实施例的一种实现方式中，终端设备可以预先获取到摄像头在不同移动速度下拍摄得到的多张图像，并根据预先设置的多个预设速度范围区间以及每张图像在拍摄时的移动速度，对上述多张图像进行分类，得到多个预设速度范围区间各自对应的原始样本图像。
在S702中，针对每个预设速度范围区间，以其对应的原始样本图像作为训练集，训练得到与其对应的神经网络。
本实施例中，终端设备在得到多个预设速度范围区间各自分别对应的原始样本图像之后，为了提高后续对车载视频的稳像效果，针对任一一个预设速度范围区间，都仅将该预设速度范围区间对应的原始样本图像作为训练集，对预设的原始神经网络进行训练，从而得到该预设速度范围区间对应的已训练的神经网络。其中，原始图像去模糊模型可以是预先构建的第一深度学习模型，如生成对抗网络(DeblurGAN)模型。
本实施例提供的车载视频稳像方法中，将所述车载视频输入第一神经网络之前，还可以包括：将车载视频输入已训练的非稳像视频分类模型进行处理，得到车载视频为非稳像视频的概率值；若该概率值大于设定阈值，则执行将车载视频输入第一神经网络的步骤以及后续步骤。本实施例中，为了确定车载视频确实是非稳像视频，以避免对稳像视频仍然执行步骤S202～S205，导致相应处理设备做无用功。
需要说明的是，非稳像视频分类模型用于检测车载视频是否是非稳像视频的概率。非稳像视频分类模型可以是基于预设样本集对预先构建的第二深度学习模型进行训练所得的。以第二深度学习模型为ResNet18分类模型为例，预设样本集中的每条样本数据均包括第一样本图像和第二样本图像。其中，第一样本图像为历史非稳像视频，第二样本图像为该历史非稳像视频对应的历史清晰图像。通过训练，第二深度学习模型可以学习到所有样本图像为非稳像视频的概率值，此时，可以将训练好的第二深度学习模型作为非稳像视频分类模型。
本实施例中，在得到车载视频为非稳像视频的概率值后，可以将该概率值与设定阈值进行比较。其中，设定阈值可以根据实际需要确定，此处不作限制，示例性的，设定阈值可以是0.9。在检测到车载视频为非稳像视频的概率值大于设定阈值时，可以确定该车载视频为非稳像视频，因此，才执行后续的稳像步骤。在检测到车载视频为非稳像视频的概率值小于或等于设定阈值时，可以确定该车载视频不是非稳像视频，因此，无需对该车载视频进行稳像处理，即执行后续的稳像步骤。
以上可以看出，通过将获取到的车载视频输入已训练的非稳像视频分类模型进行处理，得到该车载视频为非稳像视频的概率值，并将该概率值与设定阈值进行比较，只有在检测到该概率值大于设定阈值时，可以确定该车载视频为非稳像视频，此时才执行后续稳像步骤，减轻了相关处理设备的工作压力，也提高了相关处理设备的工作效率。
车载视频的图像为彩色图像时，将车载视频输入已训练的非稳像视频分类模型进行处理之前，还可以包括将车载视频的图像由彩色图像转换为三个通道的灰度图像；使用第一边缘检测算法对三个通道的灰度图像进行处理，得到三个通道的灰度图像各自对应的边缘图像；对边缘图像和车载视频中图像进行拼接，得到六通道的输入图像；将六通道的输入图像输入至非稳像视频分类模型进行处理，得到车载视频为非稳像视频的概率值。
由于彩色图像为RGB三通道图像，因此，可以根据图像转化方法将该RGB三通道图像转化为三个通道各自对应的灰度图像，即R通道对应的灰度图像、G通道对应的灰度图像以及B通道对应的灰度图像。其中，图像转化方法具体可以是：将彩色图像中各个通道对应的所有像素值进行排序。可以理解的是，可以将车载视频中R通道对应的所有像素值依次排序，从而得到该R通道对应的灰度图像，可以将车载视频中G通道对应的所有像素值依次排序，从而得到该G通道对应的灰度图像，可以将车载视频中B通道对应的所有像素值依次排序，从而得到该B通道对应的灰度图像。
在得到车载视频对应的三个通道的灰度图像后，为了获取车载视频丰富的边缘信息，可以使用第一边缘检测算法对三个通道的灰度图像进行处理，从而得到三个通道的灰度图像各自对应的边缘图像。其中，第一边缘检测算法可以是Sobel算法。
需要说明的是，由于深度学习模型的输入通常为数据格式，因此，本实施例中，可以同时将车载视频中图像各个颜色通道的像素值，以及该车载视频中图像对应的三个边缘图像各自对应的单通道的像素值进行拼接，从而得到六通道的数据，即对车载视频中图像和三个通道的边缘图像进行拼接，得到六通道的输入图像。
示例性的，假设车载视频中某个图像某个像素点的像素值为(25，17，24)，该车载视频的像素点在R通道对应的边缘图像中的像素点的像素值为20，该车载视频的像素点在G通道对应的边缘图像中的像素点的像素值为15，该车载视频的像素点在B通道对应的边缘图像中的像素点的像素值为22，则其拼接之后的六通道的像素点对应的数据为[25,17,24,20,15,22]。
本实施例提供的车载视频稳像方法可以通过第一边缘检测算法获取到车载视频的边缘信息，从而提高了判断车载视频是否是非稳像视频的准确率。
发明人进一步发现用光线较弱情况下拍摄的车载视频中的图像质量较差，导致后续对车载视频的稳像处理效果不佳。针对该问题，本申请基于训练后的去噪网络模型对车载视频进行去噪处理，得到去噪处理后的车载视频，提升图像的画面质量，进而提升对车载视频的稳像处理效果。
在一种可能的实现方式中，基于训练后的去噪网络模型对车载视频进行去噪处理，得到去噪处理后的车载视频可以包括：
S801，对于车载视频的每帧图像，基于该帧图像中每个像素点的亮度值，计算得到该帧图像对应的平均光线亮度值。
具体的，对于车载视频的每帧图像，采用如下公式(3)计算得到对应的平均光线亮度值：
Figure BDA0003476161820000131
其中，(x,y)表示该帧图像中像素点的位置坐标，Lum(x,y)表示该帧图像中像素点的亮度值，N表示该帧图像的像素点的总数，δ为预设参数值。
S802，基于训练后的去噪网络模型，对车载视频中平均光线亮度值小于第一预设阈值的各帧图像进行去噪处理，得到去噪处理后的车载视频。
这里，若平均光线亮度值小于第一预设阈值，说明该帧图像所对应的光线条件较差，该帧图像为含噪视频图像，需要进行去噪处理，即执行将该帧图像输入训练后的去噪网络模型进行去噪处理，输出去噪处理后的图像。其中去噪处理后的图像是去除噪声后的清晰的图像，从而行车过程中图像的画面质量得到了提升。
对于去噪网络模型的训练过程，具体可以如下：
S901，获取训练数据集，其中，训练数据集包括多个数据对，每个数据对包括N张第一视频图像和N张第二视频图像，第一视频图像对应的车内的光线亮度值小于第二视频图像对应的车内的光线亮度值，第一视频图像和第二视频图像各自对应同一车内的不同拍摄对象，N为正整数。
这里，可通过采集设备获取训练数据集。示例性的，其中采集设备可以包括DMS摄像头和乘客监控系统(Occupancy Monitoring System，OMS)摄像头，DMS摄像头和OMS摄像头均用于采集车内的视频图像。
在一种可能的实现方式中，步骤S901的实现过程可以包括：
S9011，采集满足第一条件时车内的视频图像，将满足第一条件时车内的视频图像作为第一视频图像，第一条件为光线亮度值小于第二预设阈值。
这里，第一条件为光线亮度值小于第二预设阈值说明车内拍摄环境对应的光线条件较差。比如车辆行驶在夜间、隧道中或者地下车库中。其中，第一视频图像为含噪图像。
S9012，采集满足第二条件时车内的视频图像，将满足第二条件时车内的视频图像作为第二视频图像，第二条件为光线亮度值大于或者等于第二预设阈值。
这里，第二条件为光线亮度值大于或者等于第二预设阈值说明车内拍摄环境对应的光线条件较好。比如车辆行驶在白天。其中，第二视频图像为无噪图像。
S9013，基于第一视频图像和第二视频图像构建训练数据集。
需要说明的是，摄像头采集的每张第一视频图像均有一张与其对应的第二视频图像，即第一视频图像和第二视频图像各自对应同一车内的不同拍摄对象。
也就是说，第一视频图像和与该第一视频图像对应的第二视频图像，二者的图像采集环境是相关联的，却是非配对的。即两张视频图像各自对应的拍摄内容不需要完全一致。
由上述说明可知，本申请实施例中的训练数据集为非配对的数据集，而非配对的数据集采集难度低，较易获得，一定程度上降低了去噪网络模型训练的难度。
本步骤可具体包括：将采集的第一视频图像和第二视频图像分为多个数据对，每个数据对包括N张第一视频图像和N张第二视频图像。需要说明的是，N张第一视频图像中每张第一视频图像与该数据对中的一张第二视频图像对应。不同的第一视频图像可以是同一车内的视频图像，也可以是不同车内的视频图像。
这里，为了丰富采集到的数据多样性，摄像头的摆放位置可以有多个位置，如A柱、中控台、转向管以及后视镜等区域，此外，车内被拍摄的人员，如车内驾驶员和乘客，他们的年龄和性别也需要具有多样性。
S902，基于训练数据集对待训练的去噪网络模型进行迭代训练，得到训练后的去噪网络模型。
待训练的去噪网络模型可以为生成式对抗网络(Generative AdversarialNetworks，GAN)模型。GAN模型包括生成网络和判别网络。
基于训练数据集对待训练的去噪网络模型进行迭代训练大致的过程是：对没有经过训练的生成网络和判别网络一起对抗训练，利用数据对中的第一视频图像输入生成网络产生一张随机视频图像去欺骗判别网络；之后，判别网络判断这张随机视频图像的真假，最终在这两类网络训练的过程中，两类网络的能力越来越强，最终达到稳态，将达到稳态后的生成网络确定为训练后的去噪网络模型，具体过程详见如下步骤S9021～S9026。
S9021，将数据对中的第一视频图像输入去噪网络模型，得到第三视频图像。
步骤S9021具体可包括：提取数据对中的第一视频图像对应的YUV空间图像的Y分量；将第一视频图像对应的Y分量输入去噪网络模型，得到第三视频图像。需要说明的是，图像的主要结构信息均在Y分量上，利用图像对应的Y分量进行模型训练，一方面可以降低运算量，另一方面可以提高去噪网络模型的鲁棒性，使其不受图像的颜色空间的影响。
需要说明的是，第一视频图像为含噪图像。开始训练时生成网络的网络参数是随机的网络参数，数据对中的N张第一视频图像输入生成网络后得到的N张第三视频图像是N张随机视频图像。
去噪网络模型可以为生成网络。生成网络的网络结构采用U-Net的网络结构，该结构包括M个卷积模块，每个卷积模块包含卷积层、激活函数和归一化层，其中卷积层为多个。其中，每个卷积模块是一个残差结构，分为下采样阶段和上采样阶段。其中，在上采样阶段使用双线性上采样与卷积层相结合，替代了传统的反卷积操作。
比如，U-Net的网络结构可包括8个卷积模块，每个卷积模块包含2个3×3的卷积层、LeakyReLu激活函数以及归一化层。
S9022，将第三视频图像输入全局判别网络，得到第一判别结果。
本步骤中，将第三视频图像输入全局判别网络，其目的是为了判别第三视频图像的真假，输出的判别结果一般用0或1表示。其中，0表示判别结果为假，1表示判别结果为真。
S9023，将数据对中的第二视频图像输入全局判别网络，得到第二判别结果。
步骤S9023具体可以包括：提取数据对中的第二视频图像对应的YUV空间图像的Y分量；将第二视频图像对应的Y分量输入全局判别网络，得到第二判别结果。这里，将第二视频图像，即真实的无噪图像，输入全局判别网络，其目的是为了判别第二视频图像的真假。
S9024，将第三视频图像的局部图像输入局部判别网络，得到第三判别结果。
这里，将每张第三视频图像划分为多个局部图像输入局部判别网络，用于判别第三视频图像中局部图像的真假，从而更加精细化的引导后续生成网络的训练。
需要说明的是，对于判别网络而言，本申请实施例中具体指的是全局判别网络和局部判别网络，对于数据对中的第二视频图像，即真实的无噪图像，判别网络要尽可能判别正确输出值1，而对于第三视频图像，也就是数据对中的第一视频图像(含噪图像)经过生成网络得到的第三视频图像(假的去噪图像)，判别网络要尽可能判别错误输出值0。而对于生成网络则尽可能的欺骗判别网络。两种网络相互对抗，不断调整参数，最终目的是使判别网络(全局判别网络和局部判别网络)无法判断生成网络的输出结果是否真实。
在本申请实施例中，两种网络相互对抗，不断调整参数，具体指的是不断调整全局判别网络、局部判别网络和生成网络的网络参数。
首先固定生成网络的网络参数不变，多次更新全局判别网络的网络参数和局部判别网络的网络参数，以使全局判别网络和局部判别网络具有较好的判别能力；之后，固定全局判别网络的网络参数和局部判别网络的网络参数不变，多次更新生成网络的网络参数。
本实现方式中的全局判别网络和局部判别网络在此之前，其各自的网络参数已经通过遍历训练数据集中的一些数据对进行了多次更新，本实现方式具体阐述的是固定全局判别网络的网络参数和局部判别网络的网络参数不变，基于未使用的一些数据对多次更新生成网络的网络参数的过程。
下面以全局判别网络为例，阐述本实现方式之前全局判别网络的网络参数的更新过程。
a1：将第一数据对中的N张第一视频图像输入生成网络G，得到N张随机视频图像xf。
a2：将N张随机视频图像xf输入全局判别网络D1，得到N个判别结果D1(xf)。
a3：将第一数据对中的N张第二视频图像xr输入全局判别网络D1，得到N个判别结果D1(xr)。
a4：根据N个判别结果D1(xf)和N个判别结果D1(xr)计算得到全局判别网络D1的损失值
Figure BDA0003476161820000171
具体的，采用如下公式(2)、公式(3)和公式(4)计算得到全局判别网络D1的损失值
Figure BDA0003476161820000172
Figure BDA0003476161820000173
Figure BDA0003476161820000174
Figure BDA0003476161820000175
其中，Dc(xr,xf)用于表示全局判别器对第二视频图像的判别能力，Dc(xr,xf)的取值越大表明第二视频图像判别为真图像的概率越大；Dc(xf,xr)用于表示全局判别器对随机视频图像的判别能力，Dc(xf,xr)的取值越大表明随机视频图像判别为真图像的概率越大。
Figure BDA0003476161820000181
表示N个判别结果D1(xf)的期望值，σ(D1(xr))表示N个判别结果D1(xr)的激活函数值；
Figure BDA0003476161820000182
表示N个判别结果D1(xr)的期望值，σ(D1(xf))表示N个判别结果D1(xf)的激活函数值。
a5：基于全局判别网络D1的损失值
Figure BDA0003476161820000183
更新全局判别网络D1的网络参数，得到参数更新后的全局判别网络D1。
上述过程为全局判别网络D1的一次网络参数更新过程。之后，将a1步骤中的第一数据对替换为第二数据对，重复执行上述的步骤，以实现对参数更新后的全局判别网络D1的再一次网络参数更新，直至执行完第一预设次数的网络参数更新。
需要说明的是，局部判别网络D2的网络参数更新过程与上述全局判别网络的网络参数更新过程大致相同，不同之处在于参数更新所采用的数据对不同、输入至局部判别网络D2的是视频图像的局部图像，且计算局部判别网络D2的损失值所采用的损失函数不同。具体的，计算局部判别网络D2的损失值所采用的损失函数如下述公式(7)：
Figure BDA0003476161820000184
其中，D2(xr)表示数据对中的第二视频图像的局部图像输入局部判别网络D2后得到的判别结果，D2(xf)表示随机视频图像的局部图像输入局部判别网络D2后得到的判别结果，该随机视频图像为数据对中的第一视频图像经过生成网络后得到的视频图像。
S9025，根据第一判别结果、第二判别结果和第三判别结果计算去噪网络模型的目标损失值。
这里，通过两个判别网络(即全局判别网络D1和局部判别网络D2)的判结果引导去噪网络模型即生成网络的训练，具体的实现过程详见实施例二。
S9026，根据目标损失值更新去噪网络模型的网络参数，获得训练后的去噪网络模型。
步骤S9026具体可以包括：根据目标损失值更新去噪网络模型的网络参数后，判断更新后的去噪网络模型是否满足预设条件，若满足预设条件，将更新后的去噪网络模型确定为训练后的去噪网络模型；否则，则对更新后的去噪网络模型进行再次更新，直至更新后的去噪网络模型满足预设条件。
其中，对更新后的去噪网络模型进行再次更新具体为：将更新后的去噪网络模型更新为去噪网络模型后，返回执行步骤S9021以及后续步骤。此时，步骤S9021中的数据对更换为训练数据集中的下一个数据对。
在一具体实施例中，预设条件为本次更新后的去噪网络模型的目标损失值与其上一次更新后的去噪网络模型的目标损失值相等，或者，预设条件为更新后的去噪网络模型对应的网络参数更新次数累计达到第二预设次数。
在一示例中，若本次更新后的去噪网络模型的目标损失值与其上一次更新后的去噪网络模型的目标损失值不相等，且本轮去噪网络模型的网络参数更新次数未达到第三预设次数，则将更新后的去噪网络模型更新为去噪网络模型后，返回执行步骤S9021以及后续步骤，直至本次更新后的去噪网络模型的目标损失值与其上一次更新后的去噪网络模型的目标损失值，或者本轮去噪网络模型的网络参数更新次数达到第三预设次数。
这里，完成一轮网络参数更新包括对全局判别网络的多次网络参数更新，对局部判别网络的多次网络参数更新和对去噪网络模型的多次网络参数更新。
其中，两个判别网络的网络参数更新的次数大于去噪网络模型的网络参数更新的次数。对不同网络的网络参数进行更新时所使用的数据对不同。需要说明的是，在对一个网络的网络参数进行更新的过程中，另外两个网络的网络参数固定不变。
而当本轮去噪网络模型的网络更新次数达到第三预设次数，本次更新后的去噪网络模型的目标损失值与其上一次更新后的去噪网络模型的目标损失值不相等，则将执行下一轮网络参数更新过程，直至本次更新后的去噪网络模型的目标损失值与其上一次更新后的去噪网络模型的目标损失值。需要说明的是，此时，全局判别网络的损失值和局部判别网络的损失值不再减小。
在一种可能的实现方式中，步骤S9025的实现过程可以具体包括：
b1：计算第一损失值，第一损失值表示第一视频图像与第五视频图像之间的特征距离。
需要说明的是，由于训练数据中的数据对是非配对的，不存在真正的与第一视频图像对应的真实图像(第二视频图像)，所以为了保证生成网络输出前后的视频图像内容的一致性，本申请实施例使用感知损失perceptual loss函数，计算用于表示第一视频图像与第三视频图像之间的特征距离的第一损失值，具体实现过程包括：
b11：分别提取第一视频图像的图像特征和第五视频图像的图像特征。
具体的，利用预先训练好的特征提取模型分别提取第一视频图像的图像特征和第五视频图像的图像特征。特征提取模型可以为VGG-16模型。
b12：根据第一视频图像的图像特征和第三视频图像的图像特征，计算第一视频图像与第三视频图像之间的特征距离。
具体的，采用下述公式(8)计算第一视频图像与第三视频图像之间的特征
距离：
Figure BDA0003476161820000201
其中，
Figure BDA0003476161820000202
表示第一视频图像经过特征提取模型第i个最大池化层之后的第j个卷积层提取的图像特征，I表示第一视频图像；
Figure BDA0003476161820000203
表示第三视频图像经过特征提取模型第i个最大池化层之后的第j个卷积层提取的图像特征，G(I)表示第一视频图像通过生成网络后得到的第三视频图像，y表示图像的高度，取值范围从1～Hi,j，x表示图像的宽度，取值范围从1～wi,j，wi,jHi,j用于表示图像的面积，Lp表示第一损失值，即第一视频图像与第三视频图像之间的特征距离。
b13：将第一视频图像与第三视频图像之间的特征距离确定为第一损失值。
b2：根据第一判别结果和所述第二判别结果，计算第二损失值。
在一种可能的实现方式中，步骤b2的实现过程可以包括：
b21：分别计算第一判别结果的第一期望值和第二判别结果的第二期望值。
b22：基于预设激活函数，分别计算第一判别结果的第一函数值和第二判别结果的第二函数值。
b23：根据第一期望值、第二期望值、第一函数值和第二函数值，计算第二损失值。
需要说明的是，上述步骤b21～步骤b23可通过公式(9)表示，即采用下述公式(9)，计算第二损失值：
Figure BDA0003476161820000211
这里，Dc(xf,xr)可以用上述公式(4)表示，Dc(xr,xf)可以用上述公式(5)和公式(6)表示，即：
Figure BDA0003476161820000212
Figure BDA0003476161820000213
此时，D1(xf)表示第一判别结果D1(xr)表示第二判别结果，
Figure BDA0003476161820000214
表示第二损失值。
b3：根据第三判别结果，计算第三损失值。
具体的，采用下述公式(10)，计算第三损失值：
Figure BDA0003476161820000215
其中，D2(xf)表示第三判别结果，
Figure BDA0003476161820000216
表示第三损失值。
b4：将第一损失值、第二损失值和第三损失值求和，得到去噪网络模型的目标损失值。
这里，目标损失值
Figure BDA0003476161820000217
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的方法，图4示出了本申请实施例提供的车载视频稳像装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图4，该车载视频稳像装置400可以包括：第一获取模块410、网络处理模块420、平滑处理模块430、计算模块440和运动补偿模块450。
其中，获取模块410，用于获取车辆的车载视频.
网络处理模块420，用于将车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，第一运动向量图用于表征车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量。
平滑处理模块430，用于对第一运动向量图进行平滑处理，得到处理后的第二运动向量图。
计算模块440，用于根据第二运动向量图，计算得到第一运动光流图，其中，第一运动光流图用于表征车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移。
运动补偿模块450，用于根据第一运动光流图对车载视频中的帧图像进行运动补偿，得到稳像视频。
在一种可能的实现方式中，平滑处理模块430具体可以用于：
针对车载视频的每帧图像，获取当前帧图像的前后K帧图像各自对应的第一运动向量图，其中，K为正整数。
将当前帧图像的前后K帧图像各自对应的第一运动向量图进行加权融合计算，得到第二运动向量图。
在一种可能的实现方式中，车载视频稳像装置400，还包括：速度获取模块和匹配模块。
速度获取模块，用于获取目标移动速度，目标移动速度为拍摄车载视频的摄像设备，在拍摄车载视频时的移动速度；
匹配模块，用于从多个神经网络中查找与目标移动速度匹配的神经网络，并将匹配得到的神经网络作为第一神经网络。
在一种可能的实现方式中，摄像设备为车辆上安装的摄像头，速度获取模块，具体用于：当摄像设备拍摄所述车载视频时，获取车辆的行驶速度，将行驶速度确定为所述目标移动速度。
在一种可能的实现方式中，车载视频稳像装置400，还包括：预处理模块，用于将车载视频输入已训练的非稳像视频分类模型进行处理，得到车载视频为非稳像视频的概率值；并在概率值大于设定阈值时，转入网络处理模块420。
在一种可能的实现方式中，车载视频稳像装置400，还包括：去噪模块、第一训练模块和第二训练模块。
去噪模块，用于基于训练后的去噪网络模型对车载视频进行去噪处理，得到去噪处理后的车载视频；
第一训练模块，用于获取训练数据集，其中，训练数据集包括多个数据对，每个数据对包括N张第一视频图像和N张第二视频图像，第一视频图像对应的光线亮度值小于第二视频图像对应的光线亮度值，第一视频图像和第二视频图像各自对应不同拍摄对象，N为正整数；
第二训练模块，用于基于训练数据集对待训练的去噪网络模型进行迭代训练，得到训练后的去噪网络模型。
在一种可能的实现方式中，第二训练模块，具体用于：将数据对中的第一视频图像输入去噪网络模型，得到第三视频图像；将第三视频图像输入全局判别网络，得到第一判别结果；将数据对中的第二视频图像输入全局判别网络，得到第二判别结果；将第三视频图像的局部图像输入局部判别网络，得到第三判别结果；根据第一判别结果、第二判别结果和第三判别结果计算去噪网络模型的目标损失值；根据目标损失值更新去噪网络模型的网络参数，获得训练后的去噪网络模型。
在一种可能的实现方式中，去噪模块，具体用于：对于车载视频的每帧图像，基于该帧图像中每个像素点的亮度值，计算得到该帧图像对应的平均光线亮度值；基于训练后的去噪网络模型，对车载视频中平均光线亮度值小于第一预设阈值的各帧图像进行去噪处理，得到去噪处理后的车载视频。
在一种可能的实现方式中，计算模块440包括：
第一计算单元，用于对第二运动向量图进行直线线性变换，得到第二运动向量图中每个网格的单应性矩阵。
第二计算单元，用于根据第二运动向量图中每个网格的单应性矩阵，计算得到第一运动光流图。
在一种可能的实现方式中，第二计算单元具体可以用于：
针对第二运动向量图中每个网格，获取网格投影到图像上所包含的多个像素点对应的齐次坐标。
根据网格的单应性矩阵和网格投影到图像上所包含的多个像素点对应的齐次坐标，计算得到第一运动光流图。
在一种可能的实现方式中，本申请实施例的车载视频稳像装置400还包括：
第二获取模块，用于获取训练数据集，训练数据集包括多个数据对，每个数据对包括第一图像和第二图像，其中，第二图像相对于第一图像存在抖动；
网络训练模块，用于基于训练数据集对无监督神经网络进行训练，得到训练后的第一神经网络。
在一种可能的实现方式中，网络训练模块具体可以用于：
将数据对中的所述第一图像和第二图像输入无监督神经网络，得到网格状的第三运动向量图，第三运动向量图用于表征第二图像相对于第一图像的每个网格的偏移向量。
根据第三运动向量图，计算得到第二运动光流图，第二运动光流图用于表征第二图像相对于第一图像的每个像素点对应的运动位移。
根据第二运动光流图，对第二图像进行双线性插值运算，得到第二图像运动后的第三图像。
计算第一图像与第三图像之间的损失值。
基于损失值更新无监督网络的网络参数，获得第一神经网络。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种车辆，参见图5，其中，该车辆包括终端设备500，该终端设备500可以包括：至少一个处理器510、存储器520以及存储在所述存储器520中并可在所述至少一个处理器510上运行的计算机程序，所述处理器510执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图1所示实施例中的步骤S201至步骤S205。或者，处理器510执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块410至450的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器520中，并由处理器510执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备500中的执行过程。
本领域技术人员可以理解，图5仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器510可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器520可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器520用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器520还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的车载视频稳像方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的终端设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被一个或多个处理器执行时，可实现上述各个方法实施例的步骤。
同样，作为一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个方法实施例中的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (15)

1.一种车载视频稳像方法，其特征在于，包括：
获取车辆的车载视频；
将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；
对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；
根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；
根据所述第一运动光流图对所述车载视频中的帧图像进行运动补偿，得到稳像视频。
2.如权利要求1所述的车载视频稳像方法，其特征在于，所述对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图，包括：
针对所述车载视频的每帧图像，获取当前帧图像的前后K帧图像各自对应的所述第一运动向量图，其中，K为正整数；
将所述当前帧图像的前后K帧图像各自对应的所述第一运动向量图进行加权融合计算，得到所述第二运动向量图。
3.如权利要求1所述的车载视频稳像方法，其特征在于，还包括：
获取目标移动速度，所述目标移动速度为拍摄所述车载视频的摄像设备，在拍摄所述车载视频时的移动速度；
从多个神经网络中查找与所述目标移动速度匹配的神经网络，并将匹配得到的神经网络作为第一神经网络。
4.如权利要求3所述的车载视频稳像方法，其特征在于，所述摄像设备为车辆上安装的摄像头，所述获取目标移动速度，包括：
当所述摄像设备拍摄所述车载视频时，获取所述车辆的行驶速度，将所述行驶速度确定为所述目标移动速度。
5.如权利要求1所述的车载视频稳像方法，其特征在于，将所述车载视频输入第一神经网络之前，还包括：
将所述车载视频输入已训练的非稳像视频分类模型进行处理，得到所述车载视频为非稳像视频的概率值；
若所述概率值大于设定阈值，则执行将所述车载视频输入第一神经网络的步骤以及后续步骤。
6.如权利要求1所述的车载视频稳像方法，其特征在于，在所述车载视频输入到第一神经网络之前，还包括基于训练后的去噪网络模型对所述车载视频进行去噪处理，得到去噪处理后的车载视频；
去噪网络模型的训练过程包括：
获取训练数据集，其中，所述训练数据集包括多个数据对，每个所述数据对包括N张第一视频图像和N张第二视频图像，所述第一视频图像对应的光线亮度值小于所述第二视频图像对应的光线亮度值，所述第一视频图像和所述第二视频图像各自对应不同拍摄对象，N为正整数；
基于所述训练数据集对待训练的去噪网络模型进行迭代训练，得到训练后的去噪网络模型。
7.如权利要求6所述的车载视频稳像方法，其特征在于，所述基于所述训练数据集对待训练的去噪网络模型进行迭代训练，得到训练后的去噪网络模型，包括：
将所述数据对中的所述第一视频图像输入所述去噪网络模型，得到第三视频图像；
将所述第三视频图像输入全局判别网络，得到第一判别结果；
将所述数据对中的所述第二视频图像输入所述全局判别网络，得到第二判别结果；
将所述第三视频图像的局部图像输入局部判别网络，得到第三判别结果；
根据所述第一判别结果、所述第二判别结果和所述第三判别结果计算所述去噪网络模型的目标损失值；
根据所述目标损失值更新所述去噪网络模型的网络参数，获得训练后的去噪网络模型。
8.如权利要求6所述的车载视频稳像方法，其特征在于，所述基于训练后的去噪网络模型对所述车载视频进行去噪处理，包括：
对于所述车载视频的每帧图像，基于该帧图像中每个像素点的亮度值，计算得到该帧图像对应的平均光线亮度值；
基于所述训练后的去噪网络模型，对所述车载视频中平均光线亮度值小于第一预设阈值的各帧图像进行去噪处理，得到去噪处理后的所述车载视频。
9.如权利要求1所述的车载视频稳像方法，其特征在于，所述根据所述第二运动向量图，计算得到第一运动光流图，包括：
对所述第二运动向量图进行直线线性变换，得到所述第二运动向量图中每个网格的单应性矩阵；
根据所述第二运动向量图中每个网格的单应性矩阵，计算得到所述第一运动光流图。
10.如权利要求9所述的车载视频稳像方法，其特征在于，所述根据所述第二运动向量图中每个网格的单应性矩阵，计算得到所述第一运动光流图，包括：
针对所述第二运动向量图中每个网格，获取所述网格投影到图像上所包含的多个像素点对应的齐次坐标；
根据所述网格的单应性矩阵和所述网格投影到图像上所包含的多个像素点对应的齐次坐标，计算得到所述第一运动光流图。
11.如权利要求1所述的车载视频稳像方法，其特征在于，所述获取车辆的车载视频之前，所述方法还包括：
获取训练数据集，所述训练数据集包括多个数据对，每个数据对包括第一图像和第二图像，其中，所述第二图像相对于所述第一图像存在抖动；
基于所述训练数据集对无监督神经网络进行训练，得到训练后的所述第一神经网络。
12.如权利要求11所述的车载视频稳像方法，其特征在于，所述基于所述训练数据集对无监督神经网络进行训练，得到训练后的所述第一神经网络，包括：
将所述数据对中的所述第一图像和所述第二图像输入无监督神经网络，得到网格状的第三运动向量图，所述第三运动向量图用于表征所述第二图像相对于所述第一图像的每个网格的偏移向量；
根据所述第三运动向量图，计算得到第二运动光流图，所述第二运动光流图用于表征所述第二图像相对于所述第一图像的每个像素点对应的运动位移；
根据所述第二运动光流图，对所述第二图像进行双线性插值运算，得到所述第二图像运动后的第三图像；
计算所述第一图像与所述第三图像之间的损失值；
基于所述损失值更新所述无监督网络的网络参数，获得所述第一神经网络。
13.一种车载视频稳像装置，其特征在于，包括：
第一获取模块，用于获取车辆的车载视频；
网络处理模块，用于将所述车载视频输入第一神经网络，得到多张网格状的第一运动向量图，其中，所述第一运动向量图用于表征所述车载视频中每相邻两帧图像的后一帧图像相对于前一帧图像的每个网格对应的偏移向量；
平滑处理模块，用于对所述第一运动向量图进行平滑处理，得到处理后的第二运动向量图；
计算模块，用于根据所述第二运动向量图，计算得到第一运动光流图，其中，所述第一运动光流图用于表征所述车载视频中每相邻的两帧图像的后一帧图像相对于前一帧图像的每个像素点对应的运动位移；
运动补偿模块，用于根据所述第一运动光流图对所述车载视频中的帧图像进行运动补偿，得到稳像视频。
14.一种车辆，包括终端设备，所述终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述的车载视频稳像方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的车载视频稳像方法。
CN202210055801.2A 2022-01-18 2022-01-18 车载视频稳像方法、装置、车辆及存储介质 Pending CN115115964A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210055801.2A CN115115964A (zh) 2022-01-18 2022-01-18 车载视频稳像方法、装置、车辆及存储介质
PCT/CN2023/072397 WO2023138538A1 (zh) 2022-01-18 2023-01-16 车载视频稳像方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055801.2A CN115115964A (zh) 2022-01-18 2022-01-18 车载视频稳像方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN115115964A true CN115115964A (zh) 2022-09-27

Family

ID=83325033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055801.2A Pending CN115115964A (zh) 2022-01-18 2022-01-18 车载视频稳像方法、装置、车辆及存储介质

Country Status (2)

Country Link
CN (1) CN115115964A (zh)
WO (1) WO2023138538A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138538A1 (zh) * 2022-01-18 2023-07-27 长城汽车股份有限公司 车载视频稳像方法、装置、车辆及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291252B (zh) * 2023-11-27 2024-02-20 浙江华创视讯科技有限公司 稳定视频生成模型训练方法、生成方法、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3047103B1 (fr) * 2016-01-26 2019-05-24 Thales Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee
CN108564554A (zh) * 2018-05-09 2018-09-21 上海大学 一种基于运动轨迹优化的视频稳定方法
CN111614895B (zh) * 2020-04-30 2021-10-29 惠州华阳通用电子有限公司 一种图像成像抖动补偿方法、系统及设备
CN112804561A (zh) * 2020-12-29 2021-05-14 广州华多网络科技有限公司 视频插帧方法、装置、计算机设备及存储介质
CN115115964A (zh) * 2022-01-18 2022-09-27 长城汽车股份有限公司 车载视频稳像方法、装置、车辆及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138538A1 (zh) * 2022-01-18 2023-07-27 长城汽车股份有限公司 车载视频稳像方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
WO2023138538A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
Choi et al. Thermal image enhancement using convolutional neural network
CN107274445B (zh) 一种图像深度估计方法和系统
CN112446383B (zh) 车牌识别方法及装置、存储介质、终端
Pfeuffer et al. Semantic segmentation of video sequences with convolutional lstms
WO2023138538A1 (zh) 车载视频稳像方法、装置、车辆及存储介质
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN113269163B (zh) 基于鱼眼图像的立体泊车位检测方法及装置
US20210097290A1 (en) Video retrieval in feature descriptor domain in an artificial intelligence semiconductor solution
CN114842430B (zh) 一种用于道路监测的车辆信息识别方法及系统
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN115205335A (zh) 行人轨迹预测方法、装置和电子设备
JP2013122739A (ja) 解析装置、解析プログラムおよび解析方法
CN113639782A (zh) 车载传感器的外参标定方法和装置、设备和介质
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN116229406B (zh) 车道线检测方法、系统、电子设备及存储介质
CN112990009A (zh) 基于端到端的车道线检测方法、装置、设备及存储介质
CN115115531A (zh) 图像去噪方法、装置、车辆及存储介质
CN111222446A (zh) 人脸识别方法、人脸识别装置及移动终端
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
WO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN115115530A (zh) 一种图像去模糊的方法、装置、终端设备及介质
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
CN111339226B (zh) 一种基于分类检测网络构建地图方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination