CN112418157B - 基于差分神经网络和图像序列数据的车速识别方法及装置 - Google Patents

基于差分神经网络和图像序列数据的车速识别方法及装置 Download PDF

Info

Publication number
CN112418157B
CN112418157B CN202011422623.XA CN202011422623A CN112418157B CN 112418157 B CN112418157 B CN 112418157B CN 202011422623 A CN202011422623 A CN 202011422623A CN 112418157 B CN112418157 B CN 112418157B
Authority
CN
China
Prior art keywords
vehicle
speed
frame
current
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011422623.XA
Other languages
English (en)
Other versions
CN112418157A (zh
Inventor
颜立峰
俞益洲
吴子丰
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202011422623.XA priority Critical patent/CN112418157B/zh
Publication of CN112418157A publication Critical patent/CN112418157A/zh
Application granted granted Critical
Publication of CN112418157B publication Critical patent/CN112418157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请公开了一种基于差分神经网络和图像序列数据的车速识别方法及装置，在本方法中，通过预设卷积神经网络对导盲设备采集的图像序列进行特征提取以及特征跨帧匹配得到图像序列中包含的各目标车辆的特征向量时序序列，然后通过预设LSTM速度预测神经网络和预设LSTM加速度预测神经网络基于各目标车辆的特征向量时序序列得到各目标车辆的上一时刻车速、当前时刻速度以及当前时刻加速度，最后根据上一时刻车速、当前时刻速度和当前时刻加速度预测得到各目标车辆的下一时刻车速，由于本申请中是基于导盲设备采集的图像序列进行的车速分析，因此，是从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，提高了引导盲人避障的准确度。

Description

基于差分神经网络和图像序列数据的车速识别方法及装置
技术领域
本申请涉及导盲技术领域，尤其涉及一种基于差分神经网络和图像序列数据的车速识别方法及装置。
背景技术
盲人在道路中行进时会遇到车辆行驶，为了让盲人能够准确避过车辆，需要以盲人的视角来分析车辆的当前速度以及预测车辆未来速度的变化。
然而现有技术中都是从车辆的视角或道路交通管制的视角来分析车辆的运动特征。例如：从车辆的视角注重场景里静态物体的相对移动来分析自身速度；从道路交通管制的视角注重从一个俯视角度的视频以及车载GPS数据来分析车辆速度。而盲人需要的场景一般是站在斑马线上，以水平视角来分析车辆的运动。
因此，现有技术中无法从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，导致无法引导盲人准确避障。
发明内容
本申请提供一种基于差分神经网络和图像序列数据的车速识别方法及装置，从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，提高了引导盲人避障的准确度。
第一方面，本申请提供了一种基于差分神经网络和图像序列数据的车速识别方法，包括：
获取导盲设备采集的图像序列；
针对所述图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对所述特征图进行线性变换得到概率图，从所述概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量；
对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储；
针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速。
可选的，所述根据标记为车辆的像素点的特征向量得到该帧图像的车辆特征集合的步骤，包括：
对于每两个标记为车辆的像素点组成的第一点对，当该第一点对中的两个像素点之间的像素距离小于预设距离阈值时，保留该第一点对中的分数最高的像素点；
对于保留的每两个像素点组成的第二点对，当该第二点对中的两个像素点的特征向量之间的相似度大于第一预设相似度阈值时，保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
可选的，计算该第二点对中的两个像素点的特征向量之间的相似度的方式包括：
计算该第二点对中的两个像素点的特征向量之间的向量夹角。
可选的，所述对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储的步骤，包括：
将所述图像序列中的最小帧作为当前帧，从所述当前帧的车辆特征集合中选择分数最高的像素点作为目标车辆，将所述目标车辆的特征向量移动至所述目标车辆的目标特征集合中；
将当前帧的下一帧作为当前帧，从所述当前帧的车辆特征集合中选择与所述目标车辆的特征向量之间的相似度最大且大于第二预设相似度阈值的像素点的特征向量移动至所述目标特征集合中，返回执行将当前帧的下一帧作为当前帧的步骤，直至所述图像序列中的最后一帧；
将所述目标特征集合中的所有特征向量按照时间从小到大的顺序进行排列得到该目标车辆的特征向量时序序列并存储，返回执行将所述图像序列中的最小帧作为当前帧的步骤，直至所述图像序列中的每帧图像的车辆特征集合为空集为止。
可选的，所述针对每个目标车辆，将该目标车辆的特征向量时序序列输入至预设LSTM速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速的步骤，包括：
针对每个目标车辆，采用预设LSTM速度预测神经网络根据该目标车辆的特征向量时序序列中的上一时刻之前的特征向量得到第一速度记忆隐藏向量，根据所述第一速度记忆隐藏向量和上一时刻的特征向量得到该目标车辆的上一时刻车速，根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到第二速度记忆隐藏向量，根据所述第二速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻车速。
可选的，所述针对每个目标车辆，将该目标车辆的特征向量时序序列输入至与预设LSTM加速度预测神经网络中，得到该目标车辆的当前时刻加速度的步骤，包括：
针对每个目标车辆，采用预设LSTM加速度预测神经网络根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到加速度记忆隐藏向量，根据所述加速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻加速度。
可选的，所述根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速的步骤，包括：
计算所述当前时刻车速与所述上一时刻车速之间的第一差值；
计算所述第一差值与预设比例之间的第一乘积，其中，所述预设比例小于1；
计算1与所述预设比例之间的第二差值；
计算所述第二差值与所述当前时刻加速度之间的第二乘积；
计算所述当前时刻车速、所述第一乘积以及所述第二乘积之间的和作为该目标车辆的下一时刻车速。
第二方面，本申请提供了一种基于差分神经网络和图像序列数据的车速识别装置，包括：
获取模块，用于获取导盲设备采集的图像序列；
车辆特征集合确定模块，用于针对所述图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对所述特征图进行线性变换得到概率图，从所述概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量；
匹配模块，用于对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储；
车速预测模块，用于针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速。
可选的，所述车辆特征集合确定模块，包括：
第一保留子模块，用于对于每两个标记为车辆的像素点组成的第一点对，当该第一点对中的两个像素点之间的像素距离小于预设距离阈值时，保留该第一点对中的分数最高的像素点；
第二保留子模块，用于对于保留的每两个像素点组成的第二点对，当该第二点对中的两个像素点的特征向量之间的相似度大于第一预设相似度阈值时，保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
可选的，所述第二保留子模块中计算该第二点对中的两个像素点的特征向量之间的相似度的方式包括：
计算该第二点对中的两个像素点的特征向量之间的向量夹角。
可选的，所述匹配模块，包括：
第一移动子模块，用于将所述图像序列中的最小帧作为当前帧，从所述当前帧的车辆特征集合中选择分数最高的像素点作为目标车辆，将所述目标车辆的特征向量移动至所述目标车辆的目标特征集合中；
第二移动子模块，用于将当前帧的下一帧作为当前帧，从所述当前帧的车辆特征集合中选择与所述目标车辆的特征向量之间的相似度最大且大于第二预设相似度阈值的像素点的特征向量移动至所述目标特征集合中，触发执行将当前帧的下一帧作为当前帧，直至所述图像序列中的最后一帧；
排列子模块，用于将所述目标特征集合中的所有特征向量按照时间从小到大的顺序进行排列得到该目标车辆的特征向量时序序列并存储，触发执行将所述图像序列中的最小帧作为当前帧，直至所述图像序列中的每帧图像的车辆特征集合为空集为止。
可选的，所述车速预测模块，具体用于：
针对每个目标车辆，采用预设LSTM速度预测神经网络根据该目标车辆的特征向量时序序列中的上一时刻之前的特征向量得到第一速度记忆隐藏向量，根据所述第一速度记忆隐藏向量和上一时刻的特征向量得到该目标车辆的上一时刻车速，根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到第二速度记忆隐藏向量，根据所述第二速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻车速。
可选的，所述车速预测模块，具体用于：
针对每个目标车辆，采用预设LSTM加速度预测神经网络根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到加速度记忆隐藏向量，根据所述加速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻加速度。
可选的，所述车速预测模块，具体用于：
计算所述当前时刻车速与所述上一时刻车速之间的第一差值；
计算所述第一差值与预设比例之间的第一乘积，其中，所述预设比例小于1；
计算1与所述预设比例之间的第二差值；
计算所述第二差值与所述当前时刻加速度之间的第二乘积；
计算所述当前时刻车速、所述第一乘积以及所述第二乘积之间的和作为该目标车辆的下一时刻车速。
第三方面，本申请提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
第四方面，本申请提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
由上述技术方案可以看出，本申请可以获取导盲设备采集的图像序列，针对图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对特征图进行线性变换得到概率图，从概率图中筛选出分数大于预设分数阈值的像素点标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到图像序列中包含的各目标车辆的特征向量时序序列并存储，针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速。在本申请的技术方案中，通过预设卷积神经网络对导盲设备采集的图像序列进行特征提取以及特征跨帧匹配得到图像序列中包含的各目标车辆的特征向量时序序列，然后通过预设LSTM速度预测神经网络和预设LSTM加速度预测神经网络基于各目标车辆的特征向量时序序列得到各目标车辆的上一时刻车速、当前时刻速度以及当前时刻加速度，最后根据上一时刻车速、当前时刻速度和当前时刻加速度预测得到各目标车辆的下一时刻车速，由于本申请中是基于导盲设备采集的图像序列进行的车速分析，因此，是从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，提高了引导盲人避障的准确度。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的一种基于差分神经网络和图像序列数据的车速识别方法的流程示意图；
图2为得到概率图的流程示意图；
图3为预设LSTM速度预测神经网络的结构示意图；
图4为预设LSTM加速度预测神经网络的结构示意图；
图5为本申请实施例中的一种基于差分神经网络和图像序列数据的车速识别装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有技术中，无法从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，导致无法引导盲人准确避障的问题。
本申请提供了一种基于差分神经网络和图像序列数据的车速识别方法，在本方法中，可以获取导盲设备采集的图像序列，针对图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对特征图进行线性变换得到概率图，从概率图中筛选出分数大于预设分数阈值的像素点标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到图像序列中包含的各目标车辆的特征向量时序序列并存储，针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速。在本申请的技术方案中，通过预设卷积神经网络对导盲设备采集的图像序列进行特征提取以及特征跨帧匹配得到图像序列中包含的各目标车辆的特征向量时序序列，然后通过预设LSTM速度预测神经网络和预设LSTM加速度预测神经网络基于各目标车辆的特征向量时序序列得到各目标车辆的上一时刻车速、当前时刻速度以及当前时刻加速度，最后根据上一时刻车速、当前时刻速度和当前时刻加速度预测得到各目标车辆的下一时刻车速，由于本申请中是基于导盲设备采集的图像序列进行的车速分析，因此，是从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，提高了引导盲人避障的准确度。
下面结合附图，详细说明本申请的各种非限制性实施方式。
参见图1，示出了本申请实施例中的一种基于差分神经网络和图像序列数据的车速识别方法的流程示意图。在本实施例中，所述方法应用于电子设备，所述方法例如可以包括以下步骤：
S101：获取导盲设备采集的图像序列。
为了可以从盲人的角度来分析车辆的当前速度以及预测车辆未来速度的变化，需要获取导盲设备采集的图像序列。
其中，导盲设备可以佩戴于盲人的身上，导盲设备搭载有摄像头，导盲设备通过摄像头采集图像序列，该图像序列可以为RGB图像序列。
示例性的，可以将导盲设备采集的图像序列记为IMG(t)，其中，t为帧编号，假设视频的长度为T帧，则t＝0，1，2，……，T。图像序列中的每帧图像的像素大小为H×W×3，其中，H为高度，W为宽度。
S102：针对图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对特征图进行线性变换得到概率图，从概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量。
在获取了导盲设备采集的图像序列后，需要对图像序列中的每帧图像进行分析从而得到车辆的速度。
现有技术例如模板匹配方法仅分析像素点在不同帧上的对应关系以此来计算车辆的速度，由于没有进行二维空间到三维空间的转换，使得输入和输出空间维度不匹配以及映射是不唯一的，进一步导致不能准确的计算车辆的速度，更不能解决导盲设备采集的图像抖动导致的抗噪能力差的问题，因此，本发明实施例中为了避免上述情况的发生，采用卷积神经网络的方法去建立模型得到预设卷积神经网络。
具体的，通过导盲设备采集盲人视角下的其它车辆的速度来建立训练数据集，使得预设卷积神经网络能够较好的适应盲人视角。并把这种适应性本身也交给神经网络去学习，而非用某种数学模型来固定，这样可以提高本发明实施例提供的车速识别方法的鲁棒性。
并且，由于使用神经网络对二维图像的处理过程本身就是把低维特征向高维特征转化的过程，因此三维场景会自动的被神经网络识别和总结，也就是说，本发明实施例中采用预设卷积神经网络可以解决上述输入和输出空间维度不匹配的问题，使得映射是唯一的，进一步提高了计算车辆的速度的准确性。
以及，为了提高抗噪能力，采集人员在采集视频数据时，对导盲设备进行适当的晃动，以采集到贴近现实场景的晃动的视频数据，并将采集到的视频数据作为初始卷积神经网络的训练数据，使得初始卷积神经网络通过训练去适应这种噪声，训练完成后得到预设卷积神经网络。另外，还可以对训练数据进行数据增强处理去模拟抖动的视频数据，示例性的，将训练数据中的图像进行随机的、跨帧的平移、形变和/或旋转。由此，通过上述方式模拟抖动的视频数据，可以增加预设卷积神经网络的鲁棒性。
在训练得到预设卷积神经网络后，即可采用预设卷积神经网络对图像序列中的每帧图像进行分析。
具体的，针对图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图。对特征图进行线性变换得到概率图，从概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量。
示例性的，针对图像序列中的每帧图像，通过以下公式对该帧图像进行特征提取：
tear(t)＝G(IMG(t))
其中，t为帧编号，IMG(t)为导盲设备采集的图像序列，G(·)为预设卷积神经网络，fcar(t)是大小为H×W×K的特征图,H为高度，W为宽度，特征图中的H、W上对应的位置为与图像序列所对应的位置匹配，并包含K个特征的特征向量。
得到特征图后，采用线性变换得到每帧图像上的每一个点是一个车辆的概率。示例性的，针对图像序列中的每帧图像，通过以下公式对该帧图像对应的特征图进行线性变换得到概率图：
hcar(t)＝L(fear(t))
其中，L为线性层，t为帧编号，fcar(t)为特征图，hcar(t)为概率图。
由上可见，该线性层L的输入为H×W×K，输出为H×W×1，输出相当于一张二维的平面图，该平面图中显示每一个点为车辆的概率或分数。
为了方便查看，参见图2，图2为得到概率图的流程示意图，图2中的车辆分数图就是概率图。
其中，根据标记为车辆的像素点的特征向量得到该帧图像的车辆特征集合，可以包括：
对于每两个标记为车辆的像素点组成的第一点对，当该第一点对中的两个像素点之间的像素距离小于预设距离阈值时，保留该第一点对中的分数最高的像素点；
对于保留的每两个像素点组成的第二点对，当该第二点对中的两个像素点的特征向量之间的相似度大于第一预设相似度阈值时，保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
由于标记为车辆的像素点有可能并不是车辆，因此，在本发明实施例中，设定距离阈值σd，对于所有两个被标记为车辆的像素点组成的第一点对，如果两个像素点之间的像素距离<σd，则保留这两像素点中分数较高的车辆。设定第一相似度阈值σc，对于所有保留的每两个像素点组成的第二点对，如果两个像素点的特征向量之间的相似度大于σc，则保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
其中，计算该第二点对中的两个像素点的特征向量之间的相似度的方式可以包括：
计算该第二点对中的两个像素点的特征向量之间的向量夹角。
假设该第二点对中的两个像素点的K维特征向量分别为v0和v1，取向量夹角cos作为相似度统计量，若cos(v0,v1)>σc，则保留这两个像素点中分数较高的像素点。
S103：对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到图像序列中包含的各目标车辆的特征向量时序序列并存储。
由于上述步骤中对图像序列中的每帧图像是独立处理的，使得所得到各帧图像中的特征向量也就是车辆特征向量是无法对应上的，因此，需要对各帧图像分析得到的特征向量进行进一步匹配，即对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到图像序列中包含的各目标车辆的特征向量时序序列并存储。
其中，上述步骤S103可以包括：
将图像序列中的最小帧作为当前帧，从当前帧的车辆特征集合中选择分数最高的像素点作为目标车辆，将目标车辆的特征向量移动至目标车辆的目标特征集合中；
将当前帧的下一帧作为当前帧，从当前帧的车辆特征集合中选择与目标车辆的特征向量之间的相似度最大且大于第二预设相似度阈值的像素点的特征向量移动至目标特征集合中，返回执行将当前帧的下一帧作为当前帧的步骤，直至图像序列中的最后一帧；
将目标特征集合中的所有特征向量按照时间从小到大的顺序进行排列得到该目标车辆的特征向量时序序列并存储，返回执行将图像序列中的最小帧作为当前帧的步骤，直至图像序列中的每帧图像的车辆特征集合为空集为止。
假设所得到的各帧图像的车辆特征集合组成一个容量为N(t)的车辆特征集合，记为sv(t)＝{vt,i|i∈[0，N(t))]}，N(t)个点代表图像序列中所有车辆对应的像素点。
对于每一辆车建立一个特征集合
Figure BDA0002823152240000131
m表示第m辆车。则匹配过程如下：
(1)对于第m辆车建立一个空集
Figure BDA0002823152240000132
(2)从sv(t)中选择最小的t，使得sv(t)不为空集，在sv(t)中选择分数最高的车辆特征vt0,i0，将其从sv(t)移动到
Figure BDA0002823152240000134
中，也就是将图像序列中的最小帧作为当前帧，从当前帧的车辆特征集合中选择分数最高的像素点作为目标车辆，将目标车辆的特征向量移动至目标车辆的目标特征集合中。
(3)当t<T，取t＝t+1，在新的sv(t)中寻找与vt0,i0的相似度最大且大于阈值的向量vtmax,imax，将其从sv(t)移动到
Figure BDA0002823152240000135
中。重复(3)直到t>＝T。也就是将当前帧的下一帧作为当前帧，从当前帧的车辆特征集合中选择与目标车辆的特征向量之间的相似度最大且大于第二预设相似度阈值的像素点的特征向量移动至目标特征集合中，返回执行将当前帧的下一帧作为当前帧的步骤，直至图像序列中的最后一帧。
(4)将集合
Figure BDA0002823152240000136
按时序排列则可获得一辆车在时序上的特征向量序列，
Figure BDA0002823152240000133
其中，vm(0)为第m辆车在第0帧的特征向量，vm(1)为第m辆车在第1帧的特征向量，vm(T)为第m辆车在第T帧的特征向量。也就是，将目标特征集合中的所有特征向量按照时间从小到大的顺序进行排列得到该目标车辆的特征向量时序序列。
(5)如果存在t，sv(t)不为空集，则返回第一步(1)，提取下一辆车的特征集合。重复直到对于所有t，sv(t)都为空集为止。也就是，返回执行将图像序列中的最小帧作为当前帧的步骤，直至图像序列中的每帧图像的车辆特征集合为空集为止。
经预设卷积神经网络提取和上述匹配算法处理得到的各目标车辆的特征向量时序序列被存储在内存中。假设图像序列中的车辆数量为M，则存储的数据结构为：
Figure BDA0002823152240000141
其中，
Figure BDA0002823152240000142
为第m辆车的特征向量集，m表示第m辆车，vm(t)为第m辆车在t帧的特征向量，t＝0,1,…,T，T为图像序列的总帧数。
示例性的，还可以采用二分图匹配算法得到各目标车辆的特征向量时序序列。
S104：针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速。
在得到了各目标车辆的特征向量时序序列后，即可对车辆的速度进行识别并预测车辆的未来速度。
在本发明实施例中，借鉴了强化学习中时序差分的思想，不仅通过神经网络去学习车辆的速度，还建立一个辅助网络去学习车辆速度在时序上的差分，也就是加速度。并且对于加速度的学习还包括了对过去的加速度和未来的加速度的学习，这样使得本发明实施例提供的车辆速度预测的模型能够预测车辆未来的速度而不是假设车辆一直保持当前速度不变。
具体的，针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM(长短期记忆网络，Long Short-Term Memory)速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速。
其中，针对每个目标车辆，将该目标车辆的特征向量时序序列输入至预设LSTM速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速，可以包括：
针对每个目标车辆，采用预设LSTM速度预测神经网络根据该目标车辆的特征向量时序序列中的上一时刻之前的特征向量得到第一速度记忆隐藏向量，根据第一速度记忆隐藏向量和上一时刻的特征向量得到该目标车辆的上一时刻车速，根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到第二速度记忆隐藏向量，根据第二速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻车速。
图3为预设LSTM速度预测神经网络的结构示意图，参见图3，在预设LSTM速度预测神经网络中，vm(t)为第m辆车在t帧的特征向量，vm(n)为第m辆车在n帧的特征向量，h(t)表示预设LSTM速度预测神经网络从vm(0)到vm(t-1)这些车辆的特征向量中分析总结的记忆特征也就是第二速度记忆隐藏向量，h(n)表示预设LSTM速度预测神经网络从vm(0)到vm(n-1)这些车辆的特征向量中分析总结的记忆特征，c(t)为初始版LSTM的长记忆隐含层，sp(t)为第m辆车的当前时刻车速，sp(n)为第m辆车在第n帧的车速。
示例性的，通过以下公式得到目标车辆的当前时刻车速：
sp(t),h(t),c(t)＝LSTM(vm(t),h(t-1),c(t-1)) t＝1,2,...,T
其中，sp(t)为第m辆车的当前时刻车速，h(t)为第二速度记忆隐藏向量，c(t)为初始版LSTM在第t帧的长记忆隐含层，vm(t)为第m辆车在t帧的特征向量，h(t-1)为第一速度记忆隐藏向量，c(t-1)为初始版LSTM在第t-1帧的长记忆隐含层，T为图像序列的总帧数。
类似的，该目标车辆的上一时刻车速sp(t-1)的求法可以参见当前时刻sp(t)的求法，在此不再赘述。
由上可见，通过预设LSTM速度预测神经网络可以得到各目标车辆的当前时刻速度，在得到当前时刻速度后，需要更新第二速度记忆隐藏向量，以便用于下一时刻的速度推理。
其中，针对每个目标车辆，将该目标车辆的特征向量时序序列输入至预设LSTM加速度预测神经网络中，得到该目标车辆的当前时刻加速度，可以包括：
针对每个目标车辆，采用预设LSTM加速度预测神经网络根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到加速度记忆隐藏向量，根据加速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻加速度。
图4为预设LSTM加速度预测神经网络的结构示意图，参见图4，在预设LSTM加速度预测神经网络中，vm(t)为第m辆车在t帧的特征向量，vm(n)为第m辆车在n帧的特征向量，h’(t)表示预设LSTM加速度预测神经网从vm(0)到vm(t-1)这些车辆的特征向量中分析总结的记忆特征也就是加速度记忆隐藏向量，h’(n)表示预设LSTM加速度预测神经网络从vm(0)到vm(n-1)这些车辆的特征向量中分析总结的记忆特征，
Figure BDA0002823152240000163
为第m辆车的当前时刻加速度，
Figure BDA0002823152240000161
为第m辆车在第n帧的加速度。
示例性的，通过以下公式得到目标车辆的当前时刻加速度：
Figure BDA0002823152240000162
其中，
Figure BDA0002823152240000164
为第m辆车的当前时刻加速度，h’(t)为加速度记忆隐藏向量，vm(t-1)为第m辆车在t-1帧的特征向量，h’(t-1)表示预设LSTM加速度预测神经网从vm(0)到vm(t-2)这些车辆的特征向量中分析总结的记忆特征，T为图像序列的总帧数。
预设LSTM速度预测神经网络和预设LSTM加速度预测神经网两者的网络结构无差异，差异是训练时所采用的训练数据不同，导致预设LSTM速度预测神经网络输出的是速度，而预设LSTM加速度预测神经网输出的是加速度。
其中，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速，可以包括：
计算当前时刻车速与上一时刻车速之间的第一差值；
计算第一差值与预设比例之间的第一乘积，其中，预设比例小于1；
计算1与预设比例之间的第二差值；
计算第二差值与当前时刻加速度之间的第二乘积；
计算当前时刻车速、第一乘积以及第二乘积之间的和作为该目标车辆的下一时刻车速。
示例性的，通过以下公式得到目标车辆的下一时刻车速：
Figure BDA0002823152240000171
其中，
Figure BDA0002823152240000172
为目标车辆也就是第m辆车的下一时刻车速，sp(t)为第m辆车的当前时刻车速，sp(t-1)为第m辆车的上一时刻车速，λ为预设比例，
Figure BDA0002823152240000173
为第m辆车的当前时刻加速度。
示例性的，还可以采用ARIMA模型或者马尔科夫过程得到目标车辆的速度和加速度。
综上可见，本发明实施例中创新的使用神经网络对数据进行高维编码，解决了未从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度的问题、没有进行二维空间到三维空间的转换导致不能准确的计算车辆的速度的问题以及图像抖动导致的抗噪能力差的问题。并且通过速度、加速度的预测和差分模块，使得本发明实施例具有较强的鲁棒性和预测车辆运动的未来速度的能力。
由此，本发明实施例可以获取导盲设备采集的图像序列，针对图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对特征图进行线性变换得到概率图，从概率图中筛选出分数大于预设分数阈值的像素点标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到图像序列中包含的各目标车辆的特征向量时序序列并存储，针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速。在本申请的技术方案中，通过预设卷积神经网络对导盲设备采集的图像序列进行特征提取以及特征跨帧匹配得到图像序列中包含的各目标车辆的特征向量时序序列，然后通过预设LSTM速度预测神经网络和预设LSTM加速度预测神经网络基于各目标车辆的特征向量时序序列得到各目标车辆的上一时刻车速、当前时刻速度以及当前时刻加速度，最后根据上一时刻车速、当前时刻速度和当前时刻加速度预测得到各目标车辆的下一时刻车速，由于本申请中是基于导盲设备采集的图像序列进行的车速分析，因此，是从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，提高了引导盲人避障的准确度。
如图5所示，为本申请所述基于差分神经网络和图像序列数据的车速识别装置的一个具体实施例。本实施例所述装置，即用于执行上述实施例所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：
获取模块501，用于获取导盲设备采集的图像序列；
车辆特征集合确定模块502，用于针对所述图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对所述特征图进行线性变换得到概率图，从所述概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量；
匹配模块503，用于对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储；
车速预测模块504，用于针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速。
本申请提供的装置可以获取导盲设备采集的图像序列，针对图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对特征图进行线性变换得到概率图，从概率图中筛选出分数大于预设分数阈值的像素点标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到图像序列中包含的各目标车辆的特征向量时序序列并存储，针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据上一时刻车速、当前时刻车速和当前时刻加速度得到该目标车辆的下一时刻车速。在本申请的技术方案中，通过预设卷积神经网络对导盲设备采集的图像序列进行特征提取以及特征跨帧匹配得到图像序列中包含的各目标车辆的特征向量时序序列，然后通过预设LSTM速度预测神经网络和预设LSTM加速度预测神经网络基于各目标车辆的特征向量时序序列得到各目标车辆的上一时刻车速、当前时刻速度以及当前时刻加速度，最后根据上一时刻车速、当前时刻速度和当前时刻加速度预测得到各目标车辆的下一时刻车速，由于本申请中是基于导盲设备采集的图像序列进行的车速分析，因此，是从盲人的角度来识别得到车辆的当前速度以及预测车辆未来速度，提高了引导盲人避障的准确度。
在一种实现方式中，所述车辆特征集合确定模块502，可以包括：
第一保留子模块，用于对于每两个标记为车辆的像素点组成的第一点对，当该第一点对中的两个像素点之间的像素距离小于预设距离阈值时，保留该第一点对中的分数最高的像素点；
第二保留子模块，用于对于保留的每两个像素点组成的第二点对，当该第二点对中的两个像素点的特征向量之间的相似度大于第一预设相似度阈值时，保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
在一种实现方式中，所述第二保留子模块中计算该第二点对中的两个像素点的特征向量之间的相似度的方式包括：
计算该第二点对中的两个像素点的特征向量之间的向量夹角。
在一种实现方式中，所述匹配模块503，可以包括：
第一移动子模块，用于将所述图像序列中的最小帧作为当前帧，从所述当前帧的车辆特征集合中选择分数最高的像素点作为目标车辆，将所述目标车辆的特征向量移动至所述目标车辆的目标特征集合中；
第二移动子模块，用于将当前帧的下一帧作为当前帧，从所述当前帧的车辆特征集合中选择与所述目标车辆的特征向量之间的相似度最大且大于第二预设相似度阈值的像素点的特征向量移动至所述目标特征集合中，触发执行将当前帧的下一帧作为当前帧，直至所述图像序列中的最后一帧；
排列子模块，用于将所述目标特征集合中的所有特征向量按照时间从小到大的顺序进行排列得到该目标车辆的特征向量时序序列并存储，触发执行将所述图像序列中的最小帧作为当前帧，直至所述图像序列中的每帧图像的车辆特征集合为空集为止。
在一种实现方式中，所述车速预测模块504，可以具体用于：
针对每个目标车辆，采用预设LSTM速度预测神经网络根据该目标车辆的特征向量时序序列中的上一时刻之前的特征向量得到第一速度记忆隐藏向量，根据所述第一速度记忆隐藏向量和上一时刻的特征向量得到该目标车辆的上一时刻车速，根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到第二速度记忆隐藏向量，根据所述第二速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻车速。
在一种实现方式中，所述车速预测模块504，可以具体用于：
针对每个目标车辆，采用预设LSTM加速度预测神经网络根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到加速度记忆隐藏向量，根据所述加速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻加速度。
在一种实现方式中，所述车速预测模块504，可以具体用于：
计算所述当前时刻车速与所述上一时刻车速之间的第一差值；
计算所述第一差值与预设比例之间的第一乘积，其中，所述预设比例小于1；
计算1与所述预设比例之间的第二差值；
计算所述第二差值与所述当前时刻加速度之间的第二乘积；
计算所述当前时刻车速、所述第一乘积以及所述第二乘积之间的和作为该目标车辆的下一时刻车速。
图6是本申请实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成基于差分神经网络和图像序列数据的车速识别装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本申请任一实施例中提供的基于差分神经网络和图像序列数据的车速识别方法。
上述如本申请图1所示实施例提供的基于差分神经网络和图像序列数据的车速识别方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本申请实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本申请任一实施例中提供的基于差分神经网络和图像序列数据的车速识别方法。
前述各个实施例中所述的电子设备可以为计算机。
本领域内的技术人员应明白，本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于差分神经网络和图像序列数据的车速识别方法，其特征在于，包括：
获取导盲设备采集的图像序列；
针对所述图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对所述特征图进行线性变换得到概率图，从所述概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量；
对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储；
针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速；
其中，所述预设卷积神经网络是基于通过导盲设备采集盲人视角下的其它车辆的速度所建立的训练数据集训练得到的；其中，采集人员在采集视频数据时，对导盲设备进行晃动，以采集到贴近现实场景的晃动的视频数据，并将采集到的视频数据作为初始卷积神经网络的训练数据，使得初始卷积神经网络通过训练去适应这种噪声，训练完成后得到预设卷积神经网络，并且，还对训练数据进行数据增强处理去模拟抖动的视频数据；
所述将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，包括：
通过以下公式得到目标车辆的当前时刻车速：
sp(t),h(t),c(t)＝LSTM(vm(t),h(t-1),c(t-1))t＝1,2,...,T
其中，sp(t)为第m辆车的当前时刻车速，h(t)为第二速度记忆隐藏向量，c(t)为初始版LSTM在第t帧的长记忆隐含层，vm(t)为第m辆车在t帧的特征向量，h(t-1)为第一速度记忆隐藏向量，c(t-1)为初始版LSTM在第t-1帧的长记忆隐含层，T为图像序列的总帧数；或者，
通过以下公式得到目标车辆的当前时刻加速度：
Figure FDA0003737645090000021
其中，
Figure FDA0003737645090000022
为第m辆车的当前时刻加速度，h’(t)为加速度记忆隐藏向量，vm(t-1)为第m辆车在t-1帧的特征向量，h’(t-1)表示预设LSTM加速度预测神经网络从vm(0)到vm(t-2)这些车辆的特征向量中分析总结的记忆特征，T为图像序列的总帧数；
通过以下公式得到目标车辆的下一时刻车速：
Figure FDA0003737645090000023
其中，
Figure FDA0003737645090000024
为第m辆车的下一时刻车速，sp(t)为第m辆车的当前时刻车速，sp(t-1)为第m辆车的上一时刻车速，λ为预设比例，
Figure FDA0003737645090000025
为第m辆车的当前时刻加速度；其中，目标车辆的上一时刻车速sp(t-1)的求法与目标车辆的当前时刻车速sp(t)的求法相同。
2.根据权利要求1所述的方法，其特征在于，所述根据标记为车辆的像素点的特征向量得到该帧图像的车辆特征集合的步骤，包括：
对于每两个标记为车辆的像素点组成的第一点对，当该第一点对中的两个像素点之间的像素距离小于预设距离阈值时，保留该第一点对中的分数最高的像素点；
对于保留的每两个像素点组成的第二点对，当该第二点对中的两个像素点的特征向量之间的相似度大于第一预设相似度阈值时，保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
3.根据权利要求2所述的方法，其特征在于，计算该第二点对中的两个像素点的特征向量之间的相似度的方式包括：
计算该第二点对中的两个像素点的特征向量之间的向量夹角。
4.根据权利要求1所述的方法，其特征在于，所述对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储的步骤，包括：
将所述图像序列中的最小帧作为当前帧，从所述当前帧的车辆特征集合中选择分数最高的像素点作为目标车辆，将所述目标车辆的特征向量移动至所述目标车辆的目标特征集合中；
将当前帧的下一帧作为当前帧，从所述当前帧的车辆特征集合中选择与所述目标车辆的特征向量之间的相似度最大且大于第二预设相似度阈值的像素点的特征向量移动至所述目标特征集合中，返回执行将当前帧的下一帧作为当前帧的步骤，直至所述图像序列中的最后一帧；
将所述目标特征集合中的所有特征向量按照时间从小到大的顺序进行排列得到该目标车辆的特征向量时序序列并存储，返回执行将所述图像序列中的最小帧作为当前帧的步骤，直至所述图像序列中的每帧图像的车辆特征集合为空集为止。
5.根据权利要求1所述的方法，其特征在于，所述针对每个目标车辆，将该目标车辆的特征向量时序序列输入至预设LSTM速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速的步骤，包括：
针对每个目标车辆，采用预设LSTM速度预测神经网络根据该目标车辆的特征向量时序序列中的上一时刻之前的特征向量得到第一速度记忆隐藏向量，根据所述第一速度记忆隐藏向量和上一时刻的特征向量得到该目标车辆的上一时刻车速，根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到第二速度记忆隐藏向量，根据所述第二速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻车速。
6.根据权利要求1所述的方法，其特征在于，所述针对每个目标车辆，将该目标车辆的特征向量时序序列输入至与预设LSTM加速度预测神经网络中，得到该目标车辆的当前时刻加速度的步骤，包括：
针对每个目标车辆，采用预设LSTM加速度预测神经网络根据该目标车辆的特征向量时序序列中的当前时刻之前的特征向量得到加速度记忆隐藏向量，根据所述加速度记忆隐藏向量和当前时刻的特征向量得到该目标车辆的当前时刻加速度。
7.根据权利要求1所述的方法，其特征在于，所述根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速的步骤，包括：
计算所述当前时刻车速与所述上一时刻车速之间的第一差值；
计算所述第一差值与预设比例之间的第一乘积，其中，所述预设比例小于1；
计算1与所述预设比例之间的第二差值；
计算所述第二差值与所述当前时刻加速度之间的第二乘积；
计算所述当前时刻车速、所述第一乘积以及所述第二乘积之间的和作为该目标车辆的下一时刻车速。
8.一种基于差分神经网络和图像序列数据的车速识别装置，其特征在于，包括：
获取模块，用于获取导盲设备采集的图像序列；
车辆特征集合确定模块，用于针对所述图像序列中的每帧图像，采用预设卷积神经网络对该帧图像进行特征提取，得到该帧图像对应的特征图，对所述特征图进行线性变换得到概率图，从所述概率图中筛选出分数大于预设分数阈值的像素点并标记为车辆，根据标记为车辆的像素点对应的特征向量得到该帧图像的车辆特征集合，其中，每个特征图中的每个像素位置包含有特征向量；
匹配模块，用于对各帧图像的车辆特征集合中的特征向量进行跨帧匹配，得到所述图像序列中包含的各目标车辆的特征向量时序序列并存储；
车速预测模块，用于针对每个目标车辆，将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，根据所述上一时刻车速、所述当前时刻车速和所述当前时刻加速度得到该目标车辆的下一时刻车速；
其中，所述预设卷积神经网络是基于通过导盲设备采集盲人视角下的其它车辆的速度所建立的训练数据集训练得到的；其中，采集人员在采集视频数据时，对导盲设备进行晃动，以采集到贴近现实场景的晃动的视频数据，并将采集到的视频数据作为初始卷积神经网络的训练数据，使得初始卷积神经网络通过训练去适应这种噪声，训练完成后得到预设卷积神经网络，并且，还对训练数据进行数据增强处理去模拟抖动的视频数据；
所述将该目标车辆的特征向量时序序列分别输入至预设LSTM速度预测神经网络中和预设LSTM加速度预测神经网络中，得到该目标车辆的上一时刻车速以及当前时刻车速和当前时刻加速度，包括：
通过以下公式得到目标车辆的当前时刻车速
sp(t),h(t),c(t)＝LSTM(vm(t),h(t-1),c(t-1))t＝1,2,...,T
其中，sp(t)为第m辆车的当前时刻车速，h(t)为第二速度记忆隐藏向量，c(t)为初始版LSTM在第t帧的长记忆隐含层，vm(t)为第m辆车在t帧的特征向量，h(t-1)为第一速度记忆隐藏向量，c(t-1)为初始版LSTM在第t-1帧的长记忆隐含层，T为图像序列的总帧数；或者，
通过以下公式得到目标车辆的当前时刻加速度：
Figure FDA0003737645090000051
其中，
Figure FDA0003737645090000052
为第m辆车的当前时刻加速度，h’(t)为加速度记忆隐藏向量，vm(t-1)为第m辆车在t-1帧的特征向量，h’(t-1)表示预设LSTM加速度预测神经网络从vm(0)到vm(t-2)这些车辆的特征向量中分析总结的记忆特征，T为图像序列的总帧数；
通过以下公式得到目标车辆的下一时刻车速：
Figure FDA0003737645090000061
其中，
Figure FDA0003737645090000062
为第m辆车的下一时刻车速，sp(t)为第m辆车的当前时刻车速，sp(t-1)为第m辆车的上一时刻车速，λ为预设比例，
Figure FDA0003737645090000063
为第m辆车的当前时刻加速度；其中，目标车辆的上一时刻车速sp(t-1)的求法与目标车辆的当前时刻车速sp(t)的求法相同。
9.根据权利要求8所述的装置，其特征在于，所述车辆特征集合确定模块，包括：
第一保留子模块，用于对于每两个标记为车辆的像素点组成的第一点对，当该第一点对中的两个像素点之间的像素距离小于预设距离阈值时，保留该第一点对中的分数最高的像素点；
第二保留子模块，用于对于保留的每两个像素点组成的第二点对，当该第二点对中的两个像素点的特征向量之间的相似度大于第一预设相似度阈值时，保留该第二点对中的分数最高的像素点的特征向量作为该帧图像的车辆特征集合。
10.一种电子设备，其特征在于，包括：处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行权利要求1-7任一项所述的方法。
CN202011422623.XA 2020-12-08 2020-12-08 基于差分神经网络和图像序列数据的车速识别方法及装置 Active CN112418157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011422623.XA CN112418157B (zh) 2020-12-08 2020-12-08 基于差分神经网络和图像序列数据的车速识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011422623.XA CN112418157B (zh) 2020-12-08 2020-12-08 基于差分神经网络和图像序列数据的车速识别方法及装置

Publications (2)

Publication Number Publication Date
CN112418157A CN112418157A (zh) 2021-02-26
CN112418157B true CN112418157B (zh) 2022-09-16

Family

ID=74776289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011422623.XA Active CN112418157B (zh) 2020-12-08 2020-12-08 基于差分神经网络和图像序列数据的车速识别方法及装置

Country Status (1)

Country Link
CN (1) CN112418157B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105946861A (zh) * 2016-06-02 2016-09-21 大连理工大学 一种基于驾驶意图识别的nar神经网络车速预测方法
CN107292352A (zh) * 2017-08-07 2017-10-24 北京中星微电子有限公司 基于卷积神经网络的图像分类方法和装置
US10633007B1 (en) * 2019-01-31 2020-04-28 StradVision, Inc. Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
CN111126406A (zh) * 2019-12-17 2020-05-08 北京四维图新科技股份有限公司 车辆行驶区域识别方法及装置
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549911B (zh) * 2018-04-18 2020-11-03 清华大学 基于神经网络的驾驶员转向介入识别方法
CN110688877B (zh) * 2018-07-05 2022-08-05 杭州海康威视数字技术股份有限公司 一种危险预警方法、装置、设备及存储介质
CN111738037B (zh) * 2019-03-25 2024-03-08 广州汽车集团股份有限公司 一种自动驾驶方法及其系统、车辆
CN111814766B (zh) * 2020-09-01 2020-12-15 中国人民解放军国防科技大学 车辆行为预警方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105946861A (zh) * 2016-06-02 2016-09-21 大连理工大学 一种基于驾驶意图识别的nar神经网络车速预测方法
CN107292352A (zh) * 2017-08-07 2017-10-24 北京中星微电子有限公司 基于卷积神经网络的图像分类方法和装置
US10633007B1 (en) * 2019-01-31 2020-04-28 StradVision, Inc. Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
CN111126406A (zh) * 2019-12-17 2020-05-08 北京四维图新科技股份有限公司 车辆行驶区域识别方法及装置
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法

Also Published As

Publication number Publication date
CN112418157A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US11176381B2 (en) Video object segmentation by reference-guided mask propagation
CN106960206B (zh) 字符识别方法和字符识别系统
Li et al. Deep neural network for structural prediction and lane detection in traffic scene
CN109798888B (zh) 移动设备的姿态确定装置、方法和视觉里程计
KR20050085842A (ko) 화상에서의 이동 물체의 추적 방법 및 장치
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
US11600080B2 (en) Lane marker detection
CN111256693A (zh) 一种计算位姿变化方法及车载终端
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
CN114663593A (zh) 三维人体姿态估计方法、装置、设备及存储介质
Getahun et al. A deep learning approach for lane detection
CN113435370B (zh) 一种基于图像特征融合获取车辆排队长度的方法及装置
EP3767543A1 (en) Device and method for operating a neural network
CN112418157B (zh) 基于差分神经网络和图像序列数据的车速识别方法及装置
CN112529934A (zh) 多目标追踪方法、装置、电子设备和存储介质
CN110796003B (zh) 车道线检测方法、装置及电子设备
CN114792401A (zh) 行为识别模型的训练方法、装置、设备及存储介质
JP7092016B2 (ja) 画像処理装置、方法、及びプログラム
CN113496501B (zh) 基于视频预测的动态场景中的入侵物检测方法和系统
Wachs et al. Human posture recognition for intelligent vehicles
JP7450754B2 (ja) 画像解析から得られたフィンガープリントを用いた、画像フレーム全体に亘る脆弱な道路利用者の追跡
CN110753239B (zh) 视频预测方法、视频预测装置、电子设备和车辆
CN113011415A (zh) 基于Grid R-CNN模型改进的目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant