CN109961057B - 一种车辆位置获得方法及装置 - Google Patents

Abstract

本申请实施例的目的在于提供一种车辆位置获得方法，用于改善现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。该车辆位置获得方法包括：获得第一图像，第一图像为图像采集装置获得的包括车辆的图像；利用主干网络模型从第一图像中提取多个不同层级的特征，将多个不同层级的特征进行融合获得融合特征；利用特征金字塔生成模型根据融合特征获得包括第一位置的车辆检测信息，第一位置为车辆在第一图像中的位置。使用该方法替代了人工判断车辆在获取的图像中的位置，有效地提高识别车辆在获取的图像中的位置的效率，从而改善了现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

Description

一种车辆位置获得方法及装置

技术领域

本申请涉及图像识别的技术领域，具体而言，涉及一种车辆位置获得方法及装置。

背景技术

目前的安防行业中，传统的方法来实现渣土车的位置进行检测时，都是通过人工对路边摄像头的获得的视频进行监控。具体地例如，安防人员看着视频，人工地分析来判断车辆在图像中的位置，再进一步判断车辆是否违规，然而这种方式存在着现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

发明内容

本申请实施例的目的在于提供一种车辆位置获得方法，用于改善现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

本申请实施例提供了的一种车辆位置获得方法，所述方法包括：获得第一图像，所述第一图像为图像采集装置获得的包括车辆的图像；利用主干网络模型从所述第一图像中提取多个不同层级的特征，将所述多个不同层级的特征进行融合获得融合特征；利用特征金字塔生成模型根据所述融合特征获得包括第一位置的车辆检测信息，所述第一位置为所述车辆在所述第一图像中的位置。

使用上述方法通过对图像采集装置直接获得的图像提取多个特征，将多个特征进行融合后获得融合特征，再根据融合特征获得特征序列，最后根据特征序列获得车辆在该图像中的位置。通过电子设备来执行上述方法的方式替代了人工判断车辆在获取的图像中的位置，有效地提高识别车辆在获取的图像中的位置的效率，从而改善了现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

可选地，在本申请实施例中，所述方法还包括：根据所述第一位置从所述第一图像中截取出突显车辆区域的第二图像；利用违规判断模型提取所述第二图像中的多个待检测特征，并根据所述多个待检测特征中的每个待检测特征判断所述车辆是否违规。使用上述方法从图像采集装置直接获取的图像截取车辆图像，并从该车辆图像中提取多个待检测特征，最后根据每个待检测特征判断车辆是否违规。通过截取出车辆图像这种方式减少了判断车辆是否违规的计算量，有效地提高了判断车辆是否违规的效率，从而改善了现有技术中通过人工判断车辆是否违规的效率低下的问题。

可选地，在本申请实施例中，所述车辆检测信息还包括车辆分类，在所述根据所述第一位置从所述第一图像中截取出第二图像之前，还包括：确定所述车辆分类为第一预设分类。使用上述方法判断该车辆分类是否为第一预设分类，有效地提高了第一预设分类车辆或者特定分类车辆的违规判断的效率。

可选地，在本申请实施例中，还包括：利用车牌检测模型提取所述第二图像中车牌的位置特征，获得第三图像，所述第三图像为所述第一图像中包括车牌的区域图像；利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息。使用上述方法替代了人工识别图像中的车牌信息，有效地提高识别图像中的车牌信息的效率。

可选地，在本申请实施例中，还包括：利用车牌检测模型提取所述第一图像中车牌的位置特征，获得第三图像，所述第三图像为所述第一图像中包括车牌的区域图像；利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息。使用上述方法替代了人工识别图像中的车牌信息，有效地提高识别图像中的车牌信息的效率。

可选地，在本申请实施例中，所述车牌识别模型包括：卷积神经网络模型、长短期记忆网络模型和关联时序分类模型，所述利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息，包括：利用所述卷积神经网络模型提取所述第三图像中的特征矩阵图；利用所述长短期记忆网络模型从所述特征矩阵图提取车牌序列，所述车牌序列为包括分隔符的字符串序列；利用所述关联时序分类模型从所述车牌序列中删除分隔符和重复字符，获得车牌信息。使用上述方法替代了人工识别图像中的车牌信息，有效地提高了识别图像中的车牌信息的正确率。

可选地，在本申请实施例中，所述方法还包括：确定在所述第一位置获得第二预设分类的车辆的车牌信息，则根据所述第一位置和所述车牌信息生成预警信息；或确定在预设时间段内在所述第一位置获得车辆的车牌信息，则根据所述第一位置和所述车牌信息生成预警信息。使用上述方法替代了人工根据车辆在图像中的第一位置信息和该车辆的车牌信息进行预警，有效地提高了根据车辆在图像中的第一位置信息和该车辆的车牌信息进行预警的效率。

可选地，在本申请实施例中，在所述利用特征金字塔生成模型根据所述融合特征获得特征序列，根据所述特征序列获得包括第一位置的车辆检测信息之后，还包括：获得第二位置，所述第二位置为图像采集装置的地理位置；根据所述第二位置、所述图像采集装置的角度和所述图像采集装置的高度，获得相对位置；根据所述相对位置和所述第一位置，获得所述车辆地理位置。使用上述方法通过图像采集装置的地理位置，以及图像采集装置的角度和高度，获得车辆的准确地理位置，有效地提高了车辆的地理位置的准确度，改善了现有技术中获取车辆的地理位置有较大误差的问题。

本申请实施例还提供了一种车辆位置获得装置，所述装置包括：第一图像获得模块，用于获得第一图像，所述第一图像为图像采集装置获得的包括车辆的图像；融合特征获得模块，用于利用主干网络模型从所述第一图像中提取多个不同层级的特征，将所述多个不同层级的特征进行融合获得融合特征；第一位置获得模块，用于利用特征金字塔生成模型根据所述融合特征获得包括第一位置的车辆检测信息，所述第一位置为所述车辆在所述第一图像中的位置。

使用上述装置通过对图像采集装置直接获得的图像提取多个特征，将多个特征进行融合后获得融合特征，再根据融合特征获得特征序列，最后根据特征序列获得车辆在该图像中的位置。通过本申请实施例提供的装置来执行上述方法的方式替代了人工判断车辆在获取的图像中的位置，有效地提高识别车辆在获取的图像中的位置的效率，从而改善了现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

可选地，在本申请实施例中，所述装置还包括：第二图像获得模块，用于根据所述第一位置从所述第一图像中截取出突显车辆区域的第二图像。车辆违规判断模块，用于利用违规判断模型提取所述第二图像中的多个待检测特征，并根据所述多个待检测特征中的每个待检测特征判断所述车辆是否违规。使用上述装置从图像采集装置直接获取的图像截取车辆图像，并从该车辆图像中提取多个待检测特征，最后根据每个待检测特征判断车辆是否违规。通过截取出车辆图像这种方式减少了判断车辆是否违规的计算量，有效地提高了判断车辆是否违规的效率，从而改善了现有技术中通过人工判断车辆是否违规的效率低下的问题。

可选地，在本申请实施例中，所述装置还包括：预设分类确定模块，用于确定所述车辆分类为第一预设分类。使用上述装置判断该车辆分类是否为第一预设分类，有效地提高了第一预设分类车辆或者特定分类车辆的违规判断的效率。

可选地，在本申请实施例中，所述装置还包括：第三图像获得子模块，用于利用车牌检测模型提取所述第二图像中车牌的位置特征，获得第三图像，所述第三图像为所述第一图像中包括车牌的区域图像；车牌信息获得子模块，用于利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息。使用上述装置替代了人工识别图像中的车牌信息，有效地提高识别图像中的车牌信息的效率。

可选地，在本申请实施例中，所述装置还包括：第三图像获得模块，用于利用车牌检测模型提取所述第一图像中车牌的位置特征，获得第三图像，所述第三图像为所述第一图像中包括车牌的区域图像；车牌信息获得模块，用于利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息。使用上述装置替代了人工识别图像中的车牌信息，有效地提高识别图像中的车牌信息的效率。

可选地，在本申请实施例中，所述车牌识别模型包括：卷积神经网络模型、长短期记忆网络模型和关联时序分类模型，所述车牌信息获得模块包括：矩阵图获得模块，用于利用所述卷积神经网络模型提取所述第三图像中的特征矩阵图；车牌序列获得模块，用于利用所述长短期记忆网络模型从所述特征矩阵图提取车牌序列，所述车牌序列为包括分隔符的字符串序列；车牌信息获得模块，用于利用所述关联时序分类模型从所述车牌序列中删除分隔符和重复字符，获得车牌信息。使用上述装置替代了人工识别图像中的车牌信息，有效地提高了识别图像中的车牌信息的正确率。

可选地，在本申请实施例中，所述装置还包括：第一信息生成模块，用于确定在所述第一位置获得第二预设分类的车辆的车牌信息，则根据所述第一位置和所述车牌信息生成预警信息；或第二信息生成模块，用于确定在预设时间段内在所述第一位置获得车辆的车牌信息，则根据所述第一位置和所述车牌信息生成预警信息。使用上述装置替代了人工根据车辆在图像中的第一位置信息和该车辆的车牌信息进行预警，有效地提高了根据车辆在图像中的第一位置信息和该车辆的车牌信息进行预警的效率。

本申请实施例还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如上所述的方法。

本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的电子设备的结构示意图；

图2示出了本申请实施例提供的车辆位置获得方法流程示意图；

图3示出了本申请实施例提供的获取关键帧图像的示意图；

图4示出了本申请实施例提供的数据集划分为训练集和测试集的过程示意图；

图5示出了本申请实施例提供的神经网络模型结构连接示意图；

图6示出了本申请实施例提供的车辆位置获得装置结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请实施例的可选实施例，而不是全部的实施例。基于本申请实施例中描述的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

本申请实施例提供了车辆位置获得方法及装置，下面将结合附图，对本申请实施例中的车辆位置获得方法及装置进行详细介绍。

请参见图1，图1示出了本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备101，包括：处理器102和存储器103，存储器103存储有处理器102可执行的机器可读指令，机器可读指令被处理器102执行时执行如下的方法。

请参见图1，本申请实施例还提供了一种存储介质104，该存储介质104上存储有计算机程序，该计算机程序被处理器102运行时执行如下的方法。

其中，存储介质104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

第一实施例

请参见图2，图2示出了本申请实施例提供的车辆位置获得方法流程示意图。需要解释的是，这里的车辆可以指货车中的渣土车，也可以指载人的小汽车，也可以指除渣土车和小汽车之外的机动车，例如：卡车和面包车。因此，本申请实施例中的车辆的具体种类不应理解为对本申请实施例的限制。这里的车辆位置可以指该车辆在图像采集装置直接获得的图像中的位置，也可以是车辆在该图像使用位置边框标注出的部分图像中的位置，在本申请实施例中当不具体指明位置是地理位置时，“位置”均指的是车辆在图像中的位置，下面的描述都应当按照这里的描述进行理解。

此外，需要说明的是，本申请实施例提供的车辆位置获得方法，可以是被上述包括处理器和存储器的电子设备执行，也可以作为计算机程序被上述的存储介质进行存储，以使该计算机程序被处理器运行时执行，其中，电子设备可以包括：个人电脑、移动终端和云服务处理终端。该方法可以有多种执行主体，多种执行主体的执行该方法包括两种方式：一种方式是在拍摄装置获得照片后，将照片发送给服务器，由服务器执行该方法，获得位置信息；另一种是拍摄装置获得照片后，分析获得位置信息，再将位置信息发送给服务器。因此，该方法的执行主体不能做限定。

本申请实施例提供了的一种车辆位置获得方法，该方法包括：

步骤S100：获得第一图像，第一图像为图像采集装置获得的包括车辆的图像。

其中，图像采集装置，可以指对电子图像进行采集的装置，例如：摄像机、拍照相机和带拍照功能的手机。

第一图像，是指该图像采集装置获得的图像，该图像是指包括车辆的图像。这里的第一图像可以是该电子设备连接的图像采集装置直接采集后发送给电子设备的，也可以是别的图像采集装置或者设备终端发送的，也可以是通过移动存储介质拷贝读取的，也可以是该电子设备中存储的图像库中的图像，因此，这里的第一图像的具体获得方式不应理解为对本申请实施例的限制。

其中，第一图像的一种可选的获得方式，包括如下步骤：

步骤S110：通过图像采集装置获取视频流数据。

其中，通过图像采集装置获取视频流数据(又称视频流)作为原始数据，具体的例如，通过摄像头拍摄或者录制获得视频流数据，这里的视频流数据由多帧图像组成。通常在视频处理和图像处理领域中，将视频流中的图像个数称为帧数，具体来说，通常的一张图像在视频流中也被称为一帧图像，视频流是由多帧图像按照时间序列排序进行存储的。

步骤S120：从视频流数据中筛选多个关键帧图像，将多个关键帧图像中每一个关键帧图像都作为第一图像。

其中，关键帧图像，是指在视频流数据中包括车辆的多帧图像，排除图像中没有车辆的无效图像，无效图像例如：只有路灯、天空、道路和道路旁的建筑或景致的图像。

请参见图3，图3示出了本申请实施例提供的获取关键帧图像的示意图。在图3中的动检可以指动态检查，意思是动态地对比视频流中相邻两帧图像的像素值是否完全相同，若完全相同则说明这两帧图像中均没有运动的物体，表明这两帧相邻的图像不能作为关键帧。在图3中的跳帧可以指跳帧获取关键帧，其具体的含义和例子会再下面的描述中详细说明。当然，这里获取关键帧图像有多种获取方式，仅列举两种获取方式如下：

获取关键帧图像的第一种方式，跳帧获取，即实时的对视频流数据中的间隔预设数量的两帧图像进行对比。例如：视频流数据[1,2,3,4,5,6,7,8，9]，其中，每一个数字代表该帧图像的编号，当预设数量为0时，则表示间隔图像为0，即相邻两帧图像均进行对比，如对1和2、2和3、3和4、4和5、5和6、6和7、7和8、8和9进行对比；当预设数量为1时，则表示待对比的图像间隔一帧图像，如对1和3、3和5、5和7、7和9进行对比；当预设数量为2时，则表示待对比的图像间隔两帧图像，如对1和4、4和7进行对比；依此类推。

获取关键帧图像的第二种方式，跳时获取，即实时的对视频流数据中的间隔预设时间段的两帧图像进行对比。例如：视频流数据[1,2,3,4,5,6,7,8，9]，其中，每一个数字i代表第i秒时的图像，当预设时间段为1秒时，则表示对间隔1秒的两帧图像进行对比，如对1和2、2和3、3和4、4和5、5和6、6和7、7和8、8和9进行对比；当预设时间段为2秒时，则表示对间隔2秒的两帧图像进行对比，如对1和3、3和5、5和7、7和9进行对比；当预设时间段为3时，则表示对间隔3秒的两帧图像进行对比，如对1和4、4和7进行对比；依此类推。

通过比较视频流数据中两个关键帧图像之间的差异性，来判断是否有运动的物体(如行驶的车辆)，从而筛选掉没有运动物体(如行驶的车辆)的视频片段。通过上述两种方式的其中一种方式可以筛选出包括有运动物体(如行驶的车辆)的图像，从而获得多个关键帧图像。因此，通过从视频流数据中筛选出多个关键帧图像这种方法，可以有效地减少计算量，节约计算资源，以提高车辆位置获得的效率。

上面是描述在模型应用阶段的数据获取，即在模型应用阶段的多个第一图像的获取方法。可以理解的是，在模型训练阶段的图像数据也可以通过上面的获取关键帧图像的方法获取，获取的方法和原理与上面描述的方法类似，在此不再赘述。换句话说，通过上面的获取关键帧图像的方法获取的图像数据，不仅可以应用于模型的应用阶段，也可以应用于模型训练阶段，模型训练阶段的图像数据也称之为数据集，其中，数据集包括训练集和测试集，通过上面的方法获取的图像数据可以加入训练集，也可以加入测试集。因此，通过上面的获取关键帧图像的方法获取图像数据，该图像数据的应用不应理解为本申请实施例的限制。

接下来，下面介绍在训练阶段的数据获取和准备，多个第一图像的获取方法大致和上面的方法类似，没有描述部分请参考上面的描述。在步骤S120之后，数据的准备方法还可以包括：

步骤S130：将多个第一图像按照地区特征或者车型特征分成多个分类数据集。

请参见图4，图4示出了本申请实施例提供的数据集划分为训练集和测试集的过程示意图。其中，在获取多个第一图像之后，将多个第一图像称为数据集，数据集包括训练集和测试集，训练集用于上述模型的训练阶段，测试集用于上述模型的验证阶段。在本申请实施例中，为了保证训练集和测试集的多样性，可以先将多个第一图像按照地区特征分类，按照地区特征分类例如，从四川地区采集的多个第一图像的数据分类为第1分类数据，从云南采集的多个第一图像数据分类为第2分类数据，依次类推，从贵州采集的多个第一图像数据分类为第N分类数据，这里利用地区特征的差异性来增加训练集数据的多样性，以增加模型的泛化能力，具体来说，不同地区采集的图像中的车辆背景均有不同，这里的车辆的背景场景包括：乡村道路和城市道路等。最终将数据集按照地区特征分为多个分类数据，其中，该多个分类数据包括：第1分类数据、第2分类数据和第N分类数据。当然，在具体的实施过程中，也可以先将多个第一图像按照其它特征分类，例如：车身的颜色和材质等等，因此，这里的将多个第一图像分类的具体特征不应理解为对本申请实施例的限制。

步骤S140：确定多个分类数据中的某个分类数据低于每个分类数据的平均数量，则增加某个分类的数据。

其中，在具体的实施过程中，确定多个分类数据中的某个分类数据过少，例如，在车辆图像数据分类后，发现卡车类的图像数据低于每个分类数据的平均数量，将与渣土车相似的车型例如卡车等加入训练，使得渣土车在识别上与相似的车型存在竞争关系，从而降低算法的误检率。

当然，增加某个分类的数据的具体方式可以是，首先通过摄像头拍摄卡车的图像，以增加卡车的图像数据，然后通过人工对该图像数据进行标注，例如，对卡车的图像与卡车的标签建立对应关系，并将对应关系、卡车的图像和卡车的标签保存至训练集或者测试集；也可以是，首先通过摄像头拍摄卡车的图像，以增加卡车的图像数据，然后通过训练过的模型对该图像数据进行标注，例如，将卡车图像输入至训练好的车辆分类模型，获得该卡车图像的分类标签值。

步骤S150：将多个分类数据中的每个分类数据中的预设比例数据作为测试集，将多个分类数据中的每个分类数据中剩下的数据作为训练集。

其中，这里将数据集划分为训练集和测试集的方式，与传统的随机选取(随机从数据源中采样80％作为训练集，20％作为测试集)方式不同。可以将多个分类数据中的每个分类数据抽取20％出来作为测试集的一部分，同时将多个分类数据中的每个分类数据抽取80％出来作为训练集的一部分。通过训练集和测试集中尽可能包括多种分类的数据的方式，来增加模型对数据多样性的泛化能力。

步骤S200：利用主干网络模型从第一图像中提取多个不同层级的特征，将多个不同层级的特征进行融合获得融合特征。

需要说明的是，在本申请实施例中，如果某神经网络经过数据训练后，则记为某模型，该模型通常应用于使用阶段，例如：本申请实施例中的主干网络模型、特征金字塔生成模型、违规判断模型、车牌检测模型和车牌识别模型，而将未经数据训练或者正在训练的神经网络记为某网络(在后文的描述中会用到)，该网络通常应用于训练阶段，在不特别说明的情况下，都依照此约定标记。

主干网络模型，是指在神经网络模型中用于提取待检测图像的特征的网络模型，未经训练的主干网络可以是卷积神经网络。在一些实现方式中，可以直接将一些训练好的分类模型，例如经典的卷积网络模型(Visual Geometry Group，VGG)和残差网络模型(Residual Network，ResNet)等等，直接使用训练好的分类模型作为主干网络模型，可以加快神经网络模型的训练速度。

多个不同层级的特征，是指相同的第一图像通过不同尺寸(依次从大到小、从下向上排列的层级分布)的卷积层获得不同尺寸的特征图，其中，不同尺寸的特征图就是不同层级的特征图，又称不同层级的特征，这里的尺寸指宽和高。

请参见图5，图5示出了本申请实施例提供的神经网络模型结构连接示意图。其中，将多个不同层级的特征进行融合获得融合特征有多种不同的实现方式，这里描述将两个不同的层级特征进行融合获得融合特征的过程。当然，应当理解的是，多个不同层级的特征与两个不同的层级特征进行融合的实施方式类似，只是卷积层的尺寸大小不同而已，因此，多个不同层级的特征进行融合就不再赘述。将两个不同的层级特征进行融合获得融合特征的过程如下：

步骤S210：利用主干网络模型对第一图像进行特征提取后，获得第一特征图。

第一特征图，是指主干网络模型对第一图像进行特征提取后，获得的一个用于表征该第一图像中的某些特征的矩阵，需要注意的是，这里的某些特征的矩阵是中间结果，需要进一步处理才能获得位置结果或者分类结果，这里的某些特征可能是表示位置边框信息的具体特征，也可能是表示语义信息的抽象特征。其中，位置边框信息的具体特征例如：图像中的红色框把渣土车或者卡车的区域标识出来，语义信息的抽象特征例如：能够识别出第一图像中包含的车辆的具体车辆分类，例如这个第一图像中的红色框的车辆是一辆渣土车，或者是一辆卡车。具体地例如：通过主干网络模型对第一图像进行特征提取后，同时获得第一图像中的红色框的位置和红色框中的车辆分类，红色框中的车辆分类是根据该主干网络模型输出的概率列表中获得的，概率列表例如[1:0.7,2:0.2,3:0.1]，其中，概率列表中的1:0.7表示有70％的概率为渣土车，概率列表中的2:0.2表示有20％的概率为卡车，概率列表中的3:0.1表示有10％的概率为其它车。下面描述的第二特征图和第三特征图等，也是类似的概念，就不再过多解释，请参照这里的解释理解。

特征提取，是指使用计算机提取图像信息，决定每个图像的点是否属于一个图像的某些特征。在本申请实施例中，特征提取的具体方式，可以是使用特征融合单点多盒检测器(Feature Fusion Single Shot Multibox Detector，FSSD)作为模型的检测框架，可以将VGG作为检测框架的主干网络，以加快神经网络模型的训练速度。

步骤S220：利用第一卷积层对第一特征图进行卷积后获得第二特征图，以及利用第二卷积层对第一特征图进行卷积后获得第一掩膜图像。

其中，掩膜图像，是指在图像识别领域中，为了尽可能排除对图像中的背景对特征识别的干扰，通常设置一个与特征图的尺寸相同的，且值为0或1的矩阵图像。该矩阵图像与特征图相乘后，留下与特征识别相关的像素值，以加快对图像的识别速度和效率。

第二特征图可以包含一个或多个通道，第一掩膜图像包含一个通道，且第一掩膜图像的尺寸和第二特征图尺寸可以相同，从而满足步骤S240中第二掩膜图像(与第一掩膜图像尺寸相同)和第二特征图相乘的需求，这里的尺寸指图像的宽和高。

在具体的实施方式中，第一掩膜图像的尺寸和第二特征图尺寸相同，可以通过适当地设置第一卷积层和第二卷积层的形状，可以使第二特征图以及第一掩膜图像来满足上述要求。例如，第一特征图的形状为7x7x32(宽x高x通道数)，第一卷积层的形状设置为1x1x32x10(宽x高x输入通道数x输出通道数)，则卷积后获得的第二特征图形状为7x7x10；第二卷积层的形状设置为1x1x32x1，则卷积后获得的第一掩膜图像的形状为7x7x1，第二特征图和第一掩膜图像的尺寸相同，都是7x7。

步骤S230：根据第一掩膜图像中每个像素的像素值确定第二掩膜图像，第二掩膜图像包括前景区域以及背景区域。

背景区域，是指掩模图像中零值且靠近边缘的区域。前景区域，是指除背景区域外的其它区域，即掩模图像中的非零值的区域。具体的例子，第二掩膜图像中全部非零像素的集合构成前景区域，表示对第二特征图中包含待检测目标的区域的预测，第二掩膜图像中全部零像素的集合构成背景区域，表示对第二特征图中不包含待检测目标的区域的预测。其中，第二掩膜图像的尺寸和第一掩膜图像的尺寸相同。

可选地，在本申请实施例中，步骤S230的实现有多种不同的实现方式，这里列举其中的一种实现方式如下：

步骤S231：利用激活函数将该第一掩膜图像中的每个像素的像素值映射至区间(0，1)，对映射后的像素值进行置零处理后获得第三掩膜图像，其中，该置零处理是指若映射后的像素值小于预设阈值，则将像素值置零。

激活函数的作用可以是给神经网络加入一些非线性因素，由于线性模型的表达能力不够，故激活函数的加入可以使得神经网络更好地解决较为复杂的问题。

其中，激活函数可以采用，但不限于Sigmoid函数：

该函数可以将任意实数映射到区间(0，1)，且为单调增加的函数。上述置零处理是指：若第一掩膜图像中的像素在映射后的像素值小于预设阈值，则将像素值置零，否则像素值保持映射后的值不变，即：

V_ij＝V_ij若V_ij≥T；V_ij＝0若V_ij<T；

其中，V_ij表示第一掩膜图像中的像素在映射后的像素值，i、j为像素坐标，T为预设阈值，0≤T≤1，关于预设阈值，可以根据目标检测的效果确定，具体的确定方式可以采用如下方式：

该预设阈值可以在模型训练好后，利用测试集进行模型性能测试时通过如下方式选取：将区间[0，1]分成若干等分，如100等分，每个等分点对应一个预设阈值，如0.01、0.02、…、0.99。然后对候选的阈值进行贪心搜索，即将每个候选的阈值带入模型前向传播的过程进行损失计算，然后取在测试集中产生的总损失最小的候选阈值作为预设阈值。其中，损失的计算可以采用和训练模型时类似的方式，但计算掩膜预测产生的损失时，掩膜图像中的像素值应该取利用候选阈值进行置零处理之后的值。可以理解的，预设阈值不应理解为对本申请实施例的限制。

步骤S232：将该第三掩膜图像中至少包含全部非零像素的区域确定为该前景区域，以及将该第三掩膜图像中除该前景区域以外的区域确定为该背景区域。

若第一掩膜图像中的某个像素经激活函数映射后像素值较小(小于预设阈值)，表明该像素反映的待检测目标的特征不明显，从而在步骤(1)中将其置零；若经激活函数映射后像素值较大(大于等于预设阈值)，表明该像素反映的待检测目标的特征较明显，从而在步骤(1)中将其维持映射后的值。前景区域至少会包含第一掩膜图像映射后产生的全部非零像素，从而使得前景区域能够有效地预测待检测目标，当然前景区域也可以包含一些映射后产生的零像素，这里可以有多种不同的实现方式，下面仅举两种进行说明：

第一种：

直接将第三掩膜图像中仅包含全部非零像素的区域确定为前景区域。这种实现方式简单直接，能够快速确定前景区域。第三掩膜图像中的非零像素形成了三个连通区域，可以直接将这三个区域作为前景区域。

第二种：

首先确定第三掩膜图像中仅包含全部非零像素的区域，然后将仅包含全部非零像素的区域的最小外接框对应的区域确定为前景区域。这实际上是一种“聚合”操作，将左侧部分的三个区域聚合为一个区域，该区域定义为左侧三个区域的最小外接框，最小外接框为一个包含第三掩膜图像中由非零像素形成的全部小区域的多边形框，且其面积应当尽可能小。为了聚合各个小区域，可以理解的，采用最小外接框后，将第三掩膜图像中的一些零像素也包含到了前景区域中。

步骤S233：基于该第三掩膜图像确定该第二掩膜图像。

第二掩膜图像中的前景区域仅包含非零像素，所以需要对第三掩膜图像中的像素值进行恢复处理后获得第二掩膜图像。其中，恢复处理是指若第三掩膜图像在前景区域中包含零像素，将包含的零像素的像素值恢复为像素值被激活函数映射之后且尚未被置零时的值。

下面介绍本申请实施例提供的方法中所采用的主干网络模型和特征金字塔生成模型可能的训练方式。具体可以包括如下步骤：

(a)获取训练图像。

(b)利用主干网络对训练图像进行特征提取后获得第五特征图。

(c)利用第一卷积层对第五特征图进行卷积后获得第六特征图，以及利用第二卷积层对第五特征图进行卷积后获得第四掩膜图像。

(d)利用激活函数将第四掩膜图像中的每个像素值映射至区间(0，1)后获得第五掩膜图像，根据第五掩膜图像中每个像素的像素值以及每个像素在训练图像中对应像素的前背景标签计算掩膜预测损失，其中，前背景标签中使用1表示前景，0表示背景。

(e)将第六特征图的每个通道分别与第五掩膜图像相乘后获得第七特征图。

(f)将第七特征图输入至边框回归分支获得边框预测结果，根据边框预测结果以及训练图像中的真实边框(ground truth)计算边框预测损失，以及将第七特征图输入至分类分支获得分类预测结果，根据分类预测结果以及训练图像中的分类标签计算分类预测损失。

(g)基于掩膜预测损失、边框预测损失以及分类预测损失计算总预测损失，并基于总预测损失调整神经网络模型的参数。

步骤S240：将第二特征图的每个通道分别与第二掩膜图像相乘后获得第三特征图，将第三特征图作为融合特征。

其中，根据上面的阐述，第二特征图的每个通道的尺寸和第二掩膜图像的尺寸是相同的，二者可以相乘。以第二特征图中的一个通道为例，相乘的方式是将该通道的每个像素与第二掩膜图像中对应位置的像素相乘，乘积作为新的像素值。第二特征图的每个通道在进行乘法运算后产生一个第三特征图中的通道，因此第三特征图和第二特征图通道数目相同。

上述的方法，是将两个不同的层级特征进行融合获得融合特征的方法，即将第一卷积层获得的特征(第二特征图)和第二卷积层获得的特征(掩模图像)融合，获得第三特征图，并将获得的第三特征图作为融合特征。

步骤S300：利用特征金字塔生成模型根据融合特征获得包括第一位置的车辆检测信息，第一位置为车辆在第一图像中的位置。

其中，第一位置，可以为车辆在第一图像中的位置，具体地，可以是由醒目的颜色框在第一图像中将车辆的区域标识出来的位置。特征金字塔生成模型，是指不同尺寸的(依次从大到小、从下向上排列的)卷积层输出不同结果的模型。

在本申请实施例中，特征金字塔生成模型可以包括：第一卷积层、第二卷积层、边框回归分支和分类分支。其中，边框回归分支用于预测包含待检测目标的边框，输出边框的坐标和/或尺寸等内容，即待检测目标在待检测图像中的位置信息。分类分支用于预测待检测目标的类别，输出待检测目标属于每个类别的概率，即待检测目标的类别信息。例如，如果检测道路上的卡车，可以输出待检测目标预测为卡车的概率以及预测为背景的概率；如果检测道路上的卡车、轿车和面包车，可以输出待检测目标预测为卡车的概率、预测为轿车的概率、预测为面包车的概率以及预测为背景的概率。

在具体的实施过程中，利用特征金字塔生成模型根据融合特征获得包括第一位置的车辆检测信息，其具体的实施方式有多种，在这里仅列举常见的一种方式：直接将第三特征图输入至边框回归分支，利用边框回归分支预测包含待检测目标的边框位置，即这里的第一位置，以及将直接第三特征图输入至分类分支，利用分类分支预测待检测目标的类别，即步骤S400中的车辆分类。也就是说，利用特征金字塔生成模型根据融合特征获得车辆检测信息，该车辆检测信息包括：第一位置和该第一位置框中的图像中的车辆分类，换句话说，通过特征金字塔生成模型根据融合特征，同时获得了第一位置和步骤S400中的车辆分类。

使用上述方法通过对图像采集装置直接获得的图像提取多个特征，将多个特征进行融合后获得融合特征，再根据融合特征获得特征序列，最后根据特征序列获得车辆在该图像中的位置。通过上述的电子设备来执行上述方法的方式替代了人工判断车辆在获取的图像中的位置，有效地提高识别车辆在获取的图像中的位置的效率，从而改善了现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

可选地，在本申请实施例中，该方法还包括：

步骤S400：确定车辆分类为第一预设分类。

其中，车辆分类，是指车辆的种类，具体的例如：渣土车、卡车和面包车。这里的第一预设分类，可以是渣土车，也可以是卡车。因为不同分类的车辆的违规情况并不相同，所以确定车辆分类为第一预设分类的目的是为了判断该第一预设分类的车辆是否为违规。具体地，判断该第一预设分类的车辆是否为违规，这里以第一预设分类是渣土车为例，若确定该车辆分类为渣土车，那么渣土车违规的情况例如：渣土车的顶部车盖没有盖合，渣土车的车牌号没有放大显示在车身上，或者车身没有洗干净的渣土车进入到不能进入的城市区域。再以第一预设分类是卡车为例，若确定该车辆分类为卡车，那么卡车的违规情况例如：卡车的高度超过规定的限制高度，或者是卡车的载货宽度超过了规定的限制宽度等等。因此，这里的车辆分类不应理解为对本申请实施例的限制。

使用上述方法判断该车辆分类是否为第一预设分类，有效地提高了第一预设分类车辆或者特定分类车辆的违规判断的效率。

步骤S500：根据第一位置从第一图像中截取出突显车辆区域的第二图像。

其中，第二图像就是根据第一位置从第一图像截取出的车辆图像。以上面的渣土车为例，渣土车违规的情况有多种情况，为了方便说明，这里以渣土车的顶部车盖没有盖合的违规情况为例进行说明。该方法的具体执行方式，可以是先由醒目的颜色框在第一图像中将车辆的区域标识出来的位置，再从第一图像中包括车辆的区域截取出突显车辆区域的第二图像。

步骤S600：利用违规判断模型提取第二图像中的多个待检测特征，并根据多个待检测特征中的每个待检测特征判断车辆是否违规。

其中，待检测特征，指该特征是否属于违规是有待验证的。以上述的预设分类是渣土车为例，多个待检测特征包括：渣土车的顶部车盖没有盖合，渣土车的车牌号没有放大显示在车身上，或者车身没有洗干净的渣土车进入到不能进入的城市区域。因此，这里的待检测特征的数量不应理解为对本申请实施例的限制。

在具体的实施过程中，根据多个待检测特征中的每个待检测特征判断车辆是否违规，可以根据多个待检测特征中的一个待检测特征为违规，即可判定违规，例如：渣土车的顶部车盖没有盖合就行驶，即判定该渣土车违规。当然，也可以根据多个待检测特征中的至少一个待检测特征判定是否违规，例如，渣土车的车牌号没有放大显示在车身上，而且该渣土车的车身没有洗干净，并进入到不能进入的城市区域，就判定该渣土车违规。

违规判断模型，是指根据图像判定该渣土车是否违规的模型，从上面的例子中可以看出，违规判断模型可以是一个分类模型，也可以由多个分类模型构成的模型，例如，将渣土车的顶部车盖盖合的图像，以及渣土车的顶部车盖没有盖合的图像，输入给神经网络进行训练后，获得的神经网络模型。在具体的实施方式中，可以采用残差神经网络(Residual Neural Network，ResNet)作为违规判断模型的主干网络。

通过截取出车辆图像这种方式减少了判断车辆是否违规的计算量，有效地提高了判断车辆是否违规的效率，从而改善了现有技术中通过人工判断车辆是否违规的效率低下的问题。

在本申请实施例中，车牌信息的获得方法有两种实施方式，具体如下：

第一种实施方式，车牌信息的获得方法可以包括：

步骤S710：利用车牌检测模型提取第二图像中车牌的位置特征，获得第三图像，第三图像为第一图像中包括车牌的区域图像。

其中，车牌检测模型，用于从第二图像中提取车牌的位置特征，从而根据该位置特征获得第二图像中的车牌的区域图像，该区域图像即是车牌图像。该车牌检测模型的具体结构可以参考步骤S200中的主干网络模型和步骤S300中的特征金字塔生成模型，这里获得第三图像的具体方法和原理也请参照步骤S200和步骤S300中获得第一位置，并根据该第一位置获得车辆图像的方法过程。

步骤S720：利用车牌识别模型对第三图像中的车牌特征进行识别，获得车牌信息。

需要说明的是，该车牌识别模型可以包括：卷积神经网络模型、长短期记忆网络模型和关联时序分类模型。因此，步骤S720可以包括如下步骤：

步骤S721：利用卷积神经网络模型提取第三图像中的特征矩阵图。

其中，特征矩阵图(英文：FeatureMaps)，又称特征图，与上面描述的第一特征图概念类似，是指经过某网络模型对图像进行特征提取后，获得一个用于表征该图像中的某些特征的矩阵，这里的某些特征可能是表示位置边框信息的具体特征，也可能是表示语义信息的抽象特征。

卷积神经网络(Convolutional Neural Networks，CNN)，一般包括两层，第一层为特征提取层，神经网络中的每个神经元的输入与前一层神经网络的局部接受域相连，并提取该神经网络的局部特征。一旦该神经网络的局部特征被提取后，该局部特征与其它特征间的位置关系也随之确定下来；第二层是特征映射层，神经网络的每个计算层由多个特征映射组成，每个特征映射是一个特征矩阵图，特征矩阵图上所有神经元的权值相等。也就是说，在本申请实施例中，可以利用特征提取层对第三图像中的特征进行提取，获得多个局部特征，再利用特征映射层将该多个局部特征映射为一个特征矩阵图。

步骤S722：利用长短期记忆网络模型从特征矩阵图提取车牌序列，车牌序列为包括分隔符的字符串序列。

其中，长短期记忆网络(Long Short-Term Memory，LSTM)，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。利用长短期记忆网络模型从特征矩阵图提取车牌序列，其中，该车牌序列为包括分隔符的字符串序列，具体地例如，LSTM输出的车牌序列可以是AAA_11_222222_333，这里的下划线表示为整个字符串序列的分隔符。

步骤S723：利用关联时序分类模型从车牌序列中删除分隔符和重复字符，获得车牌信息。

其中，关联时序分类网络(Connectionist Temporal Classification，CTC)，是一种用于序列建模的工具，在本申请实施例中，是用于从上述的车牌序列中提取车牌信息。这里的车牌序列以上面的字符串序列为例子，字符串序列可以是AAA_11_222222_333，那么将该字符串序列中的分隔符和重复字符删除后，获得A123，这里的A123就可以是车牌信息。

在具体的实施过程中，这里的CTC当然可以不仅仅是将该字符串序列中的分隔符和重复字符删除，也可以是从该字符串序列中筛选出概率最大的字符作为结果。例如在获得字符串的序列有一些错误的情况下，这里的字符串序列可以是AAAAB_1101_2222122_33332，具体地分析方式比如，先用分隔符将该字串序列分割为字符串数组[AAAAB，1101，2222122，33332]；再从字符串数组中的每个字符串提取一个概率最大的字符作为结果，例如：AAAAB筛选出A，1101筛选出1，2222122筛选出2，33332筛选出3；最后将筛选的结果连接输出A123。

需要说明的是，这里与传统的先进行图像分割再进行字符识别的方法不同。使用上述方法替代了人工识别图像中的车牌信息，有效地提高了识别图像中的车牌信息的正确率。通过车牌识别模型使得算法识别能力更强，可以适应于道路复杂的环境。

第二种实施方式，车牌信息的获得方法可以包括：

步骤S810：利用车牌检测模型提取第一图像中车牌的位置特征，获得第三图像，第三图像为第一图像中包括车牌的区域图像。

其中，车牌检测模型，用于从第一图像中提取车牌的位置特征，从而根据该位置特征获得第一图像中的车牌的区域图像，该区域图像即是车牌图像。可以理解的是，这里从第一图像中提取车牌的位置特征的具体执行步骤，可以是直接利用车牌检测模型提取第一图像中车牌的位置特征，获得第三图像，也可以是先根据第一位置从第一图像截取出第二图像，再利用车牌检测模型提取第二图像中车牌的位置特征，获得第三图像，即执行步骤S710，这里的步骤S810的执行方法与步骤S710的执行方法及原理大致类似，因此在这里不再赘述。

步骤S820：利用车牌识别模型对第三图像中的车牌特征进行识别，获得车牌信息。

需要说明的是，与步骤S720类似，该车牌识别模型可以包括：卷积神经网络模型、长短期记忆网络模型和关联时序分类模型。因此，这里的步骤S820的执行方法与步骤S20的执行方法及原理大致类似，因此在这里不再赘述。使用上述两种实施方式的方法替代了人工识别图像中的车牌信息，有效地提高识别图像中的车牌信息的效率。

可选地，在步骤S720或者步骤S820之后，该方法还可以包括：

步骤S730：确定在第一位置获得第二预设分类的车辆的车牌信息，则根据第一位置和车牌信息生成预警信息。

其中，第二预设分类，可以是指机动车辆，具体的例如，采用摄像头拍摄且进行处理后获得第一位置，在第一位置出现机动车辆的车牌信息，而第一位置本身是自行车专用赛道，或者是非机动车道等等。在上述的两种情况下，根据当时的日期时间、第一位置的图像和检测出的车牌信息生成预警信息，可以根据实际需求，将该预警信息发送给需要预警的服务器或者人，具体的例如，将预警信息发送给监控中心服务器或者负责交通道路系统的服务器，以邮件或者短信的形式发送给该区域负责人。

可选地，在步骤S720或者步骤S820之后，该车辆位置获得方法还可以包括：

步骤S740：确定在预设时间段内在第一位置获得车辆的车牌信息，则根据第一位置和车牌信息生成预警信息。

其中，预设时间段，可以是指机动车禁止通行时间段，具体的例如，限号时间段为：星期一限制车牌号码最后一位数字为1或者6的机动车辆出行，星期二限制车牌号码最后一位数字为2或者7的机动车辆出行等等；又例如早上7点至下午7点限制货车进入主城区高峰路段或者区域等。当然，也包括第一位置是属于禁止机动车通行的路段或区域，例如，正在施工的桥梁，或者正在维修的塌方路段等。在上述的几种情况下，根据当时的日期时间、第一位置的图像和检测出的车牌信息生成预警信息，可以根据实际需求，将该预警信息发送给需要预警的电子设备或者人，具体的例如，将预警信息发送给监控中心服务器或者负责交通道路系统的服务器，以邮件或者短信的形式发送给该区域负责人。

使用上述步骤S720或者步骤S820之后的方法，该方法替代了人工根据车辆在图像中的第一位置信息和该车辆的车牌信息进行预警，有效地提高了根据车辆在图像中的第一位置信息和该车辆的车牌信息进行预警的效率。

可选地，在本申请实施例中，在步骤S300之后，还可以包括：

步骤S910：获得第二位置，第二位置为图像采集装置的地理位置。

其中，地理位置，可以是指全球定位系统(Global Positioning System，GPS)的地理位置。由于信号漂移、建筑遮挡或者人为干扰等因素，通过车身上的GPS定位装置获得的GPS位置可能会有3到10米的误差。然而获取的图像采集系统(摄像头)的GPS位置是通过人来事先测量和设定的，误差可以减小到1至3米，因此，在需要获得车辆的精确位置的情况下，可以根据第二位置和下面的步骤来进一步地获得车辆的精确位置。

步骤S920：根据第二位置、图像采集装置的角度和图像采集装置的高度，获得相对位置。

在具体的实施方式中，图像采集装置可以是摄像头，根据第二位置、图像采集装置的角度和图像采集装置的高度可以获得摄像头的拍摄区域的GPS位置，具体地，例如，图像采集装置拍摄的方向与垂直方向的夹角角度为45度，图像采集装置的高度为3米，那么可以算出图像采集装置的水平拍摄的相对距离为3*tan45＝3米。根据该相对距离和上述的第二位置即可算出该摄像头的拍摄区域的相对位置,该摄像头的拍摄区域的相对位置可以是一个位置范围。当然，图像采集装置的角度和图像采集装置的高度可以根据实际情况进行选择，这里的图像采集装置的角度和图像采集装置的高度不应理解为对本申请实施例的限制。

步骤S930：根据相对位置和第一位置，获得车辆地理位置。

以上面的例子继续描述，从该摄像头的拍摄区域的相对位置可以是一个位置范围，从该位置范围中获取该车辆的具体地理位置。可以根据该车辆图像在第一图像中的相对比例和该车辆的具体地理位置在该位置范围的相对比例相似的原理，计算出该车辆的地理位置。

使用上述方法通过图像采集装置的地理位置，以及图像采集装置的角度和高度，获得车辆的准确地理位置，有效地提高了车辆的地理位置的准确度，改善了现有技术中获取车辆的地理位置有较大误差的问题。

第二实施例

请参见图6，图6示出了本申请实施例提供的车辆位置获得装置结构示意图。本申请实施例提供了的一种车辆位置获得装置109，该车辆位置获得装置109包括：

第一图像获得模块100，用于获得第一图像，第一图像为图像采集装置获得的包括车辆的图像。

融合特征获得模块200，用于利用主干网络模型从第一图像中提取多个不同层级的特征，将多个不同层级的特征进行融合获得融合特征。

第一位置获得模块300，用于利用特征金字塔生成模型根据融合特征获得包括第一位置的车辆检测信息，第一位置为车辆在第一图像中的位置。

通过本申请实施例提供的装置来执行上述方法的方式替代了人工判断车辆在获取的图像中的位置，有效地提高识别车辆在获取的图像中的位置的效率，从而改善了现有技术中通过人工判断车辆在图像中的位置的效率低下的问题。

可选地，在本申请实施例中，该装置还包括：

第二图像获得模块，用于根据第一位置从第一图像中截取出突显车辆区域的第二图像。

车辆违规判断模块，用于利用违规判断模型提取第二图像中的多个待检测特征，并根据多个待检测特征中的每个待检测特征判断车辆是否违规。

可选地，在本申请实施例中，该车辆位置获得装置还可以包括：

预设分类确定模块，用于确定车辆分类为第一预设分类。

可选地，在本申请实施例中，该车辆位置获得装置，还可以包括：

第三图像获得子模块，用于利用车牌检测模型提取第二图像中车牌的位置特征，获得第三图像，第三图像为第一图像中包括车牌的区域图像；

车牌信息获得子模块，用于利用车牌识别模型对第三图像中的车牌特征进行识别，获得车牌信息。

可选地，在本申请实施例中，该车辆位置获得装置还包括：

第三图像获得模块，用于利用车牌检测模型提取第一图像中车牌的位置特征，获得第三图像，第三图像为第一图像中包括车牌的区域图像；

车牌信息获得模块，用于利用车牌识别模型对第三图像中的车牌特征进行识别，获得车牌信息。

可选地，在本申请实施例中，该车牌识别模型包括：卷积神经网络模型、长短期记忆网络模型和关联时序分类模型，车牌信息获得模块包括：

矩阵图获得模块，用于利用卷积神经网络模型提取第三图像中的特征矩阵图；

车牌序列获得模块，用于利用长短期记忆网络模型从特征矩阵图提取车牌序列，车牌序列为包括分隔符的字符串序列；

车牌信息获得模块，用于利用关联时序分类模型从车牌序列中删除分隔符和重复字符，获得车牌信息。

可选地，在本申请实施例中，车辆位置获得装置还可以包括：

第一信息生成模块，用于确定在第一位置获得第二预设分类的车辆的车牌信息，则根据第一位置和车牌信息生成预警信息；

或者，在本申请实施例中，该装置还可以包括：

第二信息生成模块，用于确定在预设时间段内在第一位置获得车辆的车牌信息，则根据第一位置和车牌信息生成预警信息。

可选地，在本申请实施例中，该车辆获得装置可以包括：

第二位置获得模块，用于获得第二位置，第二位置为图像采集装置的地理位置；

相对位置获得模块，用于根据第二位置、图像采集装置的角度和图像采集装置的高度，获得相对位置；

地理位置获得模块，用于根据相对位置和第一位置，获得车辆地理位置。

使用上述装置通过图像采集装置的地理位置，以及图像采集装置的角度和高度，获得车辆的准确地理位置，有效地提高了车辆的地理位置的准确度，改善了现有技术中获取车辆的地理位置有较大误差的问题。

以上仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (9)

1.一种车辆位置获得方法，其特征在于，所述方法包括：

获得第一图像，所述第一图像为图像采集装置获得的包括车辆的图像；

利用主干网络模型从所述第一图像中提取多个不同层级的特征，将所述多个不同层级的特征进行融合获得融合特征；

利用特征金字塔生成模型根据所述融合特征获得包括第一位置的车辆检测信息，所述第一位置为所述车辆在所述第一图像中的位置；

其中，所述特征金字塔生成模型包括：第一卷积层、第二卷积层、边框回归分支和分类分支；所述利用主干网络模型从所述第一图像中提取多个不同层级的特征，将所述多个不同层级的特征进行融合获得融合特征，包括：利用主干网络模型对第一图像进行特征提取后，获得第一特征图；利用所述第一卷积层对第一特征图进行卷积后获得第二特征图，以及利用所述第二卷积层对第一特征图进行卷积后获得第一掩膜图像；根据所述第一掩膜图像中每个像素的像素值确定第二掩膜图像，所述第二掩膜图像包括前景区域以及背景区域；将所述第二特征图的每个通道分别与所述第二掩膜图像相乘后获得第三特征图，将所述第三特征图确定为所述融合特征；

所述车辆检测信息还包括第一位置对应的车辆分类；所述利用特征金字塔生成模型根据所述融合特征获得包括第一位置的车辆检测信息，包括：利用所述边框回归分支预测所述融合特征中包含车辆的边框位置，将所述包含车辆的边框位置确定为第一位置，以及利用所述分类分支预测在所述融合特征中所述第一位置对应的车辆分类。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第一位置从所述第一图像中截取出突显车辆区域的第二图像；

利用违规判断模型提取所述第二图像中的多个待检测特征，并根据所述多个待检测特征中的每个待检测特征判断所述车辆是否违规。

3.根据权利要求2所述的方法，其特征在于，所述车辆检测信息还包括车辆分类，在所述根据所述第一位置从所述第一图像中截取出第二图像之前，还包括：

确定所述车辆分类为第一预设分类。

4.根据权利要求2-3任一所述的方法，其特征在于，还包括：

利用车牌检测模型提取所述第二图像中车牌的位置特征，获得第三图像，所述第三图像为所述第一图像中包括车牌的区域图像；

利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息。

5.根据权利要求1-3任一所述的方法，其特征在于，还包括：

利用车牌检测模型提取所述第一图像中车牌的位置特征，获得第三图像，所述第三图像为所述第一图像中包括车牌的区域图像；

利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息。

6.根据权利要求5所述的方法，其特征在于，所述车牌识别模型包括：卷积神经网络模型、长短期记忆网络模型和关联时序分类模型，所述利用车牌识别模型对所述第三图像中的车牌特征进行识别，获得车牌信息，包括：

利用所述卷积神经网络模型提取所述第三图像中的特征矩阵图；

利用所述长短期记忆网络模型从所述特征矩阵图提取车牌序列，所述车牌序列为包括分隔符的字符串序列；

利用所述关联时序分类模型从所述车牌序列中删除分隔符和重复字符，获得车牌信息。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

确定在所述第一位置获得第二预设分类的车辆的车牌信息，则根据所述第一位置和所述车牌信息生成预警信息；或

确定在预设时间段内在所述第一位置获得车辆的车牌信息，则根据所述第一位置和所述车牌信息生成预警信息。

8.根据权利要求1所述的方法，其特征在于，在所述利用特征金字塔生成模型根据所述融合特征获得特征序列，根据所述特征序列获得包括第一位置的车辆检测信息之后，还包括：

获得第二位置，所述第二位置为图像采集装置的地理位置；

根据所述第二位置、所述图像采集装置的角度和所述图像采集装置的高度，获得相对位置；

根据所述相对位置和所述第一位置，获得所述车辆的地理位置。

9.一种车辆位置获得装置，其特征在于，所述装置包括：

第一图像获得模块，用于获得第一图像，所述第一图像为图像采集装置获得的包括车辆的图像；

融合特征获得模块，用于利用主干网络模型从所述第一图像中提取多个不同层级的特征，将所述多个不同层级的特征进行融合获得融合特征；

第一位置获得模块，用于利用特征金字塔生成模型根据所述融合特征获得包括第一位置的车辆检测信息，所述第一位置为所述车辆在所述第一图像中的位置；

其中，所述特征金字塔生成模型包括：第一卷积层、第二卷积层、边框回归分支和分类分支；所述利用主干网络模型从所述第一图像中提取多个不同层级的特征，将所述多个不同层级的特征进行融合获得融合特征，包括：利用主干网络模型对第一图像进行特征提取后，获得第一特征图；利用所述第一卷积层对第一特征图进行卷积后获得第二特征图，以及利用所述第二卷积层对第一特征图进行卷积后获得第一掩膜图像；根据所述第一掩膜图像中每个像素的像素值确定第二掩膜图像，所述第二掩膜图像包括前景区域以及背景区域；将所述第二特征图的每个通道分别与所述第二掩膜图像相乘后获得第三特征图，将所述第三特征图确定为所述融合特征；

所述车辆检测信息还包括第一位置对应的车辆分类；所述利用特征金字塔生成模型根据所述融合特征获得包括第一位置的车辆检测信息，包括：利用所述边框回归分支预测所述融合特征中包含车辆的边框位置，将所述包含车辆的边框位置确定为第一位置，以及利用所述分类分支预测在所述融合特征中所述第一位置对应的车辆分类。

Images