CN110781863A - 车辆与局部区域位置关系的识别方法、装置及存储介质 - Google Patents

Abstract

本公开涉及基于视觉图像处理的车辆状态识别技术领域，公开了车辆与局部区域位置关系的识别方法，包括以下步骤：获取包含所述车辆以及所述局部区域的图像，对所述图像进行语义分割，获得多个类别的像素集合；对所述像素集合进行线提取，得到第一线段、第二线段和第三线段；按第一预设量，对所述第一线段向外平移，得到第一平移线段；根据所述第一平移线段与所述第三线段的位置关系，输出识别结果。本公开的一些技术效果在于：通过对图像进行处理，获得表示车轮连线位置的第一线段，并据此与表示局部区域边界的第三线段进行位置的比对，通过统计重叠的像素数得到车辆与局部区域的位置关系，该方案灵活性强，并具有较高的准确度。

Description

车辆与局部区域位置关系的识别方法、装置及存储介质

技术领域

本公开涉及基于视觉图像处理的车辆状态识别技术领域，特别涉及车辆与局部区域位置关系的识别方法、装置及存储介质。

背景技术

随着科技创新的发展，汽车在生活中越來越普及，在给人们带来便利的同时也给人们带来日益严重的交通问题，其中违章占用导流区是交通安全事故频发的一个重要原因。导流线的形式主要为一个或几个根据路口地形设置的白色V形线或斜纹线区域，表示车辆必须按规定的路线行驶，不得压线或越线行驶。主要用于过宽、不规则或行驶条件比较复杂的交叉路口，立体交叉的匝道口或其他特殊地点。设置导流线，目的就是要让每一辆车都可以“车行其道”，起到管制、引导、警示交通的作用，从而减少交通事故。在这个背景下，把车辆和道路综合考虑起来，运用高新技术实现对违章占用导流区进行智能识别，有利于智能交通领域的发展，解决道路交通问题。

目前对违章占用导流区车辆进行智能图像识别的形式主要集中在固定的视觉相机上，如固定在卡口，根据固定的相机位置提前划定好导流区位置，对特定场景内的车辆进行违章占用导流区识别。

在固定的视觉相机识别违章占用导流区方面，主要是采用运动前景检测的方法，其主要采用人工标注的方法将不变场景内的导流区标注出来，然后比较其与运动前景的关系。如论文《基于视觉的车辆违章轧线检测跟踪技术研究》，在运动前景检测的基础上,用人工标注的方法将不变场景内的导流区区域预先定义,然后将运动前景掩模和导流区掩模做与运算，再经过校准得到最终结果。采取这样的技术用于判断车辆与导流区的相对位置关系，只适用于特定的场景，而且容易受固定的相机的位置影响，灵活性不强。

事实上，不止导流区，对于许多禁止机动车进入的交通区域(如人行道、自行车道等等)，现有技术一般也是通过类似的方式进行车辆与相关区域的相对位置关系的判断(包括至少部分地落入该相关区域或不完全落入该相关区域)，灵活性不强。

发明内容

为解决前述的至少一个技术问题，本公开在一个方面提出了一种车辆与局部区域位置关系的识别方法，包括以下步骤：获取包含所述车辆以及所述局部区域的图像；根据预设类别，对所述图像进行语义分割，获得多个类别的像素集合；所述像素集合包括第一类集合，后者包括连接所述车辆某边两个轮子的第一像素组；所述像素集合包括第三类集合，后者包括与所述局部区域的对应第三像素组；对所述像素集合进行线提取，得到多条用于表示所述像素集合中不同像素组位置的线段；所述线段包括表示所述第三像素组边缘的位置的第三线段；根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第一线段，用于表示所述第一像素组的位置；按第一预设量，对所述第一线段向外平移，得到第一平移线段；根据所述第一平移线段与所述第三线段的位置关系，输出识别结果。

优选地，所述第一像素组为连接所述车辆一端两个轮子的像素组；所述像素集合还包括第二类集合，后者包括连接所述车辆一侧两个轮子的第二像素组；根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第二线段，用于表示所述第二像素组的位置；按第二预设量，对所述第二线段向外平移，得到第二平移线段；根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系，输出识别结果。

优选地，“对所述像素集合进行线提取”包括以下步骤：将每一类别的所述像素集合进行像素分离，得到对应的二值图；对所述二值图执行闭运算以及区域连通操作，得到多个连通区域；对所述连通区域按过滤阈值进行面积过滤，得到处理后的连通区块；对每一所述连通区块的边缘执行直线拟合操作，根据所述连通区块的最小外接矩形的位置信息，得到对应于每一所述连通区块的线段的信息。

优选地，采用深度学习目标检测方法对所述图像进行处理，获得所述图像中的所述车辆的最小外接矩形的信息，以所述最小外接矩形的信息作为所述车辆在所述图像内的位置信息进行后续操作。

优选地，获取对所述第一类集合提取到的线段的第一中心点坐标，并判断所述第一中心点坐标是否位于所述最小外接矩形内；若是，则选取与所述最小外接矩形中心距离最小的第一中心点坐标对应的线段，将其确认为归属于所述车辆的第一线段；同理，对所述第二类集合提取到的线段进行处理，确认出归属于所述车辆的第二线段。

在一些方面，本公开提出了违章占用导流区的判断方法，包括以下步骤：执行所述的识别方法，其中，所述局部区域为导流区，输出识别结果包括输出提示违章占用的消息；当所述第一平移线段进入所述第三线段范围内的长度超出设定的第一阈值，或当所述第二平移线段进入所述第三线段范围内的长度超出设定的第二阈值时，输出提示违章占用的消息。

优选地，提示违章占用的消息包括对相关车辆的标记信息以及车牌号码信息。

在一些方面，本公开提出了一种执行所述的判断方法的违章提示设备，包括相机、处理器以及显示器；所述相机用于实时拍摄并获取包含了前方车辆以及所述局部区域的图像；所述处理器用于执行所述的判断方法，并将所述提示违章占用的消息发送给所述显示器；所述显示器将所述消息进行显示。

在一些方面，本公开提出了一种车辆与局部区域位置关系的识别装置，包括：图像获取模块，用于获取包含所述车辆以及所述局部区域的图像；语义分割模块，用于通过语义分割的方式将所述图像的像素分成多个类别的像素集合；所述像素集合包括第一类集合，后者包括连接所述车辆一端轮子的第一像素组；所述像素集合包括第二类集合，后者包括连接所述车辆一侧轮子的第二像素组；所述像素集合包括第三类集合，后者包括与所述局部区域的对应第三像素组；线提取模块，用于对所述像素集合进行线提取，得到多条用于表示所述像素集合中不同像素组位置的线段；所述线段包括表示所述第三像素组边缘的位置的第三线段；线归属判断模块，用于根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第一线段、第二线段，它们分别用于表示所述第一像素组、所述第二像素组的位置；线段平移模块，用于按第一预设量，对所述第一线段向外平移，得到第一平移线段，按第二预设量，对所述第二线段向外平移，得到第二平移线段；识别模块，用于根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系，输出识别结果。

在一些方面，本公开提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的识别方法的步骤。

本公开的一些技术效果在于：通过对图像进行处理，获得表示车轮连线位置的第一线段，并据此与表示局部区域边界的第三线段进行位置的比对，通过统计重叠的像素数得到车辆与局部区域的位置关系，该方案灵活性强，并具有较高的准确度。

附图说明

为更好地理解本公开的技术方案，可参考下列的、用于对现有技术或实施例进行辅助说明的附图。这些附图将对现有技术或本公开部分实施例中，涉及到的产品或方法有选择地进行展示。这些附图的基本信息如下：

图1为一个实施例中，第一像素组、第二像素组的示意图；

图2为一个实施例中，第三像素组的示意图；

图3为一个实施例中，第一线段、第二线段、(局部的)第三线段的位置示意图；

图4为一个实施例中，第三线段的示意图；

图5为一个实施例中，最小外接矩形示意图；

图6为一个实施例中，第一线段与第一平移线段位置关系示意图。

上述附图中，附图标记及其所对应的技术特征如下：

10-车辆，11-最小外接矩形，20-第一像素组，21-第一线段，22-第一平移线段，30-第二像素组，31-第二线段，40-第三像素组，41-第三线段，42-虚线。

具体实施方式

下文将对本公开涉及的技术手段或技术效果作进一步的展开描述，显然，所提供的实施例(或实施方式)仅是本公开意旨涵盖的部分实施方式，而并非全部。基于本公开中的实施例以及图文的明示或暗示，本领域技术人员在没有作出创造性劳动的前提下所能获得的所有其他实施例，都将在本公开保护的范围之内。

本公开在一个方面提出了一种车辆与局部区域位置关系的识别方法，包括以下步骤：获取包含所述车辆以及所述局部区域的图像；根据预设类别，对所述图像进行语义分割，获得多个类别的像素集合；所述像素集合包括第一类集合，后者包括连接所述车辆某边(例如前端、后端、左侧或后侧)两个轮子的第一像素组；所述像素集合包括第三类集合，后者包括与所述局部区域的对应第三像素组；对所述像素集合进行线提取，得到多条用于表示所述像素集合中不同像素组位置的线段；所述线段包括表示所述第三像素组边缘的位置的第三线段；根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第一线段，用于表示所述第一像素组的位置；按第一预设量，对所述第一线段向外平移，得到第一平移线段；根据所述第一平移线段与所述第三线段的位置关系，输出识别结果。

需要指出的是，所述识别方法适用于对车辆驶入禁止机动车进入的区域(如非机动车道、导流区等)的行为进行判断，但不限于此，也适用于判断车辆与其他类型的交通区域的相对位置。由此可知，“输出识别结果”会根据具体需求而有所不同。例如，识别结果可以是用户提示用户的提示消息：可以设置一些阈值，判断所述第一平移线段与所述第三线段的位置关系是否为相交(例如一些实施例中，对第一平移线段进入环形的第三线段范围内的长度进行计算，将该长度与设置的阈值进行比较)，可以输出指示车辆驶入某些禁入的区域的识别结果，当小于这些阈值时，可以不作提示；又例如，可以设置一些阈值，当重叠像素数量大于这些阈值时，可以输出指示车辆完全驶入某些允许停车的区域的识别结果。识别结果也可以是不直接作用于用户提示的一些字符(用于记录车辆与局部区域的位置关系)，但这些字符与直接作用于用户提示的提示消息具有关联性，例如字符1对应于车辆没有驶入导流区，字符2对应于车辆驶入导流区。因此，在一些实施例中，识别结果是可以直接为用户感知的信息，如显示出来的文字、图案，或传播的声音，用于提示车辆与局部区域的位置关系；在另一些实施例中，识别结果可以是不能被用户所直接感知的字符(包括代码)，这些字符可以被读取，然后以用户能直接感知的方式告知用户相关情况。此处的用户，包括但不限于交通秩序的维持方、监测方及其相关服务方、相关技术领域的研究者或相关服务的提供者。

事实上，随着科技的发展，深度学习方法(包括图像分割技术)在交通对象识别领域应用已久，如对拍摄到的图像进行车道线的识别、交通灯的识别、导流区的识别、机动车道的识别、车辆的识别等等均有许多现有技术可参考。因此本文提到的对图像中的车辆(或车辆自身部件)或局部区域进行识别、图像分割可以参照众多现有技术进行理解。

所述识别方法中，获取所述图像的方式可以是多样的，例如，可以通过固定的摄像设备对道路和车辆录下视频，然后对视频处理获得所需图像；可以通过固定的相机对道路上的车辆进行拍照，从而获得所需图像；当然也可以通过移动的摄像设备、相机来获取视频或图片，从而得到所述图像。

执行所述识别方法时，需要调用预先经过训练的深度学习模型，运行该深度学习模型能对图像中车辆的一端两个轮子(如前端的左前轮与右前轮，或后端的左后轮与右后轮)之间的像素连线识别为一个类别的像素，该连线为具有一定的像素宽度的线，本领域技术人员可以对该像素宽度(或车辆一侧两个轮子之间的像素连线的像素宽度)进行自定义，例如宽度为5至10个像素之间。深度学习模型可以采用DBN(Deep Belief Network，深度信念网络)、CNN(Convolutional Neural Networks,卷积神经网络)、RNN(Recursive NeuralNetwork，递归神经网络)、LSTM(Long Short-Term Memory,长短期记忆网络)等模型，训练这些模型时，需要对图像中的像素先进行自定义的分类，一般可以将包括“车辆的一端两个轮子之间的像素连线(第一像素组)”的像素作为第一类集合，将包括“车辆的一侧两个轮子(如左侧的左前轮与左后轮，右侧的右前轮与右后轮)之间的像素连线”的像素作为第二类集合，将“局部区域”对应的像素作为第三类集合，将图像的背景对应的像素作为第四类集合。进行分类以及对图像中的不同类别进行标注后，便得到了样本数据，以此作为深度学习模型训练的基础。深度学习模型的其他训练步骤可以采用诸多现有技术，由于并非本申请重点关注的手段，在此不作赘述。

在一个实施例中，语义分割的方法采用FCN((Fully Convolutional Networksfor Semantic Segmentation，全卷积网络)，当然，本领域人员还可以采用其他的语义分割方法，如R-CNN(Region-based Semantic Segmentation，基于区域的语义分割)、Deeplab(它是谷歌公司使用Tensorflow基于CNN开发的语义分割模型)等。

需要说明的是，像素集合包括了多个类别的集合，如第一类集合、第二类集合等。而每个类别的集合又可能分别包括多个像素组，如第一类集合包括了第一像素组，意味着在一些实施例中，第一集合还可能包括图像中的其他位置的像素群，这些像素群也可以认为是一些像素组，它们被深度学习模型解读为与第一像素组具有某些相同的属性。但这些并不影响本申请所述识别方法的识别结果，本领域技术人员也可以通过在前期的深度学习模型的训练过程中提高目标匹配的精确度，来一定程度地避免这种情况的发生。

在一个实施例中，第一类集合、第三类集合、第四类集合的像素组成了前述的像素集合。一个实施例中，第一类集合、第二类集合、第三类集合、第四类集合的像素组成了前述的像素集合。当然，像素集合还可以包括更多的类别的像素。

对像素集合进行线提取，目的是为了得到能代表每个像素组位置或边缘的线段信息，线段信息一般包含了线段的位置信息，即相当于反映出像素宽度较小的像素组(如第一像素组、第二像素组)的位置信息，或反映出像素宽度较大的像素组(如第三像素组)的边缘的位置信息。像素宽度较小或较大可以根据需要进行判断标准，例如一些实施例中，像素宽度小于10个像素可以认为是“较小”，不小于该数可以认为是“较大”；该数还可以取12、15等其他数值。

有了线段信息，便可以方便地对不同像素组的之间位置关系进行精准的判断。

由于在实际情况中，图像中可能存在多辆车的情况，此时会有多个第一像素组，“从所述多条线段中筛选出归属于所述车辆的第一线段”，则可以为特定车辆找到其对应的第一像素组以及对应于该第一像素组的第一线段。当然，也可以同时为图像内所有车辆分别找到其对应的第一像素组以及第一线段。车辆在图像中的位置信息，可以通过现有的多种目标检测的技术而获得，由于并非本申请的重点，在此不作展开。有了车辆的位置信息，则可以筛选出该车辆对应的第一线段，有了该第一线段，则可以通过该第一线段与第三线段(可以理解为局部区域的边界或第三像素组边缘，一般情况下，第三线段是环形封闭的，它的起点和终点相连)的位置关系，从而识别出该车辆与局部区域的位置关系。需要注意的是，若局部区域的部分边界为图像的边界，则该部分的图像边界可以视为第三线段的一部分。

在一个实施例中，所述第一像素组为连接所述车辆一端两个轮子的像素组；所述像素集合还包括第二类集合，后者包括连接所述车辆一侧两个轮子的第二像素组；根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第二线段，用于表示所述第二像素组的位置；按第二预设量，对所述第二线段向外平移，得到第二平移线段；根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系，输出识别结果。该实施例中，一端两个轮子可以是车辆前端的两个轮子(左前轮和右前轮)，也可以是车辆后端的两个轮子(左后轮和右后轮)。步骤“根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系”提到了两种位置关系，在实施中，一般可以分为以下几种情况：

(1)先执行所述第一平移线段与所述第三线段的位置关系的判断，再执行所述第二平移线段与所述第三线段的位置关系的判断；

(2)先执行所述第二平移线段与所述第三线段的位置关系的判断，再执行所述第一平移线段与所述第三线段的位置关系的判断；

(3)同时执行所述第一平移线段与所述第三线段的位置关系的判断，以及所述第二平移线段与所述第三线段的位置关系的判断。

一般来说，在两种位置关系中，只要有一种位置关系表示出第一平移线段或第二平移线段与第三线段存在一定程度的相交的情况，就可以得出“该车辆至少一部分进入了局部区域”的结论了。

一般来说，第一像素组、第二像素组的像素宽度较小，因此第一线段可以是第一像素组的中心线，第二线段可以是第二素组的中心线。

为了更直观地理解一些实施例下一些像素组或线段的位置关系，附图提供了一些参考。图1为一幅图像，图像中包括了车辆10的内容，对图像进行语义分割后，可以得到包含了第一像素组20的第一类集合，包含了第二像素组30的第二类集合。图2则示出了语义分割后，得到的包含了第三像素组40的第三类集合。图3示出了对图1或图2的图像的像素集合进行线提取后，得到的主要元素，即第一线段21，第二线段31，第三线段41(图中示出了部分)。图4示出了较为完整的第三线段41。图5示出了对图像进行深度学习目标检测，得到车辆的最小外接矩形11的情形。

需要注意的是，为提高识别的精确度，以及采取尽可能低的数据运行量，本公开提出了根据第一平移线段与第三线段的位置关系，输出识别结果，即识别车辆与局部区域的位置关系，这相比于根据第一线段与第三线段的位置关系来输出识别结果更加可靠。考虑到在对图像进行处理时，第一像素组是具有一定像素宽度的，此时，图像中代表真实的局部区域的一些部位可能会被处理或识别为第一类集合，或被处理为第一像素组，使得代表局部区域的边缘的第三线段难以充分真实地反映出局部区域的边缘的位置；此时将第一线段向外进行平移，得到第一平移线段，再将第一平移线段与第三线段的位置进行比较，能更有助于获得车辆与局部区域位置关系的更真实的情况。进一步说明，可以将“向外”理解为“向远离该车辆的方向”，如图6所示，图中的Y方向代表了“外”的方向，图6中，向外平移意味着向垂直于第一线段的方向往外平移。一些实施例中，可以按照第一线段中垂线的方向、远离车辆的方向进行平移。在一些实施例，由于第一预设量比较小，不严格按照中垂线的方向，偏差0度到60度也是可以接受的，具体可根据需要进行设计。

图6示出了第一线段21与第一平移线段22的位置关系，图中的虚线42为局部区域的真实的边缘，但经图像分割后，第一像素组20占据了部分局部区域的本身的位置，图像分割后得到的第三像素组40的边缘是不规则的，线提取后得到的是是第三线段41，如果一些情况下直接比较第一线段21与第三线段41的位置关系，难以真实反映出车辆与局部区域的真实位置关系，因此将第一线段21进行平移后再进行位置关系的判断会更可靠。

本领域技术人员可以根据相通的原理来理解对第二线段的平移以及第二平移线段的特征。

一般来说，第一预设量或第二预设量可以取1至2个像素的宽度。第一预设量可以与第二预设量相等，也可以不相等。

在一个实施例中，采用深度学习目标检测方法对所述图像进行处理，获得所述图像中的所述车辆的最小外接矩形的信息，以所述最小外接矩形的信息作为所述车辆在所述图像内的位置信息进行后续操作。例如，可以采用anchor-free的深度学习目标检测方法，其过程主要包括图像编码和图像解码两部分。其中图像编码部分主要采用VGG16作为骨干部分，其主要是反复堆叠3x3的小型卷积核和2x2的最大池化层，为经典的常用分类网络，有利于获取感知野内语义信息。而图像解码采用上采样的方法将编码部分进行放大，其实现为连续进行2倍的反卷积操作，并在解码特征的基础采用1x1的卷积核进行回归预测，其检测的结果如图5所示，得到的结果为该车辆在图像中最小外接矩形11。当图像中有多辆车时，则会得到多个最小外接矩形。

经过语义分割后，可以得到多个像素集合，但考虑到语义分割的结果不一定足以进行不同像素组的位置分析，需要执行线提取的操作，将像素组以线段的形式进行表示。在一个实施例中，“对所述像素集合进行线提取”包括以下步骤：将每一类别的所述像素集合进行像素分离，得到对应的二值图；对所述二值图执行闭运算以及区域连通操作，得到多个连通区域；对所述连通区域按过滤阈值进行面积过滤，得到处理后的连通区块；对每一所述连通区块的边缘执行直线拟合操作，根据所述连通区块的最小外接矩形的位置信息，得到对应于每一所述连通区块的线段的信息。该实施例中，过滤阈值可以取车辆所占图像面积的5％、8％等，当然，本领域技术人员还可以根据需要进行其他的取值。该实施例中，连通区块指的是执行面积过滤步骤后所得到的连通区域。执行直线拟合的操作的目的在于将连通区块的边缘规则化，另外，也是为了将一些被遮挡的边缘通过直线拟合的方式显示出来。

在一个实施例中，所述线段的信息包括线段的两端坐标以及所述线段的直线表示方程。在其他的实施例中，线段的信息可以包括线段的中点坐标或中轴线表示方程。

考虑到图像中可能存在多辆车，即可能存在多条第一线段以及第二线段，在处理某车辆的位置关系识别时，需要从中找出属于该车辆的第一线段以及第二线段。在一个实施例中，获取对所述第一类集合提取到的线段的第一中心点坐标，并判断所述第一中心点坐标是否位于所述最小外接矩形内；若是，则选取与所述最小外接矩形中心距离最小的第一中心点坐标对应的线段，将其确认为归属于所述车辆的第一线段；同理，对所述第二类集合提取到的线段进行处理，确认出归属于所述车辆的第二线段。一种情况如图3所示，第一中心点坐标为第一线段21的中点坐标，通过判断第一中心点坐标是否在最小外接矩形11内，从而判断第一线段21是否归属于该车辆，显然，图中的第一线段21是归属于该车辆的。同理，可以求出第二线段31的第二中心点坐标，即其中点坐标，也可以判断出第二线段31是归属于该车辆的。

在一些方面，本公开提出了违章占用导流区的判断方法，包括以下步骤：执行所述的识别方法，其中，所述局部区域为导流区，输出识别结果包括输出提示违章占用的消息；当所述第一平移线段进入所述第三线段范围内的长度超出设定的第一阈值，或当所述第二平移线段进入所述第三线段范围内的长度超出设定的第二阈值时，输出提示违章占用的消息。“所述第三线段范围”可以理解为第三线段形成的包围的区域范围，本质上代表了局部区域所在的范围。设置第一阈值、第二阈值的意义在于，能够更准确地进行压线情况的识别(因为一些时候第一线段并不能百分百真实地反映出一侧车轮的位置，会有一定误差)。第一阈值、第二阈值的具体数值可以根据实际需要而进行设置，例如第一阈值可以取第一线段长度的五分之一，第二阈值可以取第二线段长度的六分之一。在其他实施例中，第一阈值、第二阈值可以有其他的取值，在此不作过多限制。“输出提示违章占用的消息”在一些实施例中是通过文字或图案显示的方式呈现的，在一些实施例中是通过震动的方式被用户感知的，在一些实施例中是通过声音的方式被用户感知的，本领域技术人员还可以根据消息提示的目的进行更多的手段的选择。

在一个实施例中，提示违章占用的消息包括对相关车辆的标记信息以及车牌号码信息。例如可以是对图像中的车辆的最小外接矩形进行高亮显示，同时在旁边显示其车牌号和时间等。

在一些方面，本公开提出了一种执行所述的判断方法的违章提示设备，包括相机、处理器以及显示器；所述相机用于实时拍摄并获取包含了前方车辆以及所述局部区域的图像；所述处理器用于执行所述的判断方法，并将所述提示违章占用的消息发送给所述显示器；所述显示器将所述消息进行显示。

在一些方面，本公开提出了一种车辆与局部区域位置关系的识别装置，包括：图像获取模块，用于获取包含所述车辆以及所述局部区域的图像；语义分割模块，用于通过语义分割的方式将所述图像的像素分成多个类别的像素集合；所述像素集合包括第一类集合，后者包括连接所述车辆一端轮子的第一像素组；所述像素集合包括第二类集合，后者包括连接所述车辆一侧轮子的第二像素组；所述像素集合包括第三类集合，后者包括与所述局部区域的对应第三像素组；线提取模块，用于对所述像素集合进行线提取，得到多条用于表示所述像素集合中不同像素组位置的线段；所述线段包括表示所述第三像素组边缘的位置的第三线段；线归属判断模块，用于根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第一线段、第二线段，它们分别用于表示所述第一像素组、所述第二像素组的位置；线段平移模块，用于按第一预设量，对所述第一线段向外平移，得到第一平移线段，按第二预设量，对所述第二线段向外平移，得到第二平移线段；识别模块，用于根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系，输出识别结果。

在一些方面，本公开提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的识别方法的步骤。本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。

在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。

另外，多数实施例的描述是基于不同的重点而展开的，未详述之处，可参见现有技术的内容或本文的其他相关描述进行理解。

再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (10)

1.车辆与局部区域位置关系的识别方法，其特征在于，包括以下步骤：

获取包含所述车辆以及所述局部区域的图像；

根据预设类别，对所述图像进行语义分割，获得多个类别的像素集合；

所述像素集合包括第一类集合，后者包括连接所述车辆某边两个轮子的第一像素组；所述像素集合包括第三类集合，后者包括与所述局部区域的对应第三像素组；

对所述像素集合进行线提取，得到多条用于表示所述像素集合中不同像素组边缘的位置的线段；所述线段包括表示所述第三像素组边缘的位置的第三线段；

根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第一线段，用于表示所述第一像素组的位置；

按第一预设量，对所述第一线段向外平移，得到第一平移线段；

根据所述第一平移线段与所述第三线段的位置关系，输出识别结果。

2.根据权利要求1所述的识别方法，其特征在于：

所述第一像素组为连接所述车辆一端两个轮子的像素组；

所述像素集合还包括第二类集合，后者包括连接所述车辆一侧两个轮子的第二像素组；

根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第二线段，用于表示所述第二像素组的位置；

按第二预设量，对所述第二线段向外平移，得到第二平移线段；

根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系，输出识别结果。

3.根据权利要求2所述的识别方法，其特征在于：

“对所述像素集合进行线提取”包括以下步骤：

将每一类别的所述像素集合进行像素分离，得到对应的二值图；

对所述二值图执行闭运算以及区域连通操作，得到多个连通区域；

对所述连通区域按过滤阈值进行面积过滤，得到处理后的连通区块；

对每一所述连通区块的边缘执行直线拟合操作，根据所述连通区块的最小外接矩形的位置信息，得到对应于每一所述连通区块的线段的信息。

4.根据权利要求2所述的识别方法，其特征在于：

采用深度学习目标检测方法对所述图像进行处理，获得所述图像中的所述车辆的最小外接矩形的信息，以所述最小外接矩形的信息作为所述车辆在所述图像内的位置信息进行后续操作。

5.根据权利要求4所述的识别方法，其特征在于：

获取对所述第一类集合提取到的线段的第一中心点坐标，

并判断所述第一中心点坐标是否位于所述最小外接矩形内；

若是，则选取与所述最小外接矩形中心距离最小的第一中心点坐标对应的线段，将其确认为归属于所述车辆的第一线段；

同理，对所述第二类集合提取到的线段进行处理，确认出归属于所述车辆的第二线段。

6.违章占用导流区的判断方法，其特征在于，包括以下步骤：

执行如权利要求2至5所述的识别方法，其中，所述局部区域为导流区，输出识别结果包括输出提示违章占用的消息；

当所述第一平移线段进入所述第三线段范围内的长度超出设定的第一阈值，或当所述第二平移线段进入所述第三线段范围内的长度超出设定的第二阈值时，输出提示违章占用的消息。

7.根据权利要求6所述的判断方法，其特征在于：

所述提示违章占用的消息包括对相关车辆的标记信息以及车牌号码信息。

8.执行如权利要求6所述的判断方法的违章提示设备，其特征在于：

包括相机、处理器以及显示器；

所述相机用于实时拍摄并获取包含了前方车辆以及所述局部区域的图像；

所述处理器用于执行权利要求6所述的判断方法，并将所述提示违章占用的消息发送给所述显示器；

所述显示器将所述消息进行显示。

9.执行权利要求2所述的识别方法的识别装置，包括：

图像获取模块，用于获取包含所述车辆以及所述局部区域的图像；

语义分割模块，用于通过语义分割的方式将所述图像的像素分成多个类别的像素集合；所述像素集合包括第一类集合，后者包括连接所述车辆一端轮子的第一像素组；所述像素集合包括第二类集合，后者包括连接所述车辆一侧轮子的第二像素组；所述像素集合包括第三类集合，后者包括与所述局部区域的对应第三像素组；

线提取模块，用于对所述像素集合进行线提取，得到多条用于表示所述像素集合中不同像素组位置的线段；所述线段包括表示所述第三像素组边缘的位置的第三线段；

线归属判断模块，用于根据所述车辆在所述图像内的位置信息，分别从所述多条线段中筛选出归属于所述车辆的第一线段、第二线段，它们分别用于表示所述第一像素组、所述第二像素组的位置；

线段平移模块，用于按第一预设量，对所述第一线段向外平移，得到第一平移线段，按第二预设量，对所述第二线段向外平移，得到第二平移线段；

识别模块，用于根据所述第一平移线段与所述第三线段的位置关系，结合所述第二平移线段与所述第三线段的位置关系，输出识别结果。

10.计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至5中任一所述的识别方法的步骤。

Images