CN114332140A - 一种交通道路场景图像的处理方法 - Google Patents

Abstract

本发明提供了一种交通道路场景图像的处理方法，包括：将交通道路场景图像输入图像语义分割模型，获取语义分割蒙版图像，语义分割蒙版图像包括多个蒙版；针对每个蒙版对应的连通区域，使用多边形轮廓框取其外边界，多边形轮廓框由在连通区域的外周沿拾取的多个边界像素点顺次连线形成，且沿语义分割蒙版图像的高度方向上的任意相邻两个边界像素点的高度距离相等；沿多边形轮廓裁取蒙版以作为用于交通违法检测或交通道路遗撒物检测的待测图片单元。本发明解决将现有技术中的蒙版提取方法应用于交通道路场景，完全违背了交通违法检测过程以及交通道路遗撒物检测过程的经济性、高效性和便捷性的需求的问题。

Description

一种交通道路场景图像的处理方法

技术领域

本发明涉及计算机视觉图像处理技术领域，具体而言，涉及一种交通道路场景图像的处理方法。

背景技术

现有的计算机视觉领域中，场景理解是通过传感器对观察到的3D动态场景进行感知、分析和解释的过程,将来自感知环境的传感器的信号信息与训练好的用来理解场景的模型进行匹配。

在交通道路场景中，交通道路场景对于智慧交通管控非常重要，通过智慧交通算法能够理解当前监视的交通道路场景下的各种元素，例如：行车道、应急车道、匝道口导流区、人行道等，通过对不同元素的正确区分和理解，有利于进行准确的交通违法抓拍以及进行合理的交通道路遗撒物检测判断，以提升对交通管控的智能化程度。

现有计算机视觉图像处理技术中，自深度学习方法广泛应用后，场景理解的问题通常使用图像分割算法进行解决，即利用图像语义分割模型将输入其的场景图像中的属于同一类物体或同一个体划分在一起，进而输出多个像素团，每个像素团由一堆不同类别的像素点组成，像素团也称为蒙版（mask），通过不同的蒙版区分场景图像中的不同事物。

但在交通违法检测以及交通道路遗撒物检测中，仅仅利用交通道路场景图像的蒙版区分出交通道路场景下的各种元素是远远无法满足需求的，还需要沿蒙版轮廓将蒙版由场景图像中提取，进而通过判断蒙版之间的像素团交叠情况，以实现交通违法检测或交通道路遗撒物检测；例如通过判断车辆与应急车道对应的蒙版之间的像素团交叠情况，从而判断车辆是否存在占用应急车道的交通违法行为。

现有的蒙版提取方法，主要使用opencv工具包的findContours函数，运用大量的图形图像学方法获取蒙版的连通区域的多边形轮廓，进而沿多边形轮廓实现蒙版由场景图像中的提取。但上述方法的计算过程十分精细，甚至能够将图像语义分割模型输出的微小面积的误检蒙版提取出，这对于宏观的交通道路场景来说是完全没有必要的，而且还需要对此类微小蒙版进行额外过滤，可见，现有的蒙版提取方法对于海量交通道路场景图像的处理消耗的计算量极其庞大；不仅如此，findContours函数算法在处理场景图像时还存在耗时过长的问题；由此可知，将现有的蒙版提取方法应用于交通道路场景，完全违背了交通违法检测过程以及交通道路遗撒物检测过程的经济性、高效性和便捷性的需求。

发明内容

本发明的主要目的在于提供一种交通道路场景图像的处理方法，以解决将现有技术中的蒙版提取方法应用于交通道路场景，完全违背了交通违法检测过程以及交通道路遗撒物检测过程的经济性、高效性和便捷性的需求的问题。

为了实现上述目的，本发明提供了一种交通道路场景图像的处理方法，包括：步骤S1，将交通道路场景图像输入图像语义分割模型，获取语义分割蒙版图像，语义分割蒙版图像包括多个蒙版，各蒙版由具有相同标签的多个像素点组成的连通区域表征；步骤S2，针对每个蒙版对应的连通区域，使用多边形轮廓框取其外边界，多边形轮廓框由在连通区域的外周沿拾取的多个边界像素点顺次连线形成，且沿语义分割蒙版图像的高度方向上的任意相邻两个边界像素点的高度距离相等；步骤S3，沿多边形轮廓裁取蒙版以作为用于交通违法检测或交通道路遗撒物检测的待测图片单元。

进一步地，在步骤S2中，在语义分割蒙版图像的高度方向上，由语义分割蒙版图像的底端像素行至其顶端像素行每间隔m个像素距离进行像素行的像素点遍历，迭代获取多个蒙版中标签对应第X类蒙版的连通区域的边界像素点。

进一步地，第X类蒙版的连通区域的所有边界像素点包括左侧像素点集群L和右侧像素点集群R，其中，L={l₁、l₂、l₃…l_n} ，R={r₁、r₂、r₃…r_n}，其中，l_n为左侧像素点集群L中的第n个左侧边界像素点，r_n为右侧像素点集群R中的第n个右侧边界像素点。

进一步地，第X类蒙版为主干道区域蒙版、应急车道区域蒙版、人行道区域蒙版、匝道口导流区域蒙版和绿化带区域蒙版中的一种。

进一步地，重复步骤S2，直至获取语义分割蒙版图像中所有主干道区域蒙版、应急车道区域蒙版、人行道区域蒙版、匝道口导流区域蒙版和绿化带区域蒙版的多边形轮廓框。

进一步地，获取左侧像素点集群L的步骤包括：拾取左侧边界像素点l_i，其中，1≤i≤n；包括：在语义分割蒙版图像的宽度方向上从左向右沿像素行进行像素点遍历，直至找到标签对应第X类蒙版的第一个边界像素点p；当i=1时，将得到边界像素点p识别为第一个左侧边界像素点l₁，添加入左侧像素点集群L；当2≤i≤n时，对得到边界像素点p进行连通性判断：当判定边界像素点p与当前的左侧像素点集群L中的任意一个边界像素点或当前的右侧像素点集群R中的任意一个边界像素点连通时，将得到边界像素点p识别为第i个左侧边界像素点l_i后加入左侧像素点集群L，当判定边界像素点p与当前的左侧像素点集群L中的所有边界像素点以及当前的右侧像素点集群R中的所有边界像素点均不连通时，舍弃后继续向右进行像素点遍历，直至找到判定连通的边界像素点p；当完成整行像素行的像素点遍历后，未找到判定连通的边界像素点p，则进入下一行像素行进行像素点遍历，直至找到判定连通的边界像素点p；获取右侧像素点集群R的步骤包括：拾取与左侧边界像素点l_i在同一像素行中对应的右侧边界像素点r_i，其中，1≤i≤n；包括：在语义分割蒙版图像的宽度方向上从右向左沿像素行进行像素点遍历，直至找到标签对应第X类蒙版的第一个边界像素点q；对得到边界像素点q进行连通性判断：当判定边界像素点q与当前的左侧像素点集群L中的任意一个边界像素点或当前的右侧像素点集群R中的任意一个边界像素点连通时，将得到边界像素点p识别为第i个右侧边界像素点r_i后加入右侧像素点集群R，当判定边界像素点q与当前的左侧像素点集群L中的所有边界像素点以及当前的右侧像素点集群R中的所有边界像素点均不连通时，舍弃后继续向左进行像素点遍历，直至找到判定连通的边界像素点q；当完成整行像素行的像素点遍历后，未找到判定连通的边界像素点q，则从左侧像素点集群L中删除对应的左侧边界像素点l_i，进入下一行像素行进行像素点遍历，直至找到判定连通的边界像素点q。

进一步地，进行边界像素点p或q的连通性判断的步骤包括：步骤S211，在语义分割蒙版图像上，将边界像素点p或q与左侧像素点集群L中的边界像素点连线或与右侧像素点集群R中的边界像素点连线；步骤S212，对连线形成的直线段所经过的所有像素点进行标签检测：当直线段经过的所有像素点的标签均为对应第X类蒙版的标签时，判定边界像素点p或q与当前的左侧像素点集群L或当前的右侧像素点集群R连通；当直线段经过的像素点的标签存在对应第X类蒙版以外的蒙版的标签时，判定边界像素点p或q与当前的左侧像素点集群L或当前的右侧像素点集群R不连通。

进一步地，当第X类蒙版为多个时，在得到的边界像素点p或q进行连通性判断之前，还需要边界像素点p或q进行位置判断：当边界像素点p或q位于已得的各第X类蒙版的多边形轮廓框的内部或其边界线上时，舍弃后继续沿像素行进行像素点遍历；当边界像素点p或q位于已得的各第X类蒙版的多边形轮廓框的外部时，对其进行连通性判断。

进一步地，对边界像素点p进行位置判断的步骤包括：步骤S201，获取边界像素点p的横坐标w_p，以及获取已得第X类蒙版的多边形轮廓框框取的多边形区域的最小横坐标w_min和最大横坐标w_max；当w_p＞w_max或w_p＜w_min时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的外部；当w_min≤w_p≤w_max时，执行步骤S202；步骤S202，获取边界像素点p的纵坐标h_p，并在已得的第X类蒙版的连通区域的左侧像素点集群L找到对应于h=h_p的左侧边界像素点，获取该点的横坐标w_lp1，以及在已得的第X类蒙版的连通区域的右侧像素点集群R找到对应于h=h_p的右侧边界像素点，获取该点的横坐标w_rp1；当w_p＞w_rp1或w_p＜w_lp1时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的外部；当w_lp1≤w_p≤w_rp1时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的内部或其边界线上；当已得的第X类蒙版的连通区域的左侧像素点集群L中未找到对应于h=h_p的左侧边界像素点时，或当已得的第X类蒙版的连通区域的右侧像素点集群R中未找到对应于h=h_p的右侧边界像素点时，执行步骤S203； 步骤S203，获取已得的第X类蒙版的多边形轮廓框与直线h=h_p交点的横坐标w_lp2和横坐标w_rp2，当w_p＞w_rp2或w_p＜w_lp2时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的外部；当w_lp2≤w_p≤w_rp2时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的内部或其边界线上；对边界像素点q进行位置判断的步骤包括：步骤S201’，获取边界像素点q的横坐标w_q，以及获取已得第X类蒙版的多边形轮廓框框取的多边形区域的最小横坐标w_min和最大横坐标w_max；当w_q＞w_max或w_q＜w_min时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的外部；当w_min≤w_q≤w_max时，执行步骤S202’；步骤S202’，获取边界像素点q的纵坐标h_q，并在已得的第X类蒙版的连通区域的左侧像素点集群L找到对应于h=h_q的左侧边界像素点，获取该点的横坐标w_lq1，以及在已得的第X类蒙版的连通区域的右侧像素点集群R找到对应于h=h_q的右侧边界像素点，获取该点的横坐标w_rq1；当w_q＞w_rq1或w_q＜w_lq1时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的外部；当w_lq1≤w_q≤w_rq1时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的内部或其边界线上；当已得的第X类蒙版的连通区域的左侧像素点集群L中未找到对应于h=h_q的左侧边界像素点时，或当已得的第X类蒙版的连通区域的右侧像素点集群R中未找到对应于h=h_q的右侧边界像素点时，执行步骤S203’； 步骤S203’，获取已得的第X类蒙版的多边形轮廓框与直线h=h_q交点的横坐标w_lq2和横坐标w_rq2，当w_q＞w_rq2或w_q＜w_lq2时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的外部；当w_lq2≤w_q≤w_rq2时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的内部或其边界线上。

进一步地，m个像素距离的取值范围为[20,40]。

应用本发明的技术方案，优化了蒙版由语义分割蒙版图像中的提取方法，提供了一种针对交通道路这一特定场景的语义分割蒙版图像的后处理算法，能够快速获取用于对语义分割蒙版图像中的每个蒙版所对应的连通区域进行框取的多边形轮廓框，利用多边形轮廓能够便捷地裁取蒙版，以作为用于交通违法检测或交通道路遗撒物检测的待测图片单元。其中，多边形轮廓框是由多个边界像素点顺次连线形成，且在语义分割蒙版图像的高度方向上的任意相邻两个边界像素点的高度距离相等，这样有利于快速拾取边界像素点，获得多边形轮廓框，而多边形轮廓框作为裁切蒙版的连通区域的框架，其边沿平直，避免了严格按照蒙版的连通区域的复杂轮廓的外周沿裁切；相当于在交通道路场景中，运用了先验知识，对原有的蒙版提取算法进行了精简，在确保不影响交通违法检测或交通道路遗撒物检测结果的前提下，大幅度提高了交通道路场景的分割算法的后处理速度，极大地增加了对交通道路场景理解的可行性；提升了交通违法检测过程以及交通道路遗撒物检测过程的经济性、高效性和便捷性。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了实施本发明的交通道路场景图像的处理方法的流程图；

图2示出了用于本发明的交通道路场景图像的处理方法的一种可选实施例的交通道路场景图像；

图3示出了使用语义分割蒙版图像对图2的交通道路场景图像进行语义分割后得到的语义分割蒙版图像；

图4示出了一种可选实施例的使用多边形轮廓框框取图3的语义分割蒙版图像中一类蒙版对应的连通区域后的示意图；

图5示出了图4的语义分割蒙版图像中一类蒙版对应的连通区域的多边形轮廓框的分析示意图；

图6示出了一种可选实施例的利用图3的语义分割蒙版图像获取一类蒙版的多边形轮廓框的过程解析图；

图7示出了另一种可选实施例的利用图3的语义分割蒙版图像获取一类蒙版的多边形轮廓框的过程解析图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”、“和”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了解决了现有技术中的蒙版提取方法应用于交通道路场景，完全违背了交通违法检测过程以及交通道路遗撒物检测过程的经济性、高效性和便捷性的需求的问题，本发明提供了一种一种交通道路场景图像的处理方法。

图1是根据本发明实施例的交通道路场景图像的处理方法的流程图。如图1所示，该方法包括步骤如下：步骤S1，将交通道路场景图像输入图像语义分割模型，获取语义分割蒙版图像，语义分割蒙版图像包括多个蒙版，各蒙版由具有相同标签的多个像素点组成的连通区域表征；步骤S2，针对每个蒙版对应的连通区域，使用多边形轮廓框取其外边界，多边形轮廓框由在连通区域的外周沿拾取的多个边界像素点顺次连线形成，且沿语义分割蒙版图像的高度方向上的任意相邻两个边界像素点的高度距离相等；步骤S3，沿多边形轮廓裁取蒙版以作为用于交通违法检测或交通道路遗撒物检测的待测图片单元。

本发明优化了蒙版由语义分割蒙版图像中的提取方法，提供了一种针对交通道路这一特定场景的语义分割蒙版图像的后处理算法，能够快速获取用于对语义分割蒙版图像中的每个蒙版所对应的连通区域进行框取的多边形轮廓框，利用多边形轮廓能够便捷地裁取蒙版，以作为用于交通违法检测或交通道路遗撒物检测的待测图片单元。其中，多边形轮廓框是由多个边界像素点顺次连线形成，且在语义分割蒙版图像的高度方向上的任意相邻两个边界像素点的高度距离相等，这样有利于快速拾取边界像素点，获得多边形轮廓框，而多边形轮廓框作为裁切蒙版的连通区域的框架，其边沿平直，避免了严格按照蒙版的连通区域的复杂轮廓的外周沿裁切；相当于在交通道路场景中，运用了先验知识，对原有的蒙版提取算法进行了精简，在确保不影响交通违法检测或交通道路遗撒物检测结果的前提下，大幅度提高了交通道路场景的分割算法的后处理速度，极大地增加了对交通道路场景理解的可行性；提升了交通违法检测过程以及交通道路遗撒物检测过程的经济性、高效性和便捷性。

在本发明的一个可选图示实施例中，如图2所示，为一张交通道路场景图像，该交通道路场景图像为高速公路场景图像，将其输入图像语义分割模型进行语义分割后得到的语义分割蒙版图像如图3所示。在图2中，包括的交通道路场景下的元素有：绿化带、应急车道、主干道、车道线；因此，将图2进行语义分割后得到的语义分割蒙版图像对应的绿化带区域蒙版有3个（图中的X₁类蒙版）、应急车道区域蒙版有两个（图中的X₂类蒙版），主干道区域蒙版有两个（图中的X₃类蒙版）和多个车道线区域蒙版，各蒙版均由带有不同标签的像素点组成的像素团形成的连通区域表示，在图3中以不同灰度的区域表示不同类的蒙版，当然也可以用不同颜色的区域表示不同类的蒙版。也就是说，一类蒙版内的像素团的全部像素点被赋予区别于其余蒙版的像素点的标签。需要说明的是，为了简化计算，在本实施例中，可以将车道线区域蒙版与主干道区域蒙版的像素标签标注相同，这样相当于车道线也为主干道的一部分，多边形轮廓框会将两者同时框取。

在本发明中，在步骤S2中，在语义分割蒙版图像的高度方向上，由语义分割蒙版图像的底端像素行至其顶端像素行每间隔m个像素距离进行像素行的像素点遍历，迭代获取多个蒙版中标签对应第X类蒙版的连通区域的边界像素点。可选地，m个像素距离的取值范围为[20,40]。在本发明的图示实施例中，m的取值为30。需要说明的是，在本发明图2至图7的图示实施例中，交通道路场景图像和语义分割蒙版图像的高度方向及宽度方向相同，高度方向为图示的纵向（h方向），宽度方向为图示的横向（w方向）。通过间隔m个像素距离获取边界像素点，使得后续的使用多边形轮廓框框取蒙版的连通区域的操作的计算量得以大幅度弱化，提升了蒙版分割的效率。

可选地，第X类蒙版为主干道区域蒙版、应急车道区域蒙版、人行道区域蒙版、匝道口导流区域蒙版和绿化带区域蒙版中的一种。在本图示实施例中未涉及人行道区域蒙版和匝道口导流区域。

本实施例中，如图4所示，对于第X类蒙版的连通区域的所有边界像素点包括左侧像素点集群L和右侧像素点集群R，其中，L={l₁、l₂、l₃…l_n} ，R={r₁、r₂、r₃…r_n}，其中，l_n为左侧像素点集群L中的第n个左侧边界像素点，rn为右侧像素点集群R中的第n个右侧边界像素点。为了便于理解，本图示实施例中，如图4和图5所示，仅示出了对X₃类蒙版，即主干道区域蒙版（包括了主干道区域和车道线区域）使用了多边形轮廓框框取其连通区域，其余的X₁类蒙版（绿化带区域蒙版）和X₂类蒙版（应急车道区域蒙版）的连通区域未显示多边形轮廓框；且图中有两个主干道区域蒙版（X₃类蒙版），分别使用多边形轮廓框B₁和个左侧边界像素点B₂框取了其连通区域，且仅对其中的位于图中左侧的一个主干道区域蒙版的左侧像素点集群L和右侧像素点集群R进行了标注。在本实施例中，左侧像素点集群L包括10个左侧边界像素点，对应地，右侧像素点集群R包括10个右侧边界像素点，即n=10。

各类蒙版的连通区域的多边形轮廓框通过重复步骤S2得到，即，重复步骤S2直至获取语义分割蒙版图像中所有主干道区域蒙版、应急车道区域蒙版、人行道区域蒙版、匝道口导流区域蒙版和绿化带区域蒙版的多边形轮廓框。

如图5和图6所示，获取左侧像素点集群L的步骤包括：

拾取左侧边界像素点l_i，其中，1≤i≤n；包括：在语义分割蒙版图像的宽度方向上从左向右沿像素行进行像素点遍历，直至找到标签对应第X类蒙版的第一个边界像素点p；

当i=1时，将得到边界像素点p识别为第一个左侧边界像素点l1，添加入左侧像素点集群L；

当2≤i≤n时，对得到边界像素点p进行连通性判断：

当判定边界像素点p与当前的左侧像素点集群L中的任意一个边界像素点或当前的右侧像素点集群R中的任意一个边界像素点连通时，将得到边界像素点p识别为第i个左侧边界像素点l_i后加入左侧像素点集群L，

当判定边界像素点p与当前的左侧像素点集群L中的所有边界像素点以及当前的右侧像素点集群R中的所有边界像素点均不连通时，舍弃后继续向右进行像素点遍历，直至找到判定连通的边界像素点p；

当完成整行像素行的像素点遍历后，未找到判定连通的边界像素点p，则进入下一行像素行进行像素点遍历，直至找到判定连通的边界像素点p。

在该步骤中，是考虑了如下先验知识：在交通道路场景中，用于摄取交通道路场景图像的摄像装置通常被安装在交通道路的正上方，以向下的拍摄视角倾斜俯视或正俯视交通道路的路面，因此，主干道区域、应急车道区域、人行道区域等通常都会从交通道路场景图像的底部开始出现，向远方延伸，而根据距离摄像装置近大远小的成像原理，交通道路场景图像底部的路面会比交通道路场景图像顶部的路面占据交通道路场景图像的宽度更多，此时图像语义分割模型更加不容易发生误检，因此从交通道路场景图像的底部开始寻找左侧边界像素点，找到的多边形轮廓框更符合实际交通道路的路面情况。而对边界像素点p进行连通性判断，能够避免因图像语义分割模型可能存在的分割结果、或交通道路场景图像存在多个同类蒙版的连通区域而造成的错误判定，有利于精准地找到左侧边界像素点。

如图6所示，进行边界像素点p的连通性判断的步骤包括：

步骤S211，在语义分割蒙版图像上，将边界像素点p与左侧像素点集群L中的边界像素点连线（如图6中的直线段c₁）或与右侧像素点集群R中的边界像素点连线（如图6中的直线段c₂）；

步骤S212，对连线形成的直线段所经过的所有像素点进行标签检测：

当直线段经过的所有像素点的标签均为对应第X类蒙版的标签时，判定边界像素点p与当前的左侧像素点集群L连通；当直线段经过的像素点的标签存在对应第X类蒙版以外的蒙版的标签时，判定边界像素点p与当前的左侧像素点集群L不连通。

如图5和图7所示，获取右侧像素点集群R的步骤包括：

拾取与左侧边界像素点l_i在同一像素行中对应的右侧边界像素点r_i，其中，1≤i≤n；包括：在语义分割蒙版图像的宽度方向上从右向左沿像素行进行像素点遍历，直至找到标签对应第X类蒙版的第一个边界像素点q；

对得到边界像素点q进行连通性判断：

当判定边界像素点q与当前的左侧像素点集群L中的任意一个边界像素点或当前的右侧像素点集群R中的任意一个边界像素点连通时，将得到边界像素点p识别为第i个右侧边界像素点r_i后加入右侧像素点集群R，

当判定边界像素点q与当前的左侧像素点集群L中的所有边界像素点以及当前的右侧像素点集群R中的所有边界像素点均不连通时，舍弃后继续向左进行像素点遍历，直至找到判定连通的边界像素点q；

当完成整行像素行的像素点遍历后，未找到判定连通的边界像素点q，则从左侧像素点集群L中删除对应的左侧边界像素点li，进入下一行像素行进行像素点遍历，直至找到判定连通的边界像素点q。

同样地，对边界像素点q进行连通性判断，能够避免因图像语义分割模型可能存在的分割结果、或交通道路场景图像存在多个同类蒙版的连通区域而造成的错误判定，有利于精准地找到右侧边界像素点。

如图7所示，进行边界像素点q的连通性判断的步骤包括：

步骤S211，在语义分割蒙版图像上，将边界像素点q与左侧像素点集群L中的边界像素点连线（如图7中的直线段d₁）或与右侧像素点集群R中的边界像素点连线（如图7中的直线段d₂）；

步骤S212，对连线形成的直线段所经过的所有像素点进行标签检测：

当直线段经过的所有像素点的标签均为对应第X类蒙版的标签时，判定边界像素点p或q与当前的左侧像素点集群L或当前的右侧像素点集群R连通；

当直线段经过的像素点的标签存在对应第X类蒙版以外的蒙版的标签时，判定边界像素点q与当前的左侧像素点集群L或当前的右侧像素点集群R不连通。

如图6和图7所示，当第X类蒙版为多个时（图示中为两个主干道区域蒙版），在得到的边界像素点p或q进行连通性判断之前，还需要边界像素点p或q进行位置判断：

当边界像素点p或q位于已得的各第X类蒙版的多边形轮廓框的内部或其边界线上时，舍弃后继续沿像素行进行像素点遍历；

当边界像素点p或q位于已得的各第X类蒙版的多边形轮廓框的外部时，对其进行连通性判断。

具体而言，如图6所示，对边界像素点p进行位置判断的步骤包括：

步骤S201，获取边界像素点p的横坐标w_p，以及获取已得第X类蒙版的多边形轮廓框框取的多边形区域的最小横坐标w_min和最大横坐标w_max；当w_p＞w_max或w_p＜w_min时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的外部；当w_min≤w_p≤w_max时，执行步骤S202；

步骤S202，获取边界像素点p的纵坐标h_p，并在已得的第X类蒙版的连通区域的左侧像素点集群L找到对应于h=h_p的左侧边界像素点，获取该点的横坐标w_lp1，以及在已得的第X类蒙版的连通区域的右侧像素点集群R找到对应于h=h_p的右侧边界像素点，获取该点的横坐标w_rp1；当w_p＞w_rp1或w_p＜w_lp1时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的外部；当w_lp1≤w_p≤w_rp1时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的内部或其边界线上；当已得的第X类蒙版的连通区域的左侧像素点集群L中未找到对应于h=h_p的左侧边界像素点时，或当已得的第X类蒙版的连通区域的右侧像素点集群R中未找到对应于h=h_p的右侧边界像素点时，执行步骤S203；

步骤S203，获取已得的第X类蒙版的多边形轮廓框与直线h=h_p交点的横坐标w_lp2和横坐标w_rp2，当w_p＞w_rp2或w_p＜w_lp2时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的外部；当w_lp2≤w_p≤w_rp2时，判定边界像素点p位于已得第X类蒙版的多边形轮廓框的内部或其边界线上。

需要说明的是，在本图示实施例中，如图6所示，边界像素点p的横坐标为w_p，边界像素点p的纵坐标h_p为H-6×m，其中H为语义分割蒙版图像的高度。

对边界像素点q进行位置判断的步骤包括：

步骤S201’，获取边界像素点q的横坐标w_q，以及获取已得第X类蒙版的多边形轮廓框框取的多边形区域的最小横坐标w_min和最大横坐标w_max；当w_q＞w_max或w_q＜w_min时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的外部；当w_min≤w_q≤w_max时，执行步骤S202’；

步骤S202’，获取边界像素点q的纵坐标h_q，并在已得的第X类蒙版的连通区域的左侧像素点集群L找到对应于h=h_q的左侧边界像素点，获取该点的横坐标w_lq1，以及在已得的第X类蒙版的连通区域的右侧像素点集群R找到对应于h=h_q的右侧边界像素点，获取该点的横坐标w_rq1；当w_q＞w_rq1或w_q＜w_lq1时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的外部；当w_lq1≤w_q≤w_rq1时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的内部或其边界线上；当已得的第X类蒙版的连通区域的左侧像素点集群L中未找到对应于h=h_q的左侧边界像素点时，或当已得的第X类蒙版的连通区域的右侧像素点集群R中未找到对应于h=h_q的右侧边界像素点时，执行步骤S203’；

步骤S203’，获取已得的第X类蒙版的多边形轮廓框与直线h=h_q交点的横坐标w_lq2和横坐标w_rq2，当w_q＞w_rq2或w_q＜w_lq2时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的外部；当w_lq2≤w_q≤w_rq2时，判定边界像素点q位于已得第X类蒙版的多边形轮廓框的内部或其边界线上。

需要补充的是，本发明中的交通道路场景图像的处理方法概述和图示虽然以主干道区域为例，但实际算法只需要替换遍历蒙版时搜寻的标签值便可以自由的切换到寻找其他蒙版，例如应急车道区域蒙版，匝道口导流区域蒙版等等。除此之外，虽然本发明使用的应用场景例图（图1）为高速公路场景，但本发明也可适用于其他任何需要提取交通道路场景。

步骤S2所提出的由多根连线判定连通性的方法简单直接，但是在交通道路场景下尤为有效，其原因在于：交通道路场景中，不论是主干道区域还是应急车道区域都是长条状的凸多边形居多，不存在过于复杂的图案结构，因此区域中边界两个边界像素点的连线通常会全部在区域内部，用连线上点的标签作为判断依据是非常有效的。而且即使出现道路拐弯导致多边形变为凹多边形的情况，也可以通过多个直线段的判定防止连通性判断错误。

拾取左侧边界像素点和拾取右侧边界像素点的步骤中，在非纵坐标为H的像素行寻找左侧边界像素点可以不必从0开始找到语义分割蒙版图像的宽度W为止，而可以限定搜索范围，这是由于在已知前一像素行的左侧边界像素点位置时，下一像素行的交通道路的路面区域的左侧边界像素点并不会相对上一像素行的左侧边界像素点偏移过远，这是交通道路的连贯性导致的。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种交通道路场景图像的处理方法，其特征在于，包括：

步骤S1，将交通道路场景图像输入图像语义分割模型，获取语义分割蒙版图像，所述语义分割蒙版图像包括多个蒙版，各蒙版由具有相同标签的多个像素点组成的连通区域表征；

步骤S2，针对每个所述蒙版对应的连通区域，使用多边形轮廓框取其外边界，所述多边形轮廓框由在所述连通区域的外周沿拾取的多个边界像素点顺次连线形成，且沿所述语义分割蒙版图像的高度方向上的任意相邻两个所述边界像素点的高度距离相等；

步骤S3，沿所述多边形轮廓裁取所述蒙版以作为用于交通违法检测或交通道路遗撒物检测的待测图片单元。

2.根据权利要求1所述的交通道路场景图像的处理方法，其特征在于，在所述步骤S2中，在所述语义分割蒙版图像的高度方向上，由所述语义分割蒙版图像的底端像素行至其顶端像素行每间隔m个像素距离进行像素行的像素点遍历，迭代获取多个所述蒙版中标签对应第X类蒙版的连通区域的边界像素点。

3.根据权利要求2所述的交通道路场景图像的处理方法，其特征在于，所述第X类蒙版的连通区域的所有边界像素点包括左侧像素点集群L和右侧像素点集群R，其中，L={l₁、l₂、l₃…l_n} ，R={r₁、r₂、r₃…r_n}，其中，l_n为所述左侧像素点集群L中的第n个左侧边界像素点，r_n为所述右侧像素点集群R中的第n个右侧边界像素点。

4.根据权利要求3所述的交通道路场景图像的处理方法，其特征在于，所述第X类蒙版为主干道区域蒙版、应急车道区域蒙版、人行道区域蒙版、匝道口导流区域蒙版和绿化带区域蒙版中的一种。

5.根据权利要求4所述的交通道路场景图像的处理方法，其特征在于，重复所述步骤S2，直至获取所述语义分割蒙版图像中所有所述主干道区域蒙版、所述应急车道区域蒙版、所述人行道区域蒙版和所述匝道口导流区域蒙版的所述多边形轮廓框。

6.根据权利要求3所述的交通道路场景图像的处理方法，其特征在于，

获取所述左侧像素点集群L的步骤包括：

拾取左侧边界像素点l_i，其中，1≤i≤n；包括：在所述语义分割蒙版图像的宽度方向上从左向右沿所述像素行进行像素点遍历，直至找到标签对应所述第X类蒙版的第一个边界像素点p；

当i=1时，将得到所述边界像素点p识别为第一个左侧边界像素点l₁，添加入左侧像素点集群L；

当2≤i≤n时，对得到所述边界像素点p进行连通性判断：

当判定所述边界像素点p与当前的左侧像素点集群L中的任意一个边界像素点或当前的右侧像素点集群R中的任意一个边界像素点连通时，将得到所述边界像素点p识别为第i个左侧边界像素点l_i后加入左侧像素点集群L，

当判定所述边界像素点p与当前的左侧像素点集群L中的所有边界像素点以及当前的右侧像素点集群R中的所有边界像素点均不连通时，舍弃后继续向右进行像素点遍历，直至找到判定连通的所述边界像素点p；

当完成整行所述像素行的像素点遍历后，未找到判定连通的所述边界像素点p，则进入下一行所述像素行进行像素点遍历，直至找到判定连通的所述边界像素点p；

获取所述右侧像素点集群R的步骤包括：

拾取与所述左侧边界像素点l_i在同一像素行中对应的右侧边界像素点r_i，其中，1≤i≤n；包括：在所述语义分割蒙版图像的宽度方向上从右向左沿所述像素行进行像素点遍历，直至找到标签对应所述第X类蒙版的第一个边界像素点q；

对得到所述边界像素点q进行连通性判断：

当判定所述边界像素点q与当前的左侧像素点集群L中的任意一个边界像素点或当前的右侧像素点集群R中的任意一个边界像素点连通时，将得到所述边界像素点p识别为第i个右侧边界像素点r_i后加入右侧像素点集群R，

当判定所述边界像素点q与当前的左侧像素点集群L中的所有边界像素点以及当前的右侧像素点集群R中的所有边界像素点均不连通时，舍弃后继续向左进行像素点遍历，直至找到判定连通的所述边界像素点q；

当完成整行所述像素行的像素点遍历后，未找到判定连通的所述边界像素点q，则从左侧像素点集群L中删除对应的所述左侧边界像素点l_i，进入下一行所述像素行进行像素点遍历，直至找到判定连通的所述边界像素点q。

7.根据权利要求6所述的交通道路场景图像的处理方法，其特征在于，进行所述边界像素点p或q的连通性判断的步骤包括：

步骤S211，在所述语义分割蒙版图像上，将所述边界像素点p或q与左侧像素点集群L中的边界像素点连线或与右侧像素点集群R中的边界像素点连线；

步骤S212，对连线形成的直线段所经过的所有像素点进行标签检测：

当所述直线段经过的所有像素点的标签均为对应所述第X类蒙版的标签时，判定边界像素点p或q与当前的左侧像素点集群L或当前的右侧像素点集群R连通；

当所述直线段经过的像素点的标签存在对应所述第X类蒙版以外的蒙版的标签时，判定边界像素点p或q与当前的左侧像素点集群L或当前的右侧像素点集群R不连通。

8.根据权利要求6所述的交通道路场景图像的处理方法，其特征在于，当所述第X类蒙版为多个时，在得到的所述边界像素点p或q进行连通性判断之前，还需要所述边界像素点p或q进行位置判断：

当所述边界像素点p或q位于已得的各所述第X类蒙版的多边形轮廓框的内部或其边界线上时，舍弃后继续沿所述像素行进行像素点遍历；

当所述边界像素点p或q位于已得的各所述第X类蒙版的多边形轮廓框的外部时，对其进行所述连通性判断。

9.根据权利要求8所述的交通道路场景图像的处理方法，其特征在于，

对所述边界像素点p进行位置判断的步骤包括：

步骤S201，获取所述边界像素点p的横坐标w_p，以及获取已得所述第X类蒙版的多边形轮廓框框取的多边形区域的最小横坐标w_min和最大横坐标w_max；当w_p＞w_max或w_p＜w_min时，判定所述边界像素点p位于已得所述第X类蒙版的多边形轮廓框的外部；当w_min≤w_p≤w_max时，执行步骤S202；

步骤S202，获取所述边界像素点p的纵坐标h_p，并在已得的所述第X类蒙版的连通区域的左侧像素点集群L找到对应于h=h_p的左侧边界像素点，获取该点的横坐标w_lp1，以及在已得的所述第X类蒙版的连通区域的右侧像素点集群R找到对应于h=h_p的右侧边界像素点，获取该点的横坐标w_rp1；当w_p＞w_rp1或w_p＜w_lp1时，判定所述边界像素点p位于已得所述第X类蒙版的多边形轮廓框的外部；当w_lp1≤w_p≤w_rp1时，判定所述边界像素点p位于已得所述第X类蒙版的多边形轮廓框的内部或其边界线上；当已得的所述第X类蒙版的连通区域的左侧像素点集群L中未找到对应于h=h_p的左侧边界像素点时，或当已得的所述第X类蒙版的连通区域的右侧像素点集群R中未找到对应于h=h_p的右侧边界像素点时，执行步骤S203；

步骤S203，获取已得的所述第X类蒙版的多边形轮廓框与直线h=h_p交点的横坐标w_lp2和横坐标w_rp2，当w_p＞w_rp2或w_p＜w_lp2时，判定所述边界像素点p位于已得所述第X类蒙版的多边形轮廓框的外部；当w_lp2≤w_p≤w_rp2时，判定所述边界像素点p位于已得所述第X类蒙版的多边形轮廓框的内部或其边界线上；

对所述边界像素点q进行位置判断的步骤包括：

步骤S201’，获取所述边界像素点q的横坐标w_q，以及获取已得所述第X类蒙版的多边形轮廓框框取的多边形区域的最小横坐标w_min和最大横坐标w_max；当w_q＞w_max或w_q＜w_min时，判定所述边界像素点q位于已得所述第X类蒙版的多边形轮廓框的外部；当w_min≤w_q≤w_max时，执行步骤S202’；

步骤S202’，获取所述边界像素点q的纵坐标h_q，并在已得的所述第X类蒙版的连通区域的左侧像素点集群L找到对应于h=h_q的左侧边界像素点，获取该点的横坐标w_lq1，以及在已得的所述第X类蒙版的连通区域的右侧像素点集群R找到对应于h=h_q的右侧边界像素点，获取该点的横坐标w_rq1；当w_q＞w_rq1或w_q＜w_lq1时，判定所述边界像素点q位于已得所述第X类蒙版的多边形轮廓框的外部；当w_lq1≤w_q≤w_rq1时，判定所述边界像素点q位于已得所述第X类蒙版的多边形轮廓框的内部或其边界线上；当已得的所述第X类蒙版的连通区域的左侧像素点集群L中未找到对应于h=h_q的左侧边界像素点时，或当已得的所述第X类蒙版的连通区域的右侧像素点集群R中未找到对应于h=h_q的右侧边界像素点时，执行步骤S203’；

步骤S203’，获取已得的所述第X类蒙版的多边形轮廓框与直线h=h_q交点的横坐标w_lq2和横坐标w_rq2，当w_q＞w_rq2或w_q＜w_lq2时，判定所述边界像素点q位于已得所述第X类蒙版的多边形轮廓框的外部；当w_lq2≤w_q≤w_rq2时，判定所述边界像素点q位于已得所述第X类蒙版的多边形轮廓框的内部或其边界线上。

10.根据权利要求3所述的交通道路场景图像的处理方法，其特征在于，所述m个像素距离的取值范围为[20,40]。

Images