CN112233174A - 警示区域划分方法及其相关装置 - Google Patents

Abstract

本申请公开了一种警示区域划分方法及其相关装置。其中，警示区域划分方法包括：将待处理图像变换为正投影俯视图，确定正投影俯视图中标识物的位置；在正投影俯视图中确定出包含至少大部分标识物的外接区域，其中，外接区域的形状与警示区域的预设形状一致；将待处理图像中与外接区域的对应区域作为待处理图像的警示区域。本申请警示区域划分方法能够解决现有技术中无法处理标识物被遮挡的问题。

Description

警示区域划分方法及其相关装置

技术领域

本申请涉及区域划分领域，特别是涉及一种警示区域划分方法及其相关装置。

背景技术

随着人工智能在区域划分领域的落地发展，智能周界防护、警示区域划分、入侵检测等应用场景日趋多样。传统的智能相机多通过人工配置进行警示区域划分及周界确立，更为智能的，通过明显的标志物检测识别进行警示区域的划分。

但是目前通过明显的标志物检测识别进行警示区域的划分方法，无法处理标识物被遮挡的情况。

发明内容

本申请提供一种警示区域划分方法及其相关装置，以解决现有技术中无法处理标识物被遮挡的问题。

为解决上述技术问题，本申请提供一种警示区域划分方法，包括：

将待处理图像变换为正投影俯视图，确定正投影俯视图中标识物的位置；

在正投影俯视图中确定出包含至少大部分标识物的外接区域，其中，外接区域的形状与警示区域的预设形状一致；

将待处理图像中与外接区域的对应区域作为待处理图像的警示区域。

其中，确定正投影俯视图中标识物的位置，之前包括：

对待处理图像中标识物进行识别，以确定待处理图像中标识物的位置；

确定正投影俯视图中标识物的位置，包括：基于待处理图像中标识物的位置确定正投影俯视图中标识物的位置。

其中，对待处理图像中标识物进行识别，包括：

利用标识物识别网络对待处理图像中标识物进行识别，以确定待处理图像中每个标识物的位置；

标识物识别网络包括高分辨率网络HRNet网络。

其中，标识物识别网络还包括连接于HRNet网络之后的上采样层和和连接于上采样层之后的至少一个残差层；

利用标识物识别网络对待处理图像中标识物进行识别，以确定待处理图像中标识物的位置，包括：

利用上采样层对HRNet网络的输出特征图进行上采样，以得到分辨率高于输出特征图的上采样特征图；

利用至少一个残差层对上采样特征图进行处理，以得到最终特征图；

基于最终特征图确定待处理图像中每个标识物的位置。

其中，将待处理图像变换为正投影俯视图，包括：

基于待处理图像计算透视变换矩阵；

利用透视变换矩阵将待处理图像变换为正投影俯视图。

其中，基于待处理图像计算透视变换矩阵，包括：

获取规则的参考物体的至少4个角点在待处理图像的位置，其中，参考物体的至少4个角点所在平面与警示区域所在平面平行；

基于至少4个角点的位置计算透视变换矩阵。

其中，在正投影俯视图中确定出包含至少大部分标识物的外接区域，之前包括：

获取警示区域所在第一区域；

在正投影俯视图中确定出包含至少大部分标识物的外接区域，包括：在正投影俯视图的第一区域中确定出包含至少大部分标识物的外接区域。

为解决上述技术问题，本申请提供一种警示区域划分装置，该装置包括变化模块、区域确定模块和转换模块；

变化模块用于将待处理图像变换为正投影俯视图，确定正投影俯视图中标识物的位置；

区域确定模块用于在正投影俯视图中确定出包含至少大部分标识物的外接区域，其中，外接区域的形状与警示区域的预设形状一致；

转换模块用于将待处理图像中与外接区域的对应区域作为待处理图像的警示区域。

为解决上述技术问题，本申请提供一种警示区域划分方法，包括处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述唤醒响应方法的步骤。

为解决上述技术问题，本申请提供一种计算机可读存储介质，其中存储有计算机程序，计算机程序被执行时实现上述唤醒响应方法的步骤。

本申请警示区域划分方法将待处理图像变换为正投影俯视图，且确定正投影俯视图中标识物的位置，然后基于正投影俯视图中标识物的位置确定出包含至少大部分标识物的且形状与警示区域的形状一致的外接区域，继而基于正投影俯视图中外接区域确定出待处理图像中警示区域，这样在正投影俯视图基于标识物的位置和警示区域的形状确定的外接区域与警示区域更相符合，从而可以解决构成警示区域的标识物被遮挡而导致自动生成的警示区域不准确的问题。

附图说明

图1是本申请警示区域划分方法一实施方式的流程示意图；

图2是本申请警示区域划分方法中待处理图像的示意图；

图3是本申请警示区域划分方法中正投影俯视图的示意图；

图4是本申请警示区域划分方法中正投影俯视图中外接区域的示意图；

图5是本申请警示区域划分方法中基于正投影俯视图中外接区域确定的待处理图像中警示区域的示意图；

图6是本申请警示区域划分方法另一实施方式的流程示意图；

图7是本申请警示区域划分方法中标识物识别网络的结构示意图；

图8是本申请警示区域划分方法中标识物识别网络中卷积残差模块一实施例的结构示意图；

图9是本申请警示区域划分方法中标识物识别网络中卷积残差模块另一实施例的结构示意图；

图10是本申请警示区域划分装置一实施方式的结构示意图；

图11是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本申请所提供的一种警示区域划分方法及其相关装置做进一步详细描述。

本申请警示区域划分方法可应用于智能周界防护和区域入侵检测等技术领域中。

警示区域划分方法一般可以包括识别并确定待处理图像中标识物中的位置，和依次连接关键点、以得到待处理图像上的警示区域等步骤。但是因为实际构成警示区域的标识物，会被车辆、人员或其他物体遮挡，造成自动生成的警示区域与期望的、完整的警示区域存在偏差。通过本申请的警示区域划分方法则可解决构成警示区域的标识物被遮挡而导致自动生成的警示区域不准确的问题。

具体请参阅图1，图1是本申请警示区域划分方法第一实施例的流程示意图。本实施例警示区域划分方法包括以下步骤。

S101：将待处理图像变换为正投影俯视图，确定正投影俯视图中标识物的位置。

本申请可以将待处理图像变换为正投影俯视图，且确定正投影俯视图中标识物的位置，然后可以基于正投影俯视图中标识物的位置确定出包含至少大部分标识物的且形状与警示区域的形状一致的外接区域，这样在正投影俯视图基于标识物的位置和警示区域的形状确定的外接区域与警示区域更相符合，从而可以解决构成警示区域的标识物被遮挡而导致自动生成的警示区域不准确的问题。

其中，正投影俯视图可以为，以放置标识物的表面或与该放置标识物的表面基本平行的表面为投影面，在该投影面上的正投影图像。例如，如图2所示，标识物是放置在地面上，那正投影俯视图即为如图3所示在与地面大致平行的表面上正投影的图像。

其中，标识物可以为反光锥或隔离墩等任意用于标识警示区域的物体。

本申请可以采用任意视角转换方法将待处理图像转换为正投影俯视图。

例如，可以通过透视变换的方法将待处理图像变换为正投影俯视图。

又例如，待处理图像中包括用于构建警示区域的多个标识物，可以根据现实中多个标识物的的中心轴基本平行的特性，对待处理图像进行变换处理，包括拉伸、旋转等处理，直至在变换的图像中多个标识物的尺寸基本一致，完成图像的俯视图变换，得到正投影俯视图。

基于上述方法得到正投影俯视图后，可以确定正投影俯视图上的标识物的位置。

在一实现方式中，可以对待处理图像中标识物进行识别，以确定待处理图像中标识物的位置，然后基于待处理图像中标识物的位置确定正投影俯视图中标识物的位置。

在又一实现方式中，可以对正投影俯视图中标识物进行识别，以直接确定正投影附图中标识物的位置。

S102：在正投影俯视图中确定出包含至少大部分标识物的外接区域。

确定正投影俯视图中标识物的位置后，可以基于警示区域的形状在正投影俯视图中确定出包含至少大部分标识物的外接区域，以确定出比较准确的警示区域。例如，如图4所示，假设用标识物构建的警示区域的形状为矩形，即警示区域的形状为矩形，从而在正投影俯视图中确定出包含至少大部分标识物的矩形的外接区域，通过本实施方式确定出的警示区域与真实警示区域的重叠面积比识别出的标识物直接连线而成的警示区域与真实警示区域的重叠面积大，进而本实施方式可以确定出更为准确的警示区域。另外，警示区域的形状也可为圆形、椭圆形等任意形状。可以理解的是，在步骤S102之前，可以先获取警示区域的形状，例如用户可以在警示区域划分装置中选择警示区域的形状，以使警示区域划分装置获取到警示区域的形状信息。

在一实现方式中，可以用正投影俯视图中所有标识物的位置拟合出警示区域形状的外接区域。

在又一实现方式中，可以在正投影俯视图中确定出包含所有标识物的且与警示区域的形状一致的最小外接区域，这样可以利用该最小外接区域可以求出与真实警示区域最贴近的警示区域，以提高警示区域划分的准确性。

S103：将待处理图像中与外接区域的对应区域作为待处理图像的警示区域。

在正投影俯视图中确定出包含至少大部分标识物的外接区域后，可以将待处理图像中与外接区域的对应区域作为待处理图像的警示区域，以得到待处理图像中较为准确的警示区域。

本申请可以通过多种方法基于正投影俯视图中外接区域确定出待处理图像中与外接区域对应的区域，即确定出待处理图像中的警示区域。

例如，可以将正投影俯视图反变换为待处理图像，从而图4所示的正投影俯视图上的外接区域也会变换为图5所示的待处理图像上的警示区域。具体地，可以先求出透视变换矩阵的逆矩阵，然后利用逆矩阵将正投影俯视图反变换为待处理图像。

又例如，可以将正投影俯视图上外接区域顶点的坐标转换为待处理图像上的坐标，然后将待处理图像与外界区域顶点对应的点相连，就可得到警示区域。

在本实施方式中，可以将待处理图像变换为正投影俯视图，且确定正投影俯视图中标识物的位置，然后基于正投影俯视图中标识物的位置确定出包含至少大部分标识物的且形状与警示区域的形状一致的外接区域，继而基于正投影俯视图中外接区域确定出待处理图像中警示区域，这样在正投影俯视图基于标识物的位置和警示区域的形状确定的外接区域与警示区域更相符合，从而可以解决构成警示区域的标识物被遮挡而导致自动生成的警示区域不准确的问题。

进一步地，本申请可通过标识物识别网络对待处理图像中标识物进行识别，然后基于待处理图像中标识物的位置确定正投影俯视图中标识物的位置，这样采用标识物识别网络实现标识物关键点提取，对于标识物的要求更低，对于标识物关键点的提取能力更强，对于场景的光照及背景变换更鲁棒，也可以避免视角转换导致物体变形而无法从正投影俯视图中准确地识别出标识物的问题，可以提高警示区域划分的准确性。

具体请参阅图6，图6是本申请警示区域划分方法第二实施例的流程示意图。本实施例警示区域划分方法包括以下步骤。

S201：对待处理图像中标识物进行识别，以确定待处理图像中标识物的位置。

本实施方式主要先对待处理图像中标识物进行识别，然后后续基于待处理图像中标识物的位置确定正投影俯视图中标识物的位置，本实施方式可以避免视角转换导致物体变形而无法从正投影俯视图中准确地识别出标识物的问题，可以提高警示区域划分的准确性。

本申请可以采用多种方法对待处理图像中标识物进行识别。

在一实现方式中，可以利用标识物识别网络对待处理图像中标识物进行识别。

其中，标识物识别网络可以是CNN神经网络、Resnet网络或HRnet网络等任意网络，只要该网络具有识别图像中标识物的功能即可。进一步地，还可对CNN神经网络、Resnet网络或HRnet网络等网络进行改进，以提高标识物识别的准确性。

例如，假设标识物识别网络包括HRNet网络时，可以在HRnet网络后设置上采样层和卷积层，以在提高标识物识别网络输出特征图的分辨率的同时，提高输出特征图上标识物位置的准确度。可选地，标识物识别网络可包括连接于HRNet网络之后的上采样层和连接于上采样层之后的至少一个残差层，这样可以利用上采样层对HRNet网络的输出特征图进行上采样，以得到分辨率高于输出特征图的上采样特征图；并利用至少一个残差层对上采样特征图进行处理，以得到最终特征图，接着基于最终特征图确定待处理图像中标识物的位置。上采样层可以为反卷积层或上采样层等。

具体地，由HRNet网络改进的标识物识别网络的结果示意图如图7所示，可以包括：

Conv3×3：通过2个步长为2的3×3卷积，将输入图像降采样为待处理图像大小的1/4，输出维度64；

Stage1：重复堆叠4次的1×1、3×3和1×1的卷积残差模块，1个步长为1的3×3卷积，输出维度32；

Stage2：2条分支，分支1为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度32；分支2为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度64；

Stage3：3条分支，分支1为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度32；分支2为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度64；分支3为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度128；

Stage4：4条分支，分支1为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度32；分支2为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度64；分支3为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度128；分支4为重复堆叠4次的3×3、3×3的卷积残差模块，输出维度256；

将Stage4的4个分支输出的特征层，通过双线性插值并级联步长为1的1×1卷积进行上采样和降维，获得4组维度为32、宽高为待处理图像1/4的特征图进行逐点相加；

获取Stage4的维度为32的特征层，进行1×1卷积降维至2a后，并与自身级联，作为4×4反卷积模块的输入，并继续级联重复堆叠4次的3×3、3×3的卷积残差模块，进行1×1卷积降维后，输出维度为2a的最终特征图。其中，a为关键点的种类，即若关键点的种类为3种，则Stage4的输出的特征图经过1×1卷积降维得到维度为6的特征图，且最终特征图的维度也为6。

上述由HRNet网络改进的标识物识别网络可以级联多种分辨率特征图，并在提取过程中进行融合再提取，最终可在分辨率为待处理图像的1/2的特征图上生成关键点。

其中，3×3、3×3的卷积残差模块的结构可如图8所示。1×1、3×3和1×1的卷积残差模块的结构可如图9所示。

在又一实现方式中，采用颜色信息结合形态学处理来进行待处理图像中标识物的分割操作，以确定出待处理图像中标识物的位置。

可以理解的是，标识物的位置可以指标识物的关键点的坐标，具体来说，可以利用上述方法确定标识物的至少一个关键点的坐标，然后选取标识物相同位置的关键点的坐标作为标识物的位置。例如，利用上述方法确定标识物的顶点坐标、左下角角点坐标和右下角角点坐标，可以统一选用标识物的顶点的坐标作为标识物的位置，或可以统一选用标识物的左下角角点的坐标作为标识物的位置。

S202：基于待处理图像计算透视变换矩阵。

在确定待处理图像中标识物的位置后，可以计算出透视变换矩阵，以便通过透视变换矩阵将待处理图像变换为正投影俯视图，便于基于正投影俯视图确定出比较准确的警示区域。

可选地，在步骤S202中，可以获取规则的参考物体的至少4个角点在待处理图像的位置，其中，参考物体的至少4个角点所在平面与警示区域所在平面平行；然后基于至少4个角点的位置计算出透视变换矩阵。例如，以自动生成矩形警示区域为例，在待处理图像中选取具有规则形状的物体(已知物体轮廓的平行关系，如矩形)，要求该规则形状的物体所在平面与警示区域所在平面平行；其次，标记该规则形状的物体的4个及以上角点，由角点坐标、物体轮廓的平行关系计算警示区域平面与正投影俯视图的透视变换矩阵。当然也可通过其他方法基于待处理图像计算透视变换矩阵。

S203：利用透视变换矩阵将待处理图像变换为正投影俯视图，以基于待处理图像中标识物的位置确定正投影俯视图中标识物的位置。

基于待处理图像计算出透视变换矩阵后，可以利用透视变换矩阵将待处理图像变换为正投影俯视图，这样后续可以在正投影俯视图上基于标识物的位置和警示区域的形状计算出包含至少大部分标识物的外接区域，可以得到更为准确地警示区域。

利用透视变换矩阵将待处理图像变换为正投影俯视图的变换的公式可如下所示：

其中，(u，v)为待处理图像中像素的坐标，(x＝x’/w’，y＝y’/w’)为正投影俯视图中像素的坐标。

S204：在正投影俯视图中确定出包含至少大部分标识物的外接区域。

确定正投影俯视图中标识物的位置后，可以基于警示区域的形状在正投影俯视图中确定出包含至少大部分标识物的外接区域，以确定出比较准确的警示区域。

其中，外接区域的形状与警示区域的预设形状一致。

S205：将待处理图像中与外接区域的对应区域作为待处理图像的警示区域。

在正投影俯视图中确定出包含至少大部分标识物的外接区域后，可以将待处理图像中与外接区域的对应区域作为待处理图像的警示区域，以得到待处理图像中较为准确的警示区域。

进一步地，可以确定警示区域所在第一区域，以缩小警示区域划分范围，以避免第一区域外存在的标识物影响警示区域的划分结果，这样在正投影俯视图的第一区域中确定的包含至少大部分标识物的外接区域更加准确，从而提高警示区域划分的准确性。

本申请还公开一种警示区域划分装置。该警示区域划分装置包括变换模块、区域确定模块和转换模块。

变换模块用于将待处理图像变换为正投影俯视图，确定正投影俯视图中标识物的位置。

区域确定模块用于在正投影俯视图中确定出包含至少大部分标识物的外接区域，其中，外接区域的形状与警示区域的预设形状一致。

转换模块用于将待处理图像中与外接区域的对应区域作为待处理图像的警示区域。

可选地，变换模块用于基于待处理图像计算透视变换矩阵；利用透视变换矩阵将待处理图像变换为正投影俯视图。

可选地，变换模块用于获取规则的参考物体的至少4个角点在待处理图像的位置，其中，参考物体的至少4个角点所在平面与警示区域所在平面平行；基于至少4个角点的位置计算透视变换矩阵。

可选地，警示区域划分装置还可包括识别模块，识别模块用于对待处理图像中标识物进行识别，以确定待处理图像中标识物的位置。

变换模块用于基于待处理图像中标识物的位置确定正投影俯视图中标识物的位置。

可选地，识别模块用于利用标识物识别网络对待处理图像中标识物进行识别，以确定待处理图像中每个标识物的位置；

标识物识别网络包括高分辨率网络HRNet网络。

可选地，标识物识别网络还包括连接于HRNet网络之后的上采样层和和连接于上采样层之后的至少一个残差层；

识别模块用于利用上采样层对HRNet网络的输出特征图进行上采样，以得到分辨率高于输出特征图的上采样特征图；利用至少一个残差层对上采样特征图进行处理，以得到最终特征图；基于最终特征图确定待处理图像中每个标识物的位置。

可选地，区域确定模块用于获取警示区域所在第一区域；在正投影俯视图的第一区域中确定出包含至少大部分标识物的外接区域。

请参阅图10，图10是本申请警示区域划分装置一实施方式的结构示意图。本警示区域划分装置10包括相互耦接的存储器11和处理器12，存储器11用于存储程序指令，处理器12用于执行程序指令以实现上述任一实施方式的方法。

上述警示区域划分方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机可读存储介质中，因而本申请提出一种计算机可读存储介质。请参阅图11，图11是本申请计算机可读存储介质一实施方式的结构示意图，本实施方式计算机可读存储介质20中存储有计算机程序21，计算机程序21被处理器执行时实现上述警示区域划分方法中的步骤。

该计算机可读存储介质20具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该计算机可读存储介质20从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种警示区域划分方法，其特征在于，所述方法包括：

将待处理图像变换为正投影俯视图，确定所述正投影俯视图中标识物的位置；

在所述正投影俯视图中确定出包含至少大部分标识物的外接区域，其中，所述外接区域的形状与所述警示区域的预设形状一致；

将待处理图像中与所述外接区域的对应区域作为所述待处理图像的警示区域。

2.根据权利要求1所述的警示区域划分方法，其特征在于，所述确定所述正投影俯视图中标识物的位置，之前包括：

对所述待处理图像中标识物进行识别，以确定所述待处理图像中所述标识物的位置；

所述确定所述正投影俯视图中标识物的位置，包括：基于所述待处理图像中所述标识物的位置确定所述正投影俯视图中所述标识物的位置。

3.根据权利要求2所述的警示区域划分方法，其特征在于，所述对所述待处理图像中标识物进行识别，包括：

利用标识物识别网络对所述待处理图像中标识物进行识别，以确定所述待处理图像中每个标识物的位置；

所述标识物识别网络包括高分辨率网络HRNet网络。

4.根据权利要求3所述的警示区域划分方法，其特征在于，所述标识物识别网络还包括连接于所述HRNet网络之后的上采样层和和连接于所述上采样层之后的至少一个残差层；

所述利用标识物识别网络对所述待处理图像中标识物进行识别，以确定所述待处理图像中所述标识物的位置，包括：

利用所述上采样层对所述HRNet网络的输出特征图进行上采样，以得到分辨率高于所述输出特征图的上采样特征图；

利用所述至少一个残差层对所述上采样特征图进行处理，以得到最终特征图；

基于所述最终特征图确定所述待处理图像中每个标识物的位置。

5.根据权利要求1所述的警示区域划分方法，其特征在于，所述将待处理图像变换为正投影俯视图，包括：

基于所述待处理图像计算透视变换矩阵；

利用所述透视变换矩阵将所述待处理图像变换为正投影俯视图。

6.根据权利要求5所述的警示区域划分方法，其特征在于，所述基于所述待处理图像计算透视变换矩阵，包括：

获取规则的参考物体的至少4个角点在所述待处理图像的位置，其中，所述参考物体的至少4个角点所在平面与所述警示区域所在平面平行；

基于所述至少4个角点的位置计算透视变换矩阵。

7.根据权利要求1所述的警示区域划分方法，其特征在于，所述在所述正投影俯视图中确定出包含至少大部分标识物的外接区域，之前包括：

获取警示区域所在第一区域；

所述在所述正投影俯视图中确定出包含至少大部分标识物的外接区域，包括：在所述正投影俯视图的第一区域中确定出包含至少大部分标识物的外接区域。

8.一种警示区域划分装置，其特征在于，所述装置包括：

变换模块，用于将待处理图像变换为正投影俯视图，确定所述正投影俯视图中标识物的位置；

区域确定模块，用于在所述正投影俯视图中确定出包含至少大部分标识物的外接区域，其中，所述外接区域的形状与所述警示区域的预设形状一致；

转换模块，用于将待处理图像中与所述外接区域的对应区域作为所述待处理图像的警示区域。

9.一种警示区域划分装置，其特征在于，所述警示区域划分装置包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

Images