CN114155258A - 一种公路施工围封区域的检测方法 - Google Patents

一种公路施工围封区域的检测方法 Download PDF

Info

Publication number
CN114155258A
CN114155258A CN202111451117.8A CN202111451117A CN114155258A CN 114155258 A CN114155258 A CN 114155258A CN 202111451117 A CN202111451117 A CN 202111451117A CN 114155258 A CN114155258 A CN 114155258A
Authority
CN
China
Prior art keywords
point cloud
data
detection model
cone
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111451117.8A
Other languages
English (en)
Inventor
范立
柳佳
徐明飞
郭瑷珲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Seecar Information System Co ltd
Original Assignee
Suzhou Seecar Information System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Seecar Information System Co ltd filed Critical Suzhou Seecar Information System Co ltd
Priority to CN202111451117.8A priority Critical patent/CN114155258A/zh
Publication of CN114155258A publication Critical patent/CN114155258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种公路施工围封区域的检测方法，方法包括步骤：S1，通过相机和激光雷达采集路面的原始数据，标注出图像、点云和物体标签数据作为训练数据集；S2，采用S1的训练数据集基于深度学习训练出目标检测模型；将S1标注出的图像数据和点云数据分别采用相应的目标检测模型软件进行训练，训练后能够识别并标注出图像和点云数据中的反光锥物体；S3，在计算机上部署S2训练出的目标检测模型，应用输入相机或/和激光雷达实时采集的数据，计算机通过部署的目标检测模型进行计算，实时检测并标注出图像或/和点云中的反光锥；S4，将S3得到的反光锥标注的位置进行最小二乘法拟合，拟合出二维平面的直线参数，自动获取围封区域边界。

Description

一种公路施工围封区域的检测方法
技术领域
本发明涉及图像及点云数据处理技术领域，更具体地，涉及一种公路施工围封区域的检测方法。
背景技术
依据《中华人民共和国公路法》、《中华人民共和国道路交通安全法》和《公路养护安全作业规程》(JTGH30-2004)，一般施工道路特别是高速公路施工路段，必须使用反光锥对施工区域进行围封，反光锥摆放都必须符合道路施工行业规范。在施工区域内部，设置巡检机器人对围封区域内部的各类事件进行监测，所以确定围封区域边界就是一个首要的任务。
传统的公路施工围封区域检测方法大多采用在检测的图像中手绘圈出施工围封区域，或直接确定边界，无法更改。并且，需要较大的人工成本，且缺乏灵活性。
有鉴于此，本发明提供一种公路施工围封区域的检测方法，能够实时自动的识别和标注出反光锥，拟合出反光锥直线及围封区域边界。
发明内容
本发明的目的在于，提供一种公路施工围封区域的检测方法，能够实时自动的识别和标注出反光锥，拟合出反光锥直线及围封区域边界。
一种公路施工围封区域的检测方法，所述方法包括步骤：
S1，通过相机和激光雷达采集路面的原始数据，标注出图像、点云和物体标签数据作为训练数据集；
S2，采用S1的训练数据集基于深度学习训练出目标检测模型；其中，将S1标注出的图像数据和点云数据分别采用相应的目标检测模型软件进行训练，训练后能够识别并标注出图像和点云数据中的反光锥物体；
S3，在计算机上部署S2训练出的目标检测模型，应用输入相机或/和激光雷达实时采集的数据，计算机通过部署的目标检测模型进行计算，实时检测并标注出图像或/和点云中的反光锥；
S4，将S3得到的反光锥标注的位置进行最小二乘法拟合，拟合出二维平面的直线参数，自动获取围封区域边界。
在一些实施方式中，在步骤S1中，所述相机和激光雷达为市面上常用的相机和激光雷达，所述相机和激光雷达均能连接到通用计算机上，通过计算机控制相机录制视频及激光雷达获得点云数据。
进一步的，将采集的视频和点云数据切成若干帧的图片数据和点云数据，并人工标注出这些图片和点云数据中的反光锥物体，标注完后的图片(图像)、点云和物体标签数据作为训练数据集。
进一步的，所述将视频和点云数据切成若干帧的图片数据和点云数据的工具包括：openCV开源库、PCL开源库，所述相机和激光雷达安装在静止或移动的物体上，移动的物体包括：道路巡检机器人、汽车。
在一些实施方式中，在步骤S2中，将S1标注出的图像数据采用图像目标检测模型软件进行训练，该图像目标检测模型软件是能够用于目标检测任务的利用深度学习网络模型，图像目标检测模型训练完成后，该目标检测模型能够识别出图像中的反光锥物体，同时在图像中用矩形框标注出反光锥；将S1标注出的点云数据采用点云目标检测模型软件进行训练，该点云目标检测模型软件是能够用于三维激光点云目标检测任务的深度学习网络模型，点云目标检测模型训练完成后，该目标检测模型能够识别出点云中的反光锥物体，同时在点云中用三维长方体框标注出反光锥；
进一步的，所述图像目标检测模型软件包括：开源的yolox，所述点云目标检测模型软件包括：开源的pointpillars，部署模型框架使用openvino框架。
在一些实施方式中，在步骤S3中，在高性能计算机上部署S2训练出的目标检测模型，输入相机的视频数据或/和激光雷达点云数据，该高性能计算机通过部署的目标检测模型进行计算，能够实时找到图像或点云中的反光锥物体，并用框体标注出来。
进一步的，按照顺序将实时获取的图像和点云原始数据、推理的程序代码整合，即可实现实时检测反光锥。
在一些实施方式中，在步骤S4中，将S3得到的反光锥标注框体的框底中点坐标作为已知点，进行最小二乘法拟合，最小二乘法的目标是使实际数据yi与拟合直线上对应的估计值yi′(x)的残差的平方和为最小，通过最小二乘法就可以拟合出一条直线方程，获取直线参数。
进一步的，所述最小二乘法拟合的公式为A1，A1为：
Figure BDA0003386016800000031
其中，n为采样点数目，i为第i个坐标点，yi ′(x)为所拟合的直线上第i个点的x坐标对应的y坐标，yi为实际数据第i个点的y坐标。
进一步的，为了增强直线拟合的实时性和稳定性，使用最近距离的2-6个反光锥标注框体(由于远距离的反光锥检测存在检测框抖动较大、位置确定不准确的问题)；对于每个反光锥，设定反光锥检测置信度阈值为85％-90％，达到置信度阈值的反光锥才使用；利用3-5个反光锥进行最小二乘法拟合进行直线估计，同时不断新增和删除反光锥，及时实时调整直线参数。
进一步的，传感器采集数据后，利用同样的地方采集的3-5帧反光锥数据，计算反光锥位置坐标的平均值和方差，去掉方差最大的一个位置后，其余取平均值的位置作为该处的反光锥位置，提高反光锥位置计算的稳定性和准确性。
在一些实施方式中，在步骤S4中，对于外来物(除了反光锥以外的其他物体)是否在施工围封区域内，外来物的检测步骤与反光锥的检测步骤相同，然后获取外来物的标注出的检测框矩形的中心点作为该外来物的位置坐标(xobj,yobj)，将外来物的位置坐标也进行最小二乘法拟合，得到直线方程A2，通过外来物位置带入到边界的直线方程A2得到的数值，可以判断出外来物是否进入或走出围封区域，直线方程A2为：
Ax+By+C (A2)
其中，A、B、C均为上述最小二乘法拟合得出的直线参数，x,y为点的坐标。
进一步的，若A2的数值大于零，则表明该外来物在围封区域外侧，若A2的数值小于零，则表明该外来物在围封区域内，若A2的数值等于零，则表明该外来物正好在围封线上。
本发明的公路施工围封区域的检测方法，能够实时自动的识别和标注出反光锥，并拟合出反光锥直线及围封区域边界。同时，该方法可以使用在移动的物体如机器人、汽车上，用于自动确定围封区域或可行驶区域，首先要确认机器人处于施工区域或可行驶区域内，即可自动规划出可行区域的边界。
并且，能够对于整个四周的围封区域进行自动检测，通过载体的移动，可以不断更新边界信息。如果存储到平面中，能够绘制成围封区域边界底图。此外，可以方便拓展到围封区域是曲线的情形。将直线拟合增加参数，拟合为曲线就可以实现。
附图说明
结合以下附图一起阅读时，将会更加充分地描述本申请内容的上述和其他特征。可以理解，这些附图仅描绘了本申请内容的若干实施方式，因此不应认为是对本申请内容范围的限定。通过采用附图，本申请内容将会得到更加明确和详细地说明。
图1为本申请的公路施工围封区域的检测方法标注出反光锥框体的示意图。
图2为本申请实施例1的公路施工围封区域的检测方法标注出反光锥框体并拟合出直线的示意图。
图3为本申请实施例2的公路施工围封区域的检测方法采用的图像坐标系。
具体实施方式
描述以下实施例以辅助对本申请的理解，实施例不是也不应当以任何方式解释为限制本申请的保护范围。
在以下描述中，本领域的技术人员将认识到，在本论述的全文中，组件可描述为单独的功能单元(可包括子单元)，但是本领域的技术人员将认识到，各种组件或其部分可划分成单独组件，或者可整合在一起(包括整合在单个的系统或组件内)。
同时，组件或系统之间的连接并不旨在限于直接连接。相反，在这些组件之间的数据可由中间组件修改、重格式化、或以其它方式改变。另外，可使用另外或更少的连接。还应注意，术语“联接”、“连接”、或“输入”“固定”应理解为包括直接连接、通过一个或多个中间媒介来进行的间接的连接或固定。
实施例1：
通过市面上常用的相机和激光雷达，相机和激光雷达均能连接到通用计算机上，通过计算机控制相机录制视频及激光雷达获得点云数据，反光锥的位置可以不重叠的任意摆放在地上，激光雷达和相机位置在距离地面1.5米-3米的位置，采集到的视频和雷达原始数据。将采集的视频和点云数据通过openCV开源库切成若干帧的图片数据和点云数据，并人工标注出这些图片和点云数据中的反光锥物体，标注完后的图片(图像)、点云和物体标签数据作为训练数据集。
将标注出的图像数据采用开源的yolox的图像目标检测模型软件进行训练，该图像目标检测模型软件是能够用于目标检测任务的利用深度学习网络模型，将采集到的图像训练数据集引入yolox模型中，进行图像目标检测模型的训练，训练的步骤按照官方的指导说明完成实施，官方的指导步骤见：【https://github.com/Megvii-BaseDetection/ YOLOX】。图像目标检测模型训练完成后，该目标检测模型能够识别出图像中的反光锥物体，同时在图像中用矩形框标注出反光锥。将标注出的点云数据采用开源的pointpillars点云目标检测模型软件进行训练，该点云目标检测模型软件是能够用于三维激光点云目标检测任务的深度学习网络模型，将采集到的点云训练数据集引入pointpillars模型中，进行点云目标检测模型的训练，训练的步骤按照官方的指导说明完成实施，官方的指导步骤见：【https://github.com/open-mmlab/OpenPCDet】。点云目标检测模型训练完成后，该目标检测模型能够识别出点云中的反光锥物体，同时在点云中用三维长方体框标注出反光锥。
在高性能计算机上部署训练出的目标检测模型，目标检测模型部署的步骤参考上述网址的步骤进行。应用输入相机或/和激光雷达实时采集的数据，高性能计算机通过部署的目标检测模型进行计算，找到图像或点云中的反光锥物体，并用检测框标注出来(目标检测模型的推理，后简称推理)。上述获取数据、通过模型计算得到反光锥检测框的工作，按照顺序将实时获取原始相机和点云数据、推理的程序代码整合，即可实现实时检测反光锥。
在路段上将路面看做平面，将得到的反光锥标注框体的框底中点坐标作为已知点，进行最小二乘法拟合，最小二乘法的目标是使实际数据yi与拟合直线上对应的估计值yi′(x)的残差的平方和为最小，通过最小二乘法就可以拟合出一条直线方程，获取直线参数。最小二乘法拟合的公式为A1，A1为：
Figure BDA0003386016800000061
其中，n为采样点数目，i为第i个坐标点，yi′(x)为所拟合的直线上第i个点的x坐标对应的y坐标，yi为实际数据第i个点的y坐标。公式A1的解就是最小二乘法拟合的参数，这个参数数量可以自己设定。这些参数能够组成曲线或直线。通过最小二乘法就可以拟合出一条二维平面的直线，获取直线参数。
为了进一步增强直线拟合的实时性和稳定性，采用的技术点如下：
(1)远距离的反光锥检测存在检测框抖动较大、位置确定不准确的问题，所以只使用最近距离的若干个反光锥的检测结果；(2)当检测的置信度未达到阈值时，认为此时的反光锥检测不准确，可能存在错误的检测，为了提高计算边界直线的精度，应该予以忽略。对于每个反光锥，反光锥检测置信度设置阈值为90％，低于此阈值的反光锥不使用。(3)由两个位置点确定的直线容易由于某个点的轻微变动，导致直线参数变化较大，在移动过程中，会存储之前的若干用于计算直线参数的反光锥，保持足够数量(3-5个)，多个点采用最小二乘法进行直线估计，可以减小误差，同时不断新增和删除，及时调整直线参数。(4)传感器的数据采集速度(帧率)一般比较快，利用传感器的快速采集数据的特点，使用多帧数据，同样的地方收集3-5帧的反光锥检测数据，为了保持反光锥位置计算的稳定性和准确性，计算反光锥位置坐标的平均值和方差，去掉方差最大的一个位置后，其余取平均值的位置作为该处的反光锥位置。
对于外来物(除了反光锥以外的其他物体)是否在施工围封区域内，外来物的检测步骤与反光锥的检测步骤相同，然后获取外来物的标注出的检测框矩形的中心点作为该外来物的位置坐标(xobj,yobj)，将外来物的位置坐标也进行最小二乘法拟合，得到直线方程A2，通过外来物位置带入到边界的直线方程A2的数值，可以判断出外来物是否进入或走出围封区域，直线方程A2为：Ax+By+C，其中，A、B、C均为上述最小二乘法拟合得出的直线参数，x,y为点的坐标。若A2的数值大于零，则表明该外来物在围封区域外侧，若A2的数值小于零，则表明该外来物在围封区域内，若A2的数值等于零，则表明该外来物正好在围封线上。如图2所示，只有左侧使用反光锥围封，则仅拟合出一条直线，外来物如车辆可以判断车辆是否在该直线内，即车辆是否在围封区域外。
实施例2：
通过市面上常用的相机和激光雷达，相机和激光雷达均能连接到通用计算机上，通过计算机控制相机录制视频及激光雷达获得点云数据，反光锥的位置可以不重叠的任意摆放在地上，激光雷达和相机位置在距离地面2米的位置，采集到的视频和雷达原始数据。将采集的视频和点云数据通过openCV开源库切成若干帧的图片数据和点云数据，并人工标注出这些图片和点云数据中的反光锥物体，标注完后的图片(图像)、点云和物体标签数据作为训练数据集。
将标注出的图像数据采用开源的yolox的图像目标检测模型软件进行训练，该图像目标检测模型软件是能够用于目标检测任务的利用深度学习网络模型，将采集到的图像训练数据集引入yolox模型中，进行图像目标检测模型的训练，训练的步骤按照官方的指导说明完成实施，官方的指导步骤见：【https://github.com/Megvii-BaseDetection/ YOLOX】。图像目标检测模型训练完成后，该目标检测模型能够识别出图像中的反光锥物体，同时在图像中用矩形框标注出反光锥。将标注出的点云数据采用开源的pointpillars点云目标检测模型软件进行训练，该点云目标检测模型软件是能够用于三维激光点云目标检测任务的深度学习网络模型，将采集到的点云训练数据集引入pointpillars模型中，进行点云目标检测模型的训练，训练的步骤按照官方的指导说明完成实施，官方的指导步骤见：【https://github.com/open-mmlab/OpenPCDet】。点云目标检测模型训练完成后，该目标检测模型能够识别出点云中的反光锥物体，同时在点云中用三维长方体框标注出反光锥。
在高性能计算机上部署训练出的目标检测模型，目标检测模型部署的步骤参考上述网址的步骤进行。应用输入相机或/和激光雷达实时采集的数据，高性能计算机通过部署的目标检测模型进行计算，找到图像或点云中的反光锥物体，并用检测框标注出来(目标检测模型的推理，后简称推理)。上述获取数据、通过模型计算得到反光锥检测框的工作，按照顺序将实时获取原始相机和点云数据、推理的程序代码整合，即可实现实时检测反光锥。
在路段上将路面看做平面，将得到的反光锥标注框体的框底中点坐标作为已知点，进行最小二乘法拟合，最小二乘法的目标是使实际数据yi与拟合直线上对应的估计值yi′(x)的残差的平方和为最小，通过最小二乘法就可以拟合出一条直线方程，获取直线参数。最小二乘法拟合的公式为A1，A1为：
Figure BDA0003386016800000081
其中，n为采样点数目，i为第i个坐标点，yi ′(x)为所拟合的直线上第i个点的x坐标对应的y坐标，yi为实际数据第i个点的y坐标。公式A1的解就是最小二乘法拟合的参数，这个参数数量可以自己设定。这些参数能够组成曲线或直线。通过最小二乘法就可以拟合出一条二维平面的直线，获取直线参数。
为了进一步增强直线拟合的实时性和稳定性，采用的技术点如下：
(1)远距离的反光锥检测存在检测框抖动较大、位置确定不准确的问题，所以只使用最近距离的若干个反光锥的检测结果；(2)当检测的置信度未达到阈值时，认为此时的反光锥检测不准确，可能存在错误的检测，为了提高计算边界直线的精度，应该予以忽略。对于每个反光锥，反光锥检测置信度设置阈值为85％，低于此阈值的反光锥不使用。(3)由两个位置点确定的直线容易由于某个点的轻微变动，导致直线参数变化较大，在移动过程中，会存储之前的若干用于计算直线参数的反光锥，保持足够数量(3-5个)，多个点采用最小二乘法进行直线估计，可以减小误差，同时不断新增和删除，及时调整直线参数。(4)传感器的数据采集速度(帧率)一般比较快，利用传感器的快速采集数据的特点，使用多帧数据，同样的地方收集3-5帧的反光锥检测数据，为了保持反光锥位置计算的稳定性和准确性，计算反光锥位置坐标的平均值和方差，去掉方差最大的一个位置后，其余取平均值的位置作为该处的反光锥位置。
对于外来物(除了反光锥以外的其他物体)是否在施工围封区域内，外来物的检测步骤与反光锥的检测步骤相同，然后获取外来物的标注出的检测框矩形的中心点作为该外来物的位置坐标(xobj,yobj)，将外来物的位置坐标也进行最小二乘法拟合，得到直线方程A2，通过外来物位置带入到边界的直线方程A2的数值，可以判断出外来物是否进入或走出围封区域，直线方程A2为：Ax+By+C，其中，A、B、C均为上述最小二乘法拟合得出的直线参数，x,y为点的坐标。若A2的数值大于零，则表明该外来物在围封区域外侧，若A2的数值小于零，则表明该外来物在围封区域内，若A2的数值等于零，则表明该外来物正好在围封线上。
当路段末尾围封和两侧围封的情形，即处理围封区域边界不止有一条直线。假设反光锥摆放符合道路施工行业规范，图片的分辨率1920*1080，宽为1920个像素，高为1080个像素，记图片左上角原点位置O0坐标为(0,0)，右下角的坐标位置为(1920*1080)，横坐标值(宽方向)从左到由逐渐增大，纵坐标值(高方向)从上到下逐渐增大(如图3所示的图像坐标系)。则位于相机偏左边的最近若干个反光锥像素位置将会处于图像正中间位置的左侧，中间位置是图片宽方向分辨率的一半(1920/2＝960)，反光锥的像素位置(u,v)的宽方向坐标u会小于该值；同理，位于相机偏右边的最近若干个反光锥位置宽方向坐标u会大于图片宽度方向的一半。通过这个特点，可以清晰分辨出左右两侧是否都具有反光锥，可以构成直线。对于施工区域末尾的反光锥，当检测的置信度未达到阈值时，认为此时的反光锥检测不准确，可能存在错误的检测，为了提高计算边界直线的精度，全部忽略，不计入计算范围。当距离末端的边界比较近的时候，根据像高度方向的像素位置，判断出所有反光桶检测框超过一定数值，即v坐标大于图片的像素高度分辨率的阈值，阈值设置0.75个分辨率单位，1080*0.75＝810，可以认为此时反光锥基本都在图像的底端，可认为此时在近边界区域，则左侧、右侧以及中间部分的反光锥检测的位置坐标，全部用于计算一条边界直线，作为末端边界。
尽管本申请已公开了多个方面和实施方式，但是其它方面和实施方式对本领域技术人员而言将是显而易见的，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。本申请公开的多个方面和实施方式仅用于举例说明，其并非旨在限制本申请，本申请的实际保护范围以权利要求为准。

Claims (10)

1.一种公路施工围封区域的检测方法，其特征在于，所述方法包括步骤：
S1，通过相机和激光雷达采集路面的原始数据，标注出图像、点云和物体标签数据作为训练数据集；
S2，采用S1的训练数据集基于深度学习训练出目标检测模型；其中，将
S1标注出的图像数据和点云数据分别采用相应的目标检测模型软件进行训练，训练后能够识别并标注出图像和点云数据中的反光锥物体；
S3，在计算机上部署S2训练出的目标检测模型，应用输入相机或/和激光雷达实时采集的数据，计算机通过部署的目标检测模型进行计算，实时检测并标注出图像或/和点云中的反光锥；
S4，将S3得到的反光锥标注的位置进行最小二乘法拟合，拟合出二维平面的直线参数，自动获取围封区域边界。
2.如权利要求1所述的公路施工围封区域的检测方法，其特征在于，在步骤S1中，所述相机和激光雷达为市面上常用的相机和激光雷达，所述相机和激光雷达均能连接到通用计算机上，通过计算机控制相机录制视频及激光雷达获得点云数据；将采集的视频和点云数据切成若干帧的图片数据和点云数据，并人工标注出这些图片和点云数据中的反光锥物体，标注完后的图像、点云和物体标签数据作为训练数据集。
3.如权利要求1所述的公路施工围封区域的检测方法，其特征在于，在步骤S2中，将S1标注出的图像数据采用图像目标检测模型软件进行训练，该图像目标检测模型软件是能够用于目标检测任务的利用深度学习网络模型，图像目标检测模型训练完成后，该目标检测模型能够识别出图像中的反光锥物体，同时在图像中用矩形框标注出反光锥；将S1标注出的点云数据采用点云目标检测模型软件进行训练，该点云目标检测模型软件是能够用于三维激光点云目标检测任务的深度学习网络模型，点云目标检测模型训练完成后，该目标检测模型能够识别出点云中的反光锥物体，同时在点云中用三维长方体框标注出反光锥。
4.如权利要求3所述的公路施工围封区域的检测方法，其特征在于，所述图像目标检测模型软件包括：开源的yolox，所述点云目标检测模型软件包括：开源的pointpillars，部署模型框架使用openvino框架。
5.如权利要求1所述的公路施工围封区域的检测方法，其特征在于，在步骤S3中，在高性能计算机上部署S2训练出的目标检测模型，输入相机的视频数据或/和激光雷达点云数据，该高性能计算机通过部署的目标检测模型进行计算，能够实时找到图像或点云中的反光锥物体，并用框体标注出来；按照顺序将实时获取的图像和点云原始数据、推理的程序代码整合，即可实现实时检测反光锥。
6.如权利要求1所述的公路施工围封区域的检测方法，其特征在于，在步骤S4中，将S3得到的反光锥标注框体的框底中点坐标作为已知点，进行最小二乘法拟合，最小二乘法的目标是使实际数据yi与拟合直线上对应的估计值的残差的平方和为最小，通过最小二乘法就可以拟合出一条二维平面的直线，获取直线参数。
7.如权利要求6所述的公路施工围封区域的检测方法，其特征在于，所述最小二乘法拟合的公式为A1，A1为：
Figure FDA0003386016790000021
其中，n为采样点数目，i为第i个坐标点，yi′(x)为所拟合的直线上第i个点的x坐标对应的y坐标，yi为实际数据第i个点的y坐标。
8.如权利要求7所述的公路施工围封区域的检测方法，其特征在于，为了增强直线拟合的实时性和稳定性，包括选自下组的一个或多个特征：
(1)使用最近距离的2-6个反光锥标注框体；
(2)对于每个反光锥，设定反光锥检测置信度阈值为85％-90％，达到置信度阈值的反光锥才使用；
(3)利用3-5个反光锥进行最小二乘法拟合进行直线估计，同时不断新增和删除反光锥，及时实时调整直线参数；
(4)传感器采集数据后，利用同样的地方采集的3-5帧反光锥数据，计算反光锥位置坐标的平均值和方差，去掉方差最大的一个位置后，其余取平均值的位置作为该处的反光锥位置，提高反光锥位置计算的稳定性和准确性。
9.如权利要求1所述的公路施工围封区域的检测方法，其特征在于，在步骤S4中，对于外来物是否在施工围封区域内，外来物的检测步骤与反光锥的检测步骤相同，然后获取外来物的标注出的检测框矩形的中心点作为该外来物的位置坐标(xobj,yobj)，将外来物的位置坐标也进行最小二乘法拟合，得到直线方程A2，通过外来物位置带入到边界的直线方程A2的数值，可以判断出外来物是否进入或走出围封区域，直线方程A2为：Ax+By+C，其中，其中，A、B、C均为最小二乘法拟合得出的直线参数，x,y为点的坐标。
10.如权利要求9所述的公路施工围封区域的检测方法，其特征在于，若A2的数值大于零，则表明该外来物在围封区域外侧，若A2的数值小于零，则表明该外来物在围封区域内，若A2的数值等于零，则表明该外来物正好在围封线上。
CN202111451117.8A 2021-12-01 2021-12-01 一种公路施工围封区域的检测方法 Pending CN114155258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111451117.8A CN114155258A (zh) 2021-12-01 2021-12-01 一种公路施工围封区域的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111451117.8A CN114155258A (zh) 2021-12-01 2021-12-01 一种公路施工围封区域的检测方法

Publications (1)

Publication Number Publication Date
CN114155258A true CN114155258A (zh) 2022-03-08

Family

ID=80455210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111451117.8A Pending CN114155258A (zh) 2021-12-01 2021-12-01 一种公路施工围封区域的检测方法

Country Status (1)

Country Link
CN (1) CN114155258A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956942A (zh) * 2016-05-12 2016-09-21 陕西瑞海电力工程有限公司 基于机器视觉的电力管廊钢筋网质量检测方法及检测装置
CN106529415A (zh) * 2016-10-16 2017-03-22 北海益生源农贸有限责任公司 结合特征和模型的道路检测方法
CN107798918A (zh) * 2017-11-28 2018-03-13 公安部道路交通安全研究中心 一种交通事故现场安全防护监测方法和装置
CN109017780A (zh) * 2018-04-12 2018-12-18 深圳市布谷鸟科技有限公司 一种车辆智能驾驶控制方法
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN110569749A (zh) * 2019-08-22 2019-12-13 江苏徐工工程机械研究院有限公司 一种矿山道路的边界线及可行驶区域检测方法及系统
CN111273305A (zh) * 2020-02-18 2020-06-12 中国科学院合肥物质科学研究院 基于全局与局部栅格图多传感器融合道路提取与索引方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111461048A (zh) * 2020-04-12 2020-07-28 华南理工大学 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN112965077A (zh) * 2021-02-09 2021-06-15 上海同陆云交通科技有限公司 一种基于车载激光雷达的道路巡检系统与方法
CN113537018A (zh) * 2021-07-05 2021-10-22 国网安徽省电力有限公司铜陵供电公司 基于多时相卫星遥感和无人机技术的水土保持监测方法
CN113673274A (zh) * 2020-05-13 2021-11-19 长沙智能驾驶研究院有限公司 道路边界检测方法、装置、计算机设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956942A (zh) * 2016-05-12 2016-09-21 陕西瑞海电力工程有限公司 基于机器视觉的电力管廊钢筋网质量检测方法及检测装置
CN106529415A (zh) * 2016-10-16 2017-03-22 北海益生源农贸有限责任公司 结合特征和模型的道路检测方法
CN107798918A (zh) * 2017-11-28 2018-03-13 公安部道路交通安全研究中心 一种交通事故现场安全防护监测方法和装置
CN109017780A (zh) * 2018-04-12 2018-12-18 深圳市布谷鸟科技有限公司 一种车辆智能驾驶控制方法
CN109543600A (zh) * 2018-11-21 2019-03-29 成都信息工程大学 一种实现可行驶区域检测方法及系统和应用
CN110244322A (zh) * 2019-06-28 2019-09-17 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN110569749A (zh) * 2019-08-22 2019-12-13 江苏徐工工程机械研究院有限公司 一种矿山道路的边界线及可行驶区域检测方法及系统
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111273305A (zh) * 2020-02-18 2020-06-12 中国科学院合肥物质科学研究院 基于全局与局部栅格图多传感器融合道路提取与索引方法
CN111461048A (zh) * 2020-04-12 2020-07-28 华南理工大学 基于视觉的停车场可行驶区域检测与局部地图构建方法
CN113673274A (zh) * 2020-05-13 2021-11-19 长沙智能驾驶研究院有限公司 道路边界检测方法、装置、计算机设备和存储介质
CN112965077A (zh) * 2021-02-09 2021-06-15 上海同陆云交通科技有限公司 一种基于车载激光雷达的道路巡检系统与方法
CN113537018A (zh) * 2021-07-05 2021-10-22 国网安徽省电力有限公司铜陵供电公司 基于多时相卫星遥感和无人机技术的水土保持监测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PAN WEI等: "LiDAR and Camera Detection Fusion in a Real-Time Industrial Multi-Sensor Collision Avoidance System", 《ELECTRONICS》 *
张立勋等, 哈尔滨：哈尔滨工业大学出版社 *
陆思文: "交通场景中基于深度学习的视频图像处理算法及应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953418A (zh) * 2023-02-01 2023-04-11 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备
CN115953418B (zh) * 2023-02-01 2023-11-07 公安部第一研究所 安检ct三维图像中笔记本区域剥离方法、存储介质及设备

Similar Documents

Publication Publication Date Title
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
US20210279444A1 (en) Systems and methods for depth map sampling
CN108764187B (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
EP3650814B1 (en) Vision augmented navigation
EP3842754A1 (en) System and method of detecting change in object for updating high-definition map
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
GB2593029A (en) Tracking vehicles in a warehouse environment
US20100103266A1 (en) Method, device and computer program for the self-calibration of a surveillance camera
WO2020097840A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
Nguyen et al. Compensating background for noise due to camera vibration in uncalibrated-camera-based vehicle speed measurement system
CN112017251A (zh) 标定方法、装置、路侧设备和计算机可读存储介质
KR20200126141A (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN110766760A (zh) 用于相机标定的方法、装置、设备和存储介质
JP6876445B2 (ja) データ圧縮装置、制御方法、プログラム及び記憶媒体
CN116245937A (zh) 货物堆垛的堆高预测方法及装置、设备、存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN114155258A (zh) 一种公路施工围封区域的检测方法
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN111273314A (zh) 点云数据处理方法、装置和存储介质
CN116665179A (zh) 数据处理方法、装置、域控制器以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220308

RJ01 Rejection of invention patent application after publication