CN113516675A - 一种实时精准提取轨道roi的方法 - Google Patents
一种实时精准提取轨道roi的方法 Download PDFInfo
- Publication number
- CN113516675A CN113516675A CN202110511751.XA CN202110511751A CN113516675A CN 113516675 A CN113516675 A CN 113516675A CN 202110511751 A CN202110511751 A CN 202110511751A CN 113516675 A CN113516675 A CN 113516675A
- Authority
- CN
- China
- Prior art keywords
- track
- roi
- real time
- contour
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012888 cubic function Methods 0.000 claims description 4
- 230000009545 invasion Effects 0.000 claims description 4
- 238000007620 mathematical function Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000004888 barrier function Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种实时精准提取轨道ROI的方法，包括以下步骤：步骤1：标注轨道环境图片；步骤2：用获取二分类的预测模型；步骤3：获取图像进行帧编号，并取当前最近时间帧进行预测处理；步骤4：提取边缘轮廓点集；步骤5：把轮廓与历史轮廓作面积和周长对比。本发明可应用在摄像机图像识别技术的主动式障碍物探测系统中，在任意训练过的可视环境下完美提取轨道区域，包括隧道环境，地面雨雾环境，也包括即使有障碍物遮盖了部分轨道的情况，相较于现有技术，本发明对于复杂环境的图像处理性能强，可以满足轨道障碍物探测的实时性要求，而且精准性强，使用效果极佳。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种实时精准提取轨道ROI的方法。
背景技术
目前列车主动式障碍物探测系统一般都使用摄像机获取列车前景图，在列车行驶过程中通过传统的图像处理技术提取识别近景范围的轨道或识别远景范围的轨道。一定程度上解决了轨道障碍物检测中异物入侵的问题,从而提醒驾驶员进行预判,提升列车运行的可靠性和安全性，传统的图像处理技术主要是基于图像边缘检测技术，图像边缘是图像最基本的特征，所谓边缘(Edge)是指图像局部特性的不连续性。灰度或结构等信息的突变处称之为边缘。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题没有得到解决：传统边缘提取应对图像处理对于隧道环境、复杂天气等特殊光线多变等环境能力不足；传统图像分割网络不满足轨道障碍物探测的实时性要求；单一图像分割网络在提取轨道时，如果轨道上存在障碍物，会漏掉被障碍物遮挡的部分轨道区域；单一图像分割网络提取轨道边缘不够精准，单帧数字拟合未必能解决所有场景。
发明内容
本发明的目的在于提供一种实时精准提取轨道ROI的方法，解决背景技术中所提出的问题。
为实现上述目的，本发明提供如下技术方案：一种实时精准提取轨道ROI的方法，包括以下步骤：
步骤1：标注轨道环境图片；
步骤2：用获取二分类的预测模型；
步骤3：获取图像进行帧编号，并取当前最近时间帧进行预测处理；
步骤4：提取边缘轮廓点集；
步骤5：把轮廓与历史轮廓作面积和周长对比；
步骤6：对比完成后，保存帧编号和对应轮廓点集到历史；
步骤7：生成二值灰度图并转换为实际图像大小；
步骤8：生成ROI图，可视化轨道区域。
作为本发明的一种优选实施方式，所述步骤1的具体过程如下：使用labelme工具，只标注轨道区域轮廓。
作为本发明的一种优选实施方式，所述步骤2的具体过程如下：基于PaddlePaddle-paddleseg平台，用图像分割网络deeplabv3p预训练模型进行训练最终得到二分类的预测模型，分割网络主干网络使用mobilenetv2，减小模型体积，加速预测速度。
作为本发明的一种优选实施方式，所述步骤3的具体过程如下：获取图像，并把原图1920*1080的分辨率压缩至480*270，并标记帧编号，取当前最近时间帧进行预测处理，然后通过预测模型获得轨道分割区域。
作为本发明的一种优选实施方式，所述步骤4中，轮廓点集分为左右轨道，并去除远近轨道横向边缘点。
作为本发明的一种优选实施方式，所述步骤5中，把轮廓与历史轮廓作面积和周长对比后，如果变化超过阀值则认为有障碍物导致轮廓突变，如果有轮廓突变，则把历史左右轨道点集与当前点集比较找出变化区域，用历史点集数据和两点集最大平均差值去除异常部分拟合出缺失部分轮廓点。
作为本发明的一种优选实施方式，所述步骤6的具体过程如下：使用左右轨道点集用三次函数曲线拟合两条轨道边界,左右扩展边界，进一步获取侵界范围(侵界范围是轨道外扩展若干距离)的数学函数,保存帧编号和对应轮廓点集到历史。
作为本发明的一种优选实施方式，所述步骤7的具体过程如下：通过四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图并转换为实际图像大小。
作为本发明的一种优选实施方式，所述步骤8的具体过程如下：将步骤7中的四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图均转换为rgb格式单色图片，并通过帧编号与原始图像进行融合，生成蒙色效果。
与现有技术相比，本发明提供了一种实时精准提取轨道ROI的方法，具备以下有益效果：
该一种实时精准提取轨道ROI的方法，可应用在摄像机图像识别技术的主动式障碍物探测系统中，在任意训练过的可视环境下完美提取轨道区域，包括隧道环境，地面雨雾环境，也包括即使有障碍物遮盖了部分轨道的情况，相较于现有技术，本发明对于复杂环境的图像处理性能强，可以满足轨道障碍物探测的实时性要求，而且精准性强，使用效果极佳。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一种实时精准提取轨道ROI的方法的流程示意图；
图2为本发明一种实时精准提取轨道ROI的方法的算法示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置；本发明中提供的用电器的型号仅供参考。对于本领域的普通技术人员而言，可以根据实际使用情况更换功能相同的不同型号用电器，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1-2，本发明提供一种技术方案：一种实时精准提取轨道ROI的方法，其特征在于：包括以下步骤：步骤1：标注轨道环境图片；
步骤2：用获取二分类的预测模型；
步骤3：获取图像进行帧编号，并取当前最近时间帧进行预测处理；
步骤4：提取边缘轮廓点集；
步骤5：把轮廓与历史轮廓作面积和周长对比；
步骤6：对比完成后，保存帧编号和对应轮廓点集到历史；
步骤7：生成二值灰度图并转换为实际图像大小；
步骤8：生成ROI图，可视化轨道区域。
本实施例中，所述步骤1的具体过程如下：使用labelme工具，只标注轨道区域轮廓。
本实施例中，所述步骤2的具体过程如下：基于PaddlePaddle-paddleseg平台，用图像分割网络deeplabv3p预训练模型进行训练最终得到二分类的预测模型，分割网络主干网络使用mobilenetv2，减小模型体积，加速预测速度。
本实施例中，所述步骤3的具体过程如下：获取图像，并把原图1920*1080的分辨率压缩至480*270，并标记帧编号，取当前最近时间帧进行预测处理，然后通过预测模型获得轨道分割区域。
本实施例中，所述步骤4中，轮廓点集分为左右轨道，并去除远近轨道横向边缘点。
本实施例中，所述步骤5中，把轮廓与历史轮廓作面积和周长对比后，如果变化超过阀值则认为有障碍物导致轮廓突变，如果有轮廓突变，则把历史左右轨道点集与当前点集比较找出变化区域，用历史点集数据和两点集最大平均差值去除异常部分拟合出缺失部分轮廓点。
本实施例中，所述步骤6的具体过程如下：使用左右轨道点集用三次函数曲线拟合两条轨道边界,左右扩展边界，进一步获取侵界范围(侵界范围是轨道外扩展若干距离)的数学函数,保存帧编号和对应轮廓点集到历史。
本实施例中，所述步骤7的具体过程如下：通过四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图并转换为实际图像大小。
本实施例中，所述步骤8的具体过程如下：将步骤7中的四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图均转换为rgb格式单色图片，并通过帧编号与原始图像进行融合，生成蒙色效果。
工作时，摄像机拍摄轨道图片，然后使用labelme工具，只标注图片内轨道区域轮廓，接着基于PaddlePaddle-paddleseg平台，用图像分割网络deeplabv3p预训练模型进行训练最终得到二分类的预测模型，分割网络主干网络使用mobilenetv2，可以减小模型体积，加速预测速度，接着获取图像，并把原图1920*1080的分辨率压缩至480*270，并标记帧编号，取当前最近时间帧进行预测处理，然后通过预测模型获得轨道分割区域，接着提取边缘轮廓点集，并把轮廓与历史轮廓作面积和周长对比，如果变化超过阀值则认为有障碍物导致轮廓突变，如果有轮廓突变，则把历史左右轨道点集与当前点集比较找出变化区域，用历史点集数据和两点集最大平均差值去除异常部分拟合出缺失部分轮廓点，接着使用左右轨道点集用三次函数曲线拟合两条轨道边界,左右扩展边界，进一步获取侵界范围(侵界范围是轨道外扩展若干距离)的数学函数,保存帧编号和对应轮廓点集到历史，并通过四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图并转换为实际图像大小，最后将四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图均转换为rgb格式单色图片，并通过帧编号与原始图像进行融合，并将该图像可视化即可。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种实时精准提取轨道ROI的方法，其特征在于：包括以下步骤：
步骤1：标注轨道环境图片；
步骤2：用获取二分类的预测模型；
步骤3：获取图像进行帧编号，并取当前最近时间帧进行预测处理；
步骤4：提取边缘轮廓点集；
步骤5：把轮廓与历史轮廓作面积和周长对比；
步骤6：对比完成后，保存帧编号和对应轮廓点集到历史；
步骤7：生成二值灰度图并转换为实际图像大小；
步骤8：生成ROI图，可视化轨道区域。
2.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤1的具体过程如下：使用labelme工具，只标注轨道区域轮廓。
3.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤2的具体过程如下：基于PaddlePaddle-paddleseg平台，用图像分割网络deeplabv3p预训练模型进行训练最终得到二分类的预测模型，分割网络主干网络使用mobilenetv2，减小模型体积，加速预测速度。
4.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤3的具体过程如下：获取图像，并把原图1920*1080的分辨率压缩至480*270，并标记帧编号，取当前最近时间帧进行预测处理，然后通过预测模型获得轨道分割区域。
5.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤4中，轮廓点集分为左右轨道，并去除远近轨道横向边缘点。
6.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤5中，把轮廓与历史轮廓作面积和周长对比后，如果变化超过阀值则认为有障碍物导致轮廓突变，如果有轮廓突变，则把历史左右轨道点集与当前点集比较找出变化区域，用历史点集数据和两点集最大平均差值去除异常部分拟合出缺失部分轮廓点。
7.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤6的具体过程如下：使用左右轨道点集用三次函数曲线拟合两条轨道边界,左右扩展边界，进一步获取侵界范围(侵界范围是轨道外扩展若干距离)的数学函数,保存帧编号和对应轮廓点集到历史。
8.根据权利要求1所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤7的具体过程如下：通过四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图并转换为实际图像大小。
9.根据权利要求8所述的一种实时精准提取轨道ROI的方法，其特征在于：所述步骤8的具体过程如下：将步骤7中的四个曲线函数生成拟合修正后的轨道区域和侵界ROI区域的二值灰度图均转换为rgb格式单色图片，并通过帧编号与原始图像进行融合，生成蒙色效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110511751.XA CN113516675A (zh) | 2021-05-11 | 2021-05-11 | 一种实时精准提取轨道roi的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110511751.XA CN113516675A (zh) | 2021-05-11 | 2021-05-11 | 一种实时精准提取轨道roi的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113516675A true CN113516675A (zh) | 2021-10-19 |
Family
ID=78064314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110511751.XA Pending CN113516675A (zh) | 2021-05-11 | 2021-05-11 | 一种实时精准提取轨道roi的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516675A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758239A (zh) * | 2022-04-22 | 2022-07-15 | 安徽工业大学科技园有限公司 | 基于机器视觉的物品飞离预定行进线路的监测方法和系统 |
| CN114882350A (zh) * | 2022-03-30 | 2022-08-09 | 北京市测绘设计研究院 | 图像处理方法及装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110101355A (ko) * | 2010-03-08 | 2011-09-16 | 김봉택 | 열차 장애물 감지 시스템 및 그 방법 |
| JP2016052849A (ja) * | 2014-09-04 | 2016-04-14 | 公益財団法人鉄道総合技術研究所 | 障害物検出装置及び方法 |
| CN109101862A (zh) * | 2017-06-20 | 2018-12-28 | 中建空列（北京）科技有限公司 | 一种空中轨道车辆的障碍物检测方法、障碍物避让方法及其系统 |
| CN111626204A (zh) * | 2020-05-27 | 2020-09-04 | 北京伟杰东博信息科技有限公司 | 一种铁路异物入侵监测方法及系统 |
| CN111967374A (zh) * | 2020-08-14 | 2020-11-20 | 安徽海博智能科技有限责任公司 | 基于图像处理的矿山障碍物识别方法、系统及设备 |
| CN112464906A (zh) * | 2020-12-17 | 2021-03-09 | 上海媒智科技有限公司 | 一种基于计算机视觉的轨道异物入侵检测方法及装置 |
| CN112488056A (zh) * | 2020-12-17 | 2021-03-12 | 上海媒智科技有限公司 | 一种基于计算机视觉的直线轨道异物入侵检测方法及装置 |
-
2021
- 2021-05-11 CN CN202110511751.XA patent/CN113516675A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110101355A (ko) * | 2010-03-08 | 2011-09-16 | 김봉택 | 열차 장애물 감지 시스템 및 그 방법 |
| JP2016052849A (ja) * | 2014-09-04 | 2016-04-14 | 公益財団法人鉄道総合技術研究所 | 障害物検出装置及び方法 |
| CN109101862A (zh) * | 2017-06-20 | 2018-12-28 | 中建空列（北京）科技有限公司 | 一种空中轨道车辆的障碍物检测方法、障碍物避让方法及其系统 |
| CN111626204A (zh) * | 2020-05-27 | 2020-09-04 | 北京伟杰东博信息科技有限公司 | 一种铁路异物入侵监测方法及系统 |
| CN111967374A (zh) * | 2020-08-14 | 2020-11-20 | 安徽海博智能科技有限责任公司 | 基于图像处理的矿山障碍物识别方法、系统及设备 |
| CN112464906A (zh) * | 2020-12-17 | 2021-03-09 | 上海媒智科技有限公司 | 一种基于计算机视觉的轨道异物入侵检测方法及装置 |
| CN112488056A (zh) * | 2020-12-17 | 2021-03-12 | 上海媒智科技有限公司 | 一种基于计算机视觉的直线轨道异物入侵检测方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882350A (zh) * | 2022-03-30 | 2022-08-09 | 北京市测绘设计研究院 | 图像处理方法及装置、电子设备和存储介质 |
| CN114758239A (zh) * | 2022-04-22 | 2022-07-15 | 安徽工业大学科技园有限公司 | 基于机器视觉的物品飞离预定行进线路的监测方法和系统 |
| CN114758239B (zh) * | 2022-04-22 | 2024-06-04 | 安徽工业大学科技园有限公司 | 基于机器视觉的物品飞离预定行进线路的监测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255776B (zh) | 一种输电线路开口销缺损自动识别方法 | |
| CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| Kumar et al. | Review of lane detection and tracking algorithms in advanced driver assistance system | |
| Mu et al. | Lane detection based on object segmentation and piecewise fitting | |
| CN110728200A (zh) | 一种基于深度学习的实时行人检测方法及系统 | |
| CN113516675A (zh) | 一种实时精准提取轨道roi的方法 | |
| CN103119625B (zh) | 一种视频人物分割的方法及装置 | |
| CN110781964A (zh) | 一种基于视频图像的人体目标检测方法及系统 | |
| CN113409252B (zh) | 一种架空输电线路巡检机器人障碍物检测方法 | |
| CN109784216B (zh) | 基于概率图的车载热成像行人检测RoIs提取方法 | |
| CN116110036B (zh) | 基于机器视觉的电力铭牌信息缺陷等级判断方法及装置 | |
| CN114333338A (zh) | 一种车牌辨识系统与方法 | |
| CN114626445B (zh) | 基于光流网络与高斯背景建模的大坝白蚁视频识别方法 | |
| CN104182976B (zh) | 一种野外运动目标精细化提取方法 | |
| CN112528917A (zh) | 斑马线区域识别方法、装置、电子设备和存储介质 | |
| CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
| CN112766273A (zh) | 一种车牌识别方法 | |
| Ghahremannezhad et al. | Automatic road detection in traffic videos | |
| CN116993985A (zh) | 一种基于CLIP实现Zero-Shot自动分割安全带的方法 | |
| CN115965578A (zh) | 一种基于通道注意力机制的双目立体匹配检测方法及装置 | |
| CN105354547A (zh) | 一种结合纹理和彩色特征的行人检测方法 | |
| CN112766046B (zh) | 一种目标检测方法及相关装置 | |
| CN113408550A (zh) | 基于图像处理的智能称重管理系统 | |
| CN111310607B (zh) | 基于计算机视觉和人工智能的公路安全风险识别方法及系统 | |
| Jin et al. | Fusing Canny operator with vibe algorithm for target detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |