CN111439259A - 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 - Google Patents
基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 Download PDFInfo
- Publication number
- CN111439259A CN111439259A CN202010207493.1A CN202010207493A CN111439259A CN 111439259 A CN111439259 A CN 111439259A CN 202010207493 A CN202010207493 A CN 202010207493A CN 111439259 A CN111439259 A CN 111439259A
- Authority
- CN
- China
- Prior art keywords
- road
- image
- straight line
- vehicle
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000012216 screening Methods 0.000 claims abstract description 23
- 238000003708 edge detection Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 3
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 239000002689 soil Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101150004367 Il4i1 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001550 time effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，包括以下步骤：采集实时的道路图像，送入高效的语义分割卷积神经网络进行像素级标注；对神经网络标注的图像进行感兴趣区域选取；采用差分边缘检测提取感兴趣区域选取中的道路图像的边缘图像；获取边缘图像中边缘像素在图像坐标系中对应的坐标点集合；采用霍夫变换直线检测算法从所述边缘像素对应的坐标点集合中检测出道路边缘拟合直线；通过筛选和融合获得最优的拟合直线；根据最优的拟合直线结果，提取实时的道路图像中的车身与道路左右侧边缘的相对距离和车载摄像头的焦点的特征以区分车辆位姿状态，并进行相应的车身调整，以实现车辆居中行驶。
Description
技术领域
本发明涉及农业园场景车道偏移预警技术领域，尤其是基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统。
背景技术
目前，现代中国的劳动力逐渐向城市集中，而农业劳动力越来越少，农村出现大片荒田空地；在新疆这些本就地广人稀的土地上，这种现象尤为突出，所以国内农业逐渐向大规模、集中化治理发展，这就需要大量现代化农作机器设备。但是，现有技术中的大部分农作机器设备几乎都是人为驾驶，这一驾驶过程属于典型的简单重复性劳动，所以将人力从农作车械解放出来的需求成了未来智慧农业的必然需求。对于新的场景而言，自动驾驶的实现有很多新的挑战，比如道路情况的恶劣、缺乏道路标志等等，但也存在一些不同之处从而降低了很多要求，诸如低车速允许较低计算速度、农作车辆行驶只需要单车道从而不需要进行车道划分等等。
首先，自动驾驶需要解决定位的问题，野外场景的定位多为GPS，但在车道级的定位上，GPS由于其低精度在提供横向定位信息方面的能力很差(沿道路前后为纵向位置，道路左右为横向位置)。另外，还有部分技术采用车道线进行定位，其大多应用场景为具有成熟道路系统的大城市中，这类路面以车道线以及其他道路标志作为检测对象，如专利申请号为“201710659931.6”、名称为“一种基于车载双摄像头的无人驾驶汽车机器视觉系统”的中国发明专利，再如专利申请号为“201710559187.2”、名称为“基于双摄像头的无人驾驶汽车视觉识别系统”的中国发明专利；上述专利技术均运用于具有车道线的场景，并且依赖于车道线等道路标志物。另外，上述专利技术还存在以下问题：其需要图像预处理来增强边缘特征以提高边缘检测准确率，预处理在系统中起决定作用，需要人为尝试各种图像预处理方式以及调节各种预处理的阈值参数，而且固定的预处理方法对于光线变化、气候变换、道路遮挡物等情况的鲁棒性很难达到好的效果。与此同时，专利申请号为“201910383340.X”、名称为“一种道路目标快速检测预警方法和系统”的中国发明专利；其同样依赖于车道线为基准定位，另外，其虽然采用了感兴趣区域(region of interest,ROI)，但是，其采用多级的感兴趣区域，为了使感兴趣区域中包含足够多的车道线信息，尽量少的干扰，从而在保证准确度下减少运算量。
由此可见，传统方法中利用边缘检测算法提取了车道线边缘特征，针对相对复杂的场景，单纯的边缘检测很难去除掉非车道图像的干扰，从而造成提取出过多的无用边缘信息，增加数据后处理的复杂度，这种情况一般通过增加图像预处理的流程以达到降低干扰的目的，但是针对不同场景，干扰类型的特点各不相同，需要人为测试各种图像预处理方法的效果。这种方法一方面缺陷在于过程繁琐，另一方面在于难以预估异常情况对系统造成的破坏性(由于人为很难全面考虑输入图像的差异)，尤其对于农业小道这类道路边缘不明显并且无车道线的场景，传统方案很难准确地提取道路边缘信息。
综上所述，现有技术中的视觉的方法存在以下问题：
第一，大多依赖车道线或其他车道标志信息，无法用于农业土路、乡村马路这类场景，所以本方法选用道路边缘作为提取特征；
第二，如果用传统计算机视觉做农业土路的道路边缘特征提取，不但需要大量的人工测试，并且难以得到一个好的效果。
发明内容
针对上述问题，本发明的目的在于提供一种基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统，本发明采用的技术方案如下：
基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，包括以下步骤：
采用城市道路公开大数据集对进行预训练，利用摄像装置采集农业园场景的道路图像的小数据集，并采用农业园场景的道路图像的小数据集进行迁移学习，以获得农业园场景的语义分割网络；所述摄像装置安装在车辆的中轴线上并置于车头上、且能拍摄获取当前道路道面和道面两侧的图像；
利用摄像装置采集农业园场景的道路图像，并采用卷积神经网络标注图像；
对所述神经网络标注的图像进行感兴趣区域选取；
采用边缘检测算法提取感兴趣区域选取中的道路图像的边缘图像；
建立笛卡尔坐标系，获取边缘图像中边缘像素在图像坐标系中对应的坐标点集合；
采用霍夫变换直线检测算法从所述边缘像素对应的坐标点集合中检测出道路边缘拟合直线，以获得定位锚点信息，并采用霍夫变换后的表达形式输出数条检测出的拟合直线；
对所述数条拟合后的直线进行筛选，以获得最优的拟合直线；
根据最优的拟合直线行进，提取实时的道路图像中的车身与道路左右侧边缘的相对距离和车载摄像头的焦点的特征以区分车辆位姿状态，并进行车身调整，以实现车辆居中行驶。
进一步地，对所述神经网络标注的图像进行自适应的感兴趣区域选取，并利用道路语义分割结果确定道路在图像中的可视尽头位置Pend＝(xend,yend)的横坐标yend，具体步骤如下：
统计标注的图像中每一行像素总和Ni，其中，i表示标注图像的第i行；
判断分支1：若该行像素总和Ni随i的减小而减小即Ni-step<Ni，且Ni-step＝0时，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；否则，判断沿行进方向的该行的下一行；所述Ni-step表示第i-step像素行；
判断分支2：若像素总和Ni随i的减小而增大即Ni-step>Ni，且Ni-step-Ni＞Nthld，则道路图像到达可视尽头位置Pend＝(xend,yend)；否则，判断沿行进方向的该行的下一行；
若连续进行M次判断分支2，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；所述M为大于等于3的自然数。
进一步地，所述对所述数条拟合后的直线进行筛选，以获得最优的拟合直线，包括以下步骤：
设定直线斜率值的阀值，并得到拟合道路两侧边缘的直线集Ltotal；所述直线集Ltotal包括道路左侧直线集Lleft和道路右侧直线集Lright；
采用去除异常点的平均算法对所述道路左侧直线集Lleft和道路右侧直线集Lright进行处理，以得到最优的道路左侧边缘拟合直线Lmleft(ρlm,Θlm)、数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)、以及道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)在图像中的交点(xinte,yinte)。
更进一步地，所述采用去除异常点的平均算法对所述道路左侧直线集Lleft和道路右侧直线集Lright进行处理，所述道路左侧直线集Lleft和道路右侧直线集Lright去除异常点处理的步骤相同，
且所述道路左侧直线集Lleft去除异常点的处理步骤包括以下步骤：
采用霍夫变换检测算法将道路左侧直线集Lleft转换成极坐标(ρl,Θl)，分别求得极坐标(ρl,Θl)中极径ρl和极角Θl两个值对应的极径平均值ρlm和极角平均值Θlm；
依次剔除极坐标(ρl,Θl)中极径ρl和极角Θl的异常点，所述极径ρl和极角Θl去除异常点的处理方法相同，且极径ρl去除异常点包括以下步骤：
(1)求得极径ρl与极径平均值ρlm的最大归一化偏差εmax；
(2)预设归一化偏差阈值εthld，并比较εthld与最大偏差εmax的大小；
(3)若εmax≤εthld时，则输出剩余的所有数据点集；否则，删除最大偏差εmax对应的数据点，并返回步骤(1)。
进一步地，所述根据最优的拟合直线行进，本方法搭建了一个五分类的状态分类器，分类器的输入是道路两侧边缘的拟合直线Lmleft和Lmright以及根据拟合直线得到交点垂线xt，借助搭建的分类器我们可以得到车辆相对道路的位姿状态：车身居中、车身左偏、车身右偏、车头左偏以及车头右偏。并根据得到的车辆位姿状态向车辆控制器下发相应的微控制(微调)指令，并在控制的同时由摄像头感知车辆的位姿变换(即回环反馈)，从而达到控制车辆自动居中行驶。
进一步地，所述农业园场景车道偏移预警控制方法，还包括根据道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)在图像中的交点(xinte,yinte)采用滑动窗口剔除异常值，然后根据剔除异常值后的结果进行车辆位姿状态分类，具体步骤如下：
预设一窗口的大小为windowframe帧，并设置所述步进step为1；
所述滑动窗口的时间窗口在交点xt＝(xinte,yinte)，产生长度为windowframe的交集点{xt|xt＝(xinte,yinte),framecurrent-windowframe＜t≤framecurrent}；其中，framecurrent表示当前处理的图像帧，摄像头输入是一帧一帧的，这个方法本质是把当前输入的最新帧与之前(windowframe-1)帧的处理结果做筛选和融合；
对交集点{xt|xt＝(xinte,yinte),framecurrent-windowframe＜t≤framecurrent}进行去除异常点处理，得到去除异常值后的均值。
基于端到端卷积神经网络的农业园场景车道偏移预警控制系统，包括：
图像采集模块，安装在车辆的中轴线上并置于车头上、且能拍摄获取当前道路道面和道面两侧的图像；
端对端的语义分割神经网络，利用城市道路数据集和随机的待使用农业园场景数据集进行学习来获得图像像素级分割网络模型，并进行道路区域图像分割；
神经网络后数据处理模块，对神经网络标注的图像进行感兴趣区域选取，并利用边缘检测算法提取感兴趣区域选取中的图像的轮廓信息；拟合并进行筛选融合以获得最优的拟合直线；
状态分类器，在车辆以最优的拟合直线行进时，判断车辆行驶偏移状态，以及底层车辆控制模块，获取车辆行驶偏移状态，并调整车辆行驶状态，使车辆居中行进。
与现有技术相比，本发明具有以下有益效果：
(1)本发明无需借助任何车道线等车道标志，借助的定位信息是整条路的轮廓，而非车道线的轮廓；本发明应用场景为乡村小路、农业园土路等单车道的场景，在核心方法是利用神经网络对传统计算机视觉方法进行了革新，并结合一系列数据处理手段以达到有效的识别出道路与车辆之间的相对位置。
(2)本发明采用城市道路数据集和随机的待使用农业园场景数据集进行卷积神经网络学习和边缘检测，其目的是对输入的图像进行像素级的分割，把属于道路的像素点进行标注，从而获得道路的边缘信息；另外，本发明采用神经网络进行边缘检测的好处在于：不需要人为提取特征，而且具有较好的鲁棒性；传统的神经网络训练需要大量的标注数据集，这将消耗大量成本；而本发明采用开源城市公路大数据集进行预训练+小规模定制数据集进行迁移学习再训练的方式。
(3)本发明巧妙地对神经网络标注的图像进行感兴趣区域选取，其好处在于：能使ROI中覆盖尽可能多的道路区域和尽可能少的非路面区域的图像，因为摄像头的俯仰角以及农业拖拉机行驶时的上下抖动问题导致道路在图像中的位置在直线行驶中有改变，固定的ROI选取策略会导致有时候ROI选取后会损失一部分道路区域图像，或者包含了过多天空区域图像都会影响最终效果，所以需要自适应的去选取与输入图像相匹配的ROI，这里的策略时利用道路分割结果以及真实道路图像的类三角形特点制定了一个自适应ROI选取策略以确定道路图像位于整张图像的哪些像素行上，可以有效消除绝大部分天空区域图像中因误分割结果产生的噪点，与此同时，本发明在保证运算结果的正确性的同时，又能有效的降低计算复杂度。
(4)本发明通过采用语义分割神经网络加差分边缘检测提取感兴趣区域选取后的道路图像的轮廓信息，其好处在于：针对农业园场景，其道路大多为杂草丛生的土路，其道路边缘特征极其不明显，如果使用传统的图像预处理加边缘检测算法的方法不仅设计复杂而且由于杂草和农作物的影响效果很难达到预期，本发明先使用语义分割神经网络进行道路分割，相当于增强了道路图像的边缘轮廓特征，并且有效的隔离了杂草和农作物的影响，之后再简单的对标注结果图像做像素级的差分边缘检测就能得到整个道路的边缘信息。
(5)本发明通过建立笛卡尔坐标系以获取轮廓信息中边缘对应的坐标点集合，本发明没有直接使用边缘数据作为定位锚点，由于本方法使用的语义分割网络是一个低参数量的高效网络，训练方法的是小训练集做迁移学习，而且土路属于难以进行图像分割的对象(路上的土和两侧农作物根部的土并无显著区别)，所以分割出的道路边缘信息并不具有较高的准确度，而且在农业土路场景大多数错误为非道路像素识别为道路。而本发明通过对边缘点集进行道路两侧边缘的拟合去获取定位锚点信息，并利用农业园道路的网格分布特点。其中，单条道路都是直路，相应的道路两侧近似直线，所以在边缘检测之后使用直线拟合算法对道路两侧进行拟合。
(6)本发明对数条拟合后的直线进行筛选以获得最优的拟合直线，其好处在于：由于语义分割网络的性能以及Hough直线检测算法的特性，直线检测出来的结果是所有满足设定的条件的直线，但由于误分割点的存在，导致部分直线与其他直线的差异很大，所以本发明通过去除异常值(远离数据集合分布中心的数据)即异常直线，从而降低这些干扰的影响，然后使用对筛选后直线集合取平均的方式得到最优直线，提高系统的鲁棒性。
(7)本发明通过提取实时的道路图像中的车身与道路左右侧边缘的相对距离和车载摄像头的焦点的特征，并判断车辆行驶状态，为车辆居中行驶调整提供依据。
综上所述，本发明具有方法简单、调整准确、抗干扰能力强等优点，在农业园场景车道偏移预警技术领域具有很高的实用价值和推广价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的流程图。
图2为本发明的数据处理流程结果图。
图3为本发明的摄像装置安装示意图。
图4为本发明的摄像装置采集的其中之一的图像。
具体实施方式
为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
如图1至图3所示，本实施例提供了一种基于端到端卷积神经网络的农业园场景车道偏移预警控制系统，其由图像采集模块101、端对端的语义分割神经网络102、神经网络后数据处理模块103、状态分类器104以及底层车辆控制模块105组成。数据流由输入单目RGB图像111、语义分割结果112、道路边缘曲线图113、直线检测结果集合114、边缘检测、直线检测与筛选结果115、控制信号116组成。在车辆的中轴线上安装有能拍摄获取当前道路道面和道面两侧的图像的摄像装置。
在本实施例中，基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，包括以下步骤：
一、端对端的语义分割神经网络学习过程：
本实施例通过搭建了一个基于残差网络改进的高效卷积神经网络，并使用公开的城市道路数据集进行了预训练，随后针对从具体实施的物理场景中拍摄的视频中随机选取了部分图片作为训练集和验证集进行了标注，两者总规模大概为700张，然后使用这些训练集在之前的预训练模型上进行了迁移学习，最终获得技术实施的语义分割神经网络。输出语义分割结果112如图2的Fig1所示，其中，像素值为0代表背景、1代表道路。
二、感兴趣区域选取：
由于传统的语义分割由于精度的原因会存在误分割现象，即把非道路像素点分割标注为道路，导致网络分割结果中存在噪点，这一问题在图像中的天空部分尤为显著，且一般成块出现；为此，本实施例对所述神经网络标注的图像进行感兴趣区域(region ofinterest,ROI)选取；其中，可以选用固定区域挑选方案，即在图像中划定一个道路可能出现的固定区域，比如道路不可能出现在图像的顶部，所以可以划定一个固定区域去除天空大部分图像。也可以选用自适应的方法划定感兴趣区域，此处根据道路图像的形状特征，利用道路语义分割结果图确定道路在图像中的可视尽头位置Pend＝(xend,yend)的横坐标yend，具体步骤如下：
统计标注的图像中每一行像素总和Ni，其中，i表示标注图像的第i行；
判断分支1：若该行像素总和Ni随i的减小而减小即Ni-step<Ni，且Ni-step＝0时，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；否则，判断沿行进方向的该行的下一行；所述Ni-step表示第i-step像素行；
判断分支2：若像素总和Ni随i的减小而增大即Ni-step>Ni，且Ni-step-Ni＞Nthld，则道路图像到达可视尽头位置Pend＝(xend,yend)；否则，判断沿行进方向的该行的下一行；
若连续进行M次判断分支2，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend。
其中关于参数的设置，本方法设定
其中yimgae为整张图像的像素行总数,每一帧i的初始值由上一帧检测结果的yend和yimgae确定即
边缘情况：对于启动后的第一帧来说上一帧的检测结果
这样设定step和iinit是为了减少自适应ROI选取算法的运算量；设定
其中ximgae为整张图像的像素列总数，设定M＝3。
三、边缘检测过程：
在本实施中，采用差分边缘检测提取感兴趣区域选取中的图像的轮廓信息；在ROI选取之后还需要经过一次一阶差分边缘检测(也可以使用其它的边缘检测算法，比如Canny、Sobel等边缘算子，由于是二值图，此处使用复杂度低的检测算法即可达到需要的效果)，来提取出标注结果的轮廓信息。需要说明的是，本实施例的边缘检测方法较多，其均为现有技术，在此就不予赘述。
四、直线检测过程：
经过边缘检测处理后，标注数据被转换成道路边缘数据；如图2中的Fig2所示，即道路边缘在图像中的像素点，将图像看做一个笛卡尔坐标系，获得的就是边缘对应的坐标点集合。这里本实施例没有直接使用边缘数据作为定位锚点，由于语义分割网络是一个低参数量的高效网络，训练方法的是小训练集做迁移学习，而且土路属于难以进行图像分割的对象(路上的土和两侧农作物根部的土并无显著区别)，所以分割出的道路边缘信息并不具有较高的准确度，而且在农业土路场景大多数错误为非道路像素识别为道路，如图2.Fig1所示在分割结果图像上表现为道路边缘某处突出一块区域。
因此，本实施例通过对边缘点集进行道路两侧边缘的拟合去获取定位锚点信息，利用农业园道路的网格分布特点：单条道路都是直路，相应的道路两侧近似直线，所以在边缘检测之后使用直线拟合算法对道路两侧进行拟合，本实施例选用的是基于霍夫(Hough)变换的直线检测算法，具体步骤如下：
首先，每个点可能存在的经过该点的直线(理论上有无数条)可以构成一个直线集合Ei＝{ε|ε∈经过点i的所有直线}；
通过Hough变换将其中每条直线从笛卡尔坐标系中的一条直线y＝a*x+b变换到极坐标系中的一个点(ρ,Θ)，这样在所有转化后的点集Ρi在极坐标系中就构成了一条曲线Hi；
不同Ei对应不同曲线Hi，通过求解曲线与曲线的交点，再逆Hough变换为笛卡尔坐标系中直线，从而得到直线拟合结果。
由于Hough直线检测算法输出的并不是最优的一条直线，而是满足一定要求的所有线(要求由设置阈值体现)，可以通过提高阈值来减少拟合的直线数量，但是为了提高系统鲁棒性，阈值不能过高，为了提高性能和处理速度的综合能力，调整阈值至使左右两侧拟合出的直线数量为5-10条。
五、直线筛选过程：
对所述数条拟合后的直线进行筛选，以获得最优的拟合直线；首先，通过对直线斜率值进行阈值筛选，由于道路在图像中的位置和形状并不是任意的，比如道路两侧不会与图像底边平行或近乎平行，所以可以去除一部分近乎水平的的直线(即0°)；本实施例中的设定阈值为±9°，除去斜率值落在该阈值范围内的所有直线。并且本实施通过左右道路两侧边缘的斜率应该符号相反的特点。
在本实施例中对所述数条拟合后的直线进行筛选，以获得最优的拟合直线，包括以下步骤：
(51)设定直线斜率值的阀值，并得到拟合道路两侧边缘的直线集Ltotal；所述直线集Ltotal包括道路左侧直线集Lleft和道路右侧直线集Lright；
(52)采用去除异常点的平均算法对所述道路左侧直线集Lleft和道路右侧直线集Lright进行处理，以得到最优的道路左侧边缘拟合直线Lmleft(ρlm,Θlm)、数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)、以及道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)在图像中的交点(xinte,yinte)。在本实施例中，对直线经过Hough变换的结果(ρ,θ)构成的集合分别以ρ和θ为输入各进行了一次上述去除异常点的平均算法的筛选。这里由于ρ筛选和θ筛选的执行先后顺序对结果存在影响，先执行的筛选操作对应的参量对结果的影响更大，考虑到正常的道路边缘直线检测结果如图2.Fig3所示，一般出现的异常直线与正常直线ρ值之间的差异较θ值更大，所以本实施例选用先进行ρ筛选再进行θ筛选。以下过程以对左侧直线集Lleft进行筛选以举例说明。
(521)采用霍夫变换将道路左侧直线集Lleft转换成极坐标(ρl,Θl)，分别求得极坐标(ρl,Θl)中极径ρl和极角Θl两个值对应的极径平均值ρlm和极角平均值Θlm；
(522)依次剔除极坐标(ρl,Θl)中极径ρl和极角Θl的异常点，所述极径ρl和极角Θl去除异常点的处理方法相同，在此，每条直线是使用霍夫变化后的形式表示即(ρl,Θl)的形式，所以是针对ρl和Θl两个值分别求平均得到ρlm,Θlm，然后先进行ρ筛选再进行Θ筛选，就是对于Lleft上先针对ρl用这个算法筛选一遍得到剩余直线集L′left，再在L′left上针对Θl用这个算法再筛选一遍得到最终的最优直线集L″left，最后在最优直线集上求其均值(ρ″lm,Θ″lm)得到最终的最优直线Lmleft；
下面仅以极径ρl去除异常点为例，其包括以下步骤：
(5221)求得极径ρl与极径平均值ρlm的最大归一化偏差εmax；
(5222)预设归一化偏差阈值εthld，并比较εthld与最大偏差εmax的大小；
(5223)若εmac≤εthld时，则输出剩余的所有数据点集；否则，删除最大偏差εmax对应的数据点，并返回步骤(5221)。
六、状态分类
(一)特征提取
本方法搭建了一个五分类的状态分类器，分类器的输入是道路两侧边缘的拟合直线Lmleft和Lmright以及根据拟合直线得到交点垂线xt，该分类器可由传统方法根据提取数据固定特征然后进行阈值划分进行状态分类来实现，也可以通过搭建五分类神经网络进行数据学习来获取分类模型。当然神经网络也可以看作一个特征提取器，但由于神经网络的黑盒性质，其提取的特征属于未知特征。所以两种方法本质区别只是在于提取的特征可否先验描述。借助搭建的分类器我们可以得到车辆相对道路的位姿状态：车身居中、车身左偏、车身右偏、车头左偏以及车头右偏。
(二)多帧平滑过程：
根据道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)在图像中的交点(xinte,yinte)采用滑动窗口剔除异常值，然后根据剔除异常值后的结果进行车辆位姿状态分类，具体步骤如下：
预设一窗口的大小为windowframe帧，并设置所述步进step为1；
所述滑动窗口的时间窗口在交点xt＝(xinte,yinte)，产生长度为windowframe的交集点{xt|xt＝(xinte,yinte),framecurrent-windowframe＜t≤framecurrent}；
对交集点{xt|xt＝(xinte，yinte)，framecurrent-windowframe＜t≤framecurrent}进行去除异常点处理，得到去除异常值后的均值。
七、车辆回环控制
上述过程根据得到的xt、Lmleft以及Lmright进行状态判别，从而得到了车辆横向位置状态信息，然后车辆控制模块通过微调+闭环检测的方式进行车辆控制，控制原理如下：
当车辆被判定为车头左偏或右偏时，控制模块下发回正车头的指令，直到车头回正后，车辆被判定为车身居中、车身偏左或偏右。当车辆被判定车身偏左或偏右时，控制模块下发相应的扭转车头的指令，车头的扭转幅度较小，扭转角度由图像上车身(即摄像头焦点)与道路左右侧边缘的相对距离进行函数映射而来，并且指令附带一定的时间效应(该时间也很小)，这段时间内将不执行车头回正的指令，超时后继续循环上述过程。摄像头、车辆横向位置判定、车辆微调控制构成了一个微调+闭环检测系统，以维持车辆居中行驶。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。
Claims (9)
1.基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，包括以下步骤：
对端到端卷积神经网络进行预训练，以获得针对农业园场景的语义分割网络模型；所述摄像装置安装在车辆的中轴线上并置于车头上、且能拍摄获取当前道路道面和道面两侧的图像；
利用摄像装置采集农业园场景的道路图像，并采用卷积神经网络标注图像；
对所述神经网络标注的图像进行感兴趣区域选取；
采用差分边缘检测提取感兴趣区域选取中的道路图像的边缘图像；
建立笛卡尔坐标系，获取边缘图像中边缘像素在图像坐标系中对应的坐标点集合；
拟合输出数条拟合直线；
对所述数条拟合后的直线进行筛选，以获得最优的拟合直线；
根据最优的拟合直线进行位姿状态估计，提取实时的道路图像中的车身与道路左右侧边缘的相对距离和车载摄像头的焦点的特征以区分车辆位姿状态，并进行车身调整，以实现车辆居中行驶。
2.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述端到端卷积神经网络进行预训练，包括以下步骤：采用城市道路公开大数据集对网络模型的预训练，利用摄像装置采集农业园场景的道路图像制作小数据集，并采用农业园场景的道路图像的小数据集在预训练后的模型基础上进行迁移学习。
3.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述拟合输出数条拟合直线，包括以下步骤：采用霍夫变换直线检测算法从所述边缘像素对应的坐标点集合中检测出道路边缘拟合直线，以获得定位锚点信息，并采用霍夫变换后的表达形式输出数条检测出的拟合直线。
4.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，对所述神经网络标注的图像进行自适应的感兴趣区域选取，并利用道路语义分割结果确定道路在图像中的可视尽头位置Pend＝(xend，yend)的横坐标yend，具体步骤如下：
统计标注的图像中每一行像素总和Ni，其中，i表示标注图像的第i行；
判断分支1：若该行像素总和Ni随i的减小而减小即Ni-step<Ni，且Ni-step＝0时，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；否则，判断沿行进方向的该行的下一行；所述Ni-step表示第i-step像素行；
判断分支2：若像素总和Ni随i的减小而增大即Ni-step>Ni，且Ni-step-Ni＞Nthld，则道路图像到达可视尽头位置Pend＝(xend,yend)；否则，判断沿行进方向的该行的下一行；
若连续进行M次判断分支2，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；所述M为大于等于3的自然数。
5.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述对所述数条拟合后的直线进行筛选，以获得最优的拟合直线，包括以下步骤：
设定直线斜率值的阀值，并得到拟合道路两侧边缘的直线集Ltotal；所述直线集Ltotal包括道路左侧直线集Lleft和道路右侧直线集Lright；
采用去除异常点的平均算法对所述道路左侧直线集Lleft和道路右侧直线集Lright进行处理，以得到最优的道路左侧边缘拟合直线Lmleft(ρlm,Θlm)、数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)、以及道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)在图像中的交点(xinte,yinte)。
6.根据权利要求5所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述采用去除异常点的平均算法对所述道路左侧直线集Lleft和道路右侧直线集Lright进行处理，所述道路左侧直线集Lleft和道路右侧直线集Lright去除异常点处理的步骤相同，
且所述道路左侧直线集Lleft去除异常点的处理步骤包括以下步骤：
采用霍夫变换检测算法将道路左侧直线集Lleft转换成极坐标(ρl,Θl)，分别求得极坐标(ρl，Θl)中极径ρl和极角Θl两个值对应的极径平均值ρlm和极角平均值Θlm；
依次剔除极坐标(ρl,Θl)中极径ρl和极角Θl的异常点，所述极径ρl和极角Θl去除异常点的处理方法相同，且极径ρl去除异常点包括以下步骤：
(1)求得极径ρl与极径平均值ρlm的最大归一化偏差εmax；
(2)预设归一化偏差阈值εthld，并比较εthld与最大偏差εmax的大小；
(3)若εmax≤εthld时，则输出剩余的所有数据点集；否则，删除最大偏差εmax对应的数据点，并返回步骤(1)。
7.根据权利要求6所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述根据最优的拟合直线行进，并采用五分类的状态分类器来识别车辆相对位姿状态，得到车辆相对道路的位姿状态；所述位姿状态包括车身居中、车身左偏、车身右偏、车头左偏和车头右偏，并实时调整车辆的行进姿态，以实现车辆居中行驶。
8.根据权利要求6所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，还包括根据道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)在图像中的交点(xinte,yinte)采用滑动窗口剔除异常值，然后根据剔除异常值后的结果进行车辆位姿状态分类，具体步骤如下：
预设一窗口的大小为windowframe帧，并设置所述步进step为1；
所述滑动窗口的时间窗口在交点xt＝(xinte,yinte)，产生长度为windowframe的交集点{xt|xt＝(xinte,yinte),framecurrent-windowframe＜t≤framecurrent}；其中，framecurrent表示当前处理的图像帧，摄像头输入是一帧一帧的，这个方法本质是把当前输入的最新帧与之前(windowframe-1)帧的处理结果做筛选和融合；
对交集点{xt|xt＝(xinte,yinte),framecurrent-windowframe＜t≤framecurrent}进行去除异常点处理，得到去除异常值后的均值。
9.基于端到端卷积神经网络的农业园场景车道偏移预警控制系统，其特征在于，包括：
图像采集模块，安装在车辆的中轴线上并置于车头上、且能拍摄获取当前道路道面和道面两侧的图像；
端对端的语义分割神经网络，用于利用城市道路数据集和随机的待使用农业园场景数据集进行学习，并进行边缘检测；
神经网络后数据处理模块，对神经网络标注的图像进行感兴趣区域选取，提取感兴趣区域选取中的图像的轮廓信息；拟合并获得最优的拟合直线；
状态分类器，在车辆以最优的拟合直线行进时，判断车辆行驶偏移状态，以及
底层车辆控制模块，获取车辆行驶偏移状态，并调整车辆行驶状态，使车辆居中行进。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010207493.1A CN111439259B (zh) | 2020-03-23 | 2020-03-23 | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010207493.1A CN111439259B (zh) | 2020-03-23 | 2020-03-23 | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111439259A true CN111439259A (zh) | 2020-07-24 |
| CN111439259B CN111439259B (zh) | 2020-11-27 |
Family
ID=71629541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010207493.1A Active CN111439259B (zh) | 2020-03-23 | 2020-03-23 | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111439259B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950478A (zh) * | 2020-08-17 | 2020-11-17 | 浙江东鼎电子股份有限公司 | 一种动态平板秤称重区域汽车s型行驶行为检测方法 |
| CN112613523A (zh) * | 2020-12-15 | 2021-04-06 | 中冶赛迪重庆信息技术有限公司 | 一种转炉出钢口钢流识别方法、系统、介质及电子终端 |
| CN113034613A (zh) * | 2021-03-25 | 2021-06-25 | 中国银联股份有限公司 | 相机的外部参数标定方法及相关装置 |
| CN113139975A (zh) * | 2021-04-19 | 2021-07-20 | 国交空间信息技术（北京）有限公司 | 一种基于道路特征的路面分割方法及装置 |
| CN113221861A (zh) * | 2021-07-08 | 2021-08-06 | 中移(上海)信息通信科技有限公司 | 一种多车道线检测方法、装置及检测设备 |
| CN114202936A (zh) * | 2021-12-17 | 2022-03-18 | 重庆特斯联智慧科技股份有限公司 | 一种交通指挥机器人及其控制方法 |
| CN114332437A (zh) * | 2021-12-28 | 2022-04-12 | 埃洛克航空科技（北京）有限公司 | 车辆区域修复方法、装置、设备和存储介质 |
| CN114723946A (zh) * | 2022-04-11 | 2022-07-08 | 合肥工业大学 | 一种基于语义分割的择优式方向偏移预警系统和方法 |
| CN114851786A (zh) * | 2022-04-28 | 2022-08-05 | 山东玲珑轮胎股份有限公司 | 一种智能轮胎偏磨预警方法及装置 |
| CN116596999A (zh) * | 2023-04-19 | 2023-08-15 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1927093B1 (de) * | 2005-09-20 | 2014-04-30 | ADC Automotive Distance Control Systems GmbH | Verfahren und Vorrichtung zur Erkennung von Fahrspurmarkierungen |
| CN106412508A (zh) * | 2016-09-30 | 2017-02-15 | 北京中星微电子有限公司 | 车辆违章压线智能监控方法和系统 |
| DE10311240B4 (de) * | 2003-03-14 | 2017-03-02 | Robert Bosch Gmbh | Verfahren und Einrichtung für die Spurführung eines Fahrzeugs |
| CN106599827A (zh) * | 2016-12-09 | 2017-04-26 | 浙江工商大学 | 一种基于深度卷积神经网络的小目标快速检测方法 |
| CN106845547A (zh) * | 2017-01-23 | 2017-06-13 | 重庆邮电大学 | 一种基于摄像头的智能汽车定位与道路标识识别系统及方法 |
| CN109426800A (zh) * | 2017-08-22 | 2019-03-05 | 北京图森未来科技有限公司 | 一种车道线检测方法和装置 |
| CN109446919A (zh) * | 2018-09-30 | 2019-03-08 | 贵州大学 | 一种基于端到端学习的视觉车道保持方法 |
| CN109871778A (zh) * | 2019-01-23 | 2019-06-11 | 长安大学 | 基于迁移学习的车道保持控制方法 |
-
2020
- 2020-03-23 CN CN202010207493.1A patent/CN111439259B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10311240B4 (de) * | 2003-03-14 | 2017-03-02 | Robert Bosch Gmbh | Verfahren und Einrichtung für die Spurführung eines Fahrzeugs |
| EP1927093B1 (de) * | 2005-09-20 | 2014-04-30 | ADC Automotive Distance Control Systems GmbH | Verfahren und Vorrichtung zur Erkennung von Fahrspurmarkierungen |
| CN106412508A (zh) * | 2016-09-30 | 2017-02-15 | 北京中星微电子有限公司 | 车辆违章压线智能监控方法和系统 |
| CN106599827A (zh) * | 2016-12-09 | 2017-04-26 | 浙江工商大学 | 一种基于深度卷积神经网络的小目标快速检测方法 |
| CN106845547A (zh) * | 2017-01-23 | 2017-06-13 | 重庆邮电大学 | 一种基于摄像头的智能汽车定位与道路标识识别系统及方法 |
| CN109426800A (zh) * | 2017-08-22 | 2019-03-05 | 北京图森未来科技有限公司 | 一种车道线检测方法和装置 |
| CN109446919A (zh) * | 2018-09-30 | 2019-03-08 | 贵州大学 | 一种基于端到端学习的视觉车道保持方法 |
| CN109871778A (zh) * | 2019-01-23 | 2019-06-11 | 长安大学 | 基于迁移学习的车道保持控制方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950478B (zh) * | 2020-08-17 | 2021-07-23 | 浙江东鼎电子股份有限公司 | 一种动态平板秤称重区域汽车s型行驶行为检测方法 |
| CN111950478A (zh) * | 2020-08-17 | 2020-11-17 | 浙江东鼎电子股份有限公司 | 一种动态平板秤称重区域汽车s型行驶行为检测方法 |
| CN112613523A (zh) * | 2020-12-15 | 2021-04-06 | 中冶赛迪重庆信息技术有限公司 | 一种转炉出钢口钢流识别方法、系统、介质及电子终端 |
| CN113034613B (zh) * | 2021-03-25 | 2023-09-19 | 中国银联股份有限公司 | 相机的外部参数标定方法及相关装置 |
| CN113034613A (zh) * | 2021-03-25 | 2021-06-25 | 中国银联股份有限公司 | 相机的外部参数标定方法及相关装置 |
| CN113139975A (zh) * | 2021-04-19 | 2021-07-20 | 国交空间信息技术（北京）有限公司 | 一种基于道路特征的路面分割方法及装置 |
| CN113139975B (zh) * | 2021-04-19 | 2023-11-17 | 国交空间信息技术（北京）有限公司 | 一种基于道路特征的路面分割方法及装置 |
| CN113221861A (zh) * | 2021-07-08 | 2021-08-06 | 中移(上海)信息通信科技有限公司 | 一种多车道线检测方法、装置及检测设备 |
| CN113221861B (zh) * | 2021-07-08 | 2021-11-09 | 中移(上海)信息通信科技有限公司 | 一种多车道线检测方法、装置及检测设备 |
| CN114202936A (zh) * | 2021-12-17 | 2022-03-18 | 重庆特斯联智慧科技股份有限公司 | 一种交通指挥机器人及其控制方法 |
| CN114332437A (zh) * | 2021-12-28 | 2022-04-12 | 埃洛克航空科技（北京）有限公司 | 车辆区域修复方法、装置、设备和存储介质 |
| CN114332437B (zh) * | 2021-12-28 | 2022-10-18 | 埃洛克航空科技（北京）有限公司 | 车辆区域修复方法、装置、设备和存储介质 |
| CN114723946A (zh) * | 2022-04-11 | 2022-07-08 | 合肥工业大学 | 一种基于语义分割的择优式方向偏移预警系统和方法 |
| CN114723946B (zh) * | 2022-04-11 | 2024-02-27 | 合肥工业大学 | 一种基于语义分割的择优式方向偏移预警系统和方法 |
| CN114851786A (zh) * | 2022-04-28 | 2022-08-05 | 山东玲珑轮胎股份有限公司 | 一种智能轮胎偏磨预警方法及装置 |
| CN116596999A (zh) * | 2023-04-19 | 2023-08-15 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
| CN116596999B (zh) * | 2023-04-19 | 2024-04-05 | 大连工业大学 | 一种深度学习与图像处理相结合的猪胴体背膘厚度测量位置自动定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111439259B (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111439259B (zh) | 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统 | |
| US11958197B2 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
| Kong et al. | Vanishing point detection for road detection | |
| CN107577996A (zh) | 一种车辆驾驶路径偏移的识别方法及系统 | |
| CN107590438A (zh) | 一种智能辅助驾驶方法及系统 | |
| CN109784344A (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
| CN109285179A (zh) | 一种基于多特征融合的运动目标跟踪方法 | |
| CN110334625A (zh) | 一种面向自动泊车的停车位视觉识别系统及其识别方法 | |
| CN111652033A (zh) | 基于OpenCV的车道线检测方法 | |
| CN113223044A (zh) | 一种结合特征聚合和注意力机制的红外视频目标检测方法 | |
| CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
| Zhou et al. | Cross-weather image alignment via latent generative model with intensity consistency | |
| CN114220044B (zh) | 一种基于ai算法的河道漂浮物检测方法 | |
| JP3589293B2 (ja) | 道路の白線検出方法 | |
| CN114581307A (zh) | 用于目标追踪识别的多图像拼接方法、系统、设备及介质 | |
| CN113095283A (zh) | 一种基于动态roi和改进萤火虫算法的车道线提取方法 | |
| Gupta et al. | Robust lane detection using multiple features | |
| CN110171263A (zh) | 一种用于ecas系统的弯道识别及车高调节方法 | |
| CN111428538A (zh) | 一种车道线提取方法、装置和设备 | |
| Yang et al. | A novel vision-based framework for real-time lane detection and tracking | |
| Gao et al. | A real-time drivable road detection algorithm in urban traffic environment | |
| CN111583341B (zh) | 云台像机移位检测方法 | |
| CN110532892B (zh) | 一种非结构化道路单幅图像道路消失点检测方法 | |
| CN114219903A (zh) | 一种基于视频图像的河道网拓扑结构生成方法及其装置 | |
| CN109711455A (zh) | 一种基于无人驾驶汽车的交警手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |