CN112800938B - 无人驾驶车辆检测侧面落石发生的方法及装置 - Google Patents
无人驾驶车辆检测侧面落石发生的方法及装置 Download PDFInfo
- Publication number
- CN112800938B CN112800938B CN202110102056.8A CN202110102056A CN112800938B CN 112800938 B CN112800938 B CN 112800938B CN 202110102056 A CN202110102056 A CN 202110102056A CN 112800938 B CN112800938 B CN 112800938B
- Authority
- CN
- China
- Prior art keywords
- image
- image information
- falling rocks
- falling
- rockfall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000012544 monitoring process Methods 0.000 claims abstract description 77
- 239000011435 rock Substances 0.000 claims description 139
- 238000012549 training Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 26
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002706 hydrostatic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
Abstract
本发明属于无人驾驶技术领域，具体涉及无人驾驶车辆检测侧面落石发生的方法及装置，所述方法执行以下步骤：步骤1：实时获取无人驾驶车辆行驶过程中的运行数据；所述运行数据包括：行驶速度和行驶角速度；同时录入无人驾驶车辆行驶过程中的道路宽度，以及无人驾驶车辆的车身宽度；步骤2：基于运行数据、道路宽度和车身宽度，划定安全区和车身两侧的两个监测区；所述安全区为车辆前行过程中的安全区域；所述两个监测区分别为位于车身右侧的第一监测区和位于车身左侧的第二监测区。具有智能化程度高、安全性高和准确率高的优点。
Description
技术领域
本发明属于无人驾驶技术领域，具体涉及无人驾驶车辆检测侧面落石发生的方法及装置。
背景技术
自动驾驶汽车，又称无人驾驶汽车、电脑驾驶汽车，为一种运输动力的无人地面载具。作为自动化载具，自动驾驶汽车不需要人类操作即能感测其环境及导航。完全的自动驾驶汽车仍未全面商用化，大多数均为原型机及展示系统，部分可靠技术才下放至量产车型，逐渐成为现实。
自动驾驶汽车能以雷达、光学雷达、GPS及电脑视觉等技术感测其环境。先进的控制系统能将感测资料转换成适当的导航道路，以及障碍与相关标志。根据定义，自动驾驶汽车能透过感测输入的资料，更新其地图资讯，让交通工具可以持续追踪其位置。通过多辆自动驾驶汽车构成的无人车队可以有效减轻交通压力，并因此提高交通系统的运输效率。
山体滑坡预警系统目前都采用监测仪器进行监测，传统的用于山体滑坡监测的方法大概有如下几种:常规大地测量法；液体静力水准测量、重力测量法；地下水位监测法；电测法、地下钻孔倾斜等。尽管这些方法都在山体滑坡预警方面起到了积极作用，但它们具有一些弊端，如受地形影响，不能连续观测，自动化程度不高，人力投入过大，数据不能实时处理等。
发明内容
本发明的主要目的在于提供无人驾驶车辆检测侧面落石发生的方法及装置，其首先基于无人驾驶车辆的车身宽度和行驶的道路宽度来划定安全区和监测区，以此来避免对整个道路进行监控造成的效率低下问题，其次使用近景图像信息对近处的落石进行监测，使用远景图像信息进行远处的落石进行预测，以避免突发落石造成无人驾驶车辆的损伤，在进行落石检测时，通过判定落石体积以确定落石落定的区域，更能帮助无人驾驶车辆规避落石，具有智能化程度高、安全性高和准确率高的优点。
为达到上述目的，本发明的技术方案是这样实现的：
无人驾驶车辆检测侧面落石发生的方法，其特征在于，所述方法执行以下步骤：
步骤1：实时获取无人驾驶车辆行驶过程中的运行数据；所述运行数据包括：行驶速度和行驶角速度；同时录入无人驾驶车辆行驶过程中的道路宽度，以及无人驾驶车辆的车身宽度；
步骤2：基于运行数据、道路宽度和车身宽度，划定安全区和车身两侧的两个监测区；所述安全区为车辆前行过程中的安全区域；所述两个监测区分别为位于车身右侧的第一监测区和位于车身左侧的第二监测区；
步骤3：在无人驾驶车辆上设置至少两个图像获取装置，分别获取近景的第一监测区和第二监测区的图像信息；
步骤4：对近景的第一监测区和第二监测区的图像信息进行图像去噪，降低图像信息因环境因素和无人驾驶车辆不断行驶导致的噪声干扰；
步骤5：对近景的第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置；
步骤6：根据步骤5中划定的落石下落完成后的第一距离界限和第二距离界限，判断落石是否会到达安全区，若落石会到达安全区，则控制无人驾驶车辆的运行，以避免无人驾驶车辆和落石相撞。
进一步的，所述方法还包括：再额外设置两个图像获取装置，分别获取远景的第一监测区和第二监测区的图像信息；对远景的第一监测区和第二监测区的图像信息进行图像去噪，降低图像信息因环境因素和无人驾驶车辆不断行驶导致的噪声干扰；对远景第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置；根据划定的落石下落完成后的第一距离界限和第二距离界限，划定预期危险区和预期安全区，以控制无人驾驶车辆的行驶轨迹，从当前位置不断朝向预期安全区的位置行驶。
进一步的，所述方法还包括：在通过预图像获取装置获取图像信息前，对所述图像获取装置进行相机标定。
进一步的，在通过预图像获取装置获取图像信息前，对所述图像获取装置进行相机标定包括：将预先配置的两标志物置于山体上，促使两标志物连线位于视场水平方向，并测定两标志物的实际距离；更换两标志物的实际位置，促使两标志物连线位于视场垂直方向，并测定两标志物的实际距离；根据上述水平方向上的实际距离和垂直方向上的实际距离，确定图像获取装置中，每像素所表示的实际长度，并根据该实际长度对图像获取装置进行相机标定。
进一步的，对图像信息进行图像去噪的方法包括：首先对图像信息使用如下公式进行亮度校正：
其中，
为图像信息中，所有像素点的平均亮度值；x为图像信息的像素点的原亮度值；N为校正后的亮度值；基于亮度校正后的结果，已设定的阈值，将图像中的不同区域划分为高亮度图像部分和低亮度图像部分；生成第一神经网络模型，并利用所述第一神经网络模型对所述低亮度图像部分进行去噪处理，得到去噪后的低亮度图像区；将所述高亮度图像部分和所述去噪后的低亮度图像区构成训练图像数据库，并利用所述训练图像数据库训练神经网络模型，生成用于图像去噪的第二神经网络模型；将图像信息作为所述第二神经网络模型的输入，经处理后得到对应的去噪后的图像。
进一步的，对图像信息进行识别，以判断是否出现落石的方法包括：对所述图像信息进行差分处理和二值化分割处理，得到前置图像信息；基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像。
进一步的，所述的基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像，包括：采用栈式去噪自编码器作为深度网络的架构，收集无人驾驶车辆行驶的道路的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为二维向量，输入二维向量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的判别器；把所述前置图像信息进行归一化处理，并转换为二维向量，将所述二维向量输入到所述判别器，得到所述前置图像信息属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前置图像信息为包含落石的目标图像；否则，认为所述前置图像信息为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
进一步的，所述对图像信息进行识别，以获取落石的大小的方法包括：对图像信息的每帧图像进行落石检测，确定每帧检测后的落石二值图像；根据确定出的每帧落石二值图像，确定所述每帧落石二值图像所对应的面积和名义高度；根据所述面积和名义高度，计算落石目标的体积，并根据聚类分析算法，对落石目标的体积集合进行聚类；对聚类后的若干簇的元素数目进行统计，并根据统计结果，确定出数目最多的簇，并根据该簇，估算落石目标的体积，其中，估算的方法为取簇中所有元素的均值；所述名义高度为一虚拟值，其定义为落石的体积V与其图像投影面积S的比值。
进一步的，所述根据确定出的每帧落石二值图像，确定所述每帧落石二值图像所对应的面积包括：对单个落石目标进行像素的遍历，其中，像素的数目即为当前帧落石的面积。
一种无人驾驶车辆检测侧面落石发生的装置。
本发明的无人驾驶车辆检测侧面落石发生的方法及装置，具有如下有益效果：其首先基于无人驾驶车辆的车身宽度和行驶的道路宽度来划定安全区和监测区，以此来避免对整个道路进行监控造成的效率低下问题，其次使用近景图像信息对近处的落石进行监测，使用远景图像信息进行远处的落石进行预测，以避免突发落石造成无人驾驶车辆的损伤，在进行落石检测时，通过判定落石体积以确定落石落定的区域，更能帮助无人驾驶车辆规避落石，具有智能化程度高、安全性高和准确率高的优点。主要通过以下过程实现：1.图像信息的去噪，本发明为了避免因为环境因素和无人驾驶车辆的高速行驶带来的获取的图像信息噪声的影响，对图像信息进行了去噪，在去噪过程中，首先进行亮度校正：
经过该过程，可以针对不同亮度的图像区域进行不同的处理，从而使得图像去噪的效果更好；2.近景图像的落石判断，本发明对近景的第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置，从而获得落石的准确位置，以使得无人驾驶车辆能够更好的避开落石；3.远景图像的预期判断，本发明额外设置两个图像获取装置，分别获取远景的第一监测区和第二监测区的图像信息，和近景图像一样的处理后，从而对落石的区域进行预测，得到预期的危险区和安全区，使得无人驾驶车辆的运行效率更高；4.落石有无的判断：本发明通过对所述图像信息进行差分处理和二值化分割处理，得到前置图像信息；基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像，这样可以更为高效和准确地判断图像中是否出现了落石；3.落石体积的判断，本发明根据聚类分析算法，对落石目标的体积集合进行聚类，这样得到的落石体积更加准确。
附图说明
图1为本发明的实施例提供的无人驾驶车辆检测侧面落石发生的方法的流程示意图；
图2为本发明的实施例提供的无人驾驶车辆检测侧面落石发生的方法的落石的第一距离极限和第二距离界限的结构示意图；
图3为本发明的实施例提供的无人驾驶车辆检测侧面落石发生的方法的安全区、第一监测区和第二监测区的结构示意图；
图4为本发明的实施例提供的无人驾驶车辆检测侧面落石发生的方法的预期安全区和预期危险区的结构示意图；
图5为本发明的实施例提供的无人驾驶车辆检测侧面落石发生的方法的检测准确率随着实验次数变化的实验曲线示意图与现有技术的对比实验效果示意图。
具体实施方式
以下结合具体实施方式和附图对本发明的技术方案作进一步详细描述：
实施例1
如图1所示，无人驾驶车辆检测侧面落石发生的方法，其特征在于，所述方法执行以下步骤：
步骤1：实时获取无人驾驶车辆行驶过程中的运行数据；所述运行数据包括：行驶速度和行驶角速度；同时录入无人驾驶车辆行驶过程中的道路宽度，以及无人驾驶车辆的车身宽度；
步骤2：基于运行数据、道路宽度和车身宽度，划定安全区和车身两侧的两个监测区；所述安全区为车辆前行过程中的安全区域；所述两个监测区分别为位于车身右侧的第一监测区和位于车身左侧的第二监测区；
步骤3：在无人驾驶车辆上设置至少两个图像获取装置，分别获取近景的第一监测区和第二监测区的图像信息；
步骤4：对近景的第一监测区和第二监测区的图像信息进行图像去噪，降低图像信息因环境因素和无人驾驶车辆不断行驶导致的噪声干扰；
步骤5：对近景的第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置；
步骤6：根据步骤5中划定的落石下落完成后的第一距离界限和第二距离界限，判断落石是否会到达安全区，若落石会到达安全区，则控制无人驾驶车辆的运行，以避免无人驾驶车辆和落石相撞。
采用上述技术方案，本发明首先基于无人驾驶车辆的车身宽度和行驶的道路宽度来划定安全区和监测区，以此来避免对整个道路进行监控造成的效率低下问题，其次使用近景图像信息对近处的落石进行监测，使用远景图像信息进行远处的落石进行预测，以避免突发落石造成无人驾驶车辆的损伤，在进行落石检测时，通过判定落石体积以确定落石落定的区域，更能帮助无人驾驶车辆规避落石，具有智能化程度高、安全性高和准确率高的优点。主要通过以下过程实现：1.图像信息的去噪，本发明为了避免因为环境因素和无人驾驶车辆的高速行驶带来的获取的图像信息噪声的影响，对图像信息进行了去噪，在去噪过程中，首先进行亮度校正：
经过该过程，可以针对不同亮度的图像区域进行不同的处理，从而使得图像去噪的效果更好；2.近景图像的落石判断，本发明对近景的第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置，从而获得落石的准确位置，以使得无人驾驶车辆能够更好的避开落石；3.远景图像的预期判断，本发明额外设置两个图像获取装置，分别获取远景的第一监测区和第二监测区的图像信息，和近景图像一样的处理后，从而对落石的区域进行预测，得到预期的危险区和安全区，使得无人驾驶车辆的运行效率更高；4.落石有无的判断：本发明通过对所述图像信息进行差分处理和二值化分割处理，得到前置图像信息；基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像，这样可以更为高效和准确地判断图像中是否出现了落石；3.落石体积的判断，本发明根据聚类分析算法，对落石目标的体积集合进行聚类，这样得到的落石体积更加准确。
实施例2
在上一实施例的基础上，所述方法还包括：再额外设置两个图像获取装置，分别获取远景的第一监测区和第二监测区的图像信息；对远景的第一监测区和第二监测区的图像信息进行图像去噪，降低图像信息因环境因素和无人驾驶车辆不断行驶导致的噪声干扰；对远景第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置；根据划定的落石下落完成后的第一距离界限和第二距离界限，划定预期危险区和预期安全区，以控制无人驾驶车辆的行驶轨迹，从当前位置不断朝向预期安全区的位置行驶。
实施例3
在上一实施例的基础上，所述方法还包括：在通过预图像获取装置获取图像信息前，对所述图像获取装置进行相机标定。
具体的，在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。
传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。
目前出现的自标定算法中主要是利用相机运动的约束。相机的运动约束条件太强，因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强，可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。
实施例4
在上一实施例的基础上，在通过预图像获取装置获取图像信息前，对所述图像获取装置进行相机标定包括：将预先配置的两标志物置于山体上，促使两标志物连线位于视场水平方向，并测定两标志物的实际距离；更换两标志物的实际位置，促使两标志物连线位于视场垂直方向，并测定两标志物的实际距离；根据上述水平方向上的实际距离和垂直方向上的实际距离，确定图像获取装置中，每像素所表示的实际长度，并根据该实际长度对图像获取装置进行相机标定。
具体的，基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单，往往能够获得线性解，故鲁棒性较高，缺点是系统的成本高、实验设备昂贵、实验条件要求高，而且不适合于运动参数未知或无法控制的场合。
实施例5
在上一实施例的基础上，对图像信息进行图像去噪的方法包括：首先对图像信息使用如下公式进行亮度校正：
其中，
为图像信息中，所有像素点的平均亮度值；x为图像信息的像素点的原亮度值；N为校正后的亮度值；基于亮度校正后的结果，已设定的阈值，将图像中的不同区域划分为高亮度图像部分和低亮度图像部分；生成第一神经网络模型，并利用所述第一神经网络模型对所述低亮度图像部分进行去噪处理，得到去噪后的低亮度图像区；将所述高亮度图像部分和所述去噪后的低亮度图像区构成训练图像数据库，并利用所述训练图像数据库训练神经网络模型，生成用于图像去噪的第二神经网络模型；将图像信息作为所述第二神经网络模型的输入，经处理后得到对应的去噪后的图像。
具体的，在传统的图像去噪声处理中，包括CNN(ConvolutionNeural Network卷积神经网络)在内的模式识别方法具有重要应用，但用于构建这些卷积神经网络的训练图像数据库多为包含人造噪声的图像数据库，因而只能处理人工合成的噪声，对实际噪声图像几乎没有效果。
考虑到现实生活中的噪声是多边的，而非传统高斯噪声或泊松噪声，现有技术中也提出了一种图像去噪声方法，将对真实场景直接捕获得到的图像作为训练图像数据库。虽然利用上述训练图像数据库构建的卷积神经网络在图像去噪处理时可以对实际噪声进行处理，但在实际应用中，经处理后得到的干净图像仍不具有高质量特性。
而本发明进行去噪时，为了避免因为环境因素和无人驾驶车辆的高速行驶带来的获取的图像信息噪声的影响，对图像信息进行了去噪，在去噪过程中，首先进行亮度校正：
经过该过程，可以针对不同亮度的图像区域进行不同的处理，从而使得图像去噪的效果更好。
这样使得最终的检测准确率也更高。
实施例6
在上一实施例的基础上，对图像信息进行识别，以判断是否出现落石的方法包括：对所述图像信息进行差分处理和二值化分割处理，得到前置图像信息；基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像。
具体的，本发明为了避免因为环境因素和无人驾驶车辆的高速行驶带来的获取的图像信息噪声的影响，对图像信息进行了去噪，在去噪过程中，首先进行亮度校正：
经过该过程，可以针对不同亮度的图像区域进行不同的处理，从而使得图像去噪的效果更好。
实施例7
在上一实施例的基础上，所述的基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像，包括：采用栈式去噪自编码器作为深度网络的架构，收集无人驾驶车辆行驶的道路的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为二维向量，输入二维向量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的判别器；把所述前置图像信息进行归一化处理，并转换为二维向量，将所述二维向量输入到所述判别器，得到所述前置图像信息属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前置图像信息为包含落石的目标图像；否则，认为所述前置图像信息为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
具体的本发明对近景的第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置，从而获得落石的准确位置，以使得无人驾驶车辆能够更好的避开落石。
实施例8
在上一实施例的基础上，所述对图像信息进行识别，以获取落石的大小的方法包括：对图像信息的每帧图像进行落石检测，确定每帧检测后的落石二值图像；根据确定出的每帧落石二值图像，确定所述每帧落石二值图像所对应的面积和名义高度；根据所述面积和名义高度，计算落石目标的体积，并根据聚类分析算法，对落石目标的体积集合进行聚类；对聚类后的若干簇的元素数目进行统计，并根据统计结果，确定出数目最多的簇，并根据该簇，估算落石目标的体积，其中，估算的方法为取簇中所有元素的均值；所述名义高度为一虚拟值，其定义为落石的体积V与其图像投影面积S的比值。
具体的，本发明额外设置两个图像获取装置，分别获取远景的第一监测区和第二监测区的图像信息，和近景图像一样的处理后，从而对落石的区域进行预测，得到预期的危险区和安全区，使得无人驾驶车辆的运行效率更高；通过对所述图像信息进行差分处理和二值化分割处理，得到前置图像信息；基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像，这样可以更为高效和准确地判断图像中是否出现了落石；根据聚类分析算法，对落石目标的体积集合进行聚类，这样得到的落石体积更加准确。
实施例9
在上一实施例的基础上，所述根据确定出的每帧落石二值图像，确定所述每帧落石二值图像所对应的面积包括：对单个落石目标进行像素的遍历，其中，像素的数目即为当前帧落石的面积。
实施例10
一种无人驾驶车辆检测侧面落石发生的装置。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.无人驾驶车辆检测侧面落石发生的方法，其特征在于，所述方法执行以下步骤：
步骤1：实时获取无人驾驶车辆行驶过程中的运行数据；所述运行数据包括：行驶速度和行驶角速度；同时录入无人驾驶车辆行驶过程中的道路宽度，以及无人驾驶车辆的车身宽度；
步骤2：基于运行数据、道路宽度和车身宽度，划定安全区和车身两侧的两个监测区；所述安全区为车辆前行过程中的安全区域；所述两个监测区分别为位于车身右侧的第一监测区和位于车身左侧的第二监测区；
步骤3：在无人驾驶车辆上设置至少两个图像获取装置，分别获取近景的第一监测区和第二监测区的图像信息；
步骤4：对近景的第一监测区和第二监测区的图像信息进行图像去噪，降低图像信息因环境因素和无人驾驶车辆不断行驶导致的噪声干扰；
步骤5：对近景的第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置；
步骤6：根据步骤5中划定的落石下落完成后的第一距离界限和第二距离界限，判断落石是否会到达安全区，若落石会到达安全区，则控制无人驾驶车辆的运行，以避免无人驾驶车辆和落石相撞。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：再额外设置两个图像获取装置，分别获取远景的第一监测区和第二监测区的图像信息；对远景的第一监测区和第二监测区的图像信息进行图像去噪，降低图像信息因环境因素和无人驾驶车辆不断行驶导致的噪声干扰；对远景第一监测区和第二监测区的去噪后的图像信息识别，以判断是否出现落石，以及获取落石的大小和落石的下落速度；根据获取到的落石的大小和落石的下落速度，划定落石下落完成后的第一距离界限和第二距离界限；所述第一距离界限为落石下落完成后，至少会到达的界限位置；所述第二距离界限为落石下落完成后，至多会到达的界限位置；根据划定的落石下落完成后的第一距离界限和第二距离界限，划定预期危险区和预期安全区，以控制无人驾驶车辆的行驶轨迹，从当前位置不断朝向预期安全区的位置行驶。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：在通过图像获取装置获取图像信息前，对所述图像获取装置进行相机标定。
4.如权利要求3所述的方法，其特征在于，在通过图像获取装置获取图像信息前，对所述图像获取装置进行相机标定包括：将预先配置的两标志物置于山体上，促使两标志物连线位于视场水平方向，并测定两标志物的实际距离；更换两标志物的实际位置，促使两标志物连线位于视场垂直方向，并测定两标志物的实际距离；根据上述水平方向上的实际距离和垂直方向上的实际距离，确定图像获取装置中，每像素所表示的实际长度，并根据该实际长度对图像获取装置进行相机标定。
5.如权利要求4所述的方法，其特征在于，对图像信息进行图像去噪的方法包括：首先对图像信息使用如下公式进行亮度校正：
其中，
为图像信息中，所有像素点的平均亮度值；x为图像信息的像素点的原亮度值；N为校正后的亮度值；基于亮度校正后的结果，已设定的阈值，将图像中的不同区域划分为高亮度图像部分和低亮度图像部分；生成第一神经网络模型，并利用所述第一神经网络模型对所述低亮度图像部分进行去噪处理，得到去噪后的低亮度图像区；将所述高亮度图像部分和所述去噪后的低亮度图像区构成训练图像数据库，并利用所述训练图像数据库训练神经网络模型，生成用于图像去噪的第二神经网络模型；将图像信息作为所述第二神经网络模型的输入，经处理后得到对应的去噪后的图像。
6.如权利要求5所述的方法，其特征在于，对图像信息进行识别，以判断是否出现落石的方法包括：对所述图像信息进行差分处理和二值化分割处理，得到前置图像信息；基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像。
7.如权利要求6所述的方法，其特征在于，所述的基于训练好的判别器，将所述前置图像信息输入所述判别器，根据所述判别器的输出结果，判断所述前置图像信息是否属于包含落石的目标图像，包括：采用栈式去噪自编码器作为深度网络的架构，收集无人驾驶车辆行驶的道路的现场图片作为训练集中的无标记的样本数据，把训练集中的无标记的样本数据分割为大小相等的子块，将子块转换为二维向量，输入二维向量到栈式去噪自编码器进行训练；利用逐层贪婪算法对单个隐层进行训练，然后利用这个隐层的输出作为下个隐层的输入，对下一个隐层进行训练，如此反复直到把所有的隐层都训练一遍，完成深度网络的预训练过程；用带标记的样本数据对整个深度网络的权值进行微调，完成深度网络的训练，基于训练好的判别器；把所述前置图像信息进行归一化处理，并转换为二维向量，将所述二维向量输入到所述判别器，得到所述前置图像信息属于落石图像的概率，当所述概率大于预先设定的阈值时，则认为所述前置图像信息为包含落石的目标图像；否则，认为所述前置图像信息为没有包含落石的目标图像，输出包含落石的目标图像的物理坐标。
8.如权利要求7所述的方法，其特征在于，所述对图像信息进行识别，以获取落石的大小的方法包括：对图像信息的每帧图像进行落石检测，确定每帧检测后的落石二值图像；根据确定出的每帧落石二值图像，确定所述每帧落石二值图像所对应的面积和名义高度；根据所述面积和名义高度，计算落石目标的体积，并根据聚类分析算法，对落石目标的体积集合进行聚类；对聚类后的若干簇的元素数目进行统计，并根据统计结果，确定出数目最多的簇，并根据该簇，估算落石目标的体积，其中，估算的方法为取簇中所有元素的均值；所述名义高度为一虚拟值，其定义为落石的体积V与其图像投影面积S的比值。
9.如权利要求8所述的方法，其特征在于，所述根据确定出的每帧落石二值图像，确定所述每帧落石二值图像所对应的面积包括：对单个落石目标进行像素的遍历，其中，像素的数目即为当前帧落石的面积。
10.一种用于实现权利要求1至9之一所述方法的无人驾驶车辆检测侧面落石发生的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110102056.8A CN112800938B (zh) | 2021-01-26 | 2021-01-26 | 无人驾驶车辆检测侧面落石发生的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110102056.8A CN112800938B (zh) | 2021-01-26 | 2021-01-26 | 无人驾驶车辆检测侧面落石发生的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800938A CN112800938A (zh) | 2021-05-14 |
| CN112800938B true CN112800938B (zh) | 2022-03-04 |
Family
ID=75811753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110102056.8A Active CN112800938B (zh) | 2021-01-26 | 2021-01-26 | 无人驾驶车辆检测侧面落石发生的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800938B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114715068A (zh) * | 2022-04-06 | 2022-07-08 | 东风汽车集团股份有限公司 | 一种基于车体外置气囊的防护方法、防护系统及车辆 |
| CN116380110B (zh) * | 2023-06-07 | 2023-08-04 | 上海伯镭智能科技有限公司 | 一种基于大数据无人驾驶车辆实时路径规划方法 |
| CN116882754B (zh) * | 2023-07-25 | 2024-04-16 | 杭州慧政软件开发有限公司 | 一种矿山砂石行业全闭环监管预警方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809679A (zh) * | 2016-03-04 | 2016-07-27 | 李云栋 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
| CN109766746A (zh) * | 2018-11-22 | 2019-05-17 | 南京理工大学 | 一种无人机航拍视频的轨道异物检测方法 |
| CN111537994A (zh) * | 2020-03-24 | 2020-08-14 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡障碍物检测方法 |
| CN111626170A (zh) * | 2020-05-20 | 2020-09-04 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
| CN112026851A (zh) * | 2020-11-06 | 2020-12-04 | 深圳市视晶无线技术有限公司 | 一种列车前方障碍物监控方法及监控系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077617B (zh) * | 2012-12-24 | 2015-11-04 | 南京航空航天大学 | 基于计算机视觉的人行横道智能交通灯监管系统及方法 |
| CN111488850B (zh) * | 2020-04-17 | 2022-07-12 | 电子科技大学 | 一种基于神经网络的老年人跌倒检测方法 |
-
2021
- 2021-01-26 CN CN202110102056.8A patent/CN112800938B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809679A (zh) * | 2016-03-04 | 2016-07-27 | 李云栋 | 一种基于视觉分析的山区铁路边坡落石检测方法 |
| CN109766746A (zh) * | 2018-11-22 | 2019-05-17 | 南京理工大学 | 一种无人机航拍视频的轨道异物检测方法 |
| CN111537994A (zh) * | 2020-03-24 | 2020-08-14 | 江苏徐工工程机械研究院有限公司 | 一种无人矿卡障碍物检测方法 |
| CN111626170A (zh) * | 2020-05-20 | 2020-09-04 | 中铁二院工程集团有限责任公司 | 一种铁路边坡落石侵限检测的图像识别方法 |
| CN112026851A (zh) * | 2020-11-06 | 2020-12-04 | 深圳市视晶无线技术有限公司 | 一种列车前方障碍物监控方法及监控系统 |
Non-Patent Citations (2)
| Title |
|---|
| Road boundary detection and tracking for structured and unstructured roads using a 2D lidar sensor;J. Han,D 等;《International Journal of Automotive Technology》;20141230;全文 * |
| 矿山道路边界线实时检测与跟踪;鲁小伟;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》;20210115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800938A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112800938B (zh) | 无人驾驶车辆检测侧面落石发生的方法及装置 | |
| CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
| CN110859044B (zh) | 自然场景中的集成传感器校准 | |
| Broggi et al. | Obstacle detection with stereo vision for off-road vehicle navigation | |
| CN102208013B (zh) | 风景匹配参考数据生成系统和位置测量系统 | |
| EP2372304B1 (en) | Vehicle position recognition system | |
| CN110531376B (zh) | 用于港口无人驾驶车辆的障碍物检测和跟踪方法 | |
| EP2372310B1 (en) | Image processing system and position measurement system | |
| CN105300403B (zh) | 一种基于双目视觉的车辆里程计算法 | |
| CN109596078A (zh) | 多信息融合路面谱实时测试系统和测试方法 | |
| CN111429514A (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
| CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| CN109791052A (zh) | 用于生成和使用定位参考数据的方法和系统 | |
| CN107422730A (zh) | 基于视觉导引的agv运输系统及其驾驶控制方法 | |
| US20110243457A1 (en) | Scene matching reference data generation system and position measurement system | |
| CN111006655A (zh) | 机场巡检机器人多场景自主导航定位方法 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN112346463B (zh) | 一种基于速度采样的无人车路径规划方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN112070756B (zh) | 一种基于无人机倾斜摄影的路面立体病害测量方法 | |
| Kellner et al. | Road curb detection based on different elevation mapping techniques | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| Musleh et al. | Visual ego motion estimation in urban environments based on uv disparity | |
| CN113850864B (zh) | 一种面向室外移动机器人的gnss/lidar回环检测方法 | |
| CN113554705A (zh) | 一种变化场景下的激光雷达鲁棒定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |