CN117671646B - 一种基于ai影像的叉车防碰撞辅助系统及方法 - Google Patents
一种基于ai影像的叉车防碰撞辅助系统及方法 Download PDFInfo
- Publication number
- CN117671646B CN117671646B CN202410123447.1A CN202410123447A CN117671646B CN 117671646 B CN117671646 B CN 117671646B CN 202410123447 A CN202410123447 A CN 202410123447A CN 117671646 B CN117671646 B CN 117671646B
- Authority
- CN
- China
- Prior art keywords
- edge
- obstacle
- contour line
- line
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000002265 prevention Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 7
- 230000007613 environmental effect Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像数据处理技术领域，具体涉及一种基于AI影像的叉车防碰撞辅助系统及方法，包括：利用神经网络分割出目标区域并提取边缘线和边缘像素点的梯度值，进一步得到障碍区域，利用角点将障碍区域的边缘线划分为若干个轮廓线，并获得模糊边缘线，构建卷积核遍历环境图像中的边缘线，根据邻域方向上角点的数量和梯度值差异获得模糊权重和模糊强度，对环境图像进行非盲去卷积处理，利用神经网络对新环境图像进行分析，实现碰撞预警。本发明提高了卷积核对环境图像进行去模糊处理的自适应能力，并提高了对环境图像的去模糊处理效果，进一步提高了叉车进行碰撞预警的准确性。
Description
技术领域
本发明涉及图像数据处理技术领域，具体涉及一种基于AI影像的叉车防碰撞辅助系统及方法。
背景技术
由于叉车的结构特点，为了保护驾驶人员以及周围人员的安全，目前存在通过基于AI影像的辅助驾驶方案，通常利用安装在叉车上的多路摄像头，实时采集车辆周边环境的动、静态数据，有效识别潜在危险，以避免碰撞事故，排除安全隐患。
由于在复杂、多变的工作环境中，如光线变化、遮挡物、反射等情况下，摄像头采集到的图像存在一定的质量问题，且叉车在行进过程中会存在车身抖动的问题，导致摄像头采集的图像出现运动模糊的问题，降低图像质量，进而导致在进行碰撞检测时出现检测结果存在误差的情况，无法有效避免碰撞事故的发生。
发明内容
本发明提供一种基于AI影像的叉车防碰撞辅助系统及方法，以解决现有的问题。
本发明的一种基于AI影像的叉车防碰撞辅助系统及方法采用如下技术方案：
本发明一个实施例提供了一种基于AI影像的叉车防碰撞辅助方法，该方法包括以下步骤：
获取障碍物图像以及叉车的环境图像；
利用神经网络分割出环境图像中的目标区域，获取目标区域中的边缘线以及边缘线上边缘像素点的梯度值，将闭合的边缘线形成的区域记为边缘域，根据边缘域的边缘线上不同梯度值的边缘像素点的数量获得边缘域的特征因子，获取障碍物图像中障碍物的特征因子，所述障碍物的特征因子与边缘域的特征因子获取方法相同，根据边缘域与障碍物的特征因子的差异大小获得边缘域中的障碍区域；获取所有障碍区域的边缘线上的角点，利用角点将障碍区域的边缘线划分为若干个轮廓线，根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得模糊边缘线；
构建卷积核遍历环境图像中的边缘线，根据卷积核的中心处边缘像素点的每个邻域方向上角点的数量以及角点之间的梯度值差异，分别获得模糊权重和模糊强度；
结合模糊权重和模糊强度并利用卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理获得新环境图像，利用神经网络分析新环境图像进行碰撞预警。
进一步地，所述利用神经网络分割出环境图像中的目标区域，获取目标区域中的边缘线以及边缘线上边缘像素点的梯度值，包括的具体方法为：
利用语义分割算法分割出环境图像中障碍物对应的区域记为目标区域，利用Sobel算子获取目标区域中的边缘线以及边缘线中边缘像素点的梯度值。
进一步地，所述根据边缘域的边缘线上不同梯度值的边缘像素点的数量获得边缘域的特征因子，包括的具体方法为：
将梯度值大小相同的边缘像素点作为一类边缘像素点，目标区域中边缘域的特征因子的具体计算方法为：
，其中，/>表示目标区域中第/>个边缘域的特征因子；/>表示目标区域中第/>个边缘域的第/>类边缘像素点的数量；/>表示目标区域中所有边缘像素点的数量；/>表示目标区域中第/>个边缘域的边缘线上边缘像素点的数量；/>表示目标区域中第/>个边缘域内所有像素点的数量；/>表示绝对值符号；/>表示线性归一化函数；/>表示以2为底数的对数函数。
进一步地，所述根据边缘域与障碍物的特征因子的差异大小获得边缘域中的障碍区域，包括的具体方法为：
将每一类障碍物在所属类下的所有障碍物图像中对应特征因子的平均值记为每一类障碍物的参考特征因子；
特征参数的具体计算方法为：
，其中，/>表示第/>个边缘域相对于第/>类障碍物的特征参数；/>表示第/>个边缘域的特征因子；/>表示第/>类障碍物的参考特征因子；表示所有类障碍物构成的集合；/>表示以自然常数为底数的指数函数；/>表示绝对值函数；
获取每个边缘域相对于所有障碍物中，对应特征参数最大且最大特征参数大于预设的特征阈值时对应的障碍物记为对应边缘域的目标障碍物，将存在对应目标障碍物的边缘域记为障碍区域。
进一步地，所述获取所有障碍区域的边缘线上的角点，利用角点将障碍区域的边缘线划分为若干个轮廓线，根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得模糊边缘线，包括的具体方法为：
利用Harris算法对障碍区域进行角点检测，将障碍区域的边缘线上且位于相邻的两个角点之间的所有边缘像素点形成的线段，记为障碍区域的轮廓线；
将目标区域中未形成闭合区域的边缘线记为第一目标边缘线；获取每个轮廓线上以及第一目标边缘线所有边缘像素点的斜率分别形成的序列，分别记为轮廓线的斜率序列和第一目标边缘线的斜率序列，获取轮廓线与任意第一目标边缘线的斜率序列的DTW距离，将与轮廓线的斜率序列对应DTW距离小于预设距离阈值的第一目标边缘线记为轮廓线的第二目标边缘线；
根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得任意轮廓线的第二目标边缘线的模糊概率；
将小于预设的模糊概率阈值的第二目标边缘线记为对应轮廓线的模糊边缘线。
进一步地，所述轮廓线的第二目标边缘线的模糊概率的具体计算方法为：
以相同方向对轮廓线和轮廓线的第二目标边缘线进行遍历，将遍历过程中轮廓线和轮廓线的第二目标边缘线中相同序数的边缘像素点形成的组合，记为轮廓线和轮廓线的第二目标边缘线的像素点组；
，其中，/>表示轮廓线的第二目标边缘线的模糊概率；/>表示轮廓线和轮廓线的第二目标边缘线的像素点组的数量；/>表示轮廓线和轮廓线的第二目标边缘线的第/>个像素点组；/>表示轮廓线的斜率序列中所有元素的标准差；/>表示轮廓线的第二目标边缘线的斜率序列中所有元素的标准差；/>表示线性归一化函数；/>表示绝对值函数。
进一步地，所述构建卷积核遍历环境图像中的边缘线，根据卷积核的中心处边缘像素点的每个邻域方向上角点的数量以及角点之间的梯度值差异，分别获得模糊权重和模糊强度，包括的具体方法为：
将障碍区域的每个轮廓线上所有边缘像素点的平均梯度值记为每个轮廓线的梯度参数，将轮廓线两端的角点的平均梯度值记为轮廓线的参考梯度值；构建大小为的卷积核并以最大梯度参数的轮廓线上位于中点的像素点为中心，获取任意位于卷积核中心的边缘像素点在每个邻域方向上存在角点的数量，记为对应邻域方向上的角点数量；获取任意轮廓线在各邻域方向上的模糊权重，具体计算方法为：
，其中，/>表示轮廓线在第/>个邻域方向上的模糊权重；/>表示轮廓线上位于卷积核中心的边缘像素点在第/>个邻域方向上的角点数量；/>表示轮廓线上位于卷积核中心的边缘像素点在所有邻域方向上的角点数量；/>表示轮廓线的参考梯度值；/>表示轮廓线上位于卷积核中心的边缘像素点在第/>个邻域方向上的第/>个角点的梯度值；/>表示双曲正切函数；
根据不同轮廓线的参考梯度值的差异获得轮廓线的模糊强度。
进一步地，所述根据不同轮廓线的参考梯度值的差异获得轮廓线的模糊强度，包括的具体方法为：
对于任意障碍区域的第条轮廓线，将轮廓线的参考梯度值与所述轮廓线对应障碍区域以外的任意障碍区域的任意轮廓线的参考梯度值的差值记为第/>条轮廓线的参考差异因子，将第/>条轮廓线的所有参考差异因子的方差记为第/>条轮廓线的模糊强度/>。
进一步地，所述结合模糊权重和模糊强度并利用卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理获得新环境图像，利用神经网络分析新环境图像进行碰撞预警，包括的具体方法为：
利用大小为、模糊权重为/>且随机数服从方差为模糊强度/>的卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理，获得新环境图像；
然后，结合叉车上安装的摄像头并通过双目视觉测距算法获取新环境图像中障碍物区域对应的障碍物与叉车的距离记为障碍物的实际距离，将障碍物在新环境图像中的面积与障碍物的实际距离的比值记为障碍物区域的碰撞参数；结合碰撞参数并利用CNN神经网络获取碰撞风险值，当碰撞风险值大于预设的风险阈值时，叉车上的显示屏标注新环境图像中将碰撞到的障碍物并发出碰撞预警。
本发明的实施例提供了一种基于AI影像的叉车防碰撞辅助系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种基于AI影像的叉车防碰撞辅助方法的步骤。
本发明的技术方案的有益效果是：通过边缘域与障碍物的特征因子的差异大小，反映了环境图像中边缘域与理想状态下障碍物对应区域之间在图像特征上的相似关系，以便于根据相似关系的大小确定边缘域是否为障碍物对应的区域，进一步通过轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，反映环境图像中轮廓线和轮廓线的第二目标边缘线的相近程度，以准确获取环境图像中因运动模糊产生的边缘线，通过对环境图像中边缘线受运动模糊影响后不同边缘线之间的梯度变化对卷积核的模糊权重以及随机数进行自适应处理，进一步提高了卷积核对环境图像进行去模糊处理的自适应能力，并提高了对环境图像的去模糊处理效果，进一步提高了叉车进行碰撞预警的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于AI影像的叉车防碰撞辅助方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于AI影像的叉车防碰撞辅助系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于AI影像的叉车防碰撞辅助系统及方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于AI影像的叉车防碰撞辅助方法的步骤流程图，该方法包括以下步骤：
步骤S001：获取障碍物图像以及叉车的环境图像。
需要说明的是，由于工作环境中的光照强度变化、遮挡物、光线反射以及运动模糊等因素，容易对安装在叉车上的摄像头所采集的图像造成影响，导致采集的图像质量降低，而AI影像技术又非常依赖图像质量，因此叉车进行碰撞检测的结果容易受到图片质量的影响，若图片质量过低，导致对障碍物的检测结果不准确，使得碰撞检测的结果准确性低。
另外，所述障碍物通常包括人、车辆、货物以及货架等，因此本实施例通过对安装在叉车上的摄像头所采集的图像进行图像处理分析，提高AI影像技术进行碰撞检测的准确性。
具体的，为了实现本实施例提出的一种基于AI影像的叉车防碰撞辅助方法，首先需要采集环境图像，具体过程为：
在叉车多个位置处安装摄像头，通过安装在叉车上的摄像头采集叉车周围环境的图像，并进行灰度化处理，获得环境图像。
利用摄像机获取叉车在工作过程中可能会遇到的各类障碍物的若干个清晰图像，记为障碍物图像。
需要说明的是，由于视角变化，因此本实施例获取每一类障碍物在不同视角下的障碍物图像，即每一类障碍物对应若干个障碍物图像。
需要说明的是，在采集环境图像时，对于叉车上摄像头的参数，具体可选择分辨率1080P，帧率30帧每秒，摄像头的参数可根据具体的采集环境和任务需求来确定，本实施例不进行具体限定。
至此，通过上述方法得到环境图像和障碍物图像。
步骤S002：利用神经网络分割出环境图像中的目标区域，获取目标区域中的边缘线以及边缘线上边缘像素点的梯度值，将闭合的边缘线形成的区域记为边缘域，根据边缘域的边缘线上不同梯度值的边缘像素点的数量获得边缘域的特征因子，获取障碍物图像中障碍物的特征因子，所述障碍物的特征因子与边缘域的特征因子获取方法相同，根据边缘域与障碍物的特征因子的差异大小获得边缘域中的障碍区域；获取所有障碍区域的边缘线上的角点，利用角点将障碍区域的边缘线划分为若干个轮廓线，根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得模糊边缘线。
需要说明的是，由于不同障碍物的边缘信息存在差异，且同一障碍物的边缘信息存在一定的共同特征，因此本实施例选择根据环境图像中非背景区域的边缘信息，对不同障碍物在图像中的特征进行量化描述，通过分析受运动模糊等因素影响环境图像中物体与清晰的障碍物图像中障碍物的特征差异，并结合边缘轮廓信息对边缘进行匹配，以增加后续图像质量的提升效果。
具体的，步骤（2.1），首先，利用语义分割算法分割出环境图像中障碍物对应的区域记为目标区域，利用Sobel算子获取目标区域中的边缘线以及边缘线中边缘像素点的梯度值，将目标区域中由闭合的边缘线形成的内部区域记为边缘域。
需要说明的是，本实施例中将U-net神经网络作为所述语义分割算法的神经网络模型，对语义分割算法进行训练的过程为：首先，获取叉车在不同工作环境下采集的若干个环境图像，并对环境图像中的障碍物进行像素级标注，将障碍物在环境图像中对应区域内像素点标注为1，将环境图像中其他区域的像素点标注为0；然后，将所有标注后的环境图像形成的数据集作为U-net神经网络的输入，将环境图像中障碍物对应的区域作为U-net神经网络的输出，对U-net神经网络进行训练，训练过程中采用交叉熵损失函数作为U-net神经网络的损失函数，获得训练完成U-net神经网络并用于对环境图像进行语义分割。
需要说明的是，Sobel算子为现有的边缘检测算子，因此本实施例不进行赘述。
然后，将梯度值大小相同的边缘像素点作为一类边缘像素点，获取目标区域中边缘域的特征因子，具体计算方法为：
，其中，/>表示目标区域中第/>个边缘域的特征因子；/>表示目标区域中第/>个边缘域的第/>类边缘像素点的数量；/>表示目标区域中所有边缘像素点的数量；/>表示目标区域中第/>个边缘域的边缘线上边缘像素点的数量；/>表示目标区域中第/>个边缘域内所有像素点的数量；/>表示绝对值符号；/>表示线性归一化函数；/>表示以2为底数的对数函数。
需要说明的是，反映了边缘域的边缘线上所有边缘像素点的信息熵，信息熵越大表示环境图像的模糊程度越大，边缘线上边缘像素点的梯度值分布越离散，反之，信息熵越小表示环境图像的模糊程度越小，即环境图像清晰度越高，边缘线上边缘像素点的梯度值分布越集中；/>表示边缘域的边缘线上的边缘像素点的数量和区域内包含的像素点数量的比值，反映了边缘域的轮廓特征。
进一步地，获取若干类障碍物在对应的障碍物图像中的特征因子，将每一类障碍物在所属类下的所有障碍物图像中对应特征因子的平均值记为该类障碍物的参考特征因子。
最后，根据边缘域的特征因子与各类障碍物的参考特征因子的差异，获取目标区域中边缘域的特征参数，具体计算方法为：
，其中，/>表示第/>个边缘域相对于第/>类障碍物的特征参数；/>表示第/>个边缘域的特征因子；/>表示第/>类障碍物的参考特征因子；表示所有类障碍物构成的集合；/>表示以自然常数为底数的指数函数；/>表示绝对值函数。
需要说明的是，反映了边缘域的特征因子与理想状态下，即清晰图像下障碍物的特征因子之间的差异，差异越小，表示该边缘域属于该类障碍物的概率越大。
进一步地，获取每个边缘域相对于所有障碍物中，对应特征参数最大且最大特征参数大于预设的特征阈值时对应的障碍物记为对应边缘域的目标障碍物，将存在对应目标障碍物的边缘域记为障碍区域。
需要说明的是，根据经验预设特征阈值为0.9，可根据实际情况进行调整，本实施例不进行具体限定。
另外，由于运动模糊导致的图像画面抖动会使得原本的边缘轮廓发生一定的程度的平移，因此图像中物体因图像画面抖动发生平移的边缘在结构上存在一致性，只是对应边缘线上边缘像素点的梯度值发生变化导致可视性较弱，形成了模糊的视觉效果。
步骤（2.2），首先，将目标区域中未形成闭合区域的边缘线记为第一目标边缘线；利用Harris算法对障碍区域进行角点检测，将障碍区域的边缘线上且位于相邻的两个角点之间的所有边缘像素点形成的线段，记为障碍区域的轮廓线；获取每个轮廓线上以及第一目标边缘线所有边缘像素点的斜率分别形成的序列，分别记为轮廓线的斜率序列和第一目标边缘线的斜率序列，获取轮廓线与任意第一目标边缘线的斜率序列的DTW距离，将与轮廓线的斜率序列对应DTW距离小于预设距离阈值的第一目标边缘线记为轮廓线的第二目标边缘线。
需要说明的是，根据经验预设距离阈值为0.1，可根据实际情况进行调整。
需要说明的是，由于运动模糊导致物体轮廓边缘发生平移变化，因此为了获取环境图像中发生平移变化产生了哪些边缘以及边缘对应的物体的实际轮廓边缘，本实施例通过获取障碍区域的轮廓线与第一目标边缘线的斜率序列的DTW距离，反映了对应轮廓线与第一目标边缘线的长度以及线段变化上的近似程度，DTW距离越小，轮廓线与第一目标边缘线的长度以及线段变化越近似，即第一目标边缘线越有可能与对应轮廓线表示同一个物体的边缘信息反之越。
然后，以相同方向对轮廓线和轮廓线的第二目标边缘线进行遍历，将遍历过程中轮廓线和轮廓线的第二目标边缘线中相同序数的边缘像素点形成的组合，记为轮廓线和轮廓线的第二目标边缘线的像素点组；获取任意轮廓线的第二目标边缘线的模糊概率，具体计算方法为：
，其中，/>表示轮廓线的第二目标边缘线的模糊概率；/>表示轮廓线和轮廓线的第二目标边缘线的像素点组的数量；/>表示轮廓线和轮廓线的第二目标边缘线的第/>个像素点组；/>表示轮廓线的斜率序列中所有元素的标准差；/>表示轮廓线的第二目标边缘线的斜率序列中所有元素的标准差；/>表示线性归一化函数；/>表示绝对值函数。
需要说明的是，反映了轮廓线和轮廓线的第二目标边缘线的距离，距离越小，所述第二目标边缘线越有可能是所述轮廓线经过运动模糊而平移产生的；表示两条边缘线的形状参数之间的差异，差异越小，就说明该两条边缘线在形状上的一致性较高，属于同一条边缘线的可能性较大。
最后，将小于预设的模糊概率阈值的第二目标边缘线记为对应轮廓线的模糊边缘线。
需要说明的是，根据经验预设模糊概率阈值为0.2，可根据实际情况进行调整，本实施例不进行具体限定。
至此，通过上述方法得到模糊边缘线。
步骤S003：构建卷积核遍历环境图像中的边缘线，根据卷积核的中心处边缘像素点的每个邻域方向上角点的数量以及角点之间的梯度值差异，分别获得模糊权重和模糊强度。
需要说明的是，由于叉车上安装的摄像头所采集的环境图像，在不同方向上均可能产生不规则的抖动，从而导致在不同方向上对应的模糊量不同，因此非盲去卷积的卷积核需要更能适应摄像头在不同方向上的抖动情况，才能对环境图像进行有效的去模糊处理。
另外，由于图像的模糊是由于摄像头的抖动而产生的，即障碍区域的强边缘线的模糊程度能代表整个目标区域的模糊程度。
具体的，首先，将障碍区域的每个轮廓线上所有边缘像素点的平均梯度值记为对应轮廓线的梯度参数，将轮廓线两端的角点的平均梯度值记为轮廓线的参考梯度值；构建大小为的卷积核并以最大梯度参数的轮廓线上位于中点的像素点为中心，获取任意位于卷积核中心的边缘像素点在每个邻域方向上存在角点的数量，记为对应邻域方向上的角点数量；获取任意轮廓线在各邻域方向上的模糊权重，具体计算方法为：
，其中，/>表示轮廓线在第/>个邻域方向上的模糊权重；/>表示轮廓线上位于卷积核中心的边缘像素点在第/>个邻域方向上的角点数量；/>表示轮廓线上位于卷积核中心的边缘像素点在所有邻域方向上的角点数量；/>表示轮廓线的参考梯度值；/>表示轮廓线上位于卷积核中心的边缘像素点在第/>个邻域方向上的第/>个角点的梯度值；/>表示双曲正切函数。
需要说明的是，本实施例中所述的邻域方向为8邻域方向，即0°、45°、90°、135°、180°、225°、270°以及315°。
需要说明的是，所述模糊权重用于描述轮廓线在对应邻域方向上的画面抖动的剧烈程度，模糊权重越大，表示对应邻域方向上环境图像的画面抖动越剧烈；表示轮廓线上位于卷积核中心的边缘像素点在第/>个邻域方向上的角点数量与所有方向上角点数量的比值，比值越大，表示该方向上角点的数量越多，即说明该方向上边缘线抖动越剧烈，模糊程度越大；/>表示轮廓线上位于卷积核中心的边缘像素点在第/>个邻域方向上的角点，与轮廓线的参考梯度值的平均差异，平均差异越大，就表示该方向上的模糊量越大，则轮廓线在该方向上的模糊权重越大。
然后，对于任意障碍区域的第条轮廓线，将轮廓线的参考梯度值与障碍区域以外的任意障碍区域的任意轮廓线的参考梯度值的差值记为第/>条轮廓线的参考差异因子，将第/>条轮廓线的所有参考差异因子的方差记为第/>条轮廓线的模糊强度/>。
需要说明的是，所述模糊强度用于描述障碍区域的轮廓线在所有方向上受到运动模糊影响的程度，模糊强度越大，障碍区域的轮廓线受到运动模糊影响的程度就越大，反之越小。
至此，通过上述方法得到模糊权重和模糊强度。
步骤S004：结合模糊权重和模糊强度并利用卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理获得新环境图像，利用神经网络分析新环境图像进行碰撞预警。
具体的，首先，利用大小为、模糊权重为/>且随机数服从方差为模糊强度的卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理，获得新环境图像。
需要说明的是，本实施例通过对环境图像中边缘线受运动模糊影响后不同边缘线之间的梯度变化对非盲去卷积算法的卷积核的模糊权重以及随机数进行自适应处理，进一步提高了卷积核对环境图像进行去模糊处理的自适应能力，并提高了对环境图像的去模糊处理效果。
然后，结合叉车上安装的摄像头并通过双目视觉测距算法获取新环境图像中障碍物区域对应的障碍物与叉车的距离记为障碍物的实际距离，将障碍物在新环境图像中的面积与障碍物的实际距离的比值记为障碍物区域的碰撞参数；结合碰撞参数并利用CNN神经网络获取碰撞风险值，当碰撞风险值大于预设的风险阈值时，叉车上的显示屏标注新环境图像中将碰撞到的障碍物并发出碰撞预警。
所述CNN神经网络的训练过程为：首先，获取若干个不同工作环境下且含有不同障碍物的新环境图像；然后，将新环境图像中障碍物区域的碰撞参数和风险值作为新环境图像中不同区域的标签，所述风险值分别为：1、2、3、4、5，风险值越大越有可能发生碰撞；最后，将所有带有标签的新环境图像形成的数据集作为CNN神经网络的输入，将风险值作为CNN神经网络的输出，将交叉熵损失函数作为CNN神经网络的损失函数，网络结构为五层全连接神经网络模型，获得训练完成的CNN神经网络。
需要说明的是，在对CNN神经网络训练的过程中，将数据集划分为训练集和验证集的比例设置为7:3，可根据实际情况对训练集和验证集的比例进行调整，通过训练集数据对分类网络进行训练，通过梯度下降法进行训练，直到损失函数收敛，完成神经网络训练。
需要说明的是，根据经验预设风险阈值为0.4，可根据实际情况进行调整，本实施例不进行具体限定。
通过以上步骤，完成叉车防碰撞辅助。
本发明的实施例提供了一种基于AI影像的叉车防碰撞辅助系统，该系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现步骤S001到步骤S004中所述的一种基于AI影像的叉车防碰撞辅助方法的步骤。
本发明的技术方案的有益效果是：通过边缘域与障碍物的特征因子的差异大小，反映了环境图像中边缘域与理想状态下障碍物对应区域之间在图像特征上的相似关系，以便于根据相似关系的大小确定边缘域是否为障碍物对应的区域，进一步通过轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，反映环境图像中轮廓线和轮廓线的第二目标边缘线的相近程度，以准确获取环境图像中因运动模糊产生的边缘线，通过对环境图像中边缘线受运动模糊影响后不同边缘线之间的梯度变化对卷积核的模糊权重以及随机数进行自适应处理，进一步提高了卷积核对环境图像进行去模糊处理的自适应能力，并提高了对环境图像的去模糊处理效果，进一步提高了叉车进行碰撞预警的准确性。
需要说明的是，本实施例中所用的模型仅用于表示负相关关系和约束模型输出的结果处于/>区间内，具体实施时，可替换成具有同样目的的其他模型，本实施例只是以/>模型为例进行叙述，不对其做具体限定，其中/>是指该模型的输入。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于AI影像的叉车防碰撞辅助方法，其特征在于，该方法包括以下步骤：
获取障碍物图像以及叉车的环境图像；
利用神经网络分割出环境图像中的目标区域，获取目标区域中的边缘线以及边缘线上边缘像素点的梯度值，将闭合的边缘线形成的区域记为边缘域，根据边缘域的边缘线上不同梯度值的边缘像素点的数量获得边缘域的特征因子，获取障碍物图像中障碍物的特征因子，所述障碍物的特征因子与边缘域的特征因子获取方法相同，根据边缘域与障碍物的特征因子的差异大小获得边缘域中的障碍区域；获取所有障碍区域的边缘线上的角点，利用角点将障碍区域的边缘线划分为若干个轮廓线，根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得模糊边缘线；
所述根据边缘域的边缘线上不同梯度值的边缘像素点的数量获得边缘域的特征因子，包括的具体方法为：
将梯度值大小相同的边缘像素点作为一类边缘像素点，目标区域中边缘域的特征因子的具体计算方法为：
其中，wr表示目标区域中第r个边缘域的特征因子；Gri表示目标区域中第r个边缘域的第i类边缘像素点的数量；H表示目标区域中所有边缘像素点的数量；Lr表示目标区域中第r个边缘域的边缘线上边缘像素点的数量；Pr表示目标区域中第r个边缘域内所有像素点的数量；||表示绝对值符号；norm()表示线性归一化函数；log2()表示以2为底数的对数函数；
构建卷积核遍历环境图像中的边缘线，根据卷积核的中心处边缘像素点的每个邻域方向上角点的数量以及角点之间的梯度值差异，分别获得模糊权重和模糊强度；
所述构建卷积核遍历环境图像中的边缘线，根据卷积核的中心处边缘像素点的每个邻域方向上角点的数量以及角点之间的梯度值差异，分别获得模糊权重和模糊强度，包括的具体方法为：
将障碍区域的每个轮廓线上所有边缘像素点的平均梯度值记为每个轮廓线的梯度参数，将轮廓线两端的角点的平均梯度值记为轮廓线的参考梯度值；构建大小为3×3的卷积核并以最大梯度参数的轮廓线上位于中点的像素点为中心，获取任意位于卷积核中心的边缘像素点在每个邻域方向上存在角点的数量，记为对应邻域方向上的角点数量；获取任意轮廓线在各邻域方向上的模糊权重，具体计算方法为：
其中，ρc表示轮廓线在第c个邻域方向上的模糊权重；gc表示轮廓线上位于卷积核中心的边缘像素点在第c个邻域方向上的角点数量；g表示轮廓线上位于卷积核中心的边缘像素点在所有邻域方向上的角点数量；h'表示轮廓线的参考梯度值；hcn表示轮廓线上位于卷积核中心的边缘像素点在第c个邻域方向上的第n个角点的梯度值；th[]表示双曲正切函数；
根据不同轮廓线的参考梯度值的差异获得轮廓线的模糊强度；
结合模糊权重和模糊强度并利用卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理获得新环境图像，利用神经网络分析新环境图像进行碰撞预警。
2.根据权利要求1所述一种基于AI影像的叉车防碰撞辅助方法，其特征在于，所述利用神经网络分割出环境图像中的目标区域，获取目标区域中的边缘线以及边缘线上边缘像素点的梯度值，包括的具体方法为：
利用语义分割算法分割出环境图像中障碍物对应的区域记为目标区域，利用Sobel算子获取目标区域中的边缘线以及边缘线中边缘像素点的梯度值。
3.根据权利要求1所述一种基于AI影像的叉车防碰撞辅助方法，其特征在于，所述根据边缘域与障碍物的特征因子的差异大小获得边缘域中的障碍区域，包括的具体方法为：
将每一类障碍物在所属类下的所有障碍物图像中对应特征因子的平均值记为每一类障碍物的参考特征因子；
特征参数的具体计算方法为：
Erj＝exp[-|wr-Wj|],j∈J
其中，Erj表示第r个边缘域相对于第j类障碍物的特征参数；wr表示第r个边缘域的特征因子；Wj表示第j类障碍物的参考特征因子；J表示所有类障碍物构成的集合；exp[]表示以自然常数为底数的指数函数；||表示绝对值函数；
获取每个边缘域相对于所有障碍物中，对应特征参数最大且最大特征参数大于预设的特征阈值对应的障碍物记为对应边缘域的目标障碍物，将存在对应目标障碍物的边缘域记为障碍区域。
4.根据权利要求1所述一种基于AI影像的叉车防碰撞辅助方法，其特征在于，所述获取所有障碍区域的边缘线上的角点，利用角点将障碍区域的边缘线划分为若干个轮廓线，根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得模糊边缘线，包括的具体方法为：
利用Harris算法对障碍区域进行角点检测，将障碍区域的边缘线上且位于相邻的两个角点之间的所有边缘像素点形成的线段，记为障碍区域的轮廓线；
将目标区域中未形成闭合区域的边缘线记为第一目标边缘线；获取每个轮廓线上以及第一目标边缘线所有边缘像素点的斜率分别形成的序列，分别记为轮廓线的斜率序列和第一目标边缘线的斜率序列，获取轮廓线与任意第一目标边缘线的斜率序列的DTW距离，将与轮廓线的斜率序列对应DTW距离小于预设距离阈值的第一目标边缘线记为轮廓线的第二目标边缘线；
根据轮廓线与目标区域中其他边缘线之间的距离以及边缘像素点的斜率分布情况的差异，获得任意轮廓线的第二目标边缘线的模糊概率；
将小于预设的模糊概率阈值的第二目标边缘线记为对应轮廓线的模糊边缘线。
5.根据权利要求4所述一种基于AI影像的叉车防碰撞辅助方法，其特征在于，所述轮廓线的第二目标边缘线的模糊概率的具体计算方法为：
以相同方向对轮廓线和轮廓线的第二目标边缘线进行遍历，将遍历过程中轮廓线和轮廓线的第二目标边缘线中相同序数的边缘像素点形成的组合，记为轮廓线和轮廓线的第二目标边缘线的像素点组；
其中，T表示轮廓线的第二目标边缘线的模糊概率；m表示轮廓线和轮廓线的第二目标边缘线的像素点组的数量；Dv表示轮廓线和轮廓线的第二目标边缘线的第v个像素点组；σ1表示轮廓线的斜率序列中所有元素的标准差；σ2表示轮廓线的第二目标边缘线的斜率序列中所有元素的标准差；norm()表示线性归一化函数；||表示绝对值函数。
6.根据权利要求1所述一种基于AI影像的叉车防碰撞辅助方法，其特征在于，所述根据不同轮廓线的参考梯度值的差异获得轮廓线的模糊强度，包括的具体方法为：
对于任意障碍区域的第t条轮廓线，将轮廓线的参考梯度值与所述轮廓线对应障碍区域以外的任意障碍区域的任意轮廓线的参考梯度值的差值记为第t条轮廓线的参考差异因子，将第t条轮廓线的所有参考差异因子的方差记为第t条轮廓线的模糊强度
7.根据权利要求6所述一种基于AI影像的叉车防碰撞辅助方法，其特征在于，所述结合模糊权重和模糊强度并利用卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理获得新环境图像，利用神经网络分析新环境图像进行碰撞预警，包括的具体方法为：
利用大小为3×3、模糊权重为ρc且随机数服从方差为模糊强度的卷积核对环境图像中各轮廓线的模糊边缘线进行非盲去卷积处理，获得新环境图像；
然后，结合叉车上安装的摄像头并通过双目视觉测距算法获取新环境图像中障碍物区域对应的障碍物与叉车的距离记为障碍物的实际距离，将障碍物在新环境图像中的面积与障碍物的实际距离的比值记为障碍物区域的碰撞参数；结合碰撞参数并利用CNN神经网络获取碰撞风险值，当碰撞风险值大于预设的风险阈值时，叉车上的显示屏标注新环境图像中将碰撞到的障碍物并发出碰撞预警。
8.一种基于AI影像的叉车防碰撞辅助系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的一种基于AI影像的叉车防碰撞辅助方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410123447.1A CN117671646B (zh) | 2024-01-30 | 2024-01-30 | 一种基于ai影像的叉车防碰撞辅助系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410123447.1A CN117671646B (zh) | 2024-01-30 | 2024-01-30 | 一种基于ai影像的叉车防碰撞辅助系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117671646A CN117671646A (zh) | 2024-03-08 |
| CN117671646B true CN117671646B (zh) | 2024-04-09 |
Family
ID=90079203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410123447.1A Active CN117671646B (zh) | 2024-01-30 | 2024-01-30 | 一种基于ai影像的叉车防碰撞辅助系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117671646B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112902874A (zh) * | 2021-01-19 | 2021-06-04 | 中国汽车工程研究院股份有限公司 | 图像采集装置及方法、图像处理方法及装置、图像处理系统 |
| CN113268065A (zh) * | 2021-07-19 | 2021-08-17 | 山东华力机电有限公司 | 基于人工智能的agv自适应转弯避障方法、装置及设备 |
| CN114634112A (zh) * | 2022-03-23 | 2022-06-17 | 深圳唯创安全技术有限公司 | 基于ai视觉和uwb技术起重机起吊区域的人员防撞系统 |
| CN117078565A (zh) * | 2023-10-17 | 2023-11-17 | 深圳市精研科洁科技股份有限公司 | 一种摄像头抖动模糊图像优化增强方法及系统 |
-
2024
- 2024-01-30 CN CN202410123447.1A patent/CN117671646B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112902874A (zh) * | 2021-01-19 | 2021-06-04 | 中国汽车工程研究院股份有限公司 | 图像采集装置及方法、图像处理方法及装置、图像处理系统 |
| CN113268065A (zh) * | 2021-07-19 | 2021-08-17 | 山东华力机电有限公司 | 基于人工智能的agv自适应转弯避障方法、装置及设备 |
| CN114634112A (zh) * | 2022-03-23 | 2022-06-17 | 深圳唯创安全技术有限公司 | 基于ai视觉和uwb技术起重机起吊区域的人员防撞系统 |
| CN117078565A (zh) * | 2023-10-17 | 2023-11-17 | 深圳市精研科洁科技股份有限公司 | 一种摄像头抖动模糊图像优化增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117671646A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Interactive deep learning method for segmenting moving objects | |
| CN112669344B (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| US8391612B2 (en) | Edge detection with adaptive threshold | |
| DE10033599B4 (de) | Positionserfassungsvorrichtung | |
| DE112011103690T5 (de) | Erkennung und Verfolgung sich bewegender Objekte | |
| CN112733823B (zh) | 手势姿态识别关键帧提取方法、装置及可读存储介质 | |
| Naufal et al. | Preprocessed mask RCNN for parking space detection in smart parking systems | |
| EP3931798B1 (de) | Schätzung der bewegung einer bildposition | |
| US8442348B2 (en) | Image noise reduction for digital images using Gaussian blurring | |
| CN111325061B (zh) | 一种基于深度学习的车辆检测算法、设备及存储介质 | |
| CN113553992A (zh) | 一种面向电扶梯的复杂场景目标跟踪方法及系统 | |
| CN117671646B (zh) | 一种基于ai影像的叉车防碰撞辅助系统及方法 | |
| Fang et al. | 1-D barcode localization in complex background | |
| EP2037407B1 (de) | Verfahren zur Objekterfassung | |
| Wang et al. | An optimization method for motion blur image restoration and ringing suppression via texture mapping | |
| CN110633705A (zh) | 一种低照度成像车牌识别方法及装置 | |
| Parse et al. | EDGE detection technique based on bilateral filtering and iterative threshold selection algorithm and transfer learning for traffic sign recognition | |
| Mishra et al. | Detection of Moving Vehicle in Foggy Environment using Google's Firebase Platform. | |
| CN114550060A (zh) | 周界入侵识别方法、系统及电子设备 | |
| DE102020129164A1 (de) | Verfahren und vorrichtung zur unterscheidung von verschiedenen konfigurationszuständen eines objekts auf der grundlage einer bildlichen darstellung des objekts | |
| Sanap et al. | License plate recognition system for Indian vehicles | |
| Pal | A fast method for defogging of outdoor visual images | |
| NGUYEN | License plate detection and refinement based on deep convolutional neural network | |
| Thike et al. | Vehicle detection using upper local ternary features with SVM classification | |
| CN116612279B (zh) | 目标检测的方法、装置、网络设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |