CN114943955A - 一种用于半挂车自动卸货控制方法 - Google Patents
一种用于半挂车自动卸货控制方法 Download PDFInfo
- Publication number
- CN114943955A CN114943955A CN202210873771.6A CN202210873771A CN114943955A CN 114943955 A CN114943955 A CN 114943955A CN 202210873771 A CN202210873771 A CN 202210873771A CN 114943955 A CN114943955 A CN 114943955A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- frame
- gray
- image
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000000903 blocking effect Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 230000004888 barrier function Effects 0.000 claims description 12
- 239000006185 dispersion Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 5
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
- B60P1/00—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
- B60P1/04—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading with a tipping movement of load-transporting element
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器视觉领域，具体涉及一种用于半挂车自动卸货控制方法，包括：获取半挂车自动卸货时行人路过的连续帧灰度图；获取行人运动速度；在每帧灰度图中设置预测边框；计算每帧灰度图中行人跟踪框和预测边框的整体相似性；利用整体相似性对行人运动方向是否存在遮挡物进行判断；计算行人运动方向上存在遮挡物的每帧灰度图中行人跟踪框中各像素点的灰度梯度；利用行人跟踪框中各像素点的灰度梯度获取行人进入遮挡物后的身体轮廓；利用行人进入遮挡物后的身体轮廓预测行人的行进方向；行人检测应急系统根据行人的预测行进方向对半挂车是否继续卸货进行判断。上述方法用于控制半挂车自动卸货过程，可提高自动卸货过程中行人检测的实时性。
Description
技术领域
本发明涉及机器视觉领域，具体涉及一种用于半挂车自动卸货控制方法。
背景技术
自卸式半挂车是指载货部位具有自动倾卸装置的半挂车，适用于煤矿、沙石、建筑物料等零散货物的运输。在车辆卸货之前，首先需要检查车身周边范围内是否有障碍物或者人员逗留，半挂车车身较长，在卸货时司机对侧后方存在较大视野盲区。一旦有人员不小心进入到卸货范围之内，那很可能被车上翻下的货物所伤害。即使两人配合卸货，仍会存在一定安全隐患。
目前，主要采用在半挂车上安装行人检测应急制动系统来避免危险事件的发生，当车载镜头检测到行人后，控制货厢暂停倾倒货物，并提醒司机及时劝退卸货场地的逗留人员。
但是，当行人的前进方向存在相似灰度级的遮挡物时，现有的行人检测应急制动系统无法获取行人进入遮挡物后的运动姿态，从而无法判断进入遮挡物后行人的前进方向，降低了应急系统的实时性，从而导致危险的发生。因此，亟需一种方法用于控制半挂车自动卸货过程，提高行人检测应急制动系统的实时性。
发明内容
针对现有技术中对于行人的前进方向存在相似灰度级的遮挡物时，无法获取行人进入遮挡物后的运动姿态这一问题，本发明提供了一种用于控制半挂车自动卸货过程的方法，该方法对半挂车车载行人自动检测系统进行优化，对于行人行动轨迹方向上存在相似遮挡物时，也能预测行人进入遮挡物后的姿态，有效提高检测结果的准确性和应急警报反应速度，为保障半挂车卸货安全提供帮助。
本发明提供一种用于半挂车自动卸货控制方法，包括：获取半挂车自动卸货时行人路过的连续帧灰度图；获取行人运动速度；在每帧灰度图中设置预测边框；计算每帧灰度图中行人跟踪框和预测边框的整体相似性；利用整体相似性对行人运动方向是否存在遮挡物进行判断；计算行人运动方向上存在遮挡物的每帧灰度图中行人跟踪框中各像素点的灰度梯度；利用行人跟踪框中各像素点的灰度梯度获取行人进入遮挡物后的身体轮廓；利用行人进入遮挡物后的身体轮廓预测行人的行进方向；行人检测应急系统根据行人的预测行进方向对半挂车是否继续卸货进行判断，相比于现有技术，本发明在机器视觉的基础上，对半挂车车载行人自动检测系统进行优化，对于行人行动轨迹方向上存在相似遮挡物时，也能预测行人进入遮挡物后的姿态，有效提高检测结果的准确性和应急警报反应速度，为保障半挂车卸货安全提供帮助。
为达到上述目的，本发明采用如下技术方案，一种用于半挂车自动卸货控制方法，包括：
获取半挂车自动卸货时行人路过的连续帧灰度图；
利用连续帧灰度图中相邻帧灰度图中行人的坐标位置获取行人的运动速度；
在每一帧灰度图中设置与该帧灰度图中行人跟踪框大小相同且质心在行人运动方向上的矩形框作为预测边框；
利用每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应像素点的灰度值的差值计算得到每一帧灰度图中行人跟踪框和预测边框的整体相似性；
利用每一帧灰度图中行人跟踪框和预测边框的整体相似性对行人运动方向上是否存在与行人灰度级相似的遮挡物进行判断；
计算行人运动方向上存在遮挡物的每一帧灰度图中行人跟踪框中各像素点的灰度梯度；
利用每一帧灰度图中行人跟踪框中各像素点的灰度梯度变化获取行人跟踪框中每个像素点进入遮挡物时的坐标位置和行人跟踪框中所有像素点进入遮挡物的时间；
利用行人跟踪框中所有像素点进入遮挡物的时间和行人的运动速度计算得到行人进入遮挡物后的位移距离；
利用行人跟踪框中每个像素点进入遮挡物时的坐标位置和行人进入遮挡物后的位移距离获取行人进入遮挡物后的身体轮廓；
利用行人进入遮挡物后的身体轮廓预测行人的行进方向；
行人检测应急系统根据行人的预测行进方向对半挂车是否继续卸货进行判断。
进一步的，所述一种用于半挂车自动卸货控制方法，所述每一帧灰度图中行人跟踪框和预测边框的整体相似性是按照如下方式得到：
在每一帧灰度图中设置与该帧灰度图中行人跟踪框大小相同的矩形框作为预测边框，该矩形框的质心在行人的运动方向上；
计算每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应的像素点的灰度值的差值；
利用每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应的像素点的灰度值的差值获取每一帧灰度图中行人跟踪框和预测边框的整体灰度差和整体灰度差的离散度；
利用每一帧灰度图中行人跟踪框和预测边框的整体灰度差和整体灰度差的离散度计算得到每一帧灰度图中行人跟踪框和预测边框的整体相似性。
进一步的，所述一种用于半挂车自动卸货控制方法，所述每一帧灰度图中行人跟踪框和预测边框的整体相似性的表达式如下：
式中，
为每一帧灰度图中行人跟踪框和预测边框的整体相似性，
为每一帧灰度图中行人跟踪框和预测边框的整体灰度差，H为每一帧灰度图中行人跟踪框和预测边框的整体灰度差的离散度。
进一步的，所述一种用于半挂车自动卸货控制方法，所述对行人运动方向上是否存在与行人灰度级相似的遮挡物进行判断的过程具体如下：
设置阈值，对每一帧灰度图中行人跟踪框和预测边框的整体相似性进行判断：当每一帧灰度图中行人跟踪框和预测边框的整体相似性大于阈值时，则该帧灰度图中行人运动方向上存在与行人灰度级相似的遮挡物；当每一帧灰度图中行人跟踪框和预测边框的整体相似性小于等于阈值时，则该帧灰度图中行人运动方向上不存在与行人灰度级相似的遮挡物。
进一步的，所述一种用于半挂车自动卸货控制方法，所述行人进入遮挡物后的身体轮廓是按照如下方式获取：
对行人运动方向上存在与行人灰度级相似的遮挡物的每一帧灰度图进行如下操作：
计算每一帧灰度图中行人跟踪框中各像素点的灰度梯度；
计算相邻两帧灰度图中行人跟踪框中对应像素点的灰度梯度变化；
获取行人跟踪框中每个像素点的灰度梯度初次发生变化时的坐标位置；
获取行人跟踪框中第一个灰度梯度初次发生变化的像素点，并记录该像素点初次发生灰度梯度变化的时刻T1；
获取行人跟踪框中最后一个灰度梯度初次发生变化的像素点，并记录该像素点初次发生灰度梯度变化的时刻T2；
对时刻T2和时刻T1作差得到时间差；
将时间差和行人的运动速度进行相乘获取行人进入与行人灰度级相似的遮挡物后的位移距离；
将行人跟踪框中每个像素点的灰度梯度初次发生变化时的坐标位置与位移距离相加计算得到行人跟踪框中每个像素点进入与行人灰度级相似的遮挡物后的坐标位置；
利用行人跟踪框中每个像素点进入与行人灰度级相似的遮挡物后的坐标位置获取行人进入遮挡物后的身体轮廓。
进一步的，所述一种用于半挂车自动卸货控制方法，所述预测行人的行进方向的过程具体如下：
将行人进入与行人灰度级相似的遮挡物后的身体轮廓输入到神经网络中进行训练，预测行人的行进方向。
进一步的，所述一种用于半挂车自动卸货控制方法，所述对半挂车是否继续卸货进行判断的过程具体如下：
当行人的预测行进方向为朝向卸货危险区域时，行人检测应急系统立即控制半挂车中止倾倒货物，并通过车载语音或手机对司机进行提醒；当行人的预测行进方向不是朝向卸货危险区域时，则半挂车继续进行卸货。
本发明的有益效果在于：
本发明在机器视觉的基础上，对半挂车车载行人自动检测系统进行优化，对于行人行动轨迹方向上存在相似遮挡物时，也能预测行人进入遮挡物后的姿态，有效提高检测结果的准确性和应急警报反应速度，为保障半挂车卸货安全提供帮助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种用于半挂车自动卸货控制方法流程示意图；
图2为本发明实施例2提供的一种用于半挂车自动卸货控制方法流程示意图；
图3为本发明实施例2提供的一种行人前进方向示意图；
图4为本发明实施例2提供的一种行人运动速度示意图；
图5为本发明实施例2提供的一种预测边框示意图；
图6为本发明实施例2提供的一种行人进入遮挡物的相交点示意图；
图7为本发明实施例2提供的一种行人进入遮挡物示意图；
图8为本发明实施例2提供的一种行人前进方向预测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例提供一种用于半挂车自动卸货控制方法，如图1所示，包括：
S101、获取半挂车自动卸货时行人路过的连续帧灰度图。
其中，灰度图，又称灰阶图。把白色与黑色之间按对数关系分为若干等级，称为灰度。
S102、利用连续帧灰度图中相邻帧灰度图中行人的坐标位置获取行人的运动速度。
其中，运动速度为了获取人物轮廓。
S103、在每一帧灰度图中设置与该帧灰度图中行人跟踪框大小相同且质心在行人运动方向上的矩形框作为预测边框。
其中，预测边框用于判断遮挡物。
S104、利用每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应像素点的灰度值的差值计算得到每一帧灰度图中行人跟踪框和预测边框的整体相似性。
其中，整体相似性越大，存在遮挡物的概率越大。
S105、利用每一帧灰度图中行人跟踪框和预测边框的整体相似性对行人运动方向上是否存在与行人灰度级相似的遮挡物进行判断。
其中，首先计算每一帧灰度图中行人跟踪框和预测边框的整体相似性
：
上式中，
为每一帧灰度图中行人跟踪框和预测边框的整体灰度差，H为每一帧灰度图中行人跟踪框和预测边框的整体灰度差的离散度。
是为了将H转化为0-1之间取值的函数，则H越小，
的值越接近C，通过
值的大小就可以判断出行人跟踪框和预测边框整体的相似性，
越大，代表行人跟踪框和预测边框整体越不相似，
值越小，代表越相似。然后以此来判断行人运动方向上是否存在与行人灰度级相似的遮挡物，设置阈值来判别，经验值为10，当行人跟踪框和预测边框的整体相似性大于阈值时，则说明行人运动方向上存在与行人灰度级相似的遮挡物。
S106、计算行人运动方向上存在遮挡物的每一帧灰度图中行人跟踪框中各像素点的灰度梯度。
其中，灰度梯度用来获取像素点进入遮挡物时的坐标位置和行人跟踪框中所有像素点进入遮挡物的时间。
S107、利用每一帧灰度图中行人跟踪框中各像素点的灰度梯度变化获取行人跟踪框中每个像素点进入遮挡物时的坐标位置和行人跟踪框中所有像素点进入遮挡物的时间。
其中，行人跟踪框中每个像素点的灰度梯度初次发生变化时的坐标位置为行人跟踪框中每个像素点进入遮挡物时的坐标位置。
S108、利用行人跟踪框中所有像素点进入遮挡物的时间和行人的运动速度计算得到行人进入遮挡物后的位移距离。
其中，将行人跟踪框中所有像素点进入遮挡物的时间和行人的运动速度相乘得到行人进入遮挡物后的位移距离。
S109、利用行人跟踪框中每个像素点进入遮挡物时的坐标位置和行人进入遮挡物后的位移距离获取行人进入遮挡物后的身体轮廓。
其中，身体轮廓用于预测行人的行进方向。
S110、利用行人进入遮挡物后的身体轮廓预测行人的行进方向。
其中，将行人进入与行人灰度级相似的遮挡物后的身体轮廓样本作为神经网络的输入，行人的预测前进方向作为神经网络的输出，对神经网络进行训练，得到训练完成的神经网络。然后将待预测前进方向的行人的身体轮廓输入训练好的神经网络中，输出行人的预测前进方向。
S111、行人检测应急系统根据行人的预测行进方向对半挂车是否继续卸货进行判断。
其中，当行人的预测行进方向为朝向卸货危险区域时，行人检测应急系统立即控制半挂车中止倾倒货物，并通过车载语音或手机对司机进行提醒。
本实施例的有益效果在于：
本实施例在机器视觉的基础上，对半挂车车载行人自动检测系统进行优化，对于行人行动轨迹方向上存在相似遮挡物时，也能预测行人进入遮挡物后的姿态，有效提高检测结果的准确性和应急警报反应速度，为保障半挂车卸货安全提供帮助。
实施例2
本实施例的主要目的是：本实施例在机器视觉的基础上，对半挂车车载行人自动检测系统进行优化，提高检测结果的准确性和应急警报反应速度，为保障半挂车卸货安全提供帮助。
本发明实施例提供一种用于半挂车自动卸货控制方法，如图2所示，包括：
S201、根据半挂车卸货方式放置摄像机位置，截取连续帧影像。
目前市场上的自卸半挂车主要分为后翻式自卸和侧翻式自卸两种。所以车载镜头的放置位置需要根据不同的卸货方式而定。本实施例主要针对的是后翻式自卸半挂车。
对于后翻式自卸半挂车：常规的后视影像一般安装在后车牌位置。为了同时捕捉侧后方的人员情况，我们将镜头安装在后车灯两侧，将半挂车司机的视野盲区完全覆盖。
同时截取一段行人路过的影像视频，将每一帧图像单独提取出来。
行人自动检测系统核心在于影像中对人物的实时跟随，提取视频人物的跟随模板一般通过图像分割获得或者是预先人为确定，模板通常为略大于目标的矩形，也可以为目标轮廓或者不规则的形状。
一般通过设置一个相似性度量，视频为在单位时间上连续的多帧图像表现，相邻帧之间的变化很小，因此跟随框可以逐帧判断相似性实现人物的跟随，由于提取的目标模板是以目标整体作为对象，它包含了较完整的目标信息，在目标发生较小形变的情况下仍可以准确的对目标进行跟踪，因此相对于目标轮廓跟踪，边框跟踪具有更高的可信度。
一般跟随框会根据目标的尺寸自适应边框大小，而一旦遇到遮挡物，甚至会中断跟随。
如图3所示，行人刚开始以v1的速度前行，在临近危险线时突然变为加速前行，而我们的应急系统需要在目标即将到达危险线之前就得提前做出反应，否则行人加速冲进卸货危险区，极大增加了危险发生的概率。若在危险线之前，行人发现危险，选择改变行进方向绕行，那应急系统便不会触发。
但是，一旦危险线之前的临界时间帧处有遮挡物，导致人物的检测结果缺失，跟随框就会短时间丢失目标，这很可能会使应急系统来不及反应和预判，进而导致危险发生。
S202、获取目标运动轨迹方向上的相似遮挡物。
1.获取帧图像灰度图。
由于彩色图像中包含的信息量较多，对于检测结果的不确定性影响较大，系统处理代价也较高，所以为了更关注于应急系统的反应速度，对检测时图像特征的处理需要尽可能高效，并且复杂的色彩特征表达不够稳定，容易受光线和反光物的影响。因此本实施例先将截取的图像进行灰度化处理。
2.判断目标运动轨迹方向上是否存在相似遮挡物。
目标跟踪分为检测、跟踪两部分，视频连续帧影像的相似性的体现主要依靠提取人物边缘进行了图像分割。
利用常规的Canny算子对人物进行检测。检测结果可能是完整的人体边缘，也可能是人体局部边缘，现实中已经被实物遮挡的人物图像，在图像中自然不可能对人物直接进行还原，现有技术是利用神经网络对人物的特征模板进行训练，然后匹配未遮挡部分的特征，最终可以对遮挡部分进行一定程度的预测。例如经典的人脸遮挡识别技术。而一旦遮挡部分过大，甚至完全遮挡，未遮挡的部分不能提供较多特征信息，就会使检测结果无法进行匹配，仍然会丢失目标。
改进后的神经网络，可以通过行人进入遮挡物这一过程中，人脸、肢体的动作和朝向来预判行人被完全遮盖后的运动轨迹和姿态，这一算法实现对人身体部分的检测要求很高，例如人的左脚和右手先同时迈进了遮挡物而消失了，通过检测外部的右脚和左手，即可得知行人的运动姿态，从而定位人的质心位置，也就是跟随框的中心位置。若分割结果不够准确，所训练出的跟随框尺寸，就可能会忽大忽小，直接影响行人定位检测结果的准确性。
接下来本实施例逐步说明如何解决人物轮廓的提取问题。
因为遮挡物属于一个抽象的定义，一张图像上有很多背景物体，由于目标人物的运动轨迹，才定义了遮挡物，我们对目标的分割是实时性的，因此对目标图像在不同环境下的增强处理也必须是实时性的。
提高检测结果的准确性，除了一些常规的图像增强处理，最需要解决的问题就是：人物图像的像素灰度，与遮挡物的像素灰度可能出现相似。就会严重影响边缘特征和像素特征的提取。
例如一个人身着灰色衣服，路过一个灰色水泥的电线杆，机器视觉下，有可能将人和电线杆重合的瞬间全部框选。在无法定义遮挡物的情况下，我们不可能将图像中所有物体都提前进行分割。
我们需要在每一帧跟随边框的运动方向，增加一个遮挡物预测边框。即在同一帧图像上，除了人物跟随框，在其速度方向v距离处预设一个同大小的边框，如图4所示。由于每一帧的跟随边框大小可能存在差异，所以我们以跟随边框的质心代替边框进行计算。
上式为边框跟踪过程中，v为第c帧图像与第c-1帧图像的目标人物运动速度，（
，
）为第c帧图像中人物质心的坐标信息，（
，
）为第c-1帧图像中人物质心的坐标信息，t为第c帧图像与第c-1帧图像的时间差。
需要说明的是设置该边框并不是为了预测遮挡物，而是对于目标运动方向上，与目标内部像素灰度组成存在相似性的物体，简单来说，无论前方的物体是遮挡物还是背景，目标跟其重合时，都会影响目标的边缘分割结果，所以我们只需要预测出运动轨迹上，是否存在和目标相似性大的物体即可。
如图5所示，灰色区域为目标，目标上每个像素点与移动v后对应预测边框中的点，计算对应点的灰度差。
目标边框和预测边框整体的灰度差C可以表示为：
而目标边框和预测边框整体所有灰度差的离散度
表示为：
上式
代表目标边框中第r个像素点的灰度值，
代表预测边框中第r个像素点的灰度值，
、
为目标边框中像素点位置移动v的x、y方向上的分量，n为目标边框中像素点的数量。
然后计算目标边框和预测边框整体的相似性
：
上式中
是为了将H转化为0-1之间取值的函数，则H越小，
的值越接近C，通过
值的大小就可以判断出目标边框和预测边框整体的相似性，
越大，代表目标边框和预测边框整体越不相似，
值越小，代表越相似。以此来判断目标运动轨迹方向上是否有相似灰度级干扰目标图像的分割，设置阈值来判别，经验值为10，当目标边框和预测边框整体的相似性大于阈值时，则说明目标运动轨迹方向上存在相似遮挡物。
S203、获取目标人物消失在遮挡物时的完整轮廓。
人体在同一个运动方向上，有两个关于坐标位置的相交点。我们称之为前端点和后端点，假设人的轮廓穿过障碍物的一个点时，同一个高度上，会先后经过两次该点，如图6。
进入遮挡前，前端边缘的灰度梯度变化为由较大梯度，变为极小梯度，甚至为0，离开遮挡前，后端边缘的灰度梯度变化由较大梯度，变为较小梯度。
结合我们的分析，当人体接触到障碍物的一瞬间，前端像素点的灰度梯度发生变化，标记每个前端点的变化时间，结合运动速度即可得到人物进入遮盖物时前半身的轮廓，也可以是姿态。而当后端像素点发生变化的时间，结合速度即可得到人完全进入遮盖物后的后半身轮廓、姿态，这样我们在很少的特征信息下，也可以对人物的动作、体态进行预测。
计算每一帧图像中目标跟踪框中每个像素点的灰度梯度，记录人物轮廓上第一个和最后一个与相邻点发生梯度变化的点，一旦发生变化，就将变化处的坐标点标记锁定，并记录时间得到像素点全部经过遮挡物的时间差。
如图7所示，人物的边缘像素点梯度变化的顺序为人的不同部位进入遮挡物的先后顺序，我们记录每一个像素点初次发生变化的坐标位置，并根据变化的时间就可以还原出目标进入遮挡物后一瞬间的身体轮廓。
所记录像素点初次发生灰度变化的坐标位置为
，其时间差为
，则轮廓上每个点的位移距离
为：
上式中
为目标人物的运动速度。
然后利用像素点初次发生灰度变化的坐标位置和位移距离获取了人物消失在遮挡物时的完整轮廓，不需要通过局部的分割导致得到不准确的边缘，根据所求轮廓进行动作、朝向的分析，再对完全遮挡部分预测的方法更有信服力。
S204、预测全部遮盖时人物的行进方向。
若某一帧的图像中由于目标物部分被遮挡，无法检测出目标人物，则利用本实施例的算法求出人物轮廓，进行神经网络训练，预判本帧的边框位置。
根据人物运动方向沿着0-180°进行预测，即在以局部检测结束的最后一帧，m帧边框质点为圆心，半径为v生成多个预测选框。如图8所示为行人的预测前进方向的结果。每个箭头代表一种行人的预测前进方向。将行人进入与行人灰度级相似的遮挡物后的身体轮廓样本作为神经网络的输入，行人的预测前进方向作为神经网络的输出，对神经网络进行训练，得到训练完成的神经网络。然后将待预测前进方向的行人的身体轮廓输入训练好的神经网络中，输出行人的预测前进方向。至此可以得到行人的预测前进方向。
S205、实现半挂车自动卸货的智能控制。
应急系统根据后视影像检测到行人进入时，便会立即控制半挂车车厢中止倾倒货物，触发告警，并通过车载语音或手机对司机进行提醒。同时将影像截图和视频保存到数据库，若半挂车后已放置危险警告标志，造成危险发生，便可以从数据库中调取事件经过。
本实施例的有益效果在于：
本实施例在机器视觉的基础上，对半挂车车载行人自动检测系统进行优化，对于行人行动轨迹方向上存在相似遮挡物时，也能预测行人进入遮挡物后的姿态，有效提高检测结果的准确性和应急警报反应速度，为保障半挂车卸货安全提供帮助。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种用于半挂车自动卸货控制方法，其特征在于，包括：
获取半挂车自动卸货时行人路过的连续帧灰度图；
利用连续帧灰度图中相邻帧灰度图中行人的坐标位置获取行人的运动速度；
在每一帧灰度图中设置与该帧灰度图中行人跟踪框大小相同且质心在行人运动方向上的矩形框作为预测边框；
利用每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应像素点的灰度值的差值计算得到每一帧灰度图中行人跟踪框和预测边框的整体相似性；
利用每一帧灰度图中行人跟踪框和预测边框的整体相似性对行人运动方向上是否存在与行人灰度级相似的遮挡物进行判断；
计算行人运动方向上存在遮挡物的每一帧灰度图中行人跟踪框中各像素点的灰度梯度；
利用每一帧灰度图中行人跟踪框中各像素点的灰度梯度变化获取行人跟踪框中每个像素点进入遮挡物时的坐标位置和行人跟踪框中所有像素点进入遮挡物的时间；
利用行人跟踪框中所有像素点进入遮挡物的时间和行人的运动速度计算得到行人进入遮挡物后的位移距离；
利用行人跟踪框中每个像素点进入遮挡物时的坐标位置和行人进入遮挡物后的位移距离获取行人进入遮挡物后的身体轮廓；
利用行人进入遮挡物后的身体轮廓预测行人的行进方向；
行人检测应急系统根据行人的预测行进方向对半挂车是否继续卸货进行判断。
2.根据权利要求1所述的一种用于半挂车自动卸货控制方法，其特征在于，所述每一帧灰度图中行人跟踪框和预测边框的整体相似性是按照如下方式得到：
在每一帧灰度图中设置与该帧灰度图中行人跟踪框大小相同的矩形框作为预测边框，该矩形框的质心在行人的运动方向上；
计算每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应的像素点的灰度值的差值；
利用每一帧灰度图中行人跟踪框中各像素点的灰度值与其在预测边框中对应的像素点的灰度值的差值获取每一帧灰度图中行人跟踪框和预测边框的整体灰度差和整体灰度差的离散度；
利用每一帧灰度图中行人跟踪框和预测边框的整体灰度差和整体灰度差的离散度计算得到每一帧灰度图中行人跟踪框和预测边框的整体相似性。
3.根据权利要求1所述的一种用于半挂车自动卸货控制方法，其特征在于，所述每一帧灰度图中行人跟踪框和预测边框的整体相似性的表达式如下：
式中，
为每一帧灰度图中行人跟踪框和预测边框的整体相似性，
为每一帧灰度图中行人跟踪框和预测边框的整体灰度差，H为每一帧灰度图中行人跟踪框和预测边框的整体灰度差的离散度。
4.根据权利要求1所述的一种用于半挂车自动卸货控制方法，其特征在于，所述对行人运动方向上是否存在与行人灰度级相似的遮挡物进行判断的过程具体如下：
设置阈值，对每一帧灰度图中行人跟踪框和预测边框的整体相似性进行判断：当每一帧灰度图中行人跟踪框和预测边框的整体相似性大于阈值时，则该帧灰度图中行人运动方向上存在与行人灰度级相似的遮挡物；当每一帧灰度图中行人跟踪框和预测边框的整体相似性小于等于阈值时，则该帧灰度图中行人运动方向上不存在与行人灰度级相似的遮挡物。
5.根据权利要求1所述的一种用于半挂车自动卸货控制方法，其特征在于，所述行人进入遮挡物后的身体轮廓是按照如下方式获取：
对行人运动方向上存在与行人灰度级相似的遮挡物的每一帧灰度图进行如下操作：
计算每一帧灰度图中行人跟踪框中各像素点的灰度梯度；
计算相邻两帧灰度图中行人跟踪框中对应像素点的灰度梯度变化；
获取行人跟踪框中每个像素点的灰度梯度初次发生变化时的坐标位置；
获取行人跟踪框中第一个灰度梯度初次发生变化的像素点，并记录该像素点初次发生灰度梯度变化的时刻T1；
获取行人跟踪框中最后一个灰度梯度初次发生变化的像素点，并记录该像素点初次发生灰度梯度变化的时刻T2；
对时刻T2和时刻T1作差得到时间差；
将时间差和行人的运动速度进行相乘获取行人进入与行人灰度级相似的遮挡物后的位移距离；
将行人跟踪框中每个像素点的灰度梯度初次发生变化时的坐标位置与位移距离相加计算得到行人跟踪框中每个像素点进入与行人灰度级相似的遮挡物后的坐标位置；
利用行人跟踪框中每个像素点进入与行人灰度级相似的遮挡物后的坐标位置获取行人进入遮挡物后的身体轮廓。
6.根据权利要求1所述的一种用于半挂车自动卸货控制方法，其特征在于，所述预测行人的行进方向的过程具体如下：
将行人进入与行人灰度级相似的遮挡物后的身体轮廓输入到神经网络中进行训练，预测行人的行进方向。
7.根据权利要求1所述的一种用于半挂车自动卸货控制方法，其特征在于，所述对半挂车是否继续卸货进行判断的过程具体如下：
当行人的预测行进方向为朝向卸货危险区域时，行人检测应急系统立即控制半挂车中止倾倒货物，并通过车载语音或手机对司机进行提醒；当行人的预测行进方向不是朝向卸货危险区域时，则半挂车继续进行卸货。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210873771.6A CN114943955B (zh) | 2022-07-25 | 2022-07-25 | 一种用于半挂车自动卸货控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210873771.6A CN114943955B (zh) | 2022-07-25 | 2022-07-25 | 一种用于半挂车自动卸货控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943955A true CN114943955A (zh) | 2022-08-26 |
| CN114943955B CN114943955B (zh) | 2022-11-01 |
Family
ID=82910502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210873771.6A Active CN114943955B (zh) | 2022-07-25 | 2022-07-25 | 一种用于半挂车自动卸货控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943955B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311035A (zh) * | 2023-02-13 | 2023-06-23 | 山东新普锐智能科技有限公司 | 基于机器视觉的人车安全预警系统及方法 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324956A (zh) * | 2008-07-10 | 2008-12-17 | 上海交通大学 | 基于均值漂移的抗遮挡运动目标跟踪方法 |
| CN103198299A (zh) * | 2013-03-27 | 2013-07-10 | 西安电子科技大学 | 基于多方向尺度与Gabor相位投影特征结合的人脸识别方法 |
| CN106023257A (zh) * | 2016-05-26 | 2016-10-12 | 南京航空航天大学 | 一种基于旋翼无人机平台的目标跟踪方法 |
| CN107554430A (zh) * | 2017-09-20 | 2018-01-09 | 京东方科技集团股份有限公司 | 车辆盲区可视化方法、装置、终端、系统及车辆 |
| CN108154119A (zh) * | 2017-12-25 | 2018-06-12 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的自动驾驶处理方法及装置 |
| CN108596129A (zh) * | 2018-04-28 | 2018-09-28 | 武汉盛信鸿通科技有限公司 | 一种基于智能视频分析技术的车辆越线检测方法 |
| CN108920997A (zh) * | 2018-04-10 | 2018-11-30 | 国网浙江省电力有限公司信息通信分公司 | 基于轮廓判断非刚性目标是否存在遮挡的跟踪方法 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN109858455A (zh) * | 2019-02-18 | 2019-06-07 | 南京航空航天大学 | 一种针对圆形目标的分块检测尺度自适应跟踪方法 |
| CN111292355A (zh) * | 2020-02-12 | 2020-06-16 | 江南大学 | 一种融合运动信息的核相关滤波多目标跟踪方法 |
| CN111583307A (zh) * | 2020-05-11 | 2020-08-25 | 山东万腾电子科技有限公司 | 运动目标实时检测跟踪系统及方法 |
| CN112272620A (zh) * | 2018-02-21 | 2021-01-26 | 奥特莱德科技公司 | 用于自动卡车及牵引拖车的自动操作和处理的系统和方法 |
| CN112288780A (zh) * | 2020-11-09 | 2021-01-29 | 西安工业大学 | 多特征动态加权的目标跟踪算法 |
| CN112381856A (zh) * | 2020-10-14 | 2021-02-19 | 中国科学院西安光学精密机械研究所 | 一种适应城市复杂背景的低慢小目标跟踪装置及方法 |
| CN112580633A (zh) * | 2020-12-25 | 2021-03-30 | 博大视野(厦门)科技有限公司 | 一种公共交通客流统计装置及方法 |
| CN113436228A (zh) * | 2021-06-22 | 2021-09-24 | 中科芯集成电路有限公司 | 一种相关滤波目标跟踪算法的抗遮挡及目标重捕方法 |
| CN114639117A (zh) * | 2022-03-14 | 2022-06-17 | 西安电子科技大学 | 一种跨境特定行人追踪的方法和装置 |
| CN114708300A (zh) * | 2022-03-02 | 2022-07-05 | 北京理工大学 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
-
2022
- 2022-07-25 CN CN202210873771.6A patent/CN114943955B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324956A (zh) * | 2008-07-10 | 2008-12-17 | 上海交通大学 | 基于均值漂移的抗遮挡运动目标跟踪方法 |
| CN103198299A (zh) * | 2013-03-27 | 2013-07-10 | 西安电子科技大学 | 基于多方向尺度与Gabor相位投影特征结合的人脸识别方法 |
| CN106023257A (zh) * | 2016-05-26 | 2016-10-12 | 南京航空航天大学 | 一种基于旋翼无人机平台的目标跟踪方法 |
| CN107554430A (zh) * | 2017-09-20 | 2018-01-09 | 京东方科技集团股份有限公司 | 车辆盲区可视化方法、装置、终端、系统及车辆 |
| CN108154119A (zh) * | 2017-12-25 | 2018-06-12 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的自动驾驶处理方法及装置 |
| CN112272620A (zh) * | 2018-02-21 | 2021-01-26 | 奥特莱德科技公司 | 用于自动卡车及牵引拖车的自动操作和处理的系统和方法 |
| CN108920997A (zh) * | 2018-04-10 | 2018-11-30 | 国网浙江省电力有限公司信息通信分公司 | 基于轮廓判断非刚性目标是否存在遮挡的跟踪方法 |
| CN108596129A (zh) * | 2018-04-28 | 2018-09-28 | 武汉盛信鸿通科技有限公司 | 一种基于智能视频分析技术的车辆越线检测方法 |
| CN109102523A (zh) * | 2018-07-13 | 2018-12-28 | 南京理工大学 | 一种运动目标检测和跟踪方法 |
| CN109858455A (zh) * | 2019-02-18 | 2019-06-07 | 南京航空航天大学 | 一种针对圆形目标的分块检测尺度自适应跟踪方法 |
| CN111292355A (zh) * | 2020-02-12 | 2020-06-16 | 江南大学 | 一种融合运动信息的核相关滤波多目标跟踪方法 |
| CN111583307A (zh) * | 2020-05-11 | 2020-08-25 | 山东万腾电子科技有限公司 | 运动目标实时检测跟踪系统及方法 |
| CN112381856A (zh) * | 2020-10-14 | 2021-02-19 | 中国科学院西安光学精密机械研究所 | 一种适应城市复杂背景的低慢小目标跟踪装置及方法 |
| CN112288780A (zh) * | 2020-11-09 | 2021-01-29 | 西安工业大学 | 多特征动态加权的目标跟踪算法 |
| CN112580633A (zh) * | 2020-12-25 | 2021-03-30 | 博大视野(厦门)科技有限公司 | 一种公共交通客流统计装置及方法 |
| CN113436228A (zh) * | 2021-06-22 | 2021-09-24 | 中科芯集成电路有限公司 | 一种相关滤波目标跟踪算法的抗遮挡及目标重捕方法 |
| CN114708300A (zh) * | 2022-03-02 | 2022-07-05 | 北京理工大学 | 一种可抗遮挡的自适应目标跟踪方法及系统 |
| CN114639117A (zh) * | 2022-03-14 | 2022-06-17 | 西安电子科技大学 | 一种跨境特定行人追踪的方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| CHENGLONG LI等: "A mean shift tracking algorithm based on the current statistical model", 《2017 IEEE 9TH INTERNATIONAL CONFERENCE ON COMMUNICATION SOFTWARE AND NETWORKS (ICCSN)》 * |
| 严政新: "对基于RFID定位的漏斗车自动装卸控制系统的改进", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 兰文博: "基于深度学习的视频图像行人检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王琳: "基于双目视觉的自动卸货系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311035A (zh) * | 2023-02-13 | 2023-06-23 | 山东新普锐智能科技有限公司 | 基于机器视觉的人车安全预警系统及方法 |
| CN116311035B (zh) * | 2023-02-13 | 2024-05-17 | 山东新普锐智能科技有限公司 | 基于机器视觉的人车安全预警系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943955B (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109074651B (zh) | 移动体的周围环境识别装置 | |
| EP1671216B1 (en) | Moving object detection using low illumination depth capable computer vision | |
| US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
| CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
| Wu et al. | Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement | |
| Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
| US20110001615A1 (en) | Obstacle detection procedure for motor vehicle | |
| JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
| US11829153B2 (en) | Apparatus, method, and computer program for identifying state of object, and controller | |
| Chiu et al. | Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking. | |
| CN112172663A (zh) | 一种基于开车门的危险报警方法及相关设备 | |
| US11554774B2 (en) | Control apparatus, control method, and program | |
| EP2741234B1 (en) | Object localization using vertical symmetry | |
| KR101809088B1 (ko) | 전방 차량 추돌 알림 장치 및 방법 | |
| CN114943955B (zh) | 一种用于半挂车自动卸货控制方法 | |
| CN112249007A (zh) | 一种车辆危险报警方法及相关设备 | |
| Mampilayil et al. | Deep learning based detection of one way traffic rule violation of three wheeler vehicles | |
| Cualain et al. | Multiple-camera lane departure warning system for the automotive environment | |
| Yoneda et al. | Simultaneous state recognition for multiple traffic signals on urban road | |
| CN111985388A (zh) | 行人注意力检测驾驶辅助系统、装置和方法 | |
| Borges et al. | Integrating off-board cameras and vehicle on-board localization for pedestrian safety | |
| CN118082818A (zh) | 一种车辆周围环境危险预警方法及车辆 | |
| Riera et al. | Driver behavior analysis using lane departure detection under challenging conditions | |
| Riera et al. | Detecting and tracking unsafe lane departure events for predicting driver safety in challenging naturalistic driving data | |
| Dai et al. | A driving assistance system with vision based vehicle detection techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method for automatic unloading control of semi-trailers Granted publication date: 20221101 Pledgee: Agricultural Bank of China Limited Liangshan County sub branch Pledgor: Shandong Guangtong Automobile Technology Co.,Ltd. Registration number: Y2024980023923 |