CN110110608A - 一种全景监控下基于视觉的叉车速度监测方法和系统 - Google Patents

一种全景监控下基于视觉的叉车速度监测方法和系统 Download PDF

Info

Publication number
CN110110608A
CN110110608A CN201910294168.0A CN201910294168A CN110110608A CN 110110608 A CN110110608 A CN 110110608A CN 201910294168 A CN201910294168 A CN 201910294168A CN 110110608 A CN110110608 A CN 110110608A
Authority
CN
China
Prior art keywords
fork truck
pixel
point
camera
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910294168.0A
Other languages
English (en)
Other versions
CN110110608B (zh
Inventor
王延海
李明
高瞻
冯悦鸣
屠晓栋
丁一岷
沈中元
李岩
柴连兴
李畅昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Jiaxing Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN201910294168.0A priority Critical patent/CN110110608B/zh
Publication of CN110110608A publication Critical patent/CN110110608A/zh
Application granted granted Critical
Publication of CN110110608B publication Critical patent/CN110110608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种全景监控下基于视觉的叉车速度监测方法和系统，其中全景监控下基于视觉的叉车速度监测方法，包括：得到针对每个相机的单应性矩阵；采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，获得叉车像素区域；采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；根据叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。本申请的方法和系统，可实现多个相机的跨境头跟踪，提高叉车速度监测的精度。

Description

一种全景监控下基于视觉的叉车速度监测方法和系统
技术领域
本申请属于仓储物流领域，具体涉及一种全景监控下基于视觉的叉车速度监测方法和系统。
背景技术
叉车速度监测是仓储管理中的重要环节，限制叉车超速对仓储运维安全有着重要的意义。随着全景监控系统逐渐应用于仓储管理，安装的大量摄像头为叉车速度监测提供了丰富的图像信息。
视觉速度监测的方式就是采用相机对车辆行驶图片进行采集，通过机器视觉算法对车辆进行识别和跟踪，根据帧间车辆移动位置与帧率计算出车辆移动的速度。
目前，基于计算机视觉的速度监测主要采用单个相机对车辆进行拍摄，当车辆行驶在整个环境中时，没有跨镜头跟踪与检测速度；且当前视觉速度监测的算法均采用车辆整体图像匹配，当车辆与相机镜头发生变化时会引入较大的三维测算误差，从而影响速度监测的精度。
发明内容
本申请的目的在于提供一种全景监控下基于视觉的叉车速度监测方法和系统，实现多个相机的跨境头跟踪，提高叉车速度监测的精度。
为实现上述目的，本申请所采取的技术方案为：
一种全景监控下基于视觉的叉车速度监测方法，所述的全景监控下基于视觉的叉车速度监测方法，包括以下步骤：
获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；
采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；
采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；
根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。
作为优选，所述获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵，包括：
在地面设置若干个标志物，分别提取标志物的实际的点位置和其在各个相机的图像中的点位置，并将各相机对应的标志物所提取的实际的点位置和图像中的点位置进行匹配，得到匹配点对，分别将匹配点对写入两个初始匹配点集中；
采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集；
对内点点集中的各匹配点对进行最小二乘计算，得到最终针对每个相机的单应性矩阵。
作为优选，所述采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集，包括：
预设最大迭代次数M，并初始化内点点集Π为空集
将匹配点对写入两个初始匹配点集中得到的两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中对应取出3个匹配点对，并利用3个匹配点对估计单应性矩阵H；
计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：
‖δ2‖＝εT(JJT)ε；
其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；
令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：
ε＝Xk T×HXk；
其中，ε为度量集合距离，Xk T为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；
若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；
循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M。
作为优选，所述采用帧间差分法获得叉车的前景像素区域，包括：
对相机获得的叉车图像进行帧间差分法计算，若差分像素值不为0，则当前像素为前景区域像素；否则当前像素不是前景区域像素；
对所述前景区域像素进行聚类，得到若干个前景像素集，每个像素集大于1600像素；
对各所述前景像素集求凸包络，获得若干块前景像素区域。
作为优选，所述对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM算法训练优化HOG算法，采用优化后的HOG算法对所述前景像素区域进行轮廓匹配，获得叉车像素区域，包括：
利用HOG算子提取轮廓时，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量；
在原图上取像素点(x,y)，并根据以下公式计算该像素点的梯度大小和方向：
Gx(x,y)＝H(x+1,y)-H(x-1,y)；
Gy(x,y)＝H(x,y+1)-H(x,y-1)；
其中，Gx(x,y)，Gy(x,y)，H(x,y)分别表示像素点(x,y)处的水平方向梯度，垂直方向梯度和像素值；
并进一步计算像素点(x,y)处的梯度幅度和梯度方向为：
其中，G(x,y)表示像素点(x,y)处的梯度幅度，α(x,y)表示像素点(x,y)处的梯度方向；
根据计算得到的梯度幅度和梯度方向获取原图中的特征向量，并将特征向量输入至SVM分类器中判断特征向量提取是否精确，根据判断结果优化HOG算子，采用优化后的HOG算子对各所述前景像素区域进行轮廓匹配，获得若干个叉车像素区域。
作为优选，所述将特征向量输入至SVM分类器中判断特征向量提取是否精确，包括：
考虑到特征向量不一定是线性可分的，因此将特征向量通过核函数转换到高维空间进行线性分割，核函数采用高斯核：
其中，xi、yi为两个特征向量样本，ξ高斯方差系数。
作为优选，所述采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪，包括：
首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和；
其次对像素进行滤波，并得到Hessian矩阵为：
其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积；
根据Hessian矩阵得到图像的特征点，并将特征点与对应叉车预设的特征进行匹配，若匹配数量大于阈值则表示多个相机对该叉车的跨境头跟踪成功，并进一步计算叉车的速度；否则结束本次叉车速度监测并产生错误信息。
作为优选，所述根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素获得车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度，包括：
若多个相机对该叉车的跨境头跟踪成功，则根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，得到前轮与地面的接触点像素(u1,v1)，和后轮与地面的接触点像素(u2,v2)；
利用对应相机的单应性矩阵得到像素(u1,v1)和像素(u2,v2)在地面的实际位置点，计算公式为：
其中，x，y是车轮与地面接触点的实际位置，u，v是车轮与地面接触点的像素位置，H是对应相机的单应性矩阵；
通过多个叉车像素区域得到车轮与地面接触的多个实际位置，并根据各实际位置之间的时间差，计算叉车运行的速度为：
其中，V是叉车运行的速度，(x0,y0)和(x1,y1)是相邻两帧车轮与地面接触点的实际位置，γ是图像帧率；分别计算前轮和后轮的速度，取两者的均值作为叉车实际运行的速度。
本申请还提供一种全景监控下基于视觉的叉车速度监测系统，所述的全景监控下基于视觉的叉车速度监测系统，包括：
图像处理模块，用于获得全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；
像素获取模块，用于采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；
叉车跟踪模块，用于采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；
速度计算模块，用于根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。
本申请还提供一种全景监控下基于视觉的叉车速度监测系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的全景监控下基于视觉的叉车速度监测方法。
本申请提供的全景监控下基于视觉的叉车速度监测方法和系统，通过对全景监控下各个相机与地平面之间单应性矩阵的标定，获得图像中属于地面的像素与地面实际位置点的对应关系，采用帧间差法获得前景叉车像素区域，对叉车像素区域采用Hough圆的算法获得车轮与地面接触点的像素从而获得车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度，能够实现多个相机的跨境头跟踪，提高叉车速度监测的精度。
附图说明
图1为本申请的全景监控下基于视觉的叉车速度监测方法的流程框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
如图1所示，本实施例提供一种全景监控下基于视觉的叉车速度监测方法，包括以下步骤：
S1、相机标定
为了建立叉车在地面和图像中的位置关系，需要对全景监控下各个相机与地平面之间进行单应性矩阵的标定：获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵。
建立单应性矩阵时，在一实施例中具体执行的步骤如下：
在地面设置若干个标志物，标志物一般选取静态物体，且各个相机在建立单应性矩阵时，可以用到相同的标志物，也可以用到不同的标志物。
分别提取标志物的实际的点位置和其在各个相机的图像中的点位置，并将各相机对应的标志物所提取的实际的点位置和图像中的点位置进行匹配，得到匹配点对，分别将匹配点对写入两个初始匹配点集中。
采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集。在一实施例中，该步骤的具体过程如下：
设定最大迭代次数M，初始化内点点集Π为空集
(1)、对于两个初始匹配点集Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，k＝1,2,…,n，从两个初始匹配点集中随机抽取3个匹配点对估计单应性矩阵H。其中Mi,k{(xi,k,yi,k,1)}和Mj,k{(xj,k,yj,k,1)}中的一者为包含所提取的实际的点位置，另一者为包含所提取的图像中的点位置。
(2)、计算两初始匹配点集中剩余的匹配点对该模型(即单应性矩阵H)的拟合程度，并通过Sampson误差滤除外点，采用的Sampson误差为：
‖δ2‖＝εT(JJT)ε；
其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵。
为得到Sampson误差中的ε和J值，令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：
ε＝Xk T×HXk；
若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π，即将内点点集Π中的元素全部更换为第一点集中的元素，或者直接将第一点集作为最新的内点点集Π。
重复步骤(1)和(2)，循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M。
对最终得到的内点点集Π中的各匹配点对进行最小二乘计算，得到最终针对每个相机的单应性矩阵，记为H3×3。
S2、叉车提取
S2.1、前景像素提取
采用帧间差分法获得叉车的前景像素区域，在一实施例中，提取前景像素的具体步骤包括：
对相机获得的叉车图像进行帧间差分法计算，若差分像素值不为0，则当前像素为前景区域像素；否则当前像素不是前景区域像素；对所述前景区域像素进行聚类，得到若干个前景像素集，为保证前景像素集的有效性，要求每个前景像素集大于1600像素；对各所述前景像素集求凸包络，获得若干块前景像素区域。
需要说明的是，由于若干块前景像素区域是由帧间差分法获得，故相邻两前景像素区域之间的时间差可以看成是已知的，便于后续叉车速度的计算。
S2.2、叉车识别
对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域。
利用SVM分类器对HOG算子进行优化，便于降低叉车速度监测的误差，在一实施例中，叉车识别的具体步骤包括：
在图像中梯度的概念是像素值变换最快的方向，把边缘(在图像合成中单一物体的轮廓)引入进来，使边缘与梯度保持垂直方向。并且首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量。
在原图上取像素点(x,y)，并根据以下公式计算该像素点的梯度大小和方向：
Gx(x,y)＝H(x+1,y)-H(x-1,y)；
Gy(x,y)＝H(x,y+1)-H(x,y-1)；
其中，Gx(x,y)，Gy(x,y)，H(x,y)分别表示像素点(x,y)处的水平方向梯度，垂直方向梯度和像素值。
并进一步计算像素点(x,y)处的梯度幅度和梯度方向为：
其中，G(x,y)表示像素点(x,y)处的梯度幅度，α(x,y)表示像素点(x,y)处的梯度方向。
根据计算得到的梯度幅度和梯度方向获取原图中的特征向量，例如对于64*128的图像而言，每8*8的像素组成一个cell，每2*2个cell组成一个块，以8个像素为步长，那么，水平方向将有7个扫描窗口，垂直方向将有15个扫描窗口。也就是说，64*128的图片，总共有36*7*15＝3780个特征。
单独将其中一个8*8的小格拿出来，方向梯度中指的方向范围为2π，也就是360°，为了画直方图还需要选取合适的组距也就是bin，这里组距选取2π/9，也就是最后的直方图组数为9。故8*8像素的cell对应的方向梯度，共有8*8＝64个。
为了获得更复杂、精确的叉车轮廓提取结果，将提取得到的特征向量输入至SVM分类器中判断特征向量提取是否精确，在另一实施例中，考虑到特征向量不一定是线性可分的，因此将特征向量通过核函数转换到高维空间进行线性分割，核函数采用高斯核：
其中，xi、yi为两个特征向量样本，ξ高斯方差系数。
采用高斯核对特征向量进行转换后，可提高SVM分类器判断的准确性，以得到最优的HOG算子。根据SVM分类器对特征向量的判断结果优化HOG算子，并采用优化后的HOG算子对各所述前景像素区域进行轮廓匹配，获得若干个叉车像素区域。
S3、叉车跟踪
在进行叉车速度计算之前，首先要对叉车在多个相机之间跨境头跟踪是否成功进行判断，以确定用于计算速度时的参数为同一叉车的参数，避免出现计算误差。
本实施例采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪。在一实施例中，叉车跨境头跟踪的具体步骤包括：
首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和。
其次对像素进行滤波，并得到Hessian矩阵为：
其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积。
根据Hessian矩阵得到图像的特征点，在提取时需根据不同的σ，建立不同的金字塔尺度空间。在每一组中选取相邻的三层Hessian行列式图像，对于中间层的每一个Hessian行列式值都可以做为待比较的点，在空间中选取该点周围的26个点进行比较大小，若该点大于其他26个点，则该点为特征点。
由上述特征点提取过程可知，当尺度空间每组由四层构成时，非极大值抑制只会在中间两层进行，相邻的组之间不进行比较。在关键点周围选取一个正方形框，方向为关键点的主方向，边长为20像素，将正方形框划分为16个区域(每个区域的边长为5像素)，每个区域统计25个像素的水平方向和垂直方向的Haar小波特性(均相对于正方形框的主方向确定的)。该小波特征包括水平方向值之和，水平方向绝对值之和，垂直方向值之和和垂直方向绝对值之和(为了把强度变化的极性信息也包括描述符中，所以对绝对值进行累加)。这样每个区域有4个值，则每个正方形框有维，即每个关键点描述是64维。
根据Hessian矩阵得到图像的特征点之后，并将特征点与对应叉车预设的特征进行匹配，若匹配数量大于阈值则表示多个相机对该叉车的跨境头跟踪成功，并进一步计算叉车的速度；否则结束本次叉车速度监测并产生错误信息。
S4、叉车速度计算
S4.1、根据叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素。由于车轮必然位于叉车像素区域底部与地面接触，因此与叉车像素区域底部相切的圆即为车轮。由此得到前轮与地面的接触点像素(u1,v1)，和后轮与地面的接触点像素(u2,v2)。
S4.2、利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置。
由于多个相机对叉车进行跨境头跟踪，故叉车像素区域均与属于各自的相机，在获取叉车车轮与地面接触点的实际位置时，需采用该叉车像素区域所对应的单应性矩阵进行计算。
计算公式为：
其中，x，y是车轮与地面接触点的实际位置，u，v是车轮与地面接触点的像素位置，H是对应相机的单应性矩阵。
S4.3、根据帧间实际位置的差别获得叉车运行的速度。
通过多个叉车像素区域得到车轮与地面接触的多个实际位置，并根据各实际位置之间的时间差，计算叉车运行的速度。
由于本实施例中的前景像素区域是由帧间差分法获得，故相邻两个实际位置之间的时间差即为帧差，为了增强公式的通用性，采用帧率进行计算，叉车运行的速度计算公式为：
其中，V是叉车运行的速度，(x0,y0)和(x1,y1)是相邻两帧车轮与地面接触点的实际位置，γ是图像帧率。
由于在获取车轮时分别获取了前轮和后轮的位置，故为了进一步提高叉车速度监测的准确性，分别计算前轮和后轮的速度，取两者的均值作为叉车实际运行的速度。
本申请提供的全景监控下基于视觉的叉车速度监测方法，通过对全景监控下各个相机与地平面之间单应性矩阵的标定，获得图像中属于地面的像素与地面实际位置点的对应关系，采用帧间差法获得前景叉车像素区域，对叉车像素区域采用Hough圆的算法获得车轮与地面接触点的像素从而获得车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度，能够实现多个相机的跨境头跟踪，提高叉车速度监测的精度。
其中一实施例中，提供一种全景监控下基于视觉的叉车速度监测系统，所述的全景监控下基于视觉的叉车速度监测系统，包括：
图像处理模块，用于获得全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；
像素获取模块，用于采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；
叉车跟踪模块，用于采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；
速度计算模块，用于根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。
关于全景监控下基于视觉的叉车速度监测系统的具体限定可以参见上文中对于全景监控下基于视觉的叉车速度监测方法的限定，在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
其中一实施例中，提供一种全景监控下基于视觉的叉车速度监测系统，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的全景监控下基于视觉的叉车速度监测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景监控下基于视觉的叉车速度监测方法，其特征在于，所述的全景监控下基于视觉的叉车速度监测方法，包括以下步骤：
获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；
采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；
采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；
根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。
2.如权利要求1所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述获取全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵，包括：
在地面设置若干个标志物，分别提取标志物的实际的点位置和其在各个相机的图像中的点位置，并将各相机对应的标志物所提取的实际的点位置和图像中的点位置进行匹配，得到匹配点对，分别将匹配点对写入两个初始匹配点集中；
采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集；
对内点点集中的各匹配点对进行最小二乘计算，得到最终针对每个相机的单应性矩阵。
3.如权利要求2所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述采用RANSAC算法剔除初始匹配点集中的误匹配点对，并通过Sampson误差滤除外点，得到包含所有内点的内点点集，包括：
预设最大迭代次数M，并初始化内点点集Π为空集
将匹配点对写入两个初始匹配点集中得到的两个初始匹配点集为Mi,k{(xi,k,yi,k,1)}，Mj,k{(xj,k,yj,k,1)}，其中k＝1,2,…,n，从两初始匹配点集中随机取出的3个匹配点对，并利用3个匹配点对估计单应性矩阵H；
计算两初始匹配点集中剩余的匹配点对对所述单应性矩阵H的拟合程度，通过Sampson误差滤除外点，所述的Sampson误差为：
‖δ2‖＝εT(JJT)ε；
其中，δ2为匹配点对到单应性矩阵的代数距离，ε为度量集合距离，J度量集合距离的偏微分矩阵，εT、JT为ε和J的转置矩阵；
令一对匹配点向量(xi,k,yi,k,1,xj,k,yj,k,1)为Xk，故可得ε和J为：
ε＝Xk T×HXk；
其中，ε为度量集合距离，Xk T为Xk的转置矩阵，H为单应性矩阵，J度量集合距离的偏微分矩阵；
若匹配点对到单应性矩阵的代数距离小于预设的门限值，则对应的匹配点对为内点；否则对应的匹配点对为外点，依次对初始匹配点集中的剩余的匹配点对进行Sampson误差判断，判断结束后得到包含所有内点的第一点集；若该第一点集的元素数量大于所述内点点集Π的元素数量，则用第一点集中的元素更新内点点集Π；
循环从两初始匹配点集中对应取出3个匹配点对进行计算，不断更新内点点集Π，直至达到最大迭代次数M。
4.如权利要求1所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述采用帧间差分法获得叉车的前景像素区域，包括：
对相机获得的叉车图像进行帧间差分法计算，若差分像素值不为0，则当前像素为前景区域像素；否则当前像素不是前景区域像素；
对所述前景区域像素进行聚类，得到若干个前景像素集，每个前景像素集大于1600像素；
对各所述前景像素集求凸包络，获得若干块前景像素区域。
5.如权利要求4所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM算法训练优化HOG算法，采用优化后的HOG算法对所述前景像素区域进行轮廓匹配，获得叉车像素区域，包括：
利用HOG算子提取轮廓时，首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向的梯度分量，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向的梯度分量；
在原图上取像素点(x,y)，并根据以下公式计算该像素点的梯度大小和方向：
Gx(x,y)＝H(x+1,y)-H(x-1,y)；
Gy(x,y)＝H(x,y+1)-H(x,y-1)；
其中，Gx(x,y)，Gy(x,y)，H(x,y)分别表示像素点(x,y)处的水平方向梯度，垂直方向梯度和像素值；
并进一步计算像素点(x,y)处的梯度幅度和梯度方向为：
其中，G(x,y)表示像素点(x,y)处的梯度幅度，α(x,y)表示像素点(x,y)处的梯度方向；
根据计算得到的梯度幅度和梯度方向获取原图中的特征向量，并将特征向量输入至SVM分类器中判断特征向量提取是否精确，根据判断结果优化HOG算子，采用优化后的HOG算子对各所述前景像素区域进行轮廓匹配，获得若干个叉车像素区域。
6.如权利要求5所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述将特征向量输入至SVM分类器中判断特征向量提取是否精确，包括：
将所述特征向量通过核函数转换到高维空间进行线性分割，核函数采用高斯核：
其中，xi、yi为两个特征向量样本，ξ高斯方差系数。
7.如权利要求1所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪，包括：
首先计算积分图像，积分图像中像素(x,y)的值为原图的左上角位置至像素(x,y)所在位置之间的灰度值之和；
其次对像素进行滤波，并得到Hessian矩阵为：
其中，σ为高斯滤波标准差系数，Lxy、Lyx、Lyy、Lxx为灰度图像I(x,y)的二阶偏微分与高斯函数在像素点(x,y)处的卷积；
根据Hessian矩阵得到图像的特征点，并将特征点与对应叉车预设的特征进行匹配，若匹配数量大于阈值则表示多个相机对该叉车的跨境头跟踪成功，并进一步计算叉车的速度；否则结束本次叉车速度监测并产生错误信息。
8.如权利要求7所述的全景监控下基于视觉的叉车速度监测方法，其特征在于，所述根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素获得车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度，包括：
若多个相机对该叉车的跨境头跟踪成功，则根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，得到前轮与地面的接触点像素(u1,v1)，和后轮与地面的接触点像素(u2,v2)；
利用对应相机的单应性矩阵得到像素(u1,v1)和像素(u2,v2)在地面的实际位置点，计算公式为：
其中，x，y是车轮与地面接触点的实际位置，u，v是车轮与地面接触点的像素位置，H是对应相机的单应性矩阵；
通过多个叉车像素区域得到车轮与地面接触的多个实际位置，并根据各实际位置之间的时间差，计算叉车运行的速度为：
其中，V是叉车运行的速度，(x0,y0)和(x1,y1)是相邻两帧车轮与地面接触点的实际位置，γ是图像帧率；分别计算前轮和后轮的速度，取两者的均值作为叉车实际运行的速度。
9.一种全景监控下基于视觉的叉车速度监测系统，其特征在于，所述的全景监控下基于视觉的叉车速度监测系统，包括：
图像处理模块，用于获得全景监控下各个相机的图像中属于地面的像素与地面实际位置点的对应关系，得到针对每个相机的单应性矩阵；
像素获取模块，用于采用帧间差分法获得叉车的前景像素区域，对相机获得的叉车图像采用HOG算子进行轮廓提取，并利用SVM分类器训练优化HOG算子，采用优化后的HOG算子对所述前景像素区域进行轮廓匹配，获得叉车像素区域；
叉车跟踪模块，用于采用SURF算子提取叉车特征点，并利用所提取的叉车特征点进行叉车跨境头时的跟踪；
速度计算模块，用于根据所述叉车像素区域采用Hough圆检测算法获得车轮与地面接触点的像素，并利用对应相机的单应性矩阵和获得的像素得到车轮与地面接触点的实际位置，根据帧间实际位置的差别获得叉车运行的速度。
10.一种全景监控下基于视觉的叉车速度监测系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述的全景监控下基于视觉的叉车速度监测方法。
CN201910294168.0A 2019-04-12 2019-04-12 一种全景监控下基于视觉的叉车速度监测方法和系统 Active CN110110608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294168.0A CN110110608B (zh) 2019-04-12 2019-04-12 一种全景监控下基于视觉的叉车速度监测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294168.0A CN110110608B (zh) 2019-04-12 2019-04-12 一种全景监控下基于视觉的叉车速度监测方法和系统

Publications (2)

Publication Number Publication Date
CN110110608A true CN110110608A (zh) 2019-08-09
CN110110608B CN110110608B (zh) 2023-02-07

Family

ID=67484037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294168.0A Active CN110110608B (zh) 2019-04-12 2019-04-12 一种全景监控下基于视觉的叉车速度监测方法和系统

Country Status (1)

Country Link
CN (1) CN110110608B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161558A (zh) * 2019-12-16 2020-05-15 华东师范大学 一种基于深度学习的实时判断叉车行驶位置的方法
CN111899521A (zh) * 2020-07-17 2020-11-06 南京师范大学泰州学院 一种高速公路的车辆违规行为检测方法
CN113104768A (zh) * 2021-05-07 2021-07-13 安徽宇锋仓储设备有限公司 一种前移式叉车agv
CN115113624A (zh) * 2022-07-08 2022-09-27 东莞康视达自动化科技有限公司 一种基于视觉引导的叉车运行控制方法
CN116309597A (zh) * 2023-05-23 2023-06-23 成都工业学院 一种药盒混装缺陷的视觉在线检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316030A (zh) * 2017-07-04 2017-11-03 西北工业大学深圳研究院 无人机对地面运动车辆自动检测与分类方法
US20180082131A1 (en) * 2016-09-16 2018-03-22 Hong Kong Applied Science and Technology Research Institute Company Limited Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109409208A (zh) * 2018-09-10 2019-03-01 东南大学 一种基于视频的车辆特征提取与匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082131A1 (en) * 2016-09-16 2018-03-22 Hong Kong Applied Science and Technology Research Institute Company Limited Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN107316030A (zh) * 2017-07-04 2017-11-03 西北工业大学深圳研究院 无人机对地面运动车辆自动检测与分类方法
CN109409208A (zh) * 2018-09-10 2019-03-01 东南大学 一种基于视频的车辆特征提取与匹配方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161558A (zh) * 2019-12-16 2020-05-15 华东师范大学 一种基于深度学习的实时判断叉车行驶位置的方法
CN111899521A (zh) * 2020-07-17 2020-11-06 南京师范大学泰州学院 一种高速公路的车辆违规行为检测方法
CN113104768A (zh) * 2021-05-07 2021-07-13 安徽宇锋仓储设备有限公司 一种前移式叉车agv
CN115113624A (zh) * 2022-07-08 2022-09-27 东莞康视达自动化科技有限公司 一种基于视觉引导的叉车运行控制方法
CN115113624B (zh) * 2022-07-08 2023-03-10 东莞康视达自动化科技有限公司 一种基于视觉引导的叉车运行控制方法
CN116309597A (zh) * 2023-05-23 2023-06-23 成都工业学院 一种药盒混装缺陷的视觉在线检测方法及装置

Also Published As

Publication number Publication date
CN110110608B (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
CN110110608A (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN105405154B (zh) 基于颜色-结构特征的目标对象跟踪方法
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
CN104008370B (zh) 一种视频人脸识别方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN104680510B (zh) Radar视差图优化方法、立体匹配视差图优化方法及系统
CN105243664B (zh) 一种基于视觉的轮式移动机器人快速目标跟踪方法
CN110120010A (zh) 一种基于相机图像拼接的立体货架视觉盘点方法和系统
CN105719352B (zh) 人脸三维点云超分辨率融合方法及应用其的数据处理装置
CN110766024B (zh) 基于深度学习的视觉里程计特征点提取方法及视觉里程计
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN110276785A (zh) 一种抗遮挡红外目标跟踪方法
CN108776989A (zh) 基于稀疏slam框架的低纹理平面场景重建方法
CN104408725A (zh) 一种基于tld优化算法的目标重捕获系统及方法
CN109086724A (zh) 一种加速的人脸检测方法及存储介质
CN111462210A (zh) 一种基于极线约束的单目线特征地图构建方法
CN107677274A (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN108537844A (zh) 一种融合几何信息的视觉slam回环检测方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN108765468A (zh) 一种基于特征融合的目标跟踪方法和装置
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN107742306A (zh) 一种智能视觉中运动目标跟踪算法
CN110006444A (zh) 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant