CN113379801A - 一种基于机器视觉的高空抛物监测定位方法 - Google Patents
一种基于机器视觉的高空抛物监测定位方法 Download PDFInfo
- Publication number
- CN113379801A CN113379801A CN202110662092.XA CN202110662092A CN113379801A CN 113379801 A CN113379801 A CN 113379801A CN 202110662092 A CN202110662092 A CN 202110662092A CN 113379801 A CN113379801 A CN 113379801A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- coordinate system
- camera
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 230000001360 synchronised effect Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000001914 filtration Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000006378 damage Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 208000027418 Wounds and injury Diseases 0.000 abstract 1
- 208000014674 injury Diseases 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于机器视觉的高空抛物监测定位方法，属于机器视觉领域。本发明利用视频图像处理技术，对同步的左右两个相机所拍摄的视频图像同时进行运动物体检测，并对同帧左右两幅图像中的目标进行匹配，通过双目视觉几何关系计算目标下落过程的不同时刻的空间坐标，进一步根据运动学规律拟合抛物运动轨迹，从而推定抛物发生的位置。该方法不妨碍个人隐私、可以获取抛物体的空间位置和轨迹，可以为抛物伤害提供监测证据。
Description
技术领域
本发明属于机器视觉领域，具体涉及双目机器视觉、图像处理和高空抛物监测，尤其涉及一种基于机器视觉的高空抛物监测定位方法。
背景技术
近年来，随着城市高层建筑明显增多，高空坠物给公众安全带来的危害也随之大大增加，高空坠物危害成为社会关注的热点，并在2020年底被写入刑法。
目前市面上现有的高空抛物监测系统大多基于单个摄像头仰视建筑物监测高空坠物。但该方法将摄像机直接对准建筑物拍摄的方法存在妨害个人隐私、给居民生活带来不便等问题；另一方面，从原理上单目视觉上无法获取深度信息，不能准确定位坠落物的空间位置和轨迹，难以作为坠物监测的证据使用。
发明内容
本发提供了一种对高空抛物的监测定位方法。可以对静态背景下的动态物体进行有效的监测并计算高空抛物的轨迹，为判断高空抛物方位提供依据。
一种基于机器视觉的高空抛物监测定位方法，包括以下步骤：
S1，双目相机同步；
S2，相机标定，获取左右相机的内外参数；
S3，采集图像并对左右图像进行校正；
S4，对左右相机分别进行基于混合高斯建模和背景差分法的运动物体检测；
S5，在左连续图像序列中进行基于SORT算法的目标跟踪；
S6，在左右同步图像中进行基于SAD算法的目标特征匹配。
S7，根据左右图像的匹配结果对目标进行三维定位，获得目标运动过程中的空间坐标集合；
S8，根据左相机的外参数将坐标从相机坐标系变换至世界坐标系；
S9，根据世界坐标系下的空间坐标集合计算物体轨迹方程，判断物体是否为高空抛物。
进一步的，所述步骤S1中，通过相机的输入同步信号对双目相机进行同步，获取同一时刻的双目同步图像。
进一步的，所述步骤S2包括以下子步骤：
S21，分别对左右两个相机进行标定，获取两相机的焦距、主点坐标、畸变映射矩阵的参数；
S22，利用S21中的结果进行立体标定，获得右相机的内外参数和左相机的内参数；
S23，根据左相机坐标系相对于世界坐标系的旋转和位移，确定左相机坐标系相对于世界坐标系的旋转矩阵R和位移矩阵T,R和T称为左相机的外参数；其中，选取的世界坐标系的z轴正方向应竖直向上。
进一步的，所述步骤S3包括以下子步骤：
S31，基于左右相机的内外参数和畸变映射矩阵，计算左校正矩阵和右校正矩阵；
S32，分别用左右校正矩阵对左右相机输入的每一幅图像进行校正，使左右图像处于行对准状态，即左右相机中的匹配点有相同的纵坐标。
进一步的，所述步骤S4包括以下子步骤：
S41，建立高斯混合背景模型；取100帧背景视频图像作为样本，对图像中每个像素一个混合高斯模型，每个混合高斯模型包含多个子高斯模型，每个子高斯模型的参数包括均值、方差和权重；
S42，将当前图像与背景进行差分；对于新输入图像的每一个像素，将其与子模型进行匹配，匹配条件为：
其中Ib(u,v)为输出差分二值图像中位置为(u,v)的像素的索引值；I(u,v)为输入图像中坐标为(u,v)的像素的索引值；meanm为子高斯模型参数中的均值；varm为子高斯模型参数中的方差；vt为预设的阈值系数，varm×vt称为匹配阈值；
通过匹配可以获得差分二值图像，二值图像索引值为1表示该像素属于前景；索引值0为表示该像素属于背景。
S43，处理差分二值图像；对差分二值图像进行滤波和闭运算；其中滤波采用中值滤波；闭运算将属于同一目标的多块小连通区域连通成一块大的连通区域；
S44，寻找最大连通区域；在滤波后的二值图中寻找最大的连通区域，并统计其像素个数，如果大于设定的阈值，则判定为存在运动物体；对所有大于设定阈值的连通区域，取其外接矩形作为特征区域S；
S45，计算特征区域S的质心，计算方法如下：
其中M称为特征区域的质量；(umass,vmass)为特征区域质心的位置，将其作为特征区域的特征点；
S46，对当前帧的同步左右图像分别进行步骤S41至S45所述的目标检测，记录特征区域的数量，并对特征区域编号、记录其覆盖的范围和特征点坐标。
进一步的，所述步骤S5包括以下子步骤：
S51，对每一个移动物体建立加速运动模型：
xk称为模型的状态向量，其中u和v分别代表目标特征点的水平和垂直像素位置；s和r表示目标特征区域的尺寸大小和比例；
和
表示目标特征点在水平和垂直方向上的移动速度；
表示目标特征区域的尺寸的变化量；
和
表示目标特征点在水平和垂直方向上的加速度；同时初始化该运动模型的误差矩阵P；
S52，通过卡尔曼滤波预测目标特征区域和特征点在下一帧的位置；目标特征区域和特征点在图像中的位置记为：
z＝[u v s r]T (6)
定义状态转移矩阵A：
其中t表示相邻帧之间的时间差。
定义观测矩阵H：
预测步骤如下；
x'k+1＝Axk (9)
z'k+1＝Hx'k+1 (10)
P'k+1＝APkAT+Q (11)
其中x'k+1表示预测的目标在下一帧中的状态；Q为4×4预测噪声协方差矩阵；通过式(10)得到预测的目标特征区域和特征点在下一帧中的位置z'k+1；
S53，计算在下一帧预测的特征区域与实际检测到的各移动物体特征区域的交并比IoU：
其中I表示预测的特征区域与检测到的特征区域重叠部分的像素数；U表示表示预测的特征区域与检测到的特征区域在图像中共同覆盖的像素数；
S54，以IoU为权重，将IoU小于阈值IoUmin的路径权重设为0；用KM算法对相邻帧的移动物体进行匹配；
S55，对于成功匹配的两个移动物体，认为它们是同一物体，统一它们的编号；
S56，对于未能成功匹配的移动物体，认为当前帧中的移动物体消失，下一帧中的移动物体为新物体；
S57，对于消失的物体，停止对它的追踪；对于新物体，建立S51所述的运动模型等参数，开始对它的追踪；
S58，校正模型状态；将匹配结果作为观测值zk+1：
zk+1＝[u' v' s' r']T (13)
其中u'和v'表示下一帧中匹配到的移动物体特征点的水平和垂直像素位置；s'和r'表示匹配到的移动物体特征区域的尺寸大小和比例；
对系统状态x和误差矩阵P进行校正：
Kk+1＝P'k+1HT(HP'k+1HT+R)-1 (14)
xk+1＝x'k+1+Kk+1(zk+1-z'k+1) (15)
Pk+1＝(E-Kk+1H)P'k+1 (16)
其中Kk称为卡尔曼增益；HT为H的转置矩阵；E为单位矩阵；R为预设的4×4测量噪声协方差矩阵；
S59，在连续图像中逐帧对物体进行追踪，记录各个物体的特征点轨迹。
进一步的，所述步骤S6包括以下子步骤：
S61，将左右图像转换为灰度图或转换为HSV图像后提取H分量分布图；
S62，按编号选定目标进行匹配；记录目标的特征区域SL的特征点纵坐标Y；
S63，以SL尺寸为搜索窗尺寸，将特征点在SL中的位置作为为搜索中心C在搜索窗中的位置，构建滑动搜索窗W，C相对于W的位置不变；
S64，在右图像中检测并记录由纵坐标为Y的直线和其穿过的特征区域所确定的线段，将其作为搜索中心C自左向右滑动的范围，计算SAD：
其中(x,y)为某像素在区域内的坐标；SL(x,y)为SL中坐标为(x,y)的像素的索引值；W(x,y)为W所覆盖的区域中坐标为(x,y)的像素的索引值；将搜索中心C在线段上滑动过程中SAD最小的点作为匹配点PR；左图像中的特征点与其在同步右图像中的匹配点称为移动物体在左右图像中的目标点。
进一步的，所述步骤S7包括以下子步骤：
S71，对当前帧的同步左右图像分别进行S4和S6所述的检测、追踪与匹配，获取目标点在左右图像中的像素坐标；将目标点的像素坐标转换至以相机主点为原点的图像坐标系：
其中(x,y)为目标点在图像坐标系下的坐标；(u,v)为目标点在像素坐标系下的坐标；(u0,v0)为相机主点在像素坐标系下的坐标；
S72，根据目标点当前帧左右图像中的坐标，计算目标点的视差d：
d＝xl-xr (19)
其中xl和xr为目标点在左、右图像的图像坐标系下的横坐标；
S73，根据三角形相似原理：
其中L为左相机和右相机的光心距离；f为左相机和右相机的焦距；Z为目标点的深度值；
利用式(20)可以计算目标点的在左相机坐标系下的Z坐标：
对于横坐标X与深度Z有如下关系：
利用式(22)可以计算目标点的在左相机坐标系下的X坐标：
对于横坐标Y与深度Z有如下关系：
利用式(24)可以计算目标点的在左相机坐标系下的Y坐标：
其中yl为左图像中目标点在图像坐标系下的纵坐标；则(Xl,Yl,Zl)T即为目标点在左相机坐标系下的三维空间坐标；
S74，对同步相机视频流的每一帧图像依序进行S71～S73操作，获取物体运动过程中的三维空间坐标集合。
进一步的，所述步骤S8中，由相机坐标系至世界坐标系的变换为：
其中(Xw,Yw，Zw)为目标点在世界坐标系下的坐标；R与T为左相机的外参数；R为旋转矩阵，R-1为R的逆矩阵；T为平移矩阵。
进一步的，所述步骤S9包括以下子步骤：
S91，以视频流相邻帧之间的时间差t为自变量，以目标点的三维坐标值(Xw,Yw，Zw)为因变量，预设的多项式次数分别为1，1和2，用最小二乘法进行多项式拟合；拟合结果为：
其中p为方程的系数；
S92，如果方程z＝k(t)的二次项系数，即物体在竖直方向的加速度大于设定的阈值，则判定物体为高空抛物；参数方程(27)即为运动物体在世界坐标系下的轨迹方程。
本发明的有益效果为：本发明结合双目立体视觉和图像处理技术，实现对下落物体的跟踪，并计算其图像质心的三维坐标，进而计算下落物体的轨迹曲线；可以有效地对高速物体进行检测并进行多目标跟踪；同时对左右相机中的下落物体进行检测，仅在检测到的目标区域内进行匹配，避免了传统匹配方法由于背景与目标特征相似造成的误判，有比较高的匹配精度。
附图说明
图1为本发明实施例中基于双目视觉的高空抛物监测定位方法的流程图。
图2为本发明实施例中高空抛物监测定位系统示意图。
图3为本发明实施例中基于双目立体视觉视差法计算深度信息示意图。
图4为本发明实施例中三维重建立体成像模型。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明采用的几何模型如图4所示，其中Ol为左相机的光心，Or为右相机的光心，L为Ol与Or之间的距离。P为空间中任意一点。Pl和Pr分别为P在左右图像中的像点。
请参考图1和图2，一种基于双目视觉的高空抛物监测定位方法，包括如下步骤：
S1，双目相机同步。
所述步骤S1包括以下子步骤：
通过相机的输入同步信号对双目相机进行同步，获取同一时刻的双目同步图像。
S2，相机标定，获取左右相机的内外参数。
所述步骤S2包括以下子步骤：
S21，分别对左右两个相机进行标定，获取两相机的焦距、主点坐标、畸变映射矩阵等参数。
S22，利用S21中的结果进行立体标定，获得右相机的内外参数和左相机的内参数。
S23，根据左相机坐标系相对于世界坐标系的旋转和位移，确定左相机坐标系相对于世界坐标系的旋转矩阵R和位移矩阵T,R和T称为左相机的外参数。其中，选取的世界坐标系的z轴正方向应竖直向上。
S3，采集图像并对左右图像进行校正。
所述步骤S3包括以下子步骤：
S31，基于左右相机的内外参数和畸变映射矩阵，计算左校正矩阵和右校正矩阵。
S32，分别用左右校正矩阵对左右相机输入的每一幅图像进行校正，使左右图像处于行对准状态，即左右相机中的匹配点有相同的纵坐标。
S4，对左右相机分别进行基于混合高斯建模和背景差分法的运动物体检测与跟踪。
所述步骤S4包括以下子步骤：
S41，建立高斯混合背景模型。取100帧背景视频图像作为样本，对图像中每个像素一个混合高斯模型，每个混合高斯模型包含多个子高斯模型，每个子高斯模型的参数包括均值、方差和权重。
S42，将当前图像与背景进行差分。对于新输入图像的每一个像素，将其与子模型进行匹配，匹配条件为：
其中Ib(u,v)为输出差分二值图像中位置为(u,v)的像素的索引值；I(u,v)为输入图像中坐标为(u,v)的像素的索引值；meanm为子高斯模型参数中的均值；varm为子高斯模型参数中的方差；vt为预设的阈值系数，varm×vt称为匹配阈值。
通过匹配可以获得差分二值图像，二值图像索引值为1表示该像素属于前景；索引值0为表示该像素属于背景。
S43，处理差分二值图像。对差分二值图像进行滤波和闭运算。本方案采用中值滤波。闭运算将属于同一目标的多块小连通区域连通成一块大的连通区域。
S44，寻找最大连通区域。在滤波后的二值图中寻找最大的连通区域，并统计其像素个数，如果大于设定的阈值，则判定为存在运动物体。对所有大于设定阈值的连通区域，取其外接矩形作为特征区域S。
S45，计算特征区域S的质心。质心计算方法如下：
其中M称为特征区域的质量；(umass,vmass)为特征区域质心的位置，将其作为特征区域的特征点。
S46，对当前帧的同步左右图像分别进行S41～S45所述的检测，记录特征区域的数量，并对特征区域编号、记录其覆盖的范围和特征点坐标。
S5，在左相机拍摄的连续图像中进行基于SORT算法的目标跟踪。
所述步骤S5包括以下子步骤：
S51，对每一个移动物体建立加速运动模型：
xk称为模型的状态向量，其中u和v分别代表目标特征点的水平和垂直像素位置；s和r表示目标特征区域的尺寸大小和比例；
和
表示目标特征点在水平和垂直方向上的移动速度；
表示目标特征区域的尺寸的变化量；
和
表示目标特征点在水平和垂直方向上的加速度。同时初始化该运动模型的误差矩阵P。
S52，通过卡尔曼滤波预测目标特征区域和特征点在下一帧的位置。目标特征区域和特征点在图像中的位置记为：
z＝[u v s r]T (6)
定义状态转移矩阵A：
其中t表示相邻帧之间的时间差。
定义观测矩阵H：
预测步骤如下：
x'k+1＝Axk (9)
z'k+1＝Hx'k+1 (10)
P'k+1＝APkAT+Q (11)
其中x'k+1表示预测的目标在下一帧中的状态；Q为4×4预测噪声协方差矩阵。通过式(10)可得到预测的目标特征区域和特征点在下一帧中的位置z'k+1。
S53，计算在下一帧预测的特征区域与实际检测到的各移动物体特征区域的交并比IoU：
其中I表示预测的特征区域与检测到的特征区域重叠部分的像素数；U表示表示预测的特征区域与检测到的特征区域在图像中共同覆盖的像素数。
S54，以IoU为权重，将IoU小于阈值IoUmin的路径权重设为0。用KM算法对相邻帧的移动物体进行匹配。
S55，对于成功匹配的两个移动物体，认为它们是同一物体，统一它们的编号；
S56，对于未能成功匹配的移动物体，认为当前帧中的移动物体消失，下一帧中的移动物体为新物体。
S57，对于消失的物体，停止对它的追踪；对于新物体，建立S51所述的运动模型等参数，开始对它的追踪。
S58，校正模型状态。将匹配结果作为观测值zk+1：
zk+1＝[u' v' s' r']T (13)
其中u'和v'表示下一帧中匹配到的移动物体特征点的水平和垂直像素位置；s'和r'表示匹配到的移动物体特征区域的尺寸大小和比例。
对系统状态x和误差矩阵P进行校正：
Kk+1＝P'k+1HT(HP'k+1HT+R)-1 (14)
xk+1＝x'k+1+Kk+1(zk+1-z'k+1) (15)
Pk+1＝(E-Kk+1H)P'k+1 (16)
其中Kk称为卡尔曼增益；HT为H的转置矩阵；E为单位矩阵；R为预设的4×4测量噪声协方差矩阵。
S59，在连续图像中逐帧对物体进行追踪，记录各个物体的特征点轨迹。
S6，在左右同步图像中进行基于SAD算法的目标特征匹配。
所述步骤S6包括以下子步骤：
S61，将左右图像转换为灰度图或转换为HSV图像后提取H分量分布图。
S62，按编号选定目标进行匹配。记录目标的特征区域SL的特征点纵坐标Y。
S63，以SL尺寸为搜索窗尺寸，将特征点在SL中的位置作为为搜索中心C在搜索窗中的位置，构建滑动搜索窗W，C相对于W的位置不变。
S64，在右图像中检测并记录由纵坐标为Y的直线和其穿过的特征区域所确定的线段，将其作为搜索中心C自左向右滑动的范围，计算SAD：
其中(x,y)为某像素在区域内的坐标；SL(x,y)为SL中坐标为(x,y)的像素的索引值；W(x,y)为W所覆盖的区域中坐标为(x,y)的像素的索引值；将搜索中心C在线段上滑动过程中SAD最小的点作为匹配点PR；左图像中的特征点与其在同步右图像中的匹配点称为移动物体在左右图像中的目标点。
S7，根据左右图像的匹配结果对目标进行三维定位，获得目标运动过程中的空间坐标集合。
所述步骤S7包括以下子步骤：
S71，对当前帧的同步左右图像分别进行S4和S6所述的检测、追踪与匹配，获取目标点在左右图像中的像素坐标。将目标点的像素坐标转换至以相机主点为原点的图像坐标系：
其中(x,y)为目标点在图像坐标系下的坐标；(u,v)为目标点在像素坐标系下的坐标；(u0,v0)为相机主点在像素坐标系下的坐标。
S72，根据目标点当前帧左右图像中的坐标，计算目标点的视差d：
d＝xl-xr (19)
其中xl和xr为目标点在左、右图像的图像坐标系下的横坐标。
S73，根据三角形相似原理：
其中L为左相机和右相机的光心距离；f为左相机和右相机的焦距；Z为目标点的深度值。
利用式(20)可以计算目标点的在左相机坐标系下的Z坐标：
对于横坐标X与深度Z有如下关系：
利用式(22)可以计算目标点的在左相机坐标系下的X坐标：
对于横坐标Y与深度Z有如下关系：
利用式(24)可以计算目标点的在左相机坐标系下的Y坐标：
其中yl为左图像中目标点在图像坐标系下的纵坐标；则
(Xl,Yl,Zl)T即为目标点在左相机坐标系下的三维空间坐标。
S74，对同步相机视频流的每一帧图像依序进行S71～S73操作，获取物体运动过程中的三维空间坐标集合。
在本实施例中，左右相机均水平放置，则Y坐标记录目标点的高度信息，Z坐标记录深度信息。
S8，根据左相机的外参数将坐标从相机坐标系变换至世界坐标系；
所述步骤S8包括以下子步骤：
由相机坐标系至世界坐标系的变换为：
其中R与T为左相机的外参数；R为旋转矩阵，R-1为R的逆矩阵；T为平移矩阵。则(Xw,Yw，Zw)T为目标点在世界坐标系下的坐标；
S9，根据世界坐标系下的空间坐标集合拟合抛物轨迹方程，判断物体是否为高空抛物。
所述步骤S9包括以下子步骤：
S91，以视频流相邻帧之间的时间差t为自变量，以目标点的三维坐标值(Xw,Yw，Zw)为因变量，预设的多项式次数分别为1，1和2，用最小二乘法进行多项式拟合。拟合结果为：
其中p为方程的系数。
S92，如果方程z＝k(t)的二次项系数
即物体在竖直方向的加速度大于设定的阈值，则判定物体为高空抛物；参数方程(27)即为运动物体在世界坐标系下的轨迹方程。
本方法采用双目立体视觉融合两台相机的图像信息，根据两图像之间“视差”来获得深度信息。采用背景差分法将输入图像与背景图像进行差分运算，获取坠落物在同步帧中的两个图像坐标，并根据射影变换关系计算该时刻坠物的空间坐标，根据抛物体的运动学规律利用多个时刻的坠物空间坐标拟合坠物的空间轨迹，进而推定坠物方位。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。
Claims (10)
1.一种基于机器视觉的高空抛物监测定位方法，其特征在于：包括以下步骤：
S1，双目相机同步；
S2，相机标定，获取左右相机的内外参数；
S3，采集图像并对左右图像进行校正；
S4，对左右相机分别进行基于混合高斯建模和背景差分法的运动物体检测；
S5，在左连续图像序列中进行基于SORT算法的目标跟踪；
S6，在左右同步图像中进行基于SAD算法的目标特征匹配。
S7，根据左右图像的匹配结果对目标进行三维定位，获得目标运动过程中的空间坐标集合；
S8，根据左相机的外参数将坐标从相机坐标系变换至世界坐标系；
S9，根据世界坐标系下的空间坐标集合计算物体轨迹方程，判断物体是否为高空抛物。
2.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S1中，通过相机的输入同步信号对双目相机进行同步，获取同一时刻的双目同步图像。
3.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S2包括以下子步骤：
S21，分别对左右两个相机进行标定，获取两相机的焦距、主点坐标、畸变映射矩阵；
S22，利用S21中的结果进行立体标定，获得右相机的内外参数和左相机的内参数；
S23，根据左相机坐标系相对于世界坐标系的旋转和位移，确定左相机坐标系相对于世界坐标系的旋转矩阵R和位移矩阵T,R和T称为左相机的外参数；其中，选取的世界坐标系的z轴正方向应竖直向上。
4.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S3包括以下子步骤：
S31，基于左右相机的内外参数和畸变映射矩阵，计算左校正矩阵和右校正矩阵；
S32，分别用左右校正矩阵对左右相机输入的每一幅图像进行校正，使左右图像处于行对准状态，即左右相机中的匹配点有相同的纵坐标。
5.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S4包括以下子步骤：
S41，建立高斯混合背景模型；取100帧背景视频图像作为样本，对图像中每个像素一个混合高斯模型，每个混合高斯模型包含多个子高斯模型，每个子高斯模型的参数包括均值、方差和权重；
S42，将当前图像与背景进行差分；对于新输入图像的每一个像素，将其与子模型进行匹配，匹配条件为：
其中Ib(u,v)为输出差分二值图像中位置为(u,v)的像素的索引值；I(u,v)为输入图像中坐标为(u,v)的像素的索引值；meanm为子高斯模型参数中的均值；varm为子高斯模型参数中的方差；vt为预设的阈值系数，varm×vt称为匹配阈值；
通过匹配可以获得差分二值图像，二值图像索引值为1表示该像素属于前景；索引值0为表示该像素属于背景。
S43，处理差分二值图像；对差分二值图像进行滤波和闭运算；其中滤波采用中值滤波；闭运算将属于同一目标的多块小连通区域连通成一块大的连通区域；
S44，寻找最大连通区域；在滤波后的二值图中寻找最大的连通区域，并统计其像素个数，如果大于设定的阈值，则判定为存在运动物体；对所有大于设定阈值的连通区域，取其外接矩形作为特征区域S；
S45，计算特征区域S的质心，计算方法如下：
其中M称为特征区域的质量；(umass,vmass)为特征区域质心的位置，将其作为特征区域的特征点；
S46，对当前帧的同步左右图像分别进行步骤S41至S45所述的目标检测，记录特征区域的数量，并对特征区域编号、记录其覆盖的范围和特征点坐标。
6.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S5包括以下子步骤：
S51，对每一个移动物体建立加速运动模型：
xk称为模型的状态向量，其中u和v分别代表目标特征点的水平和垂直像素位置；s和r表示目标特征区域的尺寸大小和比例；
和
表示目标特征点在水平和垂直方向上的移动速度；
表示目标特征区域的尺寸的变化量；
和
表示目标特征点在水平和垂直方向上的加速度；同时初始化该运动模型的误差矩阵P；
S52，通过卡尔曼滤波预测目标特征区域和特征点在下一帧的位置；目标特征区域和特征点在图像中的位置记为：
z＝[u v s r]T (6)
定义状态转移矩阵A：
其中t表示相邻帧之间的时间差。
定义观测矩阵H：
预测步骤如下；
x'k+1＝Axk (9)
z'k+1＝Hx'k+1 (10)
P'k+1＝APkAT+Q (11)
其中x'k+1表示预测的目标在下一帧中的状态；Q为4×4预测噪声协方差矩阵；通过式(10)得到预测的目标特征区域和特征点在下一帧中的位置z'k+1；
S53，计算在下一帧预测的特征区域与实际检测到的各移动物体特征区域的交并比IoU：
其中I表示预测的特征区域与检测到的特征区域重叠部分的像素数；U表示表示预测的特征区域与检测到的特征区域在图像中共同覆盖的像素数；
S54，以IoU为权重，将IoU小于阈值IoUmin的路径权重设为0；用KM算法对相邻帧的移动物体进行匹配；
S55，对于成功匹配的两个移动物体，认为它们是同一物体，统一它们的编号；
S56，对于未能成功匹配的移动物体，认为当前帧中的移动物体消失，下一帧中的移动物体为新物体；
S57，对于消失的物体，停止对它的追踪；对于新物体，建立S51所述的运动模型等参数，开始对它的追踪；
S58，校正模型状态；将匹配结果作为观测值zk+1：
zk+1＝[u' v' s' r']T (13)
其中u'和v'表示下一帧中匹配到的移动物体特征点的水平和垂直像素位置；s'和r'表示匹配到的移动物体特征区域的尺寸大小和比例；
对系统状态x和误差矩阵P进行校正：
Kk+1＝P'k+1HT(HP'k+1HT+R)-1 (14)
xk+1＝x'k+1+Kk+1(zk+1-z'k+1) (15)
Pk+1＝(E-Kk+1H)P'k+1 (16)
其中Kk称为卡尔曼增益；HT为H的转置矩阵；E为单位矩阵；R为预设的4×4测量噪声协方差矩阵；
S59，在连续图像中逐帧对物体进行追踪，记录各个物体的特征点轨迹。
7.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S6包括以下子步骤：
S61，将左右图像转换为灰度图或转换为HSV图像后提取H分量分布图；
S62，按编号选定目标进行匹配；记录目标的特征区域SL的特征点纵坐标Y；
S63，以SL尺寸为搜索窗尺寸，将特征点在SL中的位置作为为搜索中心C在搜索窗中的位置，构建滑动搜索窗W，C相对于W的位置不变；
S64，在右图像中检测并记录由纵坐标为Y的直线和其穿过的特征区域所确定的线段，将其作为搜索中心C自左向右滑动的范围，计算SAD：
其中(x,y)为某像素在区域内的坐标；SL(x,y)为SL中坐标为(x,y)的像素的索引值；W(x,y)为W所覆盖的区域中坐标为(x,y)的像素的索引值；将搜索中心C在线段上滑动过程中SAD最小的点作为匹配点PR；左图像中的特征点与其在同步右图像中的匹配点称为移动物体在左右图像中的目标点。
8.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S7包括以下子步骤：
S71，对当前帧的同步左右图像分别进行S4和S6所述的检测、追踪与匹配，获取目标点在左右图像中的像素坐标；将目标点的像素坐标转换至以相机主点为原点的图像坐标系：
其中(x,y)为目标点在图像坐标系下的坐标；(u,v)为目标点在像素坐标系下的坐标；(u0,v0)为相机主点在像素坐标系下的坐标；
S72，根据目标点当前帧左右图像中的坐标，计算目标点的视差d：
d＝xl-xr (19)
其中xl和xr为目标点在左、右图像的图像坐标系下的横坐标；
S73，根据三角形相似原理：
其中L为左相机和右相机的光心距离；f为左相机和右相机的焦距；Z为目标点的深度值；
利用式(20)可以计算目标点的在左相机坐标系下的Z坐标：
对于横坐标X与深度Z有如下关系：
利用式(22)可以计算目标点的在左相机坐标系下的X坐标：
对于横坐标Y与深度Z有如下关系：
利用式(24)可以计算目标点的在左相机坐标系下的Y坐标：
其中yl为左图像中目标点在图像坐标系下的纵坐标；则(Xl,Yl,Zl)T即为目标点在左相机坐标系下的三维空间坐标；
S74，对同步相机视频流的每一帧图像依序进行S71～S73操作，获取物体运动过程中的三维空间坐标集合。
9.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S8中，由相机坐标系至世界坐标系的变换为：
其中(Xw,Yw，Zw)为目标点在世界坐标系下的坐标；R与T为左相机的外参数；R为旋转矩阵，R-1为R的逆矩阵；T为平移矩阵。
10.根据权利要求1所述的基于机器视觉的高空抛物监测定位方法，其特征在于：所述步骤S9包括以下子步骤：
S91，以视频流相邻帧之间的时间差t为自变量，以目标点的三维坐标值(Xw,Yw，Zw)为因变量，预设的多项式次数分别为1，1和2，用最小二乘法进行多项式拟合；拟合结果为：
其中p为方程的系数；
S92，如果方程z＝k(t)的二次项系数
即物体在竖直方向的加速度大于设定的阈值，则判定物体为高空抛物；参数方程(27)即为运动物体在世界坐标系下的轨迹方程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110662092.XA CN113379801B (zh) | 2021-06-15 | 2021-06-15 | 一种基于机器视觉的高空抛物监测定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110662092.XA CN113379801B (zh) | 2021-06-15 | 2021-06-15 | 一种基于机器视觉的高空抛物监测定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113379801A true CN113379801A (zh) | 2021-09-10 |
| CN113379801B CN113379801B (zh) | 2024-04-30 |
Family
ID=77574474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110662092.XA Active CN113379801B (zh) | 2021-06-15 | 2021-06-15 | 一种基于机器视觉的高空抛物监测定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379801B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781516A (zh) * | 2021-11-11 | 2021-12-10 | 湖南汇视威智能科技有限公司 | 一种高空抛物检测方法 |
| CN114022517A (zh) * | 2021-11-29 | 2022-02-08 | 北京博思廷科技有限公司 | 一种基于运动轨迹分析监控视频检测高空抛物的方法 |
| CN114693556A (zh) * | 2022-03-25 | 2022-07-01 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物帧差法运动目标检测去拖影方法 |
| CN117934556A (zh) * | 2024-03-25 | 2024-04-26 | 杭州海康威视数字技术股份有限公司 | 高空抛物的检测方法、装置、存储介质和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011041041A (ja) * | 2009-08-12 | 2011-02-24 | Casio Computer Co Ltd | 撮像装置、撮像方法及びプログラム |
| KR20110060600A (ko) * | 2009-11-30 | 2011-06-08 | 재단법인대구경북과학기술원 | 장애물체 위치 및 속도 추정 장치 및 방법 |
| CN104102835A (zh) * | 2014-07-11 | 2014-10-15 | 大连理工大学 | 一种基于实时视频图像的投掷训练成绩检测方法 |
| US20160227218A1 (en) * | 2015-01-29 | 2016-08-04 | Ecole De Technologie Superieure | Methods and systems for determining motion vectors in a motion estimation process of a video encoder |
| CN110568433A (zh) * | 2019-09-09 | 2019-12-13 | 郑州天迈科技股份有限公司 | 基于毫米波雷达的高空抛物检测方法 |
| CN112258573A (zh) * | 2020-10-16 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 抛出位置获取方法、装置、计算机设备及存储介质 |
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
-
2021
- 2021-06-15 CN CN202110662092.XA patent/CN113379801B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011041041A (ja) * | 2009-08-12 | 2011-02-24 | Casio Computer Co Ltd | 撮像装置、撮像方法及びプログラム |
| KR20110060600A (ko) * | 2009-11-30 | 2011-06-08 | 재단법인대구경북과학기술원 | 장애물체 위치 및 속도 추정 장치 및 방법 |
| CN104102835A (zh) * | 2014-07-11 | 2014-10-15 | 大连理工大学 | 一种基于实时视频图像的投掷训练成绩检测方法 |
| US20160227218A1 (en) * | 2015-01-29 | 2016-08-04 | Ecole De Technologie Superieure | Methods and systems for determining motion vectors in a motion estimation process of a video encoder |
| CN110568433A (zh) * | 2019-09-09 | 2019-12-13 | 郑州天迈科技股份有限公司 | 基于毫米波雷达的高空抛物检测方法 |
| CN112258573A (zh) * | 2020-10-16 | 2021-01-22 | 腾讯科技（深圳）有限公司 | 抛出位置获取方法、装置、计算机设备及存储介质 |
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨勇强: "一种基于双目视觉的运动轨迹预测方法", 《机械设计与制造》, no. 10, pages 253 - 256 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781516A (zh) * | 2021-11-11 | 2021-12-10 | 湖南汇视威智能科技有限公司 | 一种高空抛物检测方法 |
| CN113781516B (zh) * | 2021-11-11 | 2022-06-21 | 湖南汇视威智能科技有限公司 | 一种高空抛物检测方法 |
| CN114022517A (zh) * | 2021-11-29 | 2022-02-08 | 北京博思廷科技有限公司 | 一种基于运动轨迹分析监控视频检测高空抛物的方法 |
| CN114693556A (zh) * | 2022-03-25 | 2022-07-01 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物帧差法运动目标检测去拖影方法 |
| CN114693556B (zh) * | 2022-03-25 | 2023-06-27 | 英特灵达信息技术(深圳)有限公司 | 一种高空抛物帧差法运动目标检测去拖影方法 |
| CN117934556A (zh) * | 2024-03-25 | 2024-04-26 | 杭州海康威视数字技术股份有限公司 | 高空抛物的检测方法、装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113379801B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113379801B (zh) | 一种基于机器视觉的高空抛物监测定位方法 | |
| CN110125928B (zh) | 一种基于前后帧进行特征匹配的双目惯导slam系统 | |
| CN109919974B (zh) | 基于r-fcn框架多候选关联的在线多目标跟踪方法 | |
| CN106780620B (zh) | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 | |
| CN110415278B (zh) | 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法 | |
| CN108022258B (zh) | 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法 | |
| CN108537829B (zh) | 一种监控视频人员状态识别方法 | |
| CN102750527A (zh) | 一种银行场景中长期稳定的人脸检测与跟踪方法及装置 | |
| CN110006444B (zh) | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 | |
| CN110827321B (zh) | 一种基于三维信息的多相机协同的主动目标跟踪方法 | |
| CN110458862A (zh) | 一种遮挡背景下的运动目标跟踪方法 | |
| CN116883458B (zh) | 基于Transformer并融合以观测为中心运动特征的多目标跟踪系统 | |
| CN113223045A (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位系统 | |
| CN112541938A (zh) | 一种行人速度测量方法、系统、介质及计算设备 | |
| CN116309685A (zh) | 基于视频拼接的多摄像机协同游泳运动测速方法及系统 | |
| CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
| WO2023236886A1 (zh) | 一种基于密集光流法的云遮挡预测方法 | |
| CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与系统 | |
| WO2024114119A1 (zh) | 一种基于双目相机引导的传感器融合方法 | |
| CN113888715A (zh) | 一种基于虚拟多目内窥镜的高炉料面三维重建方法及系统 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| Cheng et al. | Body part connection, categorization and occlusion based tracking with correction by temporal positions for volleyball spike height analysis | |
| CN114581522A (zh) | 一种支撑点搜索的单目视觉室内定位方法 | |
| CN110322474A (zh) | 一种基于无人机平台的图像动目标实时检测方法 | |
| WO2017068397A1 (en) | A moving object detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |