CN110430400B - 一种双目可运动摄像机的地平面区域检测方法 - Google Patents

一种双目可运动摄像机的地平面区域检测方法 Download PDF

Info

Publication number
CN110430400B
CN110430400B CN201910740879.6A CN201910740879A CN110430400B CN 110430400 B CN110430400 B CN 110430400B CN 201910740879 A CN201910740879 A CN 201910740879A CN 110430400 B CN110430400 B CN 110430400B
Authority
CN
China
Prior art keywords
camera
image
pixel
monitoring
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910740879.6A
Other languages
English (en)
Other versions
CN110430400A (zh
Inventor
崔智高
王涛
曹继平
王新军
姜柯
李庆辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN201910740879.6A priority Critical patent/CN110430400B/zh
Publication of CN110430400A publication Critical patent/CN110430400A/zh
Application granted granted Critical
Publication of CN110430400B publication Critical patent/CN110430400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种双目可运动摄像机的地平面区域检测方法，包括步骤：一、确定双目可运动摄像机初始静止时刻地平面区域对应点的约束矩阵；二、获取双目可运动摄像机初始静止时刻的参数矩阵；三、双目可运动摄像机监控转动时图像采集与发送；四、获取双目可运动摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵；五、监控拍摄图像中地平面区域的初步检测；六、构建目标能量函数实现地平面区域的最终检测。本发明利用两个可运动摄像机地平面区域对应点的约束矩阵，实现对地平面区域的初步检测，然后构建目标能量函数实现地平面区域的最终检测，实现了对监控区域图像中地平面区域的准确检测。

Description

一种双目可运动摄像机的地平面区域检测方法
技术领域
本发明属于地平面区域检测技术领域，具体涉及一种双目可运动摄像机的地平面区域检测方法。
背景技术
基于视觉传感器的地平面区域检测方法通常包括有监督和无监督两种。有监督的地平面区域检测方法通常使用预先训练好的分类器，将视觉传感器当前拍摄图像分割成地平面区域和非地平面区域两部分。此类方法由于需要预先标注海量样本和训练分类模型，因此限制了其在实际场景中的工程应用。无监督的地平面区域检测是当前的主流方法，且当前研究均针对静止相机拍摄的视频序列。静止相机在任何时刻拍摄场景均固定，因此可以采用人工方式手动标注出地平面区域。除此之外，还有很多针对静止相机的地平面区域自动检测方法，主要可以分为基于单目视觉的方法、基于双目视觉的方法两种。基于单目视觉的方法基于单个静止相机，通常根据地平面区域的先验颜色信息、颜色信息的一致性以及部分边缘特征来进行检测，然而该种方法只能适用于一些简单的拍摄场景，对一些较为复杂的场景效果较差。基于双目视觉的方法基于两个静止相机，通常利用立体视觉技术获取的视差或深度信息来检测地平面区域。
但是，随着成像和机械控制技术的发展，可运动摄像机越来越多的应用于图像处理技术领域，并且正在逐渐取代传统的静止相机。常见的可运动摄像机包括云台摄像机、PTZ摄像机等，它们通常具有水平转动、竖直转动和焦距变化三个控制参数。通过调整这些参数，可运动摄像机不但可以改变焦距，从而获得拍摄场景中目标或区域的不同分辨率信息，并且可以改变角度，从而获得拍摄场景中目标或区域的不同视角信息。可运动摄像机在不同时刻拍摄场景有可能各不相同，若采用静止相机的地平面区域检测方法，将会导致在每次可运动摄像机改变拍摄场景后，都需要在拍摄图像中重新手动标注或自动检测出地平面区域，将会非常繁琐且不利用实际应用。此外，在静止相机的地平面区域检测方法中，基于双目视觉的方法效果较好、应用较广泛，但该方法基于立体视觉技术获取的视差信息，而对于双目可运动摄像机而言，两个相机的分辨率有可能差异较大，从而使得立体匹配、视差估计精度严重下降，导致不利用地平面区域的自动检测。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种双目可运动摄像机的地平面区域检测方法，利用双目可运动摄像机对地平面区域进行检测，先利用两个可运动摄像机地平面区域对应点的约束矩阵，实现对监控区域图像中地平面区域的初步检测，然后构建目标能量函数实现监控区域图像中地平面区域的最终检测，实现了对监控区域图像中地平面区域的准确检测，提高了地平面区域检测的准确性，解决现有静止相机的地平面区域检测方法无法应用到可运动摄像机的问题，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种双目可运动摄像机的地平面区域检测方法，其特征在于，该方法包括以下步骤：
步骤一、确定双目可运动摄像机初始静止时刻地平面区域对应点的约束矩阵：
步骤101、双目可运动摄像机包含左摄像机和右摄像机，左摄像机和右摄像机初始时刻均静止，左摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到左初始序列图像；同时右摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到右初始序列图像；
步骤102、计算机将左初始序列图像按照拍摄先后顺序划分为多帧左拍摄图像，将第m帧左拍摄图像记作
Figure BDA0002163895170000021
同时，计算机将右初始序列图像按照拍摄先后顺序划分为多帧右拍摄图像，将与第m帧左拍摄图像同步采集的第m′帧右拍摄图像记作
Figure BDA0002163895170000022
其中，左拍摄图像的帧数和右拍摄图像的帧数相同，m和m′均为正整数，且m＝m′，m的取值范围为1≤m≤M，m′的取值范围为1≤m′≤M,M表示左拍摄图像或者右拍摄图像的帧数，M为正整数，M的取值范围为200～300，所述第m帧左拍摄图像
Figure BDA0002163895170000024
和所述第m′帧右拍摄图像
Figure BDA0002163895170000023
的重叠度为75％；
步骤103、计算机采用混合高斯模型对多帧左拍摄图像进行背景建模，得到左拍摄背景图像
Figure BDA0002163895170000025
同时计算机采用混合高斯模型对多帧右拍摄图像进行背景建模，得到右拍摄背景图像
Figure BDA0002163895170000026
计算机分别将多帧左拍摄图像和左拍摄背景图像
Figure BDA0002163895170000027
进行差分运算，得到多帧左拍摄图像中的运动目标区域，并将第m帧左拍摄图像中的运动目标区域记作F1 m；同时，计算机分别将多帧右拍摄图像和右拍摄背景图像
Figure BDA0002163895170000028
进行差分运算，得到多帧右拍摄图像中的运动目标区域，并将第m′帧右拍摄图像中的运动目标区域记作
Figure BDA0002163895170000029
步骤104、计算机分别获取多帧左拍摄图像和多帧右拍摄图像相互匹配的匹配点组，具体过程如下：
步骤1041、计算机提取第m帧左拍摄图像中的运动目标区域F1 m的左外接矩形框，得到第m个左外接矩形框；同时，计算机提取第m′帧右拍摄图像中的运动目标区域
Figure BDA0002163895170000031
的右外接矩形框，得到第m′个右外接矩形框；
步骤1042、计算机获取第m个左外接矩形框的第m个左主轴线；其中，第m帧左拍摄图像中的运动目标区域F1 m中各个像素点到第m个左主轴线的像素距离之和最小；同时，计算机获取第m′个右外接矩形框的第m′个右主轴线；其中，第m′帧右拍摄图像中的运动目标区域
Figure BDA0002163895170000032
中各个像素点到第m′个右主轴线的像素距离之和最小；
步骤1043、计算机将第m个左外接矩形框中远离u轴且与u轴平行的一个边框与第m个左主轴线的交点记作第m帧左拍摄图像中地平面区域对应点的左像点坐标
Figure BDA0002163895170000033
同时，计算机将第m′个右外接矩形框中远离u轴且与u轴平行的一个边框与第m′个右主轴线的交点记作第m′帧右拍摄图像中地平面区域对应点的右像点坐标
Figure BDA0002163895170000034
其中，第m帧左拍摄图像中地平面区域对应点的左像点坐标
Figure BDA0002163895170000035
和第m′帧右拍摄图像中地平面区域对应点的右像点坐标
Figure BDA0002163895170000036
为相互匹配的一个匹配点组；
步骤1044、多次重复步骤1041至步骤1043，得到多个左拍摄图像中地平面区域对应点的左像点坐标和多个右拍摄图像中地平面区域对应点的右像点坐标；其中，M个左拍摄图像中地平面区域对应点的左像点坐标分别记作
Figure BDA0002163895170000037
M个右拍摄图像中地平面区域对应点的右像点坐标分别记作
Figure BDA0002163895170000038
Figure BDA0002163895170000039
步骤105、计算机采用最小二乘法根据公式
Figure BDA0002163895170000041
得到双目可运动摄像机初始静止时刻的约束矩阵
Figure BDA0002163895170000044
步骤二、获取双目可运动摄像机初始静止时刻的参数矩阵：
获取左摄像机初始静止时刻的参数矩阵的具体过程如下：
步骤201、获取初始静止时刻左摄像机的变焦倍数为
Figure BDA0002163895170000045
并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻左摄像机在图像行方向上的等效焦距
Figure BDA0002163895170000046
和初始静止时刻左摄像机在图像列方向上的等效焦距
Figure BDA0002163895170000047
步骤202、计算机根据公式
Figure BDA0002163895170000042
得到初始静止时刻左摄像机的内部参数矩阵
Figure BDA0002163895170000048
u1,0表示在像素坐标系下左摄像机的主点在像素u轴上的坐标，v1,0表示在像素坐标系下左摄像机的主点在像素v轴上的坐标；
步骤203、获取初始静止时刻左摄像机的水平转动角度
Figure BDA0002163895170000049
和初始静止时刻左摄像机的竖直转动角度
Figure BDA00021638951700000410
计算机根据公式
Figure BDA0002163895170000043
得到初始静止时刻左摄像机的外部参数矩阵
Figure BDA00021638951700000411
获取右摄像机初始静止时刻的参数矩阵的具体过程如下：
步骤20A、获取初始静止时刻右摄像机的变焦倍数为
Figure BDA00021638951700000412
并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻右摄像机在图像行方向的等效焦距
Figure BDA0002163895170000054
和初始静止时刻右摄像机在图像列方向的等效焦距
Figure BDA0002163895170000055
步骤20B、计算机根据公式
Figure BDA0002163895170000051
得到初始静止时刻右摄像机的内部参数矩阵
Figure BDA0002163895170000056
u2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；
步骤20C、获取初始静止时刻右摄像机的水平转动角度
Figure BDA0002163895170000057
和初始静止时刻右摄像机的竖直转动角度
Figure BDA0002163895170000058
计算机根据公式
Figure BDA0002163895170000052
得到初始静止时刻右摄像机的外部参数矩阵
Figure BDA0002163895170000059
步骤三、双目可运动摄像机监控转动时图像采集与发送：
在左摄像机和右摄像机进入监控转动时，左摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到左监控序列图像；同时右摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到右监控序列图像；其中，将左摄像机和右摄像机进入监控转动时，第T个采样时刻左摄像机采集到的左监控拍摄图像记作第T个左监控拍摄图像I′1,T，同时，第T个采样时刻右摄像机采集到的右监控拍摄图像记作第T个右监控拍摄图像I′2,T；其中，T为正整数，且T≥1；
步骤四、获取双目可运动摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵：
左摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：
步骤401、计算机根据公式
Figure BDA0002163895170000053
得到第T个采样时刻左摄像机的外部参数矩阵
Figure BDA00021638951700000510
其中，
Figure BDA00021638951700000511
表示第T个采样时刻左摄像机的水平转动角度，
Figure BDA00021638951700000512
表示第T个采样时刻左摄像机的竖直转动角度，T为正整数，且T≥1；
步骤402、左摄像机在监控转动时，获取第T个采样时刻左摄像机的变焦倍数为
Figure BDA0002163895170000064
并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到左摄像监控转动时第T个采样时刻左摄像机在图像行方向的等效焦距
Figure BDA0002163895170000065
和左摄像监控转动时第T个采样时刻左摄像机在图像列方向的等效焦距
Figure BDA0002163895170000066
计算机根据公式
Figure BDA0002163895170000061
得到左摄像监控转动时第T个采样时刻左摄像机的内部参数矩阵
Figure BDA0002163895170000067
步骤403、计算机根据公式
Figure BDA0002163895170000068
得到左摄像监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵
Figure BDA0002163895170000069
右摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：
步骤40A、右摄像机在监控转动时，计算机根据公式
Figure BDA0002163895170000062
得到右摄像监控转动时第T个采样时刻右摄像机的外部参数矩阵
Figure BDA00021638951700000610
其中，
Figure BDA00021638951700000611
表示第T个采样时刻右摄像机的水平转动角度，
Figure BDA00021638951700000612
表示第T个采样时刻右摄像机的竖直转动角度；
步骤40B、右摄像机在监控转动时，获取第T个采样时刻右摄像机的变焦倍数为
Figure BDA00021638951700000613
并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到右摄像监控转动时第T个采样时刻右摄像机在图像行方向的等效焦距
Figure BDA00021638951700000614
和右摄像监控转动时第T个采样时刻右摄像机在图像列方向的等效焦距
Figure BDA00021638951700000615
计算机根据公式
Figure BDA0002163895170000063
得到右摄像监控转动时第T个采样时刻右摄像机的内部参数矩阵
Figure BDA00021638951700000616
其中，u2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；
步骤40C、计算机根据公式
Figure BDA00021638951700000617
得到右摄像机监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵
Figure BDA00021638951700000618
步骤五、监控拍摄图像中地平面区域的初步检测：
计算机对第T个采样时刻左摄像机采集到的左监控拍摄图像进行地平面区域的初步检测，具体过程如下：
步骤501、计算机根据公式
Figure BDA0002163895170000076
得到第T个采集时刻两个可运动摄像机地平面区域对应点的约束矩阵
Figure BDA0002163895170000077
步骤502、在像素坐标系下，将第T个左监控拍摄图像I′1,T中第j个像素点的坐标记作
Figure BDA0002163895170000078
计算机根据公式
Figure BDA0002163895170000071
得到第T个右监控拍摄图像I′2,T中与第T个左监控拍摄图像I′1,T中第j个像素点相对应的第j′个匹配像素点坐标
Figure BDA0002163895170000079
其中，j为正整数，j是按照左监控拍摄图像先行后列顺序获取的像素点序号，j′为正整数，j′是按照右监控拍摄图像先行后列顺序获取的序号，j＞1，j′＞1；
步骤503、将第T个左监控拍摄图像I′1,T中第j个像素点的HSV颜色向量记作
Figure BDA0002163895170000072
其中，
Figure BDA00021638951700000710
表示第T个左监控拍摄图像I′1,T中第j个像素点的色度，
Figure BDA00021638951700000711
表示第T个左监控拍摄图像I′1,T中第j个像素点的饱和度，
Figure BDA00021638951700000712
表示第T个左监控拍摄图像I′1,T中第j个像素点的亮度；
将第T个右监控拍摄图像I′2,T中与第T个左监控拍摄图像I′1,T中第j个像素点相对应的第j′个匹配像素点的HSV颜色向量记作
Figure BDA0002163895170000073
其中，
Figure BDA00021638951700000713
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的色度，
Figure BDA00021638951700000714
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的饱和度，
Figure BDA00021638951700000715
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的亮度；
步骤504、计算机将HSV颜色差分向量记作
Figure BDA0002163895170000074
则根据公式
Figure BDA00021638951700000716
得到
Figure BDA0002163895170000075
其中，
Figure BDA00021638951700000717
表示第T个左监控拍摄图像I′1,T中第j个像素点的色度差分值，
Figure BDA00021638951700000718
表示第T个左监控拍摄图像I′1,T中第j个像素点的饱和度差分值，
Figure BDA00021638951700000719
表示第T个左监控拍摄图像I′1,T中第j个像素点的亮度差分值；
步骤505、多次重复步骤501至步骤504，得到第T个左监控拍摄图像I′1,T中各个像素点的色度差分值，将第T个左监控拍摄图像I′1,T各个像素点的色度差分值进行升序排列，然后以像素点序号为横坐标，像素点的色度差分值为纵坐标绘制，得到第T个左监控拍摄图像I′1,T的色度差分曲线；
步骤506、计算机获取第T个左监控拍摄图像I′1,T的色度差分曲线上的两个拐点，两个拐点处中一个拐点所对应的低色度差分值记作第T个左监控拍摄图像的低色度差分分量
Figure BDA0002163895170000082
两个拐点处中另一个拐点所对应的高色度差分值记作第T个左监控拍摄图像的高色度差分分量
Figure BDA0002163895170000083
步骤507、计算机将第T个左监控拍摄图像I′1,T中第j个像素点的色度差分值
Figure BDA0002163895170000084
第T个左监控拍摄图像的低色度差分分量
Figure BDA0002163895170000085
和第T个左监控拍摄图像的高色度差分分量
Figure BDA0002163895170000086
进行比较：
当
Figure BDA0002163895170000087
成立，则第T个左监控拍摄图像I′1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为1；
当
Figure BDA0002163895170000088
成立，则第T个左监控拍摄图像I′1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为0；
当
Figure BDA0002163895170000089
时，执行步骤508；
步骤508、以第T个左监控拍摄图像I′1,T中第j个像素点为圆心取半径为10个像素点的圆形区域为待判断像素点区域，获取待判断像素点区域中像素点的色度差分值小于第T个左监控拍摄图像的低色度差分分量
Figure BDA00021638951700000810
的像素点数量nx和待判断像素点区域中像素点的色度差分值大于第T个左监控拍摄图像的高色度差分分量
Figure BDA00021638951700000811
的像素点数量nd，当nx＞nd，则第T个左监控拍摄图像I′1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为1；否则，当nx≤nd，则第T个左监控拍摄图像I′1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为0；
计算机对第T个采样时刻右摄像机采集到的右监控拍摄图像进行地平面区域的初步检测，具体过程如下：
步骤50A、在像素坐标系下，将第T个右监控拍摄图像I′2,T中第J个像素点的坐标记作
Figure BDA00021638951700000812
计算机根据公式
Figure BDA0002163895170000081
得到第T个左监控拍摄图像I′1,T中与第T个右监控拍摄图像I′2,T中第J个像素点相对应的第J′个匹配像素点坐标
Figure BDA0002163895170000094
其中，J为正整数，J是按照右监控拍摄图像先行后列顺序获取的像素点序号，J′为正整数，J′是按照左监控拍摄图像先行后列顺序获取的序号，J＞1，J′＞1；
步骤50B、按照步骤503至步骤508，对第T个右监控拍摄图像I′2，T进行处理，得到第T个右监控拍摄图像的色度差分曲线、低色度差分分量
Figure BDA0002163895170000095
和低色度差分分量
Figure BDA0002163895170000096
并对第T个右监控拍摄图像I′2,T进行地平面区域的初步检测；
步骤六、构建目标能量函数实现地平面区域的最终检测：
步骤601、计算机利用超像素分割方法对第T个左监控拍摄图像I′1,T进行过分割，得到第T个左监控拍摄图像I′1,T的超像素集合
Figure BDA0002163895170000097
并记作第T个左超像素集合
Figure BDA0002163895170000098
即
Figure BDA0002163895170000099
Figure BDA00021638951700000910
表示第T个左监控拍摄图像I′1,T中的第i个超像素，ω和i均为正整数，1≤i≤ω，ω表示第T个左监控拍摄图像I′1,T的超像素总数，ω＞1；
步骤602、计算机获取第T个左监控拍摄图像I′1,T中第i个超像素内部分类标签为0的像素点个数，并记作
Figure BDA00021638951700000911
计算机获取第T个左监控拍摄图像I′1,T中第i个超像素内部分类标签为1的像素点个数，并记作
Figure BDA00021638951700000912
步骤603、计算机根据公式
Figure BDA0002163895170000091
得到第T个左监控拍摄图像I′1,T中第i个超像素中分类标签为0的惩罚因子；计算机根据公式
Figure BDA0002163895170000092
得到第T个左监控拍摄图像I′1,T中第i个超像素中分类标签为1的惩罚因子；其中，
Figure BDA00021638951700000913
表示第T个左监控拍摄图像I′1,T中第i个超像素内部像素点的总数；
步骤604、计算机将多个与第T个左监控拍摄图像I′1,T中第i个超像素相邻的超像素记作第T个左监控拍摄图像I′1,T中第i个超像素的空域近邻超像素集合
Figure BDA00021638951700000914
Figure BDA00021638951700000915
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素，χ和X均为正整数，1≤χ≤X，X表示空域近邻超像素集合中元素的总数，X＞1；
步骤605、计算机根据公式
Figure BDA0002163895170000093
得到第T个左监控拍摄图像I′1,T中第i个超像素的各个近邻惩罚因子；其中，||·||2表示2-范数，
Figure BDA00021638951700000916
表示第T个左监控拍摄图像I′1,T中第i个超像素的质心坐标矩阵，
Figure BDA00021638951700000917
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的质心坐标矩阵，
Figure BDA0002163895170000104
表示第T个左监控拍摄图像I′1,T中第i个超像素的HSV颜色均值向量，
Figure BDA0002163895170000105
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的HSV颜色均值向量；
步骤606、设定第T个左超像素集合
Figure BDA0002163895170000107
对应的分类标签集合为
Figure BDA0002163895170000106
即
Figure BDA0002163895170000108
Figure BDA00021638951700001010
表示第T个左监控拍摄图像I′1,T中第i个超像素的分类标签，当
Figure BDA0002163895170000109
取0时，说明第T个左监控拍摄图像I′1,T中第i个超像素不属于地平面区域；当
Figure BDA00021638951700001011
取1时，说明第T个左监控拍摄图像I′1,T中第i个超像素属于地平面区域；设定第T个左监控拍摄图像I′1,T中第i个超像素的空域近邻超像素集合对应的分类标签集合为
Figure BDA00021638951700001012
即
Figure BDA00021638951700001013
Figure BDA00021638951700001014
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的分类标签，当
Figure BDA00021638951700001015
取0时，说明第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素不属于地平面区域；当
Figure BDA00021638951700001016
取1时，说明第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素属于地平面区域；
步骤607、计算机构建目标能量函数E，如下：
Figure BDA0002163895170000101
其中，δ(·)表示狄拉克δ函数，且
Figure BDA0002163895170000102
Figure BDA0002163895170000103
步骤608、计算机获取目标能量函数E取值最小时第T个左超像素集合
Figure BDA00021638951700001017
对应的分类标签集合，并将目标能量函数E取值最小时第T个左超像素集合
Figure BDA00021638951700001018
对应的分类标签集合记作最优分类标签集合，则最优分类标签集合中分类标签为1时的超像素集合为左监控拍摄图像中的地平面区域；
步骤609、按照步骤601至步骤608所述的方法对第T个右监控拍摄图像I′2,T进行检测，得到右监控拍摄图像中的地平面区域。
步骤6010、重复步骤601至步骤609，采用计算机对第T+1个采样时刻左摄像机采集到的左监控拍摄图像和第T+1个采样时刻右摄像机采集到的左监控拍摄图像进行处理，实现地平面区域的检测。
上述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤1041得到第m个左外接矩形框和第m′个右外接矩形框的具体过程如下：
步骤10411、在像素坐标系下，计算机在第m帧左拍摄图像中提取第m帧左拍摄图像中的运动目标区域F1 m沿像素u轴的最小像素坐标为
Figure BDA0002163895170000112
沿像素u轴的最大像素坐标为
Figure BDA0002163895170000113
沿像素v轴的最小像素坐标为
Figure BDA0002163895170000114
沿像素v轴的最大像素坐标为
Figure BDA0002163895170000115
步骤10412、计算机将过沿像素u轴的最小像素坐标
Figure BDA0002163895170000116
的直线、过沿像素u轴的最大像素坐标
Figure BDA0002163895170000117
的直线、过沿像素v轴的最小像素坐标
Figure BDA0002163895170000118
的直线和过沿像素v轴的最大像素坐标
Figure BDA0002163895170000119
的直线围设的矩形记作第m个左外接矩形框；
步骤10413、按照步骤10411和步骤10412所述的步骤，得到第m′个右外接矩形框。
上述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤一进行之前，202中在像素坐标系下左摄像机的主点在像素u轴上的坐标u1,0和在像素坐标系下左摄像机的主点在像素v轴上的坐标v1,0以及20A中在像素坐标系下右摄像机的主点在像素u轴上的坐标u2,0和在像素坐标系下右摄像机的主点在像素v轴上的坐标v2,0的获取过程如下：
步骤2011、左摄像机在水平转动角度和竖直转动角度不变的状态下，调节左摄像机在变焦倍数依次增大对监控区域进行拍摄，获取多帧变焦图像；
步骤2012、计算机调取SIFT特征提取算法对相邻两帧变焦图像进行特征点提取，得到多个特征点；
步骤2013、计算机调取特征点匹配模块对相邻两帧变焦图像中的特征点进行匹配，得到特征匹配点对；
步骤2014、多次重复步骤2012和步骤2013，直至多帧变焦图像中的特征点均匹配完毕，得到多个特征匹配点对；其中，第Δ个特征匹配点对中一个特征匹配点的坐标记作
Figure BDA00021638951700001110
第Δ个特征匹配点对中另一个特征匹配点的坐标记作
Figure BDA00021638951700001111
Δ为正整数，且1≤Δ≤Γ，Γ表示两帧左转动图像中匹配点对的总数，Γ＞3；
步骤2015、根据多个特征匹配点对构造匹配矩阵
Figure BDA0002163895170000111
和匹配向量
Figure BDA0002163895170000121
步骤2016、计算机根据公式
Figure BDA0002163895170000122
得到在像素坐标系下左摄像机的主点在像素u轴上的坐标u1,0和在像素坐标系下左摄像机的主点在像素v轴上的坐标v1,0；
步骤2017、按照步骤2011至步骤2016，得到在像素坐标系下右摄像机的主点在像素u轴上的坐标u2,0和在像素坐标系下右摄像机的主点在像素v轴上的坐标v2,0。
上述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤一进行之前，左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，以及右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式的获取过程如下：
步骤Ⅰ、第e次拍摄时，调节左摄像机在变焦倍数为
Figure BDA0002163895170000124
时，调节左摄像机在水平转动角度为pan1,p和竖直转动角度为tilt1,p时左摄像机对监控区域进行拍摄，获取一帧左转动图像I1,p；之后，调节左摄像机在水平转动角度为pan′1,p和竖直转动角度为tilt′1,p时左摄像机对监控区域进行拍摄，获取另一帧左转动图像I′1,p，得到两帧左转动图像；其中，e表示左摄像机变焦拍摄的次数，e为正整数，e≥1；
步骤Ⅱ、计算机调取SIFT特征提取算法对一帧左转动图像I1,p和另一帧左转动图像I′1,p进行特征点提取，得到两帧左转动图像中的多个待匹配特征点；
步骤Ⅲ、计算机调取特征点匹配模块对两帧左转动图像中的多个待匹配特征点进行匹配，得到两帧左转动图像中的多个匹配点对；其中，两帧左转动图像中的第ε个匹配点对中一个特征匹配点的坐标记作
Figure BDA0002163895170000125
两帧左转动图像中的第ε个特征匹配点对中另一个特征匹配点的坐标记作
Figure BDA0002163895170000126
ε为正整数，且1≤ε≤Ε，Ε表示两帧左转动图像中匹配点对的总数，Ε＞3；
步骤Ⅴ、计算机根据公式
Figure BDA0002163895170000123
得到获取一帧左转动图像I1,p时左摄像机的外部参数矩阵R1,p；计算机根据公式
Figure BDA0002163895170000131
得到获取另一帧左转动图像I′1,p时左摄像机的外部参数矩阵R′1,p；
步骤Ⅵ、计算机采用最小二乘法根据公式
Figure BDA0002163895170000132
并输入两帧左转动图像中的多个匹配点对的坐标，得到尺度因子κ、左摄像机在变焦倍数为
Figure BDA0002163895170000133
时在图像行方向的等效焦距
Figure BDA0002163895170000134
和左摄像机在变焦倍数为
Figure BDA0002163895170000135
时在图像列方向的等效焦距
Figure BDA0002163895170000136
步骤Ⅶ、调节左摄像机的变焦倍数依次增大，多次重复步骤Ⅰ至步骤Ⅵ，直至达到左摄像机的最大变焦倍数，获取各个变焦倍数下左摄像机在图像行方向的等效焦距和各个变焦倍数下左摄像机在图像列方向的等效焦距；
计算机以左摄像机的变焦倍数为横坐标，以左摄像机在图像行方向的等效焦距为纵坐标，绘制左摄像机的变焦倍数与行方向等效焦距曲线；计算机以左摄像机的变焦倍数为横坐标，以左摄像机在图像列方向的等效焦距为纵坐标，绘制左摄像机的变焦倍数与列方向等效焦距曲线；其中，将左摄像机的变焦倍数与行方向等效焦距曲线和左摄像机的变焦倍数与列方向等效焦距曲线记作左摄像机的变焦倍数与等效焦距曲线；
步骤Ⅶ、计算机对左摄像机的变焦倍数与行方向等效焦距曲线进行拟合，得到左摄像机的变焦倍数与行方向等效焦距关系式
Figure BDA0002163895170000137
其中，m1表示左摄像机的行方向等效焦距的第一拟合参数，m2表示左摄像机的行方向等效焦距的第二拟合参数，m3表示左摄像机的行方向等效焦距的第三拟合参数，m4表示左摄像机的行方向等效焦距的第四拟合参数；
计算机对左摄像机的变焦倍数与列方向等效焦距曲线进行拟合，得到左摄像机的变焦倍数与列方向等效焦距关系式
Figure BDA0002163895170000138
其中，m5表示左摄像机的列方向等效焦距的第一拟合参数，m6表示左摄像机的列方向等效焦距的第二拟合参数，m7表示左摄像机的列方向等效焦距的第三拟合参数，m8表示左摄像机的列方向等效焦距的第四拟合参数；
步骤Ⅷ、按照步骤Ⅰ至步骤Ⅶ所述的方法，得到右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式。
上述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤1042中第m个左主轴线与第m个左外接矩形框中与u轴平行的两个边框均垂直，步骤1042中第m′个右主轴线与第m′个右外接矩形框中与u轴平行的两个边框均垂直。
本发明与现有技术相比具有以下优点：
1、本发明双目可运动摄像机包含左摄像机和右摄像机，左摄像机和右摄像机初始时刻均静止，确定双目可运动摄像机初始静止时刻的约束矩阵；然后获取左摄像机监控转动时刻和初始静止时刻地平面区域对应点的约束矩阵和右摄像机监控转动时刻和初始静止时刻地平面区域对应点的约束矩阵；最后根据双目可运动摄像机初始静止时刻的约束矩阵、左摄像机监控转动时刻和初始静止时刻地平面区域对应点的约束矩阵和右摄像机监控转动时刻和初始静止时刻地平面区域对应点的约束矩阵得到两个可运动摄像机地平面区域对应点的约束矩阵，便于根据两个可运动摄像机地平面区域对应点的约束矩阵实现监控区域图像中地平面区域的初步检测，解决现有静止相机的地平面区域检测方法无法应用到可运动摄像机的问题。
2、本发明计算机对监控拍摄图像进行过分割，得到多个超像素，并对各个超像素进行处理，得到各个超像素中分类标签为0的惩罚因子、各个超像素中分类标签为1的惩罚因子和各个超像素的各个近邻惩罚因子，根据各个超像素中分类标签为0的惩罚因子、各个超像素中分类标签为1的惩罚因子和各个超像素的各个近邻惩罚因子构建目标能量函数E，最后获取目标能量函数E取值最小时最优分类标签集合，则最优分类标签集合中分类标签为1时的超像素集合为监控拍摄图像的地平面区域，实现了对监控区域图像中地平面区域的准确检测，提高了地平面区域检测的准确性。
3、本发明方法步骤简单，算法优化，特别适合双目可运动摄像机的地平面区域检测。
综上所述，本发明方法步骤简单，设计合理，利用双目可运动摄像机对地平面区域进行检测，先利用两个可运动摄像机地平面区域对应点的约束矩阵，实现对监控区域图像中地平面区域的初步检测，然后构建目标能量函数实现监控区域图像中地平面区域的最终检测，实现了对监控区域图像中地平面区域的准确检测，提高了地平面区域检测的准确性，解决现有静止相机的地平面区域检测方法无法应用到可运动摄像机的问题，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明方法的方法流程框图。
图2为左摄像机拍摄的左监控拍摄图像。
图3为利用本发明方法得到的左监控拍摄图像中的地平面区域(白色部分)。
具体实施方式
如图1所示，本发明的一种双目可运动摄像机的地平面区域检测方法，包括以下步骤：
步骤一、确定双目可运动摄像机初始静止时刻地平面区域对应点的约束矩阵：
步骤101、双目可运动摄像机包含左摄像机和右摄像机，左摄像机和右摄像机初始时刻均静止，左摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到左初始序列图像；同时右摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到右初始序列图像；
步骤102、计算机将左初始序列图像按照拍摄先后顺序划分为多帧左拍摄图像，将第m帧左拍摄图像记作
Figure BDA0002163895170000151
同时，计算机将右初始序列图像按照拍摄先后顺序划分为多帧右拍摄图像，将与第m帧左拍摄图像同步采集的第m′帧右拍摄图像记作
Figure BDA0002163895170000152
其中，左拍摄图像的帧数和右拍摄图像的帧数相同，m和m′均为正整数，且m＝m′，m的取值范围为1≤m≤M，m′的取值范围为1≤m′≤M,M表示左拍摄图像或者右拍摄图像的帧数，M为正整数，M的取值范围为200～300，所述第m帧左拍摄图像
Figure BDA0002163895170000153
和所述第m′帧右拍摄图像
Figure BDA0002163895170000154
的重叠度为75％；
步骤103、计算机采用混合高斯模型对多帧左拍摄图像进行背景建模，得到左拍摄背景图像
Figure BDA0002163895170000155
同时计算机采用混合高斯模型对多帧右拍摄图像进行背景建模，得到右拍摄背景图像
Figure BDA0002163895170000156
计算机分别将多帧左拍摄图像和左拍摄背景图像
Figure BDA0002163895170000157
进行差分运算，得到多帧左拍摄图像中的运动目标区域，并将第m帧左拍摄图像中的运动目标区域记作F1 m；同时，计算机分别将多帧右拍摄图像和右拍摄背景图像
Figure BDA0002163895170000158
进行差分运算，得到多帧右拍摄图像中的运动目标区域，并将第m′帧右拍摄图像中的运动目标区域记作
Figure BDA0002163895170000159
步骤104、计算机分别获取多帧左拍摄图像和多帧右拍摄图像相互匹配的匹配点组，具体过程如下：
步骤1041、计算机提取第m帧左拍摄图像中的运动目标区域F1 m的左外接矩形框，得到第m个左外接矩形框；同时，计算机提取第m′帧右拍摄图像中的运动目标区域
Figure BDA0002163895170000161
的右外接矩形框，得到第m′个右外接矩形框；
步骤1042、计算机获取第m个左外接矩形框的第m个左主轴线；其中，第m帧左拍摄图像中的运动目标区域F1 m中各个像素点到第m个左主轴线的像素距离之和最小；同时，计算机获取第m′个右外接矩形框的第m′个右主轴线；其中，第m′帧右拍摄图像中的运动目标区域
Figure BDA0002163895170000162
中各个像素点到第m′个右主轴线的像素距离之和最小；
步骤1043、计算机将第m个左外接矩形框中远离u轴且与u轴平行的一个边框与第m个左主轴线的交点记作第m帧左拍摄图像中地平面区域对应点的左像点坐标
Figure BDA0002163895170000163
同时，计算机将第m′个右外接矩形框中远离u轴且与u轴平行的一个边框与第m′个右主轴线的交点记作第m′帧右拍摄图像中地平面区域对应点的右像点坐标
Figure BDA0002163895170000164
其中，第m帧左拍摄图像中地平面区域对应点的左像点坐标
Figure BDA0002163895170000165
和第m′帧右拍摄图像中地平面区域对应点的右像点坐标
Figure BDA0002163895170000166
为相互匹配的一个匹配点组；
步骤1044、多次重复步骤1041至步骤1043，得到多个左拍摄图像中地平面区域对应点的左像点坐标和多个右拍摄图像中地平面区域对应点的右像点坐标；其中，M个左拍摄图像中地平面区域对应点的左像点坐标分别记作
Figure BDA0002163895170000167
M个右拍摄图像中地平面区域对应点的右像点坐标分别记作
Figure BDA0002163895170000168
Figure BDA0002163895170000169
步骤105、计算机采用最小二乘法根据公式
Figure BDA0002163895170000171
得到双目可运动摄像机初始静止时刻的约束矩阵
Figure BDA0002163895170000174
步骤二、获取双目可运动摄像机初始静止时刻的参数矩阵：
获取左摄像机初始静止时刻的参数矩阵的具体过程如下：
步骤201、获取初始静止时刻左摄像机的变焦倍数为
Figure BDA0002163895170000175
并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻左摄像机在图像行方向上的等效焦距
Figure BDA0002163895170000176
和初始静止时刻左摄像机在图像列方向上的等效焦距
Figure BDA0002163895170000177
步骤202、计算机根据公式
Figure BDA0002163895170000172
得到初始静止时刻左摄像机的内部参数矩阵
Figure BDA0002163895170000178
u1,0表示在像素坐标系下左摄像机的主点在像素u轴上的坐标，v1,0表示在像素坐标系下左摄像机的主点在像素v轴上的坐标；
步骤203、获取初始静止时刻左摄像机的水平转动角度
Figure BDA0002163895170000179
和初始静止时刻左摄像机的竖直转动角度
Figure BDA00021638951700001710
计算机根据公式
Figure BDA0002163895170000173
得到初始静止时刻左摄像机的外部参数矩阵
Figure BDA00021638951700001711
获取右摄像机初始静止时刻的参数矩阵的具体过程如下：
步骤20A、获取初始静止时刻右摄像机的变焦倍数为
Figure BDA00021638951700001712
并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻右摄像机在图像行方向的等效焦距
Figure BDA0002163895170000184
和初始静止时刻右摄像机在图像列方向的等效焦距
Figure BDA0002163895170000185
步骤20B、计算机根据公式
Figure BDA0002163895170000181
得到初始静止时刻右摄像机的内部参数矩阵
Figure BDA0002163895170000186
u2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；
步骤20C、获取初始静止时刻右摄像机的水平转动角度
Figure BDA0002163895170000187
和初始静止时刻右摄像机的竖直转动角度
Figure BDA0002163895170000188
计算机根据公式
Figure BDA0002163895170000182
得到初始静止时刻右摄像机的外部参数矩阵
Figure BDA0002163895170000189
步骤三、双目可运动摄像机监控转动时图像采集与发送：
在左摄像机和右摄像机进入监控转动时，左摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到左监控序列图像；同时右摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到右监控序列图像；其中，将左摄像机和右摄像机进入监控转动时，第T个采样时刻左摄像机采集到的左监控拍摄图像记作第T个左监控拍摄图像I′1,T，同时，第T个采样时刻右摄像机采集到的右监控拍摄图像记作第T个右监控拍摄图像I′2,T；其中，T为正整数，且T≥1；
步骤四、获取双目可运动摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵：
左摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：
步骤401、计算机根据公式
Figure BDA0002163895170000183
得到第T个采样时刻左摄像机的外部参数矩阵
Figure BDA00021638951700001810
其中，
Figure BDA00021638951700001811
表示第T个采样时刻左摄像机的水平转动角度，
Figure BDA00021638951700001812
表示第T个采样时刻左摄像机的竖直转动角度，T为正整数，且T≥1；
步骤402、左摄像机在监控转动时，获取第T个采样时刻左摄像机的变焦倍数为
Figure BDA0002163895170000194
并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到左摄像监控转动时第T个采样时刻左摄像机在图像行方向的等效焦距
Figure BDA0002163895170000195
和左摄像监控转动时第T个采样时刻左摄像机在图像列方向的等效焦距
Figure BDA0002163895170000196
计算机根据公式
Figure BDA0002163895170000191
得到左摄像监控转动时第T个采样时刻左摄像机的内部参数矩阵
Figure BDA0002163895170000197
步骤403、计算机根据公式
Figure BDA0002163895170000198
得到左摄像监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵
Figure BDA0002163895170000199
右摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：
步骤40A、右摄像机在监控转动时，计算机根据公式
Figure BDA0002163895170000192
得到右摄像监控转动时第T个采样时刻右摄像机的外部参数矩阵
Figure BDA00021638951700001910
其中，
Figure BDA00021638951700001911
表示第T个采样时刻右摄像机的水平转动角度，
Figure BDA00021638951700001912
表示第T个采样时刻右摄像机的竖直转动角度；
步骤40B、右摄像机在监控转动时，获取第T个采样时刻右摄像机的变焦倍数为
Figure BDA00021638951700001913
并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到右摄像监控转动时第T个采样时刻右摄像机在图像行方向的等效焦距
Figure BDA00021638951700001914
和右摄像监控转动时第T个采样时刻右摄像机在图像列方向的等效焦距
Figure BDA00021638951700001915
计算机根据公式
Figure BDA0002163895170000193
得到右摄像监控转动时第T个采样时刻右摄像机的内部参数矩阵
Figure BDA00021638951700001916
其中，u2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；
步骤40C、计算机根据公式
Figure BDA00021638951700001917
得到右摄像机监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵
Figure BDA00021638951700001918
步骤五、监控拍摄图像中地平面区域的初步检测：
计算机对第T个采样时刻左摄像机采集到的左监控拍摄图像进行地平面区域的初步检测，具体过程如下：
步骤501、计算机根据公式
Figure BDA0002163895170000207
得到第T个采集时刻两个可运动摄像机地平面区域对应点的约束矩阵
Figure BDA0002163895170000208
步骤502、在像素坐标系下，将第T个左监控拍摄图像I′1,T中第j个像素点的坐标记作
Figure BDA0002163895170000209
计算机根据公式
Figure BDA0002163895170000201
得到第T个右监控拍摄图像I′2,T中与第T个左监控拍摄图像I′1,T中第j个像素点相对应的第j′个匹配像素点坐标
Figure BDA00021638951700002010
其中，j为正整数，j是按照左监控拍摄图像先行后列顺序获取的像素点序号，j′为正整数，j′是按照右监控拍摄图像先行后列顺序获取的序号，j＞1，j′＞1；
步骤503、将第T个左监控拍摄图像I′1,T中第j个像素点的HSV颜色向量记作
Figure BDA0002163895170000202
其中，
Figure BDA00021638951700002011
表示第T个左监控拍摄图像I′1,T中第j个像素点的色度，
Figure BDA00021638951700002012
表示第T个左监控拍摄图像I′1,T中第j个像素点的饱和度，
Figure BDA00021638951700002013
表示第T个左监控拍摄图像I′1,T中第j个像素点的亮度；
将第T个右监控拍摄图像I′2,T中与第T个左监控拍摄图像I′1,T中第j个像素点相对应的第j′个匹配像素点的HSV颜色向量记作
Figure BDA0002163895170000203
其中，
Figure BDA00021638951700002014
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的色度，
Figure BDA00021638951700002015
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的饱和度，
Figure BDA00021638951700002016
表示第T个右监控拍摄图像I′2，T中第j′个匹配像素点的亮度；
步骤504、计算机将HSV颜色差分向量记作
Figure BDA0002163895170000204
则根据公式
Figure BDA0002163895170000205
得到
Figure BDA0002163895170000206
其中，
Figure BDA00021638951700002017
表示第T个左监控拍摄图像I′1,T中第j个像素点的色度差分值，
Figure BDA00021638951700002018
表示第T个左监控拍摄图像I′1,T中第j个像素点的饱和度差分值，
Figure BDA00021638951700002019
表示第T个左监控拍摄图像I′1,T中第j个像素点的亮度差分值；
步骤505、多次重复步骤501至步骤504，得到第T个左监控拍摄图像I′1,T中各个像素点的色度差分值，将第T个左监控拍摄图像I′1,T各个像素点的色度差分值进行升序排列，然后以像素点序号为横坐标，像素点的色度差分值为纵坐标绘制，得到第T个左监控拍摄图像I′1,T的色度差分曲线；
步骤506、计算机获取第T个左监控拍摄图像I′1,T的色度差分曲线上的两个拐点，两个拐点处中一个拐点所对应的低色度差分值记作第T个左监控拍摄图像的低色度差分分量
Figure BDA0002163895170000212
两个拐点处中另一个拐点所对应的高色度差分值记作第T个左监控拍摄图像的高色度差分分量
Figure BDA0002163895170000213
步骤507、计算机将第T个左监控拍摄图像I′1,T中第j个像素点的色度差分值
Figure BDA0002163895170000214
第T个左监控拍摄图像的低色度差分分量
Figure BDA0002163895170000215
和第T个左监控拍摄图像的高色度差分分量
Figure BDA0002163895170000216
进行比较：
当
Figure BDA0002163895170000217
成立，则第T个左监控拍摄图像I′1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为1；
当
Figure BDA0002163895170000218
成立，则第T个左监控拍摄图像I′1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为0；
当
Figure BDA0002163895170000219
时，执行步骤508；
步骤508、以第T个左监控拍摄图像I′1,T中第j个像素点为圆心取半径为10个像素点的圆形区域为待判断像素点区域，获取待判断像素点区域中像素点的色度差分值小于第T个左监控拍摄图像的低色度差分分量
Figure BDA00021638951700002110
的像素点数量nx和待判断像素点区域中像素点的色度差分值大于第T个左监控拍摄图像的高色度差分分量
Figure BDA00021638951700002111
的像素点数量nd，当nx＞nd，则第T个左监控拍摄图像I′1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为1；否则，当nx≤nd，则第T个左监控拍摄图像I′1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为0；
计算机对第T个采样时刻右摄像机采集到的右监控拍摄图像进行地平面区域的初步检测，具体过程如下：
步骤50A、在像素坐标系下，将第T个右监控拍摄图像I′2,T中第J个像素点的坐标记作
Figure BDA00021638951700002112
计算机根据公式
Figure BDA0002163895170000211
得到第T个左监控拍摄图像I′1,T中与第T个右监控拍摄图像I′2,T中第J个像素点相对应的第J′个匹配像素点坐标
Figure BDA0002163895170000224
其中，J为正整数，J是按照右监控拍摄图像先行后列顺序获取的像素点序号，J′为正整数，J′是按照左监控拍摄图像先行后列顺序获取的序号，J＞1，J′＞1；
步骤50B、按照步骤503至步骤508，对第T个右监控拍摄图像I′2,T进行处理，得到第T个右监控拍摄图像的色度差分曲线、低色度差分分量
Figure BDA0002163895170000225
和低色度差分分量
Figure BDA0002163895170000226
并对第T个右监控拍摄图像I′2,T进行地平面区域的初步检测；
步骤六、构建目标能量函数实现地平面区域的最终检测：
步骤601、计算机利用超像素分割方法对第T个左监控拍摄图像I′1,T进行过分割，得到第T个左监控拍摄图像I′1,T的超像素集合
Figure BDA0002163895170000227
并记作第T个左超像素集合
Figure BDA0002163895170000228
即
Figure BDA0002163895170000229
Figure BDA00021638951700002210
表示第T个左监控拍摄图像I′1,T中的第i个超像素，ω和i均为正整数，1≤i≤ω，ω表示第T个左监控拍摄图像I′1,T的超像素总数，ω＞1；
步骤602、计算机获取第T个左监控拍摄图像I′1,T中第i个超像素内部分类标签为0的像素点个数，并记作
Figure BDA00021638951700002211
计算机获取第T个左监控拍摄图像I′1,T中第i个超像素内部分类标签为1的像素点个数，并记作
Figure BDA00021638951700002212
步骤603、计算机根据公式
Figure BDA0002163895170000221
得到第T个左监控拍摄图像I′1,T中第i个超像素中分类标签为0的惩罚因子；计算机根据公式
Figure BDA0002163895170000222
得到第T个左监控拍摄图像I′1,T中第i个超像素中分类标签为1的惩罚因子；其中，
Figure BDA00021638951700002213
表示第T个左监控拍摄图像I′1,T中第i个超像素内部像素点的总数；
步骤604、计算机将多个与第T个左监控拍摄图像I′1,T中第i个超像素相邻的超像素记作第T个左监控拍摄图像I′1,T中第i个超像素的空域近邻超像素集合
Figure BDA00021638951700002214
Figure BDA00021638951700002215
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素，χ和X均为正整数，1≤χ≤X，X表示空域近邻超像素集合中元素的总数，X＞1；
步骤605、计算机根据公式
Figure BDA0002163895170000223
得到第T个左监控拍摄图像I′1,T中第i个超像素的各个近邻惩罚因子；其中，||·||2表示2-范数，
Figure BDA00021638951700002216
表示第T个左监控拍摄图像I′1,T中第i个超像素的质心坐标矩阵，
Figure BDA00021638951700002217
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的质心坐标矩阵，
Figure BDA0002163895170000234
表示第T个左监控拍摄图像I′1,T中第i个超像素的HSV颜色均值向量，
Figure BDA0002163895170000235
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的HSV颜色均值向量；
步骤606、设定第T个左超像素集合
Figure BDA0002163895170000236
对应的分类标签集合为
Figure BDA0002163895170000237
即
Figure BDA0002163895170000238
Figure BDA0002163895170000239
表示第T个左监控拍摄图像I′1,T中第i个超像素的分类标签，当
Figure BDA00021638951700002310
取0时，说明第T个左监控拍摄图像I′1,T中第i个超像素不属于地平面区域；当
Figure BDA00021638951700002311
取1时，说明第T个左监控拍摄图像I′1,T中第i个超像素属于地平面区域；设定第T个左监控拍摄图像I′1,T中第i个超像素的空域近邻超像素集合对应的分类标签集合为
Figure BDA00021638951700002312
即
Figure BDA00021638951700002313
Figure BDA00021638951700002314
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的分类标签，当
Figure BDA00021638951700002315
取0时，说明第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素不属于地平面区域；当
Figure BDA00021638951700002316
取1时，说明第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素属于地平面区域；
步骤607、计算机构建目标能量函数E，如下：
Figure BDA0002163895170000231
其中，δ(·)表示狄拉克δ函数，且
Figure BDA0002163895170000232
Figure BDA0002163895170000233
步骤608、计算机获取目标能量函数E取值最小时第T个左超像素集合
Figure BDA00021638951700002317
对应的分类标签集合，并将目标能量函数E取值最小时第T个左超像素集合
Figure BDA00021638951700002318
对应的分类标签集合记作最优分类标签集合，则最优分类标签集合中分类标签为1时的超像素集合为左监控拍摄图像中的地平面区域；
步骤609、按照步骤601至步骤608所述的方法对第T个右监控拍摄图像I′2,T进行检测，得到右监控拍摄图像中的地平面区域。
步骤6010、重复步骤601至步骤609，采用计算机对第T+1个采样时刻左摄像机采集到的左监控拍摄图像和第T+1个采样时刻右摄像机采集到的左监控拍摄图像进行处理，实现地平面区域的检测。
本实施例中，具体实施时，第T个左监控拍摄图像I′1,T中第i个超像素的HSV颜色均值向量的获取如下：将第T个左监控拍摄图像I′1,T中第i个超像素内部各个像素点的色度进行算数平均值处理，得到第T个左监控拍摄图像I′1,T中第i个超像素的色度平均值
Figure BDA0002163895170000244
将第T个左监控拍摄图像I′1,T中第i个超像素内部各个像素点的饱和度进行算数平均值处理，得到第T个左监控拍摄图像I′1,T中第i个超像素的饱和度平均值
Figure BDA0002163895170000245
将第T个左监控拍摄图像I′1,T中第i个超像素内部各个像素点的亮度进行算数平均值处理，得到第T个左监控拍摄图像I′1,T中第i个超像素的亮度平均值
Figure BDA0002163895170000241
则
Figure BDA0002163895170000242
第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的HSV颜色均值向量的获取如下：将第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素内部各个像素点的色度进行算数平均值处理，得到第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的色度平均值
Figure BDA0002163895170000246
将第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素内部各个像素点的饱和度进行算数平均值处理，得到第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的饱和度平均值
Figure BDA0002163895170000247
将第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素内部各个像素点的亮度进行算数平均值处理，得到第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的亮度平均值
Figure BDA0002163895170000248
则
Figure BDA0002163895170000243
本实施例中，具体实施时，将第T个左监控拍摄图像I′1,T中第i个超像素内部各个像素点的坐标进行算数平均值处理得到平均坐标
Figure BDA0002163895170000249
则第T个左监控拍摄图像I′1,T中第i个超像素的质心坐标矩阵为
Figure BDA00021638951700002410
将第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素内部各个像素点的坐标进行算数平均值处理得到平均坐标
Figure BDA00021638951700002411
第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的质心坐标矩阵
Figure BDA00021638951700002412
本实施例中，具体实施时，需要说明的是，左像点坐标、右像点坐标、像素点坐标分别由在像素坐标系下在像素u轴上的坐标和在像素坐标系下在像素v轴上的坐标组成。
本实施例中，步骤1041得到第m个左外接矩形框和第m′个右外接矩形框的具体过程如下：
步骤10411、在像素坐标系下，计算机在第m帧左拍摄图像中提取第m帧左拍摄图像中的运动目标区域F1 m沿像素u轴的最小像素坐标为
Figure BDA0002163895170000252
沿像素u轴的最大像素坐标为
Figure BDA0002163895170000253
沿像素v轴的最小像素坐标为
Figure BDA0002163895170000254
沿像素v轴的最大像素坐标为
Figure BDA0002163895170000255
步骤10412、计算机将过沿像素u轴的最小像素坐标
Figure BDA0002163895170000256
的直线、过沿像素u轴的最大像素坐标
Figure BDA0002163895170000257
的直线、过沿像素v轴的最小像素坐标
Figure BDA0002163895170000258
的直线和过沿像素v轴的最大像素坐标
Figure BDA0002163895170000259
的直线围设的矩形记作第m个左外接矩形框；
步骤10413、按照步骤10411和步骤10412所述的步骤，得到第m′个右外接矩形框。
本实施例中，步骤一进行之前，202中在像素坐标系下左摄像机的主点在像素u轴上的坐标u1,0和在像素坐标系下左摄像机的主点在像素v轴上的坐标v1,0以及20A中在像素坐标系下右摄像机的主点在像素u轴上的坐标u2,0和在像素坐标系下右摄像机的主点在像素v轴上的坐标v2,0的获取过程如下：
步骤2011、左摄像机在水平转动角度和竖直转动角度不变的状态下，调节左摄像机在变焦倍数依次增大对监控区域进行拍摄，获取多帧变焦图像；
步骤2012、计算机调取SIFT特征提取算法对相邻两帧变焦图像进行特征点提取，得到多个特征点；
步骤2013、计算机调取特征点匹配模块对相邻两帧变焦图像中的特征点进行匹配，得到特征匹配点对；
步骤2014、多次重复步骤2012和步骤2013，直至多帧变焦图像中的特征点均匹配完毕，得到多个特征匹配点对；其中，第Δ个特征匹配点对中一个特征匹配点的坐标记作
Figure BDA00021638951700002510
第Δ个特征匹配点对中另一个特征匹配点的坐标记作
Figure BDA00021638951700002511
Δ为正整数，且1≤Δ≤Γ，Γ表示特征匹配点对的总数，Γ＞3；
步骤2015、根据多个特征匹配点对构造匹配矩阵
Figure BDA0002163895170000251
和匹配向量
Figure BDA0002163895170000261
步骤2016、计算机根据公式
Figure BDA0002163895170000262
得到在像素坐标系下左摄像机的主点在像素u轴上的坐标u1,0和在像素坐标系下左摄像机的主点在像素v轴上的坐标v1,0；
步骤2017、按照步骤2011至步骤2016，得到在像素坐标系下右摄像机的主点在像素u轴上的坐标u2,0和在像素坐标系下右摄像机的主点在像素v轴上的坐标v2,0。
本实施例中，步骤一进行之前，左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，以及右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式的获取过程如下：
步骤Ⅰ、第e次拍摄时，调节左摄像机在变焦倍数为
Figure BDA0002163895170000264
时，调节左摄像机在水平转动角度为pan1,p和竖直转动角度为tilt1,p时左摄像机对监控区域进行拍摄，获取一帧左转动图像I1,p；之后，调节左摄像机在水平转动角度为pan′1,p和竖直转动角度为tilt′1,p时左摄像机对监控区域进行拍摄，获取另一帧左转动图像I′1,p，得到两帧左转动图像；其中，e表示左摄像机变焦拍摄的次数，e为正整数，e≥1；
步骤Ⅱ、计算机调取SIFT特征提取算法对一帧左转动图像I1,p和另一帧左转动图像I′1,p进行特征点提取，得到两帧左转动图像中的多个待匹配特征点；
步骤Ⅲ、计算机调取特征点匹配模块对两帧左转动图像中的多个待匹配特征点进行匹配，得到两帧左转动图像中的多个匹配点对；其中，两帧左转动图像中的第ε个匹配点对中一个特征匹配点的坐标记作
Figure BDA0002163895170000265
两帧左转动图像中的第ε个特征匹配点对中另一个特征匹配点的坐标记作
Figure BDA0002163895170000266
ε为正整数，且1≤ε≤Ε，Ε表示特征匹配点对的总数，Ε＞3；
步骤Ⅴ、计算机根据公式
Figure BDA0002163895170000263
得到获取一帧左转动图像I1,p时左摄像机的外部参数矩阵R1,p；计算机根据公式
Figure BDA0002163895170000271
得到获取另一帧左转动图像I′1,p时左摄像机的外部参数矩阵R′1,p；
步骤Ⅵ、计算机采用最小二乘法根据公式
Figure BDA0002163895170000272
并输入两帧左转动图像中的多个匹配点对的坐标，得到尺度因子κ、左摄像机在变焦倍数为
Figure BDA0002163895170000273
时在图像行方向的等效焦距
Figure BDA0002163895170000274
和左摄像机在变焦倍数为
Figure BDA0002163895170000275
时在图像列方向的等效焦距
Figure BDA0002163895170000276
步骤Ⅶ、调节左摄像机的变焦倍数依次增大，多次重复步骤Ⅰ至步骤Ⅵ，直至达到左摄像机的最大变焦倍数，获取各个变焦倍数下左摄像机在图像行方向的等效焦距和各个变焦倍数下左摄像机在图像列方向的等效焦距；
计算机以左摄像机的变焦倍数为横坐标，以左摄像机在图像行方向的等效焦距为纵坐标，绘制左摄像机的变焦倍数与行方向等效焦距曲线；计算机以左摄像机的变焦倍数为横坐标，以左摄像机在图像列方向的等效焦距为纵坐标，绘制左摄像机的变焦倍数与列方向等效焦距曲线；其中，将左摄像机的变焦倍数与行方向等效焦距曲线和左摄像机的变焦倍数与列方向等效焦距曲线记作左摄像机的变焦倍数与等效焦距曲线；
步骤Ⅶ、计算机对左摄像机的变焦倍数与行方向等效焦距曲线进行拟合，得到左摄像机的变焦倍数与行方向等效焦距关系式
Figure BDA0002163895170000277
其中，m1表示左摄像机的行方向等效焦距的第一拟合参数，m2表示左摄像机的行方向等效焦距的第二拟合参数，m3表示左摄像机的行方向等效焦距的第三拟合参数，m4表示左摄像机的行方向等效焦距的第四拟合参数；
计算机对左摄像机的变焦倍数与列方向等效焦距曲线进行拟合，得到左摄像机的变焦倍数与列方向等效焦距关系式
Figure BDA0002163895170000278
其中，m5表示左摄像机的列方向等效焦距的第一拟合参数，m6表示左摄像机的列方向等效焦距的第二拟合参数，m7表示左摄像机的列方向等效焦距的第三拟合参数，m8表示左摄像机的列方向等效焦距的第四拟合参数；
步骤Ⅷ、按照步骤Ⅰ至步骤Ⅶ所述的方法，得到右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式。
本实施例中，步骤1042中第m个左主轴线与第m个左外接矩形框中与u轴平行的两个边框均垂直，步骤1042中第m′个右主轴线与第m′个右外接矩形框中与u轴平行的两个边框均垂直。
本实施例中，需要说明的是，双目可运动摄像机中左摄像机和右摄像机的拍摄动作是同步进行，即在左摄像机对监控区域拍摄一帧图像时，右摄像也同步对监控区域拍摄一帧图像。
本实施例中，需要说明的是，
Figure BDA0002163895170000281
表示第1帧左拍摄图像中地平面区域对应点的左像点坐标，
Figure BDA0002163895170000282
表示第2帧左拍摄图像中地平面区域对应点的左像点坐标，
Figure BDA0002163895170000283
表示第M帧左拍摄图像中地平面区域对应点的左像点坐标；
Figure BDA0002163895170000284
表示第1帧右拍摄图像中地平面区域对应点的右像点坐标，
Figure BDA0002163895170000285
表示第2帧右拍摄图像中地平面区域对应点的右像点坐标，
Figure BDA0002163895170000286
表示第M帧右拍摄图像中地平面区域对应点的右像点坐标；且
Figure BDA0002163895170000287
和
Figure BDA0002163895170000288
和
Figure BDA0002163895170000289
和
Figure BDA00021638951700002810
分别为相互匹配的匹配点组。
本实施例中，具体实施时，双目可运动摄像机可选用型号为SONY EVI D70P的左摄像机和右摄像机，其变焦倍数为1倍到18倍。
具体实施，左摄像机进入监控转动时，左摄像机对监控区域拍摄监控图像，得到图2中的左监控拍摄图像。然后，利用本发明方法对图2中的左监控拍摄图像进行处理，得到图3左监控拍摄图像中的地平面区域(白色部分)，地平面区域检测的较准确。
综上所述，本发明利用双目可运动摄像机对地平面区域进行检测，先利用两个可运动摄像机地平面区域对应点的约束矩阵，实现对监控区域图像中地平面区域的初步检测，然后构建目标能量函数实现监控区域图像中地平面区域的最终检测，实现了对监控区域图像中地平面区域的准确检测，提高了地平面区域检测的准确性，解决现有静止相机的地平面区域检测方法无法应用到可运动摄像机的问题，便于推广使用。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.一种双目可运动摄像机的地平面区域检测方法，其特征在于，该方法包括以下步骤：
步骤一、确定双目可运动摄像机初始静止时刻地平面区域对应点的约束矩阵：
步骤101、双目可运动摄像机包含左摄像机和右摄像机，左摄像机和右摄像机初始时刻均静止，左摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到左初始序列图像；同时右摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到右初始序列图像；
步骤102、计算机将左初始序列图像按照拍摄先后顺序划分为多帧左拍摄图像，将第m帧左拍摄图像记作
Figure FDA0002163895160000011
同时，计算机将右初始序列图像按照拍摄先后顺序划分为多帧右拍摄图像，将与第m帧左拍摄图像同步采集的第m′帧右拍摄图像记作
Figure FDA0002163895160000012
其中，左拍摄图像的帧数和右拍摄图像的帧数相同，m和m′均为正整数，且m＝m′，m的取值范围为1≤m≤M，m′的取值范围为1≤m′≤M,M表示左拍摄图像或者右拍摄图像的帧数，M为正整数，M的取值范围为200～300，所述第m帧左拍摄图像
Figure FDA0002163895160000013
和所述第m′帧右拍摄图像
Figure FDA0002163895160000014
的重叠度为75％；
步骤103、计算机采用混合高斯模型对多帧左拍摄图像进行背景建模，得到左拍摄背景图像
Figure FDA0002163895160000015
同时计算机采用混合高斯模型对多帧右拍摄图像进行背景建模，得到右拍摄背景图像
Figure FDA0002163895160000016
计算机分别将多帧左拍摄图像和左拍摄背景图像
Figure FDA0002163895160000017
进行差分运算，得到多帧左拍摄图像中的运动目标区域，并将第m帧左拍摄图像中的运动目标区域记作F1 m；同时，计算机分别将多帧右拍摄图像和右拍摄背景图像
Figure FDA0002163895160000018
进行差分运算，得到多帧右拍摄图像中的运动目标区域，并将第m′帧右拍摄图像中的运动目标区域记作
Figure FDA0002163895160000019
步骤104、计算机分别获取多帧左拍摄图像和多帧右拍摄图像相互匹配的匹配点组，具体过程如下：
步骤1041、计算机提取第m帧左拍摄图像中的运动目标区域F1 m的左外接矩形框，得到第m个左外接矩形框；同时，计算机提取第m′帧右拍摄图像中的运动目标区域
Figure FDA0002163895160000021
的右外接矩形框，得到第m′个右外接矩形框；
步骤1042、计算机获取第m个左外接矩形框的第m个左主轴线；其中，第m帧左拍摄图像中的运动目标区域F1 m中各个像素点到第m个左主轴线的像素距离之和最小；同时，计算机获取第m′个右外接矩形框的第m′个右主轴线；其中，第m′帧右拍摄图像中的运动目标区域
Figure FDA0002163895160000022
中各个像素点到第m′个右主轴线的像素距离之和最小；
步骤1043、在像素坐标系下，计算机将第m个左外接矩形框中远离u轴且与u轴平行的一个边框与第m个左主轴线的交点记作第m帧左拍摄图像中地平面区域对应点的左像点坐标
Figure FDA0002163895160000023
同时，计算机将第m′个右外接矩形框中远离u轴且与u轴平行的一个边框与第m′个右主轴线的交点记作第m′帧右拍摄图像中地平面区域对应点的右像点坐标
Figure FDA0002163895160000024
其中，第m帧左拍摄图像中地平面区域对应点的左像点坐标
Figure FDA0002163895160000025
和第m′帧右拍摄图像中地平面区域对应点的右像点坐标
Figure FDA0002163895160000026
为相互匹配的一个匹配点组；
步骤1044、多次重复步骤1041至步骤1043，得到多个左拍摄图像中地平面区域对应点的左像点坐标和多个右拍摄图像中地平面区域对应点的右像点坐标；其中，M个左拍摄图像中地平面区域对应点的左像点坐标分别记作
Figure FDA0002163895160000027
M个右拍摄图像中地平面区域对应点的右像点坐标分别记作
Figure FDA0002163895160000028
Figure FDA0002163895160000029
步骤105、计算机采用最小二乘法根据公式
Figure FDA0002163895160000031
得到双目可运动摄像机初始静止时刻的约束矩阵
Figure FDA0002163895160000032
步骤二、获取双目可运动摄像机初始静止时刻的参数矩阵：
获取左摄像机初始静止时刻的参数矩阵的具体过程如下：
步骤201、获取初始静止时刻左摄像机的变焦倍数为
Figure FDA0002163895160000033
并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻左摄像机在图像行方向上的等效焦距
Figure FDA0002163895160000034
和初始静止时刻左摄像机在图像列方向上的等效焦距
Figure FDA0002163895160000035
步骤202、计算机根据公式
Figure FDA0002163895160000036
得到初始静止时刻左摄像机的内部参数矩阵
Figure FDA0002163895160000037
u1,0表示在像素坐标系下左摄像机的主点在像素u轴上的坐标，v1,0表示在像素坐标系下左摄像机的主点在像素v轴上的坐标；
步骤203、获取初始静止时刻左摄像机的水平转动角度
Figure FDA0002163895160000038
和初始静止时刻左摄像机的竖直转动角度
Figure FDA0002163895160000039
计算机根据公式
Figure FDA00021638951600000310
得到初始静止时刻左摄像机的外部参数矩阵
Figure FDA00021638951600000311
获取右摄像机初始静止时刻的参数矩阵的具体过程如下：
步骤20A、获取初始静止时刻右摄像机的变焦倍数为
Figure FDA0002163895160000041
并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻右摄像机在图像行方向的等效焦距
Figure FDA0002163895160000042
和初始静止时刻右摄像机在图像列方向的等效焦距
Figure FDA0002163895160000043
步骤20B、计算机根据公式
Figure FDA0002163895160000044
得到初始静止时刻右摄像机的内部参数矩阵
Figure FDA0002163895160000045
u2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；
步骤20C、获取初始静止时刻右摄像机的水平转动角度
Figure FDA0002163895160000046
和初始静止时刻右摄像机的竖直转动角度
Figure FDA0002163895160000047
计算机根据公式
Figure FDA0002163895160000048
得到初始静止时刻右摄像机的外部参数矩阵
Figure FDA0002163895160000049
步骤三、双目可运动摄像机监控转动时图像采集与发送：
在左摄像机和右摄像机进入监控转动时，左摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到左监控序列图像；同时右摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到右监控序列图像；其中，将左摄像机和右摄像机进入监控转动时，第T个采样时刻左摄像机采集到的左监控拍摄图像记作第T个左监控拍摄图像I′1,T，同时，第T个采样时刻右摄像机采集到的右监控拍摄图像记作第T个右监控拍摄图像I′2,T；其中，T为正整数，且T≥1；
步骤四、获取双目可运动摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵：
左摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：
步骤401、计算机根据公式
Figure FDA0002163895160000051
得到第T个采样时刻左摄像机的外部参数矩阵
Figure FDA0002163895160000052
其中，
Figure FDA0002163895160000053
表示第T个采样时刻左摄像机的水平转动角度，
Figure FDA0002163895160000054
表示第T个采样时刻左摄像机的竖直转动角度；
步骤402、左摄像机在监控转动时，获取第T个采样时刻左摄像机的变焦倍数为
Figure FDA0002163895160000055
并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到左摄像监控转动时第T个采样时刻左摄像机在图像行方向的等效焦距
Figure FDA0002163895160000056
和左摄像监控转动时第T个采样时刻左摄像机在图像列方向的等效焦距
Figure FDA0002163895160000057
计算机根据公式
Figure FDA0002163895160000058
得到左摄像监控转动时第T个采样时刻左摄像机的内部参数矩阵
Figure FDA0002163895160000059
步骤403、计算机根据公式
Figure FDA00021638951600000510
得到左摄像监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵
Figure FDA00021638951600000511
右摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：
步骤40A、右摄像机在监控转动时，计算机根据公式
Figure FDA00021638951600000512
得到右摄像监控转动时第T个采样时刻右摄像机的外部参数矩阵
Figure FDA00021638951600000513
其中，
Figure FDA00021638951600000514
表示第T个采样时刻右摄像机的水平转动角度，
Figure FDA00021638951600000515
表示第T个采样时刻右摄像机的竖直转动角度；
步骤40B、右摄像机在监控转动时，获取第T个采样时刻右摄像机的变焦倍数为
Figure FDA0002163895160000061
并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到右摄像监控转动时第T个采样时刻右摄像机在图像行方向的等效焦距
Figure FDA0002163895160000062
和右摄像监控转动时第T个采样时刻右摄像机在图像列方向的等效焦距
Figure FDA0002163895160000063
计算机根据公式
Figure FDA0002163895160000064
得到右摄像监控转动时第T个采样时刻右摄像机的内部参数矩阵
Figure FDA0002163895160000065
其中，u2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；
步骤40C、计算机根据公式
Figure FDA0002163895160000066
得到右摄像机监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵
Figure FDA0002163895160000067
步骤五、监控拍摄图像中地平面区域的初步检测：
计算机对第T个采样时刻左摄像机采集到的左监控拍摄图像进行地平面区域的初步检测，具体过程如下：
步骤501、计算机根据公式
Figure FDA0002163895160000068
得到第T个采集时刻两个可运动摄像机地平面区域对应点的约束矩阵
Figure FDA0002163895160000069
步骤502、在像素坐标系下，将第T个左监控拍摄图像I′1,T中第j个像素点的坐标记作
Figure FDA00021638951600000610
计算机根据公式
Figure FDA00021638951600000611
得到第T个右监控拍摄图像I′2,T中与第T个左监控拍摄图像I′1,T中第j个像素点相对应的第j′个匹配像素点坐标
Figure FDA00021638951600000612
其中，j为正整数，j是按照左监控拍摄图像先行后列顺序获取的像素点序号，j′为正整数，j′是按照右监控拍摄图像先行后列顺序获取的序号，j＞1，j′＞1；
步骤503、将第T个左监控拍摄图像I′1,T中第j个像素点的HSV颜色向量记作
Figure FDA0002163895160000071
其中，
Figure FDA0002163895160000072
表示第T个左监控拍摄图像I′1,T中第j个像素点的色度，
Figure FDA0002163895160000073
表示第T个左监控拍摄图像I′1,T中第j个像素点的饱和度，
Figure FDA0002163895160000074
表示第T个左监控拍摄图像I′1,T中第j个像素点的亮度；
将第T个右监控拍摄图像I′2,T中与第T个左监控拍摄图像I′1,T中第j个像素点相对应的第j′个匹配像素点的HSV颜色向量记作
Figure FDA0002163895160000075
其中，
Figure FDA0002163895160000076
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的色度，
Figure FDA0002163895160000077
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的饱和度，
Figure FDA0002163895160000078
表示第T个右监控拍摄图像I′2,T中第j′个匹配像素点的亮度；
步骤504、计算机将HSV颜色差分向量记作
Figure FDA0002163895160000079
则根据公式
Figure FDA00021638951600000710
得到
Figure FDA00021638951600000711
其中，
Figure FDA00021638951600000712
表示第T个左监控拍摄图像I′1,T中第j个像素点的色度差分值，
Figure FDA00021638951600000713
表示第T个左监控拍摄图像I′1,T中第j个像素点的饱和度差分值，
Figure FDA00021638951600000714
表示第T个左监控拍摄图像I′1,T中第j个像素点的亮度差分值；
步骤505、多次重复步骤501至步骤504，得到第T个左监控拍摄图像I′1,T中各个像素点的色度差分值，将第T个左监控拍摄图像I′1,T各个像素点的色度差分值进行升序排列，然后以像素点序号为横坐标，像素点的色度差分值为纵坐标绘制，得到第T个左监控拍摄图像I′1,T的色度差分曲线；
步骤506、计算机获取第T个左监控拍摄图像I′1,T的色度差分曲线上的两个拐点，两个拐点处中一个拐点所对应的低色度差分值记作第T个左监控拍摄图像的低色度差分分量
Figure FDA00021638951600000715
两个拐点处中另一个拐点所对应的高色度差分值记作第T个左监控拍摄图像的高色度差分分量
Figure FDA00021638951600000716
步骤507、计算机将第T个左监控拍摄图像I′1,T中第j个像素点的色度差分值
Figure FDA0002163895160000081
第T个左监控拍摄图像的低色度差分分量
Figure FDA0002163895160000082
和第T个左监控拍摄图像的高色度差分分量
Figure FDA0002163895160000083
进行比较：
当
Figure FDA0002163895160000084
成立，则第T个左监控拍摄图像I′1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为1；
当
Figure FDA0002163895160000085
成立，则第T个左监控拍摄图像I′1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为0；
当
Figure FDA0002163895160000086
时，执行步骤508；
步骤508、以第T个左监控拍摄图像I′1,T中第j个像素点为圆心取半径为10个像素点的圆形区域为待判断像素点区域，获取待判断像素点区域中像素点的色度差分值小于第T个左监控拍摄图像的低色度差分分量
Figure FDA0002163895160000087
的像素点数量nx和待判断像素点区域中像素点的色度差分值大于第T个左监控拍摄图像的高色度差分分量
Figure FDA0002163895160000088
的像素点数量nd，当nx＞nd，则第T个左监控拍摄图像I′1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为1；否则，当nx≤nd，则第T个左监控拍摄图像I′1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′1,T中第j个像素点的分类标签标记为0；
计算机对第T个采样时刻右摄像机采集到的右监控拍摄图像进行地平面区域的初步检测，具体过程如下：
步骤50A、在像素坐标系下，将第T个右监控拍摄图像I′2,T中第J个像素点的坐标记作
Figure FDA0002163895160000089
计算机根据公式
Figure FDA00021638951600000810
得到第T个左监控拍摄图像I′1,T中与第T个右监控拍摄图像I′2,T中第J个像素点相对应的第J′个匹配像素点坐标
Figure FDA00021638951600000811
其中，J为正整数，J是按照右监控拍摄图像先行后列顺序获取的像素点序号，J′为正整数，J′是按照左监控拍摄图像先行后列顺序获取的序号，J＞1，J′＞1；
步骤50B、按照步骤503至步骤508，对第T个右监控拍摄图像I′2,T进行处理，得到第T个右监控拍摄图像的色度差分曲线、低色度差分分量
Figure FDA0002163895160000091
和低色度差分分量
Figure FDA0002163895160000092
并对第T个右监控拍摄图像I′2,T进行地平面区域的初步检测；
步骤六、构建目标能量函数实现地平面区域的最终检测：
步骤601、计算机利用超像素分割方法对第T个左监控拍摄图像I′1,T进行过分割，得到第T个左监控拍摄图像I′1,T的超像素集合
Figure FDA0002163895160000093
并记作第T个左超像素集合
Figure FDA0002163895160000094
即
Figure FDA0002163895160000095
Figure FDA0002163895160000096
表示第T个左监控拍摄图像I′1,T中的第i个超像素，ω和i均为正整数，1≤i≤ω，ω表示第T个左监控拍摄图像I′1,T的超像素总数，ω＞1；
步骤602、计算机获取第T个左监控拍摄图像I′1,T中第i个超像素内部分类标签为0的像素点个数，并记作
Figure FDA0002163895160000097
计算机获取第T个左监控拍摄图像I′1,T中第i个超像素内部分类标签为1的像素点个数，并记作
Figure FDA0002163895160000098
步骤603、计算机根据公式
Figure FDA0002163895160000099
得到第T个左监控拍摄图像I′1,T中第i个超像素中分类标签为0的惩罚因子；计算机根据公式
Figure FDA00021638951600000910
得到第T个左监控拍摄图像I′1,T中第i个超像素中分类标签为1的惩罚因子；其中，
Figure FDA00021638951600000911
表示第T个左监控拍摄图像I′1,T中第i个超像素内部像素点的总数；
步骤604、计算机将多个与第T个左监控拍摄图像I′1,T中第i个超像素相邻的超像素记作第T个左监控拍摄图像I′1,T中第i个超像素的空域近邻超像素集合
Figure FDA00021638951600000912
Figure FDA00021638951600000913
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素，χ和X均为正整数，1≤χ≤X，X表示空域近邻超像素集合中元素的总数，X＞1；
步骤605、计算机根据公式
Figure FDA0002163895160000101
得到第T个左监控拍摄图像I′1,T中第i个超像素的各个近邻惩罚因子；其中，||·||2表示2-范数，
Figure FDA0002163895160000102
表示第T个左监控拍摄图像I′1,T中第i个超像素的质心坐标矩阵，
Figure FDA0002163895160000103
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的质心坐标矩阵，
Figure FDA0002163895160000104
表示第T个左监控拍摄图像I′1,T中第i个超像素的HSV颜色均值向量，
Figure FDA0002163895160000105
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的HSV颜色均值向量；
步骤606、设定第T个左超像素集合
Figure FDA0002163895160000106
对应的分类标签集合为
Figure FDA0002163895160000107
即
Figure FDA0002163895160000108
Figure FDA0002163895160000109
表示第T个左监控拍摄图像I′1,T中第i个超像素的分类标签，当
Figure FDA00021638951600001010
取0时，说明第T个左监控拍摄图像I′1,T中第i个超像素不属于地平面区域；当
Figure FDA00021638951600001011
取1时，说明第T个左监控拍摄图像I′1,T中第i个超像素属于地平面区域；设定第T个左监控拍摄图像I′1,T中第i个超像素的空域近邻超像素集合对应的分类标签集合为
Figure FDA00021638951600001012
即
Figure FDA00021638951600001013
Figure FDA00021638951600001014
表示第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素的分类标签，当
Figure FDA00021638951600001015
取0时，说明第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素不属于地平面区域；当
Figure FDA00021638951600001016
取1时，说明第T个左监控拍摄图像I′1,T中与第i个超像素相邻的第χ个相邻超像素属于地平面区域；
步骤607、计算机构建目标能量函数E，如下：
Figure FDA00021638951600001017
其中，δ(·)表示狄拉克δ函数，且
Figure FDA00021638951600001018
Figure FDA00021638951600001019
步骤608、计算机获取目标能量函数E取值最小时第T个左超像素集合
Figure FDA00021638951600001020
对应的分类标签集合，并将目标能量函数E取值最小时第T个左超像素集合
Figure FDA0002163895160000111
对应的分类标签集合记作最优分类标签集合，则最优分类标签集合中分类标签为1时的超像素集合为左监控拍摄图像中的地平面区域；
步骤609、按照步骤601至步骤608所述的方法对第T个右监控拍摄图像I′2,T进行检测，得到右监控拍摄图像中的地平面区域；
步骤6010、重复步骤601至步骤609，采用计算机对第T+1个采样时刻左摄像机采集到的左监控拍摄图像和第T+1个采样时刻右摄像机采集到的左监控拍摄图像进行处理，实现地平面区域的检测。
2.按照权利要求1所述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤1041得到第m个左外接矩形框和第m′个右外接矩形框的具体过程如下：
步骤10411、在像素坐标系下，计算机在第m帧左拍摄图像中提取第m帧左拍摄图像中的运动目标区域F1 m沿像素u轴的最小像素坐标为
Figure FDA0002163895160000112
沿像素u轴的最大像素坐标为
Figure FDA0002163895160000113
沿像素v轴的最小像素坐标为
Figure FDA0002163895160000114
沿像素v轴的最大像素坐标为
Figure FDA0002163895160000115
步骤10412、计算机将过沿像素u轴的最小像素坐标
Figure FDA0002163895160000116
的直线、过沿像素u轴的最大像素坐标
Figure FDA0002163895160000117
的直线、过沿像素v轴的最小像素坐标
Figure FDA0002163895160000118
的直线和过沿像素v轴的最大像素坐标
Figure FDA0002163895160000119
的直线围设的矩形记作第m个左外接矩形框；
步骤10413、按照步骤10411和步骤10412所述的步骤，得到第m′个右外接矩形框。
3.按照权利要求1所述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤一进行之前，202中在像素坐标系下左摄像机的主点在像素u轴上的坐标u1,0和在像素坐标系下左摄像机的主点在像素v轴上的坐标v1,0以及20A中在像素坐标系下右摄像机的主点在像素u轴上的坐标u2,0和在像素坐标系下右摄像机的主点在像素v轴上的坐标v2,0的获取过程如下：
步骤2011、左摄像机在水平转动角度和竖直转动角度不变的状态下，调节左摄像机在变焦倍数依次增大对监控区域进行拍摄，获取多帧变焦图像；
步骤2012、计算机调取SIFT特征提取算法对相邻两帧变焦图像进行特征点提取，得到多个特征点；
步骤2013、计算机调取特征点匹配模块对相邻两帧变焦图像中的特征点进行匹配，得到特征匹配点对；
步骤2014、多次重复步骤2012和步骤2013，直至多帧变焦图像中的特征点均匹配完毕，得到多个特征匹配点对；其中，第Δ个特征匹配点对中一个特征匹配点的坐标记作
Figure FDA0002163895160000121
第Δ个特征匹配点对中另一个特征匹配点的坐标记作
Figure FDA0002163895160000122
Δ为正整数，且1≤Δ≤Γ，Γ表示特征匹配点对的总数，Γ＞3；
步骤2015、根据多个特征匹配点对构造匹配矩阵
Figure FDA0002163895160000123
和匹配向量
Figure FDA0002163895160000124
步骤2016、计算机根据公式
Figure FDA0002163895160000125
得到在像素坐标系下左摄像机的主点在像素u轴上的坐标u1,0和在像素坐标系下左摄像机的主点在像素v轴上的坐标v1,0；
步骤2017、按照步骤2011至步骤2016，得到在像素坐标系下右摄像机的主点在像素u轴上的坐标u2,0和在像素坐标系下右摄像机的主点在像素v轴上的坐标v2,0。
4.按照权利要求1所述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤一进行之前，左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，以及右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式的获取过程如下：
步骤Ⅰ、第e次拍摄时，调节左摄像机在变焦倍数为
Figure FDA0002163895160000131
时，调节左摄像机在水平转动角度为pan1,p和竖直转动角度为tilt1,p时左摄像机对监控区域进行拍摄，获取一帧左转动图像I1,p；之后，调节左摄像机在水平转动角度为pan′1,p和竖直转动角度为tilt′1,p时左摄像机对监控区域进行拍摄，获取另一帧左转动图像I′1,p，得到两帧左转动图像；其中，e表示左摄像机变焦拍摄的次数，e为正整数，e≥1；
步骤Ⅱ、计算机调取SIFT特征提取算法对一帧左转动图像I1,p和另一帧左转动图像I′1,p进行特征点提取，得到两帧左转动图像中的多个待匹配特征点；
步骤Ⅲ、计算机调取特征点匹配模块对两帧左转动图像中的多个待匹配特征点进行匹配，得到两帧左转动图像中的多个匹配点对；其中，两帧左转动图像中的第ε个匹配点对中一个特征匹配点的坐标记作
Figure FDA0002163895160000132
两帧左转动图像中的第ε个特征匹配点对中另一个特征匹配点的坐标记作
Figure FDA0002163895160000133
ε为正整数，且1≤ε≤Ε，Ε表示两帧左转动图像中匹配点对的总数，Ε＞3；
步骤Ⅴ、计算机根据公式
Figure FDA0002163895160000134
得到获取一帧左转动图像I1,p时左摄像机的外部参数矩阵R1,p；计算机根据公式
Figure FDA0002163895160000135
得到获取另一帧左转动图像I′1,p时左摄像机的外部参数矩阵R′1,p；
步骤Ⅵ、计算机采用最小二乘法根据公式
Figure FDA0002163895160000141
并输入两帧左转动图像中的多个匹配点对的坐标，得到尺度因子κ、左摄像机在变焦倍数为
Figure FDA0002163895160000142
时在图像行方向的等效焦距
Figure FDA0002163895160000143
和左摄像机在变焦倍数为
Figure FDA0002163895160000144
时在图像列方向的等效焦距
Figure FDA0002163895160000145
步骤Ⅶ、调节左摄像机的变焦倍数依次增大，多次重复步骤Ⅰ至步骤Ⅵ，直至达到左摄像机的最大变焦倍数，获取各个变焦倍数下左摄像机在图像行方向的等效焦距和各个变焦倍数下左摄像机在图像列方向的等效焦距；
计算机以左摄像机的变焦倍数为横坐标，以左摄像机在图像行方向的等效焦距为纵坐标，绘制左摄像机的变焦倍数与行方向等效焦距曲线；计算机以左摄像机的变焦倍数为横坐标，以左摄像机在图像列方向的等效焦距为纵坐标，绘制左摄像机的变焦倍数与列方向等效焦距曲线；其中，将左摄像机的变焦倍数与行方向等效焦距曲线和左摄像机的变焦倍数与列方向等效焦距曲线记作左摄像机的变焦倍数与等效焦距曲线；
步骤Ⅶ、计算机对左摄像机的变焦倍数与行方向等效焦距曲线进行拟合，得到左摄像机的变焦倍数与行方向等效焦距关系式
Figure FDA0002163895160000146
其中，m1表示左摄像机的行方向等效焦距的第一拟合参数，m2表示左摄像机的行方向等效焦距的第二拟合参数，m3表示左摄像机的行方向等效焦距的第三拟合参数，m4表示左摄像机的行方向等效焦距的第四拟合参数；
计算机对左摄像机的变焦倍数与列方向等效焦距曲线进行拟合，得到左摄像机的变焦倍数与列方向等效焦距关系式
Figure FDA0002163895160000147
其中，m5表示左摄像机的列方向等效焦距的第一拟合参数，m6表示左摄像机的列方向等效焦距的第二拟合参数，m7表示左摄像机的列方向等效焦距的第三拟合参数，m8表示左摄像机的列方向等效焦距的第四拟合参数；
步骤Ⅷ、按照步骤Ⅰ至步骤Ⅶ所述的方法，得到右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式。
5.按照权利要求1所述的一种双目可运动摄像机的地平面区域检测方法，其特征在于：步骤1042中第m个左主轴线与第m个左外接矩形框中与u轴平行的两个边框均垂直，步骤1042中第m′个右主轴线与第m′个右外接矩形框中与u轴平行的两个边框均垂直。
CN201910740879.6A 2019-08-12 2019-08-12 一种双目可运动摄像机的地平面区域检测方法 Active CN110430400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910740879.6A CN110430400B (zh) 2019-08-12 2019-08-12 一种双目可运动摄像机的地平面区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910740879.6A CN110430400B (zh) 2019-08-12 2019-08-12 一种双目可运动摄像机的地平面区域检测方法

Publications (2)

Publication Number Publication Date
CN110430400A CN110430400A (zh) 2019-11-08
CN110430400B true CN110430400B (zh) 2020-04-24

Family

ID=68415615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910740879.6A Active CN110430400B (zh) 2019-08-12 2019-08-12 一种双目可运动摄像机的地平面区域检测方法

Country Status (1)

Country Link
CN (1) CN110430400B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102021019290A2 (pt) * 2020-10-27 2022-05-10 Cnh Industrial America Llc Sistema e método para monitorar a qualidade do spray
CN113470118B (zh) * 2021-07-15 2023-12-05 中国人民解放军火箭军工程大学 一种基于三目视觉的目标尺寸估计系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971381A (zh) * 2017-03-14 2017-07-21 东北大学 一种具有重叠视域的广角相机视野分界线生成方法
US10026209B1 (en) * 2017-12-21 2018-07-17 Capital One Services, Llc Ground plane detection for placement of augmented reality objects
CN109791598A (zh) * 2016-05-13 2019-05-21 维迪科研究所 用于识别地面标记的图像处理方法以及地面标记检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791598A (zh) * 2016-05-13 2019-05-21 维迪科研究所 用于识别地面标记的图像处理方法以及地面标记检测系统
CN106971381A (zh) * 2017-03-14 2017-07-21 东北大学 一种具有重叠视域的广角相机视野分界线生成方法
US10026209B1 (en) * 2017-12-21 2018-07-17 Capital One Services, Llc Ground plane detection for placement of augmented reality objects

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Horizon Detection Using Machine Learning Techniques;Sergiy Fefilatyev;《2006 5th International Conference on Machine Learning and Applications (ICMLA"06)》;20061226;全文 *
机器人平台上基于Kinect 相机的地平面检测方法;刘俊;《微型电脑应用》;20140531;第30卷(第5期);全文 *
激光主动成像图像边缘检测算法研究;宋睿;《激光与光电子学进展》;20170420(第8期);全文 *

Also Published As

Publication number Publication date
CN110430400A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
US10462362B2 (en) Feature based high resolution motion estimation from low resolution images captured using an array source
US8385595B2 (en) Motion detection method, apparatus and system
CN106899781B (zh) 一种图像处理方法及电子设备
EP0932114B1 (en) A method of and apparatus for detecting a face-like region
CN104392416B (zh) 一种运动场景的视频拼接方法
CN108537782B (zh) 一种基于轮廓提取的建筑物图像匹配与融合的方法
CN106469444B (zh) 消除拼接缝隙的快速图像融合方法
CN107133969A (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN107424142A (zh) 一种基于图像显著性检测的焊缝识别方法
CN105825494A (zh) 一种图像处理方法及移动终端
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN110430400B (zh) 一种双目可运动摄像机的地平面区域检测方法
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN112470189B (zh) 光场系统的遮挡消除
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
CN112529773B (zh) Qpd图像后处理方法及qpd相机
CN108520496B (zh) 一种基于光流法的海空背景监控视频图像拼接方法
CN112308887B (zh) 一种多源图像序列实时配准方法
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
US11044399B2 (en) Video surveillance system
CN116823895A (zh) 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统
CN111583315A (zh) 一种新的可见光图像和红外图像配准方法及装置
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统
CN113313707A (zh) 原始图像处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant