CN105354856A - 一种基于mser与orb相结合的人体匹配与定位方法及系统 - Google Patents
一种基于mser与orb相结合的人体匹配与定位方法及系统 Download PDFInfo
- Publication number
- CN105354856A CN105354856A CN201510882744.5A CN201510882744A CN105354856A CN 105354856 A CN105354856 A CN 105354856A CN 201510882744 A CN201510882744 A CN 201510882744A CN 105354856 A CN105354856 A CN 105354856A
- Authority
- CN
- China
- Prior art keywords
- mser
- server end
- region
- orb
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Abstract
本发明提供一种基于MSER与ORB相结合的人体匹配与定位方法，包括以下步骤：双目摄像头采集左右立体图像对；并对其进行立体标定处理，得到摄像机内外参数；利用摄像机内外参数对图像对进行校正、人体检测，对人体检测结果进行交叉验证；在左右立体图像对分别提取MSER区域；对提取的MSER区域进行过滤、椭圆拟合和归一化处理、提取多尺度ORB特征；对ORB特征点进行立体匹配；进行人体定位；显示人体定位结果。本发明基于MSER与ORB相结合的人体匹配与定位方法及系统是在人体区域提取MSER特征的基础上，提取多尺度ORB特征，克服了传统基于双目视觉人体定位在特征提取和立体匹配阶段是针对整个人体区域进行定位的缺点，降低了计算量、提高了实时性。
Description
技术领域
本发明涉及一种计算机视觉定位领域，特别是涉及一种基于MSER与ORB相结合的人体匹配与定位方法及系统。
背景技术
人体检测与定位是计算机视觉领域的研究热点与难点，在人机交互和人机协作等方面具有广泛的应用，如在智能监控、智能家居服务型机器人、汽车的安全驾驶、智能交通等方面都有广泛的应用。人体检测与定位不仅有直接的应用价值，同时也是计算机实现人体动作行为识别和跟踪等视觉技术的基础，具有很好的理论研究价值。
公开号为CN101639895A的专利申请提出了一种基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法，其针对的是具有微结构的显微图像，显微图像跟一般尺度的图像相比具有某些特征，比如说显微图像一般存在边缘模糊、几何畸变、受噪声(一般受到光照的影响比较严重)污染严重的问题。目前常见的特征点的提取算法对正常尺度的图像中能够进行很好的处理，而不能够应用在显微图像上。该方法解决了现有技术中已有的图像特征提取和匹配方法无法适应光照变化，提取效果差的技术问题。
公开号为CN101571912A的专利申请提出了一种基于视觉模拟的计算机人脸定位方法，包括对输入的静态彩色图像进行灰度化和低通滤波，得到经过滤波的灰度图像；将该经过滤波的灰度图像分割为若干分立的区域；在该若干分立区域中选取和合并可能包含人脸的区域；确定该可能包含人脸的区域所对应的原始彩色图像区域，在该原始彩色图像区域上进行人脸校验，判断该区域是否含有人脸。旨在解决人脸定位的问题，这里的人脸定位是指人脸检测，也就是确定图像中人脸的位置，并未涉及人体与摄像机的距离定位的问题。
目前立体匹配方法主要有两种，一种是基于区域的立体匹配方法，即给定一幅图像上的某一点，选取该像素点领域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性测度算法，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点。常用的相似性测度算法有像素差平方和(SumofSquaredDifferences,SSD)，像素差绝对值和(SumofAbsoluteDifferences,SAD),归一化交叉相关(NormalizedCorrelationCoefficient，NCC)等；一种是基于特征的立体匹配方法，如，Harris，SIFT、SURF、ORB等。基于区域的立体匹配方法能够获得稠密、均匀的图像视差图，但是其对于图像旋转和外界光照的变化较为敏感，鲁棒性差，同时也不能处理图像中纹理相似区域或遮挡图像区域。而基于特征的立体匹配方法虽然已经具有较好的匹配精度和鲁棒性，但特征匹配方法搜索范围较广，计算量大，且容易出现误匹配。
发明内容
为了解决现有技术中存在的上述问题,本发明提出一种基于MSER与ORB相结合的人体匹配与定位方法，旨在降低计算量的同时，提高立体匹配的精度。
本发明所采取的技术方案是：
一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备和服务器端，所述方法包括以下步骤：
所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；
硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；
硬件设备发送摄像机内外参数至服务器端；
服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；
服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；
服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；
服务器端对提取的MSER区域进行过滤；
服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
服务器端对提取的MSER区域提取多尺度ORB特征；
服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；
服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；
服务器端显示人体定位结果。
优选的是，所述立体图像对校正步骤进一步包括；
利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定,得到双目摄像机的内外参数；
使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进行计算，得出校准参数；
根据校准参数使用cvRemap对输入的左右图像对进行校准。
在上述任一方案中优选的是，所述服务器端对左右图像对进行人体检测步骤进一步包括：
将校准后的图像对进行颜色和空间伽马归一化预处理；
计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图像对的梯度强度和梯度方向值；
将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins，每个单元得到的特征向量的维度为9；
对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间进行投票加权；
统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；
将得到的HOG特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和imageRight进行人体检测。
在上述任一方案中优选的是，所述服务器端对左右图像对人体检测结果交叉验证的步骤进一步包括：
将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功，将SVM分类器阈值下降0.5；
在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等的区域；
使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结果，否则不保留左图像该人体检测结果；
对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。
在上述任一方案中优选的是，服务器端提取MSER区域的步骤进一步包括：
选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。
在上述任一方案中优选的是，服务器端对提取的MSER区域进行过滤步骤进一步包括：
根据所述二值化处理方法得到Nr个MSER区域，记为Rri＝1,...,Nr；
Amax表示MSER区域面积的最大值，取值为8000；
Amin表示MSER区域面积的最小值，取值为100；
(Ri(A))表示第i个MSER区域的面积:
在上述任一方案中优选的是，服务器端对提取MSER特征的区域进行椭圆拟合和归一化步骤进一步包括：
采用协方差矩阵将每一个MSER区域拟合成椭圆；
计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；
将拟合的椭圆区域归一化为圆。
在上述任一方案中优选的是，所述服务器端提取多尺度ORB特征步骤进一步包括：
提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。
在上述任一方案中优选的是，所述服务器端对提取的ORB特征点进行立体匹配步骤进一步包括：
通过Hamming距离对特征点进行立体匹配，使用d(L(x,y),R(x,y))表示左右图像匹配点L(x,y)和R(x,y)的Hamming距离，其中，d<100的匹配点保留。
在上述任一方案中优选的是，所述服务器端对图像进行人体定位步骤进一步包括：
对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值
根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。
在上述任一方案中优选的是，所述硬件设备包括摄像机、监控摄像头、汽车用摄像头中至少一种。
在上述任一方案中优选的是，所述服务器端包括智能机器人研发机构、计算机视觉领域研发机构、智能监控产品研发及销售机构、汽车安全驾驶产品研发及销售机构中至少一种。
一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备，所述方法包括以下步骤：
所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；
硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；
硬件设备发送摄像机内外参数至服务器端。
一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括服务器端，所述方法包括以下步骤：
服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；
服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；
服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；
服务器端对提取的MSER区域进行过滤；
服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
服务器端对提取的MSER区域提取多尺度ORB特征；
服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；
服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；
服务器端显示人体定位结果。
一种基于MSER与ORB相结合的人体匹配与定位系统，所述系统包括硬件设备和服务器端，其特征在于，所述硬件设备包括双目摄像头、Matlab标定工具箱、摄像机内外参数发送模块，所述服务器端包括摄像机内外参数接收模块、图像校正模块、人体检测模块、图像交叉验证模块、MSER特征区域提取模块、MSER特征区域过滤模块、MSER特征区域椭圆拟合和归一化处理模块、多尺度ORB特征提取模块、ORB特征立体匹配模块、人体定位模块以及定位结果显示模块。
优选的是，所述双目摄像头采集左右立体图像对imageLeft和imageRight。
在上述任一方案中优选的是，所述Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定，得到摄像机内外参数。
在上述任一方案中优选的是，所述摄像机内外参数发送模块将摄像机内外参数发送至服务器端。
在上述任一方案中优选的是，所述摄像机内外参数接收模块接收摄像机内外参数发送模块发送的摄像机内外参数。
在上述任一方案中优选的是，所述图像校正模块利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正。
在上述任一方案中优选的是，所述对立体图像对校正进一步包括；
利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定,得到双目摄像机的内外参数；
使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进行计算，得出校准参数；
根据校准参数使用cvRemap对输入的左右图像对进行校准。
在上述任一方案中优选的是，所述人体检测模块利用HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测。
在上述任一方案中优选的是，所述对左右图像对进行人体检测进一步包括：
将校准后的图像对进行颜色和空间伽马归一化预处理；
计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图像对的梯度强度和梯度方向值；
将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins，每个单元得到的特征向量的维度为9；
对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间进行投票加权；
统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；
将得到的HOG特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和imageRight进行人体检测。
在上述任一方案中优选的是，所述图像交叉验证模块对左右图像对imageLeft和imageRight人体检测结果进行交叉验证。
在上述任一方案中优选的是，所述对左右图像对人体检测结果进行交叉验证进一步包括：
将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功，将SVM分类器阈值下降0.5；
在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等的区域；
使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结果，否则不保留左图像该人体检测结果；
对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。
在上述任一方案中优选的是，所述MSER特征区域提取模块在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER特征。
在上述任一方案中优选的是，所述提取MSER区域进一步包括：
选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。
在上述任一方案中优选的是，所述MSER特征区域过滤模块对提取MSER特征的区域进行过滤。
在上述任一方案中优选的是，所述对提取的MSER区域进行过滤进一步包括：
根据所述二值化处理方法得到Nr个MSER区域，记为Rri＝1,...,Nr；
Amax表示MSER区域面积的最大值，取值为8000；
Amin表示MSER区域面积的最小值，取值为100；
(Ri(A))表示第i个MSER区域的面积:
在上述任一方案中优选的是，所述MSER特征区域椭圆拟合和归一化处理模块对提取MSER特征的区域进行椭圆拟合和归一化处理。
在上述任一方案中优选的是，所述对提取MSER特征的区域进行椭圆拟合和归一化进一步包括：
采用协方差矩阵将每一个MSER区域拟合成椭圆；
计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；
将拟合的椭圆区域归一化为圆。
在上述任一方案中优选的是，所述多尺度ORB特征提取模块对提取MSER特征的区域提取多尺度ORB特征。
在上述任一方案中优选的是，所述提取多尺度ORB特征进一步包括：
提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。
在上述任一方案中优选的是，所述ORB特征立体匹配模块利用Hamming距离对提取的ORB特征点进行立体匹配。
在上述任一方案中优选的是，所述对提取的ORB特征点进行立体匹配进一步包括：
通过Hamming距离对特征点进行立体匹配，使用d(L(x,y),R(x,y))表示左右图像匹配点L(x,y)和R(x,y)的Hamming距离，其中，d<100的匹配点保留。
在上述任一方案中优选的是，所述人体定位模块根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位。
在上述任一方案中优选的是，所述对图像进行人体定位步骤进一步包括：
对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值
根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。
在上述任一方案中优选的是，所述定位结果显示模块显示人体定位结果。
在上述任一方案中优选的是，所述硬件设备包括摄像机、监控摄像头、汽车用摄像头中至少一种。
在上述任一方案中优选的是，所述服务器端包括智能机器人研发机构、计算机视觉领域研发机构、智能监控产品研发及销售机构、汽车安全驾驶产品研发及销售机构中至少一种。
按照本发明可行的技术方案，有以下几点有益效果：
本发明基于MSER与ORB相结合的人体匹配与定位方法及系统，利用HOG+SVM行人检测方法分别对双目摄像头采集的左右立体图像对进行人体检测，为了确保左右立体图像对人体检测结果的一致性，进行交叉人体检测交叉验证；在检测出的人体感兴趣区域提取MSER区域，并进行椭圆拟合和归一化；在MSER区域提取多尺度的ORB特征，并进行立体匹配；利用双目视觉定位原理以及摄像机立体标定结果，实现人体的准确定位。
本发明基于MSER与ORB相结合的人体匹配与定位方法及系统提高了人体定位的实时性。本发明是在人体区域提取MSER特征的基础上，提取多尺度ORB特征，克服了传统基于双目视觉人体定位在特征提取阶段是针对整个人体区域进行定位的缺点，大大降低了计算量、提高了实时性。
本发明基于MSER与ORB相结合的人体匹配与定位方法及系统提高了人体定位的准确性。本发明在立体匹配阶段，只是将MSER区域的ORB特征进行匹配，克服了传统基于双目视觉人体定位在立体匹配阶段，是将整个人体区域所有特征点进行立体匹配的缺点，减少了误匹配的机会，提高了人体定位的准确性。
附图说明
图1是本发明基于MSER与ORB相结合的人体匹配与定位方法及系统的方法流程图；
图2是本发明基于MSER与ORB相结合的人体匹配与定位方法及系统的服务器端的方法流程图；
图3是本发明基于MSER与ORB相结合的人体匹配与定位方法及系统的立体匹配的流程图；
图4是本发明基于MSER与ORB相结合的人体匹配与定位方法及系统的人体检测结果示意图；
图5是MSER区域特征与ORB特征相结合的立体匹配结果示意图；
图6是本发明基于MSER与ORB相结合的人体匹配与定位方法及系统的人体定位结果示意图。
具体实施方式
下面结合附图和优选的实施方式对本发明作进一步详细描述。权利要求中构成要件和实施例中具体实例之间的对应关系可以如下例证。这里的描述意图在于确认在实施例中描述了用来支持在权利要求中陈述的主题的具体实例，由于在实施例中描述了实例，不意味着该具体实例不表示构成要件。相反地，即使在此包含了具体实例作为对应一个构成要件的要素特征，也不意味着该具体实例不表示任何其它构成要件。
此外，这里的描述不意味着对应于实施例中陈述的具体实例的所有主题都在权利要求中引用了。换句话说，这里的描述不否认这种实体，即对应实施例包含的具体实例，但不包含在其任何一项权利要求中，即，能够在以后的修正被分案并申请、或增加的可能发明的实体。
实施例1：
如图1所示，一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备和服务器端，所述方法包括以下步骤：
所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；
硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；
硬件设备发送摄像机内外参数至服务器端；
服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；
服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；
服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；所述MSER特征，即最大稳定极值区域(MaximallyStableExtremalRegion)，具体是通过给定的一系列阈值，得到一组通过此阈值分割的二值图像，接着分析前后相邻阈值图像间的连通区域，得出区域面积关于阈值变化的关系，最后选取当区域面积的变化相对于阈值的变化小于某个阈值时所检测出的区域为最大稳定极值区域；
服务器端对提取的MSER区域进行过滤；
服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
服务器端对提取的MSER区域提取多尺度ORB特征；所述ORB特征(OrientedFASTandRotatedBrief)，具体是将改进的o-FAST角点提取算法和rBRIEF特征描述子融合后，提出的一种具有平移、旋转、光照不变性的算子，在速度上较SURF、SIFT都快；
服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；
服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；双目视觉定位原理是模拟人类视觉感知的机理，利用立体匹配得到同一目标点在左右相机采集的图像对中的位置xl和xr，得到视差d＝|xl-xr|，根据三角形相似原理即可得到目标的深度信息，三角形相似原理：
其中Z为物体距离摄像机的距离，T为两个摄像机之间的距离，d为视差，Z为深度信息，即为所求；
服务器端显示人体定位结果。
所述立体图像对校正步骤进一步包括；
硬件设备端利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定,得到双目摄像机的内外参数；具体做法为：将所述双目摄像头采集的14对位姿不同的棋盘格标定图像，记为left01.jpg，left02.jpg，...，left14.jpg和right01.jpg，right02.jpg，...，right14.jpg，用左右图像分别标定左右摄像机得到标定结果Calib_Results_left.mat和Calib_Results_right.mat，对所述标定结果进行摄像机立体标定；
硬件设备端将摄像机内外参数发送至服务器端；
服务器端接收摄像机内外参数；
服务器端通过使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进行计算，得出校准参数；
服务器端根据校准参数使用cvRemap对输入的左右图像对进行校准。
如图4所示：所述服务器端对左右图像对进行人体检测步骤进一步包括：
将校准后的图像对进行颜色和空间伽马归一化预处理；
计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图像对的梯度强度和梯度方向值；
将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins，每个单元得到的特征向量的维度为9；
对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间进行投票加权；
统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；
将得到的HOG特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和imageRight进行人体检测。
所述服务器端对左右图像对人体检测结果交叉验证的步骤进一步包括：
将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功，将SVM分类器阈值下降0.5；
在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等的区域；
使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结果，否则不保留左图像该人体检测结果；
对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。
如图3所示：服务器端提取MSER区域的步骤进一步包括：
选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。
服务器端对提取的MSER区域进行过滤步骤进一步包括：
根据所述二值化处理方法得到Nr个MSER区域，记为Rri＝1,...,Nr；
Amax表示MSER区域面积的最大值，取值为8000；
Amin表示MSER区域面积的最小值，取值为100；
(Ri(A))表示第i个MSER区域的面积:
服务器端对提取MSER特征的区域进行椭圆拟合和归一化步骤进一步包括：
采用协方差矩阵将每一个MSER区域拟合成椭圆；
计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；
将拟合的椭圆区域归一化为圆。
所述服务器端提取多尺度ORB特征步骤进一步包括：
提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。
如图5所示：所述服务器端对提取的ORB特征点进行立体匹配步骤进一步包括：
利用Hamming距离对特征点进行立体匹配，用d(L(x,y),R(x,y))表示左右图像匹配点L(x,y)和R(x,y)的Hamming距离，当距离d＜100时，默认两个点匹配成功，否则匹配失败。
如图6所示：所述服务器端对图像进行人体定位步骤进一步包括：
对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值
根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。
按照上述步骤和图1、图3进行实现，其中双目摄像机采集的图像大小是640*480，摄像机的内外参数为：
左摄像机的内参数矩阵
右摄像机的内参数矩阵
两个摄像机的平移向量为T＝[71.13939-3.606166.15788]
当人站在距离摄像头小于10m的范围内时，摄像头的定位精度约为±0.2m，每帧图像处理时间为15ms。
本实施例中所述硬件设备为摄像机，服务器端为服务器端为智能机器人研发机构。
实施例2：
一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备，所述方法包括以下步骤：
所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；
硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；
硬件设备发送摄像机内外参数至服务器端。
本实施例中所述硬件设备为监控摄像头，服务器端为服务器端为智能监控产品研发及销售机构。
实施例3
如图2所示，一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括服务器端，所述方法包括以下步骤：
服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；
服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；
服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；
服务器端对提取的MSER区域进行过滤；
服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
服务器端对提取的MSER区域提取多尺度ORB特征；
服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；
服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；
服务器端显示人体定位结果。
本实施例中所述硬件设备为汽车用摄像头，服务器端为服务器端为汽车安全驾驶产品研发及销售机构。
实施例4：
一种基于MSER与ORB相结合的人体匹配与定位系统，所述系统包括硬件设备和服务器端，所述硬件设备包括双目摄像头、Matlab标定工具箱、摄像机内外参数发送模块，所述服务器端包括摄像机内外参数接收模块、图像校正模块、人体检测模块、图像交叉验证模块、MSER特征区域提取模块、MSER特征区域过滤模块、MSER特征区域椭圆拟合和归一化处理模块、多尺度ORB特征提取模块、ORB特征立体匹配模块、人体定位模块以及定位结果显示模块。所述双目摄像头采集左右立体图像对imageLeft和imageRight。所述Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定，得到摄像机内外参数。所述摄像机内外参数发送模块将摄像机内外参数发送至服务器端。所述摄像机内外参数接收模块接收摄像机内外参数发送模块发送的摄像机内外参数。所述图像校正模块利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正。所述对立体图像对校正进一步包括；利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定,得到双目摄像机的内外参数；使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进行计算，得出校准参数；根据校准参数使用cvRemap对输入的左右图像对进行校准。所述人体检测模块利用HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测。所述对左右图像对进行人体检测进一步包括：将校准后的图像对进行颜色和空间伽马归一化预处理；计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图像对的梯度强度和梯度方向值；将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins，每个单元得到的特征向量的维度为9；对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间进行投票加权；统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；将得到的HOG特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和imageRight进行人体检测。所述图像交叉验证模块对左右图像对imageLeft和imageRight人体检测结果进行交叉验证。所述对左右图像对人体检测结果进行交叉验证进一步包括：将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功，将SVM分类器阈值下降0.5；在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等的区域；使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结果，否则不保留左图像该人体检测结果；对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。所述MSER特征区域提取模块在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER特征。所述提取MSER区域进一步包括：选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。所述MSER特征区域过滤模块对提取MSER特征的区域进行过滤。所述对提取的MSER区域进行过滤进一步包括：根据所述二值化处理方法得到Nr个MSER区域，记为Rri＝1,...,Nr；Amax表示MSER区域面积的最大值，取值为8000；Amin表示MSER区域面积的最小值，取值为100；(Ri(A))表示第i个MSER区域的面积:所述MSER特征区域椭圆拟合和归一化处理模块对提取MSER特征的区域进行椭圆拟合和归一化处理。
所述对提取MSER特征的区域进行椭圆拟合和归一化进一步包括：采用协方差矩阵将每一个MSER区域拟合成椭圆；计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；将拟合的椭圆区域归一化为圆。所述多尺度ORB特征提取模块对提取MSER特征的区域提取多尺度ORB特征。所述提取多尺度ORB特征进一步包括：提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。所述ORB特征立体匹配模块利用Hamming距离对提取的ORB特征点进行立体匹配。所述对提取的ORB特征点进行立体匹配进一步包括：通过Hamming距离对特征点进行立体匹配，使用d(L(x,y),R(x,y))表示左右图像匹配点L(x,y)和R(x,y)的Hamming距离，其中，d<100的匹配点保留。所述人体定位模块根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位。所述对图像进行人体定位步骤进一步包括：对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。所述定位结果显示模块显示人体定位结果。所述硬件设备为摄像机。所述服务器端为智能机器人研发机构。
实施例5：
一种基于MSER与ORB相结合的人体匹配与定位系统，所述系统包括硬件设备和服务器端，所述硬件设备包括双目摄像头、Matlab标定工具箱、摄像机内外参数发送模块，所述服务器端包括摄像机内外参数接收模块、图像校正模块、人体检测模块、图像交叉验证模块、MSER特征区域提取模块、MSER特征区域过滤模块、MSER特征区域椭圆拟合和归一化处理模块、多尺度ORB特征提取模块、ORB特征立体匹配模块、人体定位模块以及定位结果显示模块。所述双目摄像头采集左右立体图像对imageLeft和imageRight。所述Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定，得到摄像机内外参数。所述摄像机内外参数发送模块将摄像机内外参数发送至服务器端。所述摄像机内外参数接收模块接收摄像机内外参数发送模块发送的摄像机内外参数。所述图像校正模块利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正。所述对立体图像对校正进一步包括；利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定,得到双目摄像机的内外参数；使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进行计算，得出校准参数；根据校准参数使用cvRemap对输入的左右图像对进行校准。所述人体检测模块利用HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测。所述对左右图像对进行人体检测进一步包括：将校准后的图像对进行颜色和空间伽马归一化预处理；计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图像对的梯度强度和梯度方向值；将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins，每个单元得到的特征向量的维度为9；对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间进行投票加权；统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；将得到的HOG特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和imageRight进行人体检测。所述图像交叉验证模块对左右图像对imageLeft和imageRight人体检测结果进行交叉验证。所述对左右图像对人体检测结果进行交叉验证进一步包括：将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功，将SVM分类器阈值下降0.5；在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等的区域；使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结果，否则不保留左图像该人体检测结果；对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。所述MSER特征区域提取模块在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER特征。所述提取MSER区域进一步包括：选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。所述MSER特征区域过滤模块对提取MSER特征的区域进行过滤。所述对提取的MSER区域进行过滤进一步包括：根据所述二值化处理方法得到Nr个MSER区域，记为Rri＝1,...,Nr；Amax表示MSER区域面积的最大值，取值为8000；Amin表示MSER区域面积的最小值，取值为100；(Ri(A))表示第i个MSER区域的面积:所述MSER特征区域椭圆拟合和归一化处理模块对提取MSER特征的区域进行椭圆拟合和归一化处理。
所述对提取MSER特征的区域进行椭圆拟合和归一化进一步包括：采用协方差矩阵将每一个MSER区域拟合成椭圆；计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；将拟合的椭圆区域归一化为圆。所述多尺度ORB特征提取模块对提取MSER特征的区域提取多尺度ORB特征。所述提取多尺度ORB特征进一步包括：提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。所述ORB特征立体匹配模块利用Hamming距离对提取的ORB特征点进行立体匹配。所述对提取的ORB特征点进行立体匹配进一步包括：通过Hamming距离对特征点进行立体匹配，使用d(L(x,y),R(x,y))表示左右图像匹配点L(x,y)和R(x,y)的Hamming距离，其中，d<100的匹配点保留。所述人体定位模块根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位。所述对图像进行人体定位步骤进一步包括：对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。所述定位结果显示模块显示人体定位结果。所述硬件设备为监控摄像头。所述服务器端为智能监控产品研发及销售机构。
实施例6：
一种基于MSER与ORB相结合的人体匹配与定位系统，所述系统包括硬件设备和服务器端，所述硬件设备包括双目摄像头、Matlab标定工具箱、摄像机内外参数发送模块，所述服务器端包括摄像机内外参数接收模块、图像校正模块、人体检测模块、图像交叉验证模块、MSER特征区域提取模块、MSER特征区域过滤模块、MSER特征区域椭圆拟合和归一化处理模块、多尺度ORB特征提取模块、ORB特征立体匹配模块、人体定位模块以及定位结果显示模块。所述双目摄像头采集左右立体图像对imageLeft和imageRight。所述Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定，得到摄像机内外参数。所述摄像机内外参数发送模块将摄像机内外参数发送至服务器端。所述摄像机内外参数接收模块接收摄像机内外参数发送模块发送的摄像机内外参数。所述图像校正模块利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正。所述对立体图像对校正进一步包括；利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标定,得到双目摄像机的内外参数；使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进行计算，得出校准参数；根据校准参数使用cvRemap对输入的左右图像对进行校准。所述人体检测模块利用HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测。所述对左右图像对进行人体检测进一步包括：将校准后的图像对进行颜色和空间伽马归一化预处理；计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图像对的梯度强度和梯度方向值；将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins，每个单元得到的特征向量的维度为9；对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间进行投票加权；统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征；将得到的HOG特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和imageRight进行人体检测。所述图像交叉验证模块对左右图像对imageLeft和imageRight人体检测结果进行交叉验证。所述对左右图像对人体检测结果进行交叉验证进一步包括：将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功，将SVM分类器阈值下降0.5；在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等的区域；使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结果，否则不保留左图像该人体检测结果；对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。所述MSER特征区域提取模块在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER特征。所述提取MSER区域进一步包括：选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。所述MSER特征区域过滤模块对提取MSER特征的区域进行过滤。所述对提取的MSER区域进行过滤进一步包括：根据所述二值化处理方法得到Nr个MSER区域，记为Rri＝1,...,Nr；Amax表示MSER区域面积的最大值，取值为8000；Amin表示MSER区域面积的最小值，取值为100；(Ri(A))表示第i个MSER区域的面积:所述MSER特征区域椭圆拟合和归一化处理模块对提取MSER特征的区域进行椭圆拟合和归一化处理。
所述对提取MSER特征的区域进行椭圆拟合和归一化进一步包括：采用协方差矩阵将每一个MSER区域拟合成椭圆；计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；将拟合的椭圆区域归一化为圆。所述多尺度ORB特征提取模块对提取MSER特征的区域提取多尺度ORB特征。所述提取多尺度ORB特征进一步包括：提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。所述ORB特征立体匹配模块利用Hamming距离对提取的ORB特征点进行立体匹配。所述对提取的ORB特征点进行立体匹配进一步包括：通过Hamming距离对特征点进行立体匹配，使用d(L(x,y),R(x,y))表示左右图像匹配点L(x,y)和R(x,y)的Hamming距离，其中，d<100的匹配点保留。所述人体定位模块根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位。所述对图像进行人体定位步骤进一步包括：对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。所述定位结果显示模块显示人体定位结果。所述硬件设备为汽车用摄像头。所述服务器端为汽车安全驾驶产品研发及销售机构。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。
Claims (10)
1.一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备和服务器端，所述方法包括以下步骤：
所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；
硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；
硬件设备发送摄像机内外参数至服务器端；
服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；
服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；
服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；
服务器端对提取的MSER区域进行过滤；
服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
服务器端对提取的MSER区域提取多尺度ORB特征；
服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；
服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；
服务器端显示人体定位结果。
2.根据权利要求1所述的基于MSER与ORB相结合的人体匹配与定位方法，其特征在于，服务器端提取MSER区域的步骤进一步包括：
选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N个连通域，记为Q1,Q2,...,Qi,...,QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ＝5时，对应的Qi变为当Qi即为MSER区域。
3.根据权利要求1所述的基于MSER与ORB相结合的人体匹配与定位方法，其特征在于，服务器端对提取MSER特征的区域进行椭圆拟合和归一化步骤进一步包括：
采用协方差矩阵将每一个MSER区域拟合成椭圆；
计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵来确定要拟合成的椭圆；
将拟合的椭圆区域归一化为圆。
4.根据权利要求1所述的基于MSER与ORB相结合的人体匹配与定位方法，其特征在于，所述服务器端提取多尺度ORB特征步骤进一步包括：
提取MSER区域的多尺度ORB特征，其中以MSER椭圆区域的最长轴为基准，记为R，以椭圆区域的中心(x,y)为关键点位置，以椭圆区域的主方向σ为关键点的角度，服务器端提取以(x,y)为中心，半径为κ*R区域内的ORB特征，其中，κ的取值为0.5,1.0,1.5,2.0。
5.根据权利要求1所述的基于MSER与ORB相结合的人体匹配与定位方法，其特征在于，所述服务器端对图像进行人体定位步骤进一步包括：
对立体匹配得到的匹配点对N求视差，所述N的视差di,i＝1,...,N，并求视差d的均值
根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头的距离其中，f为摄像机的焦距，T为两个摄像机之间的距离。
6.根据权利要求1所述的基于MSER与ORB相结合的人体匹配与定位方法，其特征在于，所述硬件设备包括摄像机、监控摄像头、汽车用摄像头中至少一种。
7.根据权利要求1所述基于MSER与ORB相结合的人体匹配与定位方法，其特征在于，所述服务器端包括智能机器人研发机构、计算机视觉领域研发机构、智能监控产品研发及销售机构、汽车安全驾驶产品研发及销售机构中至少一种。
8.一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备，所述方法包括以下步骤：
所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；
硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；
硬件设备发送摄像机内外参数至服务器端。
9.一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括服务器端，所述方法包括以下步骤：
服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；
服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；
服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；
服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；
服务器端对提取的MSER区域进行过滤；
服务器端对提取的MSER区域进行椭圆拟合和归一化处理；
服务器端对提取的MSER区域提取多尺度ORB特征；
服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；
服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；
服务器端显示人体定位结果。
10.一种基于MSER与ORB相结合的人体匹配与定位系统，所述系统包括硬件设备和服务器端，其特征在于，所述硬件设备包括双目摄像头、Matlab标定工具箱、摄像机内外参数发送模块，所述服务器端包括摄像机内外参数接收模块、图像校正模块、人体检测模块、图像交叉验证模块、MSER特征区域提取模块、MSER特征区域过滤模块、MSER特征区域椭圆拟合和归一化处理模块、多尺度ORB特征提取模块、ORB特征立体匹配模块、人体定位模块以及定位结果显示模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510882744.5A CN105354856A (zh) | 2015-12-04 | 2015-12-04 | 一种基于mser与orb相结合的人体匹配与定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510882744.5A CN105354856A (zh) | 2015-12-04 | 2015-12-04 | 一种基于mser与orb相结合的人体匹配与定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105354856A true CN105354856A (zh) | 2016-02-24 |
Family
ID=55330823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510882744.5A Pending CN105354856A (zh) | 2015-12-04 | 2015-12-04 | 一种基于mser与orb相结合的人体匹配与定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105354856A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869166A (zh) * | 2016-03-29 | 2016-08-17 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及系统 |
| CN106600652A (zh) * | 2016-12-30 | 2017-04-26 | 南京工业大学 | 一种基于人工神经网络的全景摄像头定位方法 |
| CN107784263A (zh) * | 2017-04-28 | 2018-03-09 | 新疆大学 | 基于改进加速鲁棒特征的平面旋转人脸检测的方法 |
| CN107993233A (zh) * | 2016-10-26 | 2018-05-04 | 中国科学院深圳先进技术研究院 | 一种坑区域的定位方法及装置 |
| CN108288061A (zh) * | 2018-03-02 | 2018-07-17 | 哈尔滨理工大学 | 一种基于mser快速在自然场景中定位倾斜文本的方法 |
| CN108460779A (zh) * | 2018-02-12 | 2018-08-28 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| CN108549836A (zh) * | 2018-03-09 | 2018-09-18 | 通号通信信息集团有限公司 | 照片的翻拍检测方法、装置、设备及可读存储介质 |
| CN109472827A (zh) * | 2018-10-26 | 2019-03-15 | 珠海格力电器股份有限公司 | 一种相机位姿的估计方法、装置、存储介质及机器人 |
| CN115115861A (zh) * | 2022-08-31 | 2022-09-27 | 中国民航大学 | 一种应用于旋转双目立体视觉系统的图像校正方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| CN102968794A (zh) * | 2012-11-22 | 2013-03-13 | 上海交通大学 | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 |
| US20140023271A1 (en) * | 2012-07-19 | 2014-01-23 | Qualcomm Incorporated | Identifying A Maximally Stable Extremal Region (MSER) In An Image By Skipping Comparison Of Pixels In The Region |
-
2015
- 2015-12-04 CN CN201510882744.5A patent/CN105354856A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866497A (zh) * | 2010-06-18 | 2010-10-20 | 北京交通大学 | 基于双目立体视觉的智能三维人脸重建方法及系统 |
| US20140023271A1 (en) * | 2012-07-19 | 2014-01-23 | Qualcomm Incorporated | Identifying A Maximally Stable Extremal Region (MSER) In An Image By Skipping Comparison Of Pixels In The Region |
| CN102968794A (zh) * | 2012-11-22 | 2013-03-13 | 上海交通大学 | 小型二维靶大视场双目立体视觉系统结构参数在位标定法 |
Non-Patent Citations (9)
| Title |
|---|
| 《传感技术学报》 * |
| 《北京联合大学学报》 * |
| 《厦门大学学报（自然科学版）》 * |
| 《电视技术》 * |
| 《西南师范大学学报（自然科学版）》 * |
| 《计算机与现代化》 * |
| YI CAO 等: "Adaptive and Robust Feature Selection for Low BItrate Mobile Augmented Reality Applications", 《SIGNAL PROCESSING AND COMMUNICATION SYSTEMS(ICSPCS),2014 8TH INTERNATIONAL CONFERENCE》 * |
| 林景亮 等: "基于双目视觉的三维人脸重建方法", 《计算机应用研究》 * |
| 赵霞 等: "一种基于区域和关键点特征相结合的双目视觉人体检测与定位方法", 《北京联合大学学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869166A (zh) * | 2016-03-29 | 2016-08-17 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及系统 |
| CN105869166B (zh) * | 2016-03-29 | 2018-07-10 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及系统 |
| CN107993233B (zh) * | 2016-10-26 | 2022-02-22 | 中国科学院深圳先进技术研究院 | 一种坑区域的定位方法及装置 |
| CN107993233A (zh) * | 2016-10-26 | 2018-05-04 | 中国科学院深圳先进技术研究院 | 一种坑区域的定位方法及装置 |
| CN106600652A (zh) * | 2016-12-30 | 2017-04-26 | 南京工业大学 | 一种基于人工神经网络的全景摄像头定位方法 |
| CN107784263B (zh) * | 2017-04-28 | 2021-03-30 | 新疆大学 | 基于改进加速鲁棒特征的平面旋转人脸检测的方法 |
| CN107784263A (zh) * | 2017-04-28 | 2018-03-09 | 新疆大学 | 基于改进加速鲁棒特征的平面旋转人脸检测的方法 |
| CN108460779A (zh) * | 2018-02-12 | 2018-08-28 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| CN108460779B (zh) * | 2018-02-12 | 2021-09-24 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| CN108288061A (zh) * | 2018-03-02 | 2018-07-17 | 哈尔滨理工大学 | 一种基于mser快速在自然场景中定位倾斜文本的方法 |
| CN108549836A (zh) * | 2018-03-09 | 2018-09-18 | 通号通信信息集团有限公司 | 照片的翻拍检测方法、装置、设备及可读存储介质 |
| CN109472827A (zh) * | 2018-10-26 | 2019-03-15 | 珠海格力电器股份有限公司 | 一种相机位姿的估计方法、装置、存储介质及机器人 |
| CN115115861A (zh) * | 2022-08-31 | 2022-09-27 | 中国民航大学 | 一种应用于旋转双目立体视觉系统的图像校正方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105354856A (zh) | 一种基于mser与orb相结合的人体匹配与定位方法及系统 | |
| CN102360421B (zh) | 一种基于视频流的人脸识别方法及系统 | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN101551852B (zh) | 训练系统、训练方法和检测方法 | |
| CN103248906B (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
| CN104143098B (zh) | 基于远红外线摄像头的夜间行人识别方法 | |
| CN105205458A (zh) | 人脸活体检测方法、装置及系统 | |
| CN102930334B (zh) | 视频人体轮廓识别计数器 | |
| CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| CN105740775A (zh) | 一种三维人脸活体识别方法及其装置 | |
| CN105913013A (zh) | 双目视觉人脸识别算法 | |
| CN104268853A (zh) | 一种红外图像与可见光图像配准方法 | |
| CN106503605A (zh) | 基于立体视觉技术的人体目标识别方法 | |
| CN104915656A (zh) | 一种基于双目视觉测量技术的快速人脸识别方法 | |
| CN105022999A (zh) | 一种人码伴随实时采集系统 | |
| CN104517095A (zh) | 一种基于深度图像的人头分割方法 | |
| CN102629320A (zh) | 基于特征层定序测量统计描述的人脸识别方法 | |
| CN111325107B (zh) | 检测模型训练方法、装置、电子设备和可读存储介质 | |
| CN104318588A (zh) | 一种基于位置感知判别外观模型的多摄像机目标跟踪方法 | |
| CN111832461A (zh) | 一种基于视频流的非机动车骑行人员头盔佩戴检测方法 | |
| CN104881956A (zh) | 一种疲劳驾驶预警系统 | |
| CN105844227A (zh) | 面向校车安全的司机身份认证方法 | |
| CN106682678A (zh) | 一种基于支撑域的图像角点检测和分类方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN113673584A (zh) | 一种图像检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160224 |
|
| RJ01 | Rejection of invention patent application after publication |