CN108510540B - 立体视觉摄像机及其高度获取方法 - Google Patents

立体视觉摄像机及其高度获取方法 Download PDF

Info

Publication number
CN108510540B
CN108510540B CN201710100940.1A CN201710100940A CN108510540B CN 108510540 B CN108510540 B CN 108510540B CN 201710100940 A CN201710100940 A CN 201710100940A CN 108510540 B CN108510540 B CN 108510540B
Authority
CN
China
Prior art keywords
distance
determining
vision camera
reference plane
stereoscopic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710100940.1A
Other languages
English (en)
Other versions
CN108510540A (zh
Inventor
张迪
龚晖
任烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710100940.1A priority Critical patent/CN108510540B/zh
Priority to EP18756576.7A priority patent/EP3588004B1/en
Priority to PCT/CN2018/076571 priority patent/WO2018153313A1/zh
Publication of CN108510540A publication Critical patent/CN108510540A/zh
Priority to US16/548,721 priority patent/US11024052B2/en
Application granted granted Critical
Publication of CN108510540B publication Critical patent/CN108510540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明是关于一种立体视觉摄像机及其高度获取方法,属于电子技术应用领域。所述方法包括:获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;拍摄所述立体视觉摄像机所在场景的地面图像;确定所述地面图像上各像素点的深度信息;根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。本发明解决了通过设置外部参照结构来确定高度,操作过程复杂,高度确定的成本较高的问题。本发明用于立体视觉摄像机的高度确定。

Description

立体视觉摄像机及其高度获取方法
技术领域
本发明涉及电子技术应用领域,特别涉及立体视觉摄像机及其高度获取方法。
背景技术
立体视觉摄像机是一种用于重构场景的三维几何信息的摄像机。包含但不仅限于双目立体视觉摄像机,飞行时间(英文:Time ofFlight;简称:TOF)立体视觉摄像机等可获得立体三维信息的立体视觉摄像机。
目前的立体视觉摄像机,在对图像进行捕获和分析之前需要预先设置相机参数,相机参数包括内部参数(简称内参)和外部参数(简称外参)。其中外部参数包括:俯仰角、倾斜角和高度。现有的立体视觉摄像机的高度确定方法中,均需要设置外部参照结构,例如,可以设置一块标定板与世界坐标系保持重合,获取标定板上特征点坐标,并需要移动标定板,在标定板的不同位置进行圆心三维点采样,通过计算变换矩阵来确定立体视觉摄像机的高度。
但是,通过设置外部参照结构来确定高度,操作过程复杂,高度确定的成本较高。
发明内容
为了解决通过设置外部参照结构来确定高度,操作过程复杂,高度确定的成本较高的问题,本发明实施例提供了一种立体视觉摄像机及其高度获取方法。所述技术方案如下:
根据本发明实施例的第一方面,提供一种立体视觉摄像机的高度获取方法,应用于所述立体视觉摄像机,包括:
获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;
拍摄所述立体视觉摄像机所在场景的地面图像;
确定所述地面图像上各像素点的深度信息;
根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;
根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。
可选的,所述根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度,包括:
根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,所述参考平面与世界坐标系的地平面平行,且所述立体视觉摄像机的镜头的中心点位于所述参考平面中;
根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合;
根据所述距离集合中的距离,确定所述立体视觉摄像机的高度。
可选的,所述根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,包括:
根据所述俯仰角θ和所述倾斜角确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,所述角度转换公式为:
Figure BDA0001231714050000021
其中,[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下所述任一点对应的点,所述世界参考坐标系的原点与摄像机坐标系的原点重合,坐标轴与世界坐标系的坐标轴对应平行。
可选的,所述根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合,包括:
根据所述三维点集合和所述参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与所述参考平面的距离Hi,所述距离集合包括所述Hi,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第一距离计算公式为:
Figure BDA0001231714050000023
其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
可选的,所述根据所述距离集合中的距离,确定所述立体视觉摄像机的高度,包括:
将所述距离集合中的距离整合得到目标距离集合,所述目标距离集合中的各个距离不同,且每个距离对应一个次数值,所述次数值指示对应的距离在所述距离集合中出现的次数;
将所述目标距离集合中对应次数值最大的距离确定为所述立体视觉摄像机的高度。
可选的,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数,
所述根据所述距离集合中的距离,确定所述立体视觉摄像机的高度,包括:
以预设宽度为组距,将所述距离集合统计形成距离直方图,所述距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示所述距离集合中落入所述距离范围的距离个数;
将所述距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
以预设步长遍历所述高度预选值H的附近高度值,得到预选平面集合,所述预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,所述附近高度值h满足:h∈(H-σ,H+σ),所述σ为预设值,所述σ大于等于所述预设步长,且小于所述预设宽度;
根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离;
对于每个所述参考平面,将与所述参考平面的距离大于预设支撑阈值的三维点确定为所述参考平面的支撑点;
将所述预选平面集合中支撑点最多的预选平面确定为目标平面;
将所述目标平面的所有支撑点与所述参考平面的距离的平均值确定为所述立体视觉摄像机的高度。
可选的,所述根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离,包括:
根据所述三维点集合和所述预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第二距离计算公式为:
Figure BDA0001231714050000041
所述第一预选平面为所述预选平面集合中的任一个预选平面。
可选的,所述地面图像为所述立体视觉摄像机拍摄得到的多张连续的地面图像,
所述确定所述地面图像上各像素点的深度信息,包括:
对所述多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;
对时域中值滤波后的所述地面图像进行空域中值滤波得到空域中值滤波后的地面图像;
确定所述空域中值滤波后的地面图像上各个像素点的深度信息。
可选的,所述获取所述立体视觉摄像机的角度信息,包括:
通过设置在所述立体视觉摄像机内的角度传感器获取所述立体视觉摄像机的角度信息。
第二方面,提供一种立体视觉摄像机,包括:
获取模块,用于获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;
拍摄模块,用于拍摄所述立体视觉摄像机所在场景的地面图像;
第一确定模块,用于确定所述地面图像上各像素点的深度信息;
建立模块,用于根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;
第二确定模块,用于根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。
可选的,所述第二确定模块,包括:
第一确定子模块,用于根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,所述参考平面与世界坐标系的地平面平行,且所述立体视觉摄像机的镜头的中心点位于所述参考平面中;
计算子模块,用于根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合;
第二确定子模块,用于根据所述距离集合中的距离,确定所述立体视觉摄像机的高度。
可选的,所述第一确定子模块,具体用于:
根据所述俯仰角θ和所述倾斜角
Figure BDA0001231714050000053
确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,所述角度转换公式为:
[y]=[T-1][x];
其中,
Figure BDA0001231714050000051
[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下所述任一点对应的点,所述世界参考坐标系的原点与摄像机坐标系的原点重合,坐标轴与世界坐标系的坐标轴对应平行。
可选的,所述计算子模块,具体用于:
根据所述三维点集合和所述参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与所述参考平面的距离Hi,所述距离集合包括所述Hi,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第一距离计算公式为:
Figure BDA0001231714050000052
其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
可选的,所述第二确定子模块,具体用于:
将所述距离集合中的距离整合得到目标距离集合,所述目标距离集合中的各个距离不同,且每个距离对应一个次数值,所述次数值指示对应的距离在所述距离集合中出现的次数;
将所述目标距离集合中对应次数值最大的距离确定为所述立体视觉摄像机的高度。
可选的,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数,
所述第二确定子模块,包括:
直方图建立子模块,用于以预设宽度为组距,将所述距离集合统计形成距离直方图,所述距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示所述距离集合中落入所述距离范围的距离个数;
预选值确定子模块,用于将所述距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
集合确定子模块,用于以预设步长遍历所述高度预选值H的附近高度值,得到预选平面集合,所述预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,所述附近高度值h满足:h∈(H-σ,H+σ),所述σ为预设值,所述σ大于等于所述预设步长,且小于所述预设宽度;
距离计算子模块,用于根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离;
支撑点确定子模块,用于对于每个所述参考平面,将与所述参考平面的距离大于预设支撑阈值的三维点确定为所述参考平面的支撑点;
目标平面确定子模块,用于将所述预选平面集合中支撑点最多的预选平面确定为目标平面;
高度确定子模块,用于将所述目标平面的所有支撑点与所述参考平面的距离的平均值确定为所述立体视觉摄像机的高度。
可选的,所述距离计算子模块,具体用于:
根据所述三维点集合和所述预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第二距离计算公式为:
Figure BDA0001231714050000061
所述第一预选平面为所述预选平面集合中的任一个预选平面。
可选的,所述地面图像为所述立体视觉摄像机拍摄得到的多张连续的地面图像,
所述第一确定模块,具体用于:
对所述多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;
对时域中值滤波后的所述地面图像进行空域中值滤波得到空域中值滤波后的地面图像;
确定所述空域中值滤波后的地面图像上各个像素点的深度信息。
可选的,所述获取模块,具体用于:
通过设置在所述立体视觉摄像机内的角度传感器获取所述立体视觉摄像机的角度信息。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明实施例提供的立体视觉摄像机及其高度获取方法,通过拍摄所述立体视觉摄像机所在场景的地面图像,并基于该地面图像确定记录有地面图像上各像素点对应的三维点的坐标信息的三维点集合,根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。无需设置外部参照结构,由立体视觉摄像机自动进行高度确定,减少操作复杂度,降低确定高度的成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚地说明本发明的实施例,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明部分实施例中提供的立体视觉摄像机的高度获取方法所涉及的实施场景的示意图。
图2是本发明实施例提供的一种立体视觉摄像机的高度获取方法的流程图。
图3-1是本发明实施例提供的另一种立体视觉摄像机的高度获取方法的流程图。
图3-2是本发明实施例提供的立体视觉摄像机拍摄的场景图像的示意图。
图3-3是本发明实施例提供的一种根据角度信息和三维点集合,确定立体视觉摄像机的高度的方法流程图。
图3-4是本发明实施例涉及的世界坐标系与摄像机坐标系的关系示意图。
图3-5是本发明实施例提供的一种直方图的示意图。
图4是本发明实施例提供的一种立体视觉摄像机的结构框图。
图5是本发明实施例提供的另一种立体视觉摄像机的结构框图。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参见图1,其示出了本发明部分实施例中提供的立体视觉摄像机的高度获取方法所涉及的实施场景的示意图。在该实施场景中,立体视觉摄像机110设置在室内或室外。
立体视觉摄像机对图像进行捕获和分析之前需要预先设置相机参数,相机参数包括内部参数(简称内参)和外部参数(简称外参)。其中,外部参数包括:俯仰角、倾斜角和高度。立体视觉摄像机外参标定是实现立体视觉摄像机三维测量的前提与基础,是保证立体视觉摄像机的图像处理结果精度的重要环节之一,使用错误的相机外参会使立体视觉摄像机的视觉分析受到影响,如图1,立体视觉摄像机的高度即为其在世界坐标系中的高度Ht,通常可以视为立体视觉摄像机的镜头的中心点与世界坐标系的地平面W的距离,其中,该中心点为立体视觉摄像机的摄像机坐标系的原点。
在本发明实施例中,通过立体视觉摄像机拍摄立体视觉摄像机所在场景的地面图像,基于该地面图像和预先获取的角度信息来确定体视觉立体视觉摄像机的高度。如图2所示,本发明实施例提供一种立体视觉摄像机的高度获取方法,应用于如图1的立体视觉摄像机,该方法包括:
步骤201、获取立体视觉摄像机的角度信息,角度信息包括:俯仰角和倾斜角。
步骤202、拍摄立体视觉摄像机所在场景的地面图像。
步骤203、确定地面图像上各像素点的深度信息。
步骤204、根据地面图像上各像素点的深度信息建立三维点集合,三维点集合记录有地面图像上各像素点对应的三维点的坐标信息。
步骤205、根据角度信息和三维点集合,确定立体视觉摄像机的高度。
综上所述,本发明实施例提供的立体视觉摄像机的高度获取方法,通过拍摄立体视觉摄像机所在场景的地面图像,并基于该地面图像确定记录有地面图像上各像素点对应的三维点的坐标信息的三维点集合,根据角度信息和三维点集合,确定立体视觉摄像机的高度。无需设置外部参照结构,由立体视觉摄像机自动进行高度确定,减少操作复杂度,降低确定高度的成本。
如图3-1所示,本发明实施例提供另一种立体视觉摄像机的高度获取方法,应用于如图1的立体视觉摄像机,该获取方法能够确定立体视觉摄像机在世界坐标系中的高度。该立体视觉摄像机可以是双目立体视觉摄像机,TOF立体视觉摄像机等可获得立体三维信息的立体视觉摄像机,该方法包括:
步骤301、立体视觉摄像机通过设置在立体视觉摄像机内的角度传感器获取立体视觉摄像机的角度信息。
本发明实施例中,角度信息包括:俯仰角和倾斜角。可以在立体视觉摄像机内设置角度传感器,以测量立体视觉摄像机的角度信息,角度传感器获取的俯仰角和倾斜角的精度通常较高,该角度传感器可以是角度传感器芯片,高集成度的芯片可以减少在立体视觉摄像机所占用的空间。
步骤302、立体视觉摄像机通过镜头拍摄立体视觉摄像机所在场景的地面图像。
在本发明实施例中,立体视觉摄像机可以保持当前的放置状态,自动拍摄立体视觉摄像机所在场景的场景图像,该场景图像中包含地面图像,该场景图像可以是一张图像,或者多张连续图像,或者视频中的多帧图像。立体视觉摄像机可以将该地面图像从该场景图像中分离出来后进行后续处理,也可以直接在该场景图像中对其中的地面图像进行后续处理。
步骤303、立体视觉摄像机确定地面图像上各像素点的深度信息。
图像的深度是指存储图像中每个像素所用的位数,可以用于量度图像的色彩分辨率,深度信息也即是用于描绘图像深度的信息。
立体视觉摄像机获取的地面图像(如双目立体视觉摄像机所得的视差图,TOF立体视觉摄像机所得的深度图)往往包含一定噪声,为了保证深度信息的准确性,可以对获取的地面图像进行预处理。
示例的,在步骤302中,立体视觉摄像机可以获取多张地面图像,通常可以在预设时长内进行连续拍摄以得到多张场景图像,进而得到多张地面图像(每张地面图像为场景图像,或者每张地面图像为对应场景图像中地面区域所对应的图像),实际应用中,也可以拍摄视频,将视频中的连续多帧图像作为上述场景图像,以得到多张地面图像。然后,对多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;对时域中值滤波后的地面图像进行空域中值滤波得到空域中值滤波后的地面图像;确定空域中值滤波后的地面图像上各个像素点的深度信息。
其中,在本发明实施例中,对多张地面图像进行时域中值滤波指的是依次对多张地面图像的同一像素点的图像信息进行时域中值滤波,直至所有地面图像中所有像素点的图像信息均完成时域中值滤波。
时域中值滤波可以滤除由于某张的图像视差计算错误造成的视差不准的信息,空域中值滤波可以滤除特殊场景中特定位置无法计算视差的信息。
需要说明的是,是否进行时域中值滤波和空域中值滤波是根据立体视觉摄像机的成像质量而定的。若立体视觉摄像机性能较好,精度较高,拍摄的图像可以满足计算要求,则无需进行时域中值滤波和空域中值滤波;若立体视觉摄像机性能较差,精度较低,拍摄的图像无法满足计算要求,则可以进行时域中值滤波和/或空域中值滤波。
进一步的,立体视觉摄像机确定地面图像上各像素点的深度信息的过程可以参考传统的方法,例如,当立体视觉摄像机为双目立体视觉摄像机时,可以利用仿生学原理,通过标定后的双摄像头得到同步曝光图像,然后计算获取的二维图像像素点的三维深度信息。
步骤304、立体视觉摄像机根据地面图像上各像素点的深度信息建立三维点集合,该三维点集合记录有地面图像上各像素点对应的三维点的坐标信息。
立体视觉摄像机可以根据地面图像上各像素点的深度信息确定各像素点对应的三维点的坐标信息,并将各个三维点的坐标信息记录在三维点集合中,该坐标信息可以为该三维点的世界坐标系的坐标值。例如,假设步骤302中立体视觉摄像机拍摄的场景图像为图3-2所示,地面图像为区域M(即图3-2中虚线区域)所对应的图像,则根据区域M中的任一像素点x的深度信息可以确定该像素点x对应的三维点在该场景图像所在的实际场景中的世界坐标系的坐标值。
步骤305、立体视觉摄像机根据角度信息和三维点集合,确定立体视觉摄像机的高度。
示例的,根据角度信息和三维点集合,确定立体视觉摄像机的高度的方法可以如图3-3所示,包括:
步骤3051、根据俯仰角和倾斜角确定参考平面所对应的参考平面方程,该参考平面与世界坐标系的地平面平行,且立体视觉摄像机的镜头的中心点位于参考平面中。
请参考图3-4,图3-4为世界坐标系与摄像机坐标系的关系示意图,如图3-3所示,假设,变量(x,y,z)分别表示世界坐标系下,立体视觉摄像机的坐标轴;变量(xc,yc,zc)为摄像机坐标系下,立体视觉摄像机的坐标轴;变量(xr,yr,zr)为世界参考坐标系下,立体视觉摄像机的坐标轴,该世界参考坐标系是将世界坐标系沿其y轴正方向平移至与摄像机坐标系的原点重合时所对应的坐标系。变量(x′c,y′c,z′c)表示摄像机坐标系沿其y轴负方向平移至于世界坐标系的原点重合时所对应的坐标系,该世界参考坐标系的原点与摄像机坐标系的原点重合,且坐标轴与世界坐标系的坐标轴对应平行。其中,世界参考坐标系的原点与摄像机坐标系的原点均为立体视觉摄像机的镜头的中心点。
基于角度传感器获取的立体视觉摄像机当前状态下的俯仰角和倾斜角,根据欧拉角公式和世界参考坐标系的角度转换关系可以建立如下角度转换公式:
该角度转换公式可以简写成[x]=[T][y];
对该角度转换公式进行逆变换,则得到:[y]=[T-1][x]。
上述几个公式中,假设(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下该任一点对应的点,相同原点下的两个坐标系的坐标转换即为角度旋转的关系,其中θ就是为立体视觉摄像机的俯仰角,
Figure BDA0001231714050000112
为立体视觉摄像机的倾斜角,
Figure BDA0001231714050000113
[T-1]为[T]的逆矩阵。
此时世界参考坐标系的单位法向量为(0,1,0),该向量对应的终点坐标可以通过计算公式[y]=[T-1][x]得到,最终得到在摄像机坐标系下的点(a,b,c),向量的起点坐标在世界参考坐标系和摄像机坐标系下均为原点(0,0,0),因此该平面的单位法向量即为
Figure BDA0001231714050000114
进而可以得到摄像机坐标系下的参考平面P1的参考平面方程:ax+by+cz=0,该参考平面P1与世界坐标系的地平面P2平行。
由上可知,根据俯仰角和倾斜角确定参考平面所对应的参考平面方程的过程,包括:
根据俯仰角θ和倾斜角
Figure BDA0001231714050000124
确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,角度转换公式为:
[y]=[T-1][x];
其中,
Figure BDA0001231714050000121
[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下任一点对应的点。
示例的,假设计算得到摄像机坐标系下的点(a,b,c)为(0.408,0.577,0.707),则参考平面方程为:0.408x+0.577y+0.707z=0。
步骤3052、根据三维点集合和参考平面方程,计算三维点集合中所有三维点与参考平面的距离,得到距离集合。
该距离集合包括三维点集合对应的所有距离,可选的,可以根据三维点集合和参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与参考平面的距离Hi,距离集合包括Hi,1≤i≤n,n为三维点集合中三维点的总数,第一距离计算公式为:
Figure BDA0001231714050000122
其中,参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
示例的,假设参考平面方程为x+2y+3z=0,三维点集合中某一点的坐标为(2,2,2),则根据第一计算公式计算得到的该点与参考平面的距离为
Figure BDA0001231714050000123
步骤3053、根据距离集合中最大的距离,确定立体视觉摄像机的高度。
在本发明实施例中,根据距离集合中最大的距离,确定立体视觉摄像机的高度的方法可以有多种可实现方式,本发明实施例以以下两种实现方式为例进行说明:
第一种可实现方式:可以直接将最大的距离确定为高度,也即是将所有三维点与参考平面的距离中最大的距离确定为立体视觉摄像机的高度。这种距离确定方式比较简便。
第二种可实现方式:可以基于直方图来确定高度,这种距离确定方式精度较高。具体步骤如下:
步骤a、以预设宽度为组距,将距离集合统计形成距离直方图,距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示距离集合中落入距离范围的距离个数。
需要说明的是,距离集合中落入距离范围的距离个数,也即是三维点集合中对应距离落入相应距离范围的三维点个数。
由于地面图像包含多个像素点,也即对应多个三维点,需要基于该多个三维点与参考平面的距离来确定立体视觉摄像机的高度,而统计距离直方图的方法更为直观,如图3-5所示,假设预设宽度为10cm(厘米),以10cm为组距,该组距可以视为绘制直方图的步长,将距离集合统计形成距离直方图,该直方图的横轴的单位为cm(实际应用中,直方图的横轴的尺寸单位根据具体情况设置,图3-5只是示意性说明),纵轴单位为个,该距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示距离集合中落入距离范围的距离个数,例如,矩形条L在横轴上的宽度表示范围:50-60,在纵轴上的长度表示距离集合中落入距离范围50-60的距离个数为60。
步骤b、将距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
例如,将图3-4中,包括最大距离值的矩形条为矩形条Q,该矩形条Q在横轴上的宽度中间点为95,则高度预选值H=95。实际应用中,若立体视觉摄像机对高度的精度要求不高,可以直接将该高度预选值确定为外参中的高度值。
步骤c、以预设步长遍历高度预选值H的附近高度值,得到预选平面集合,预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,附近高度值h满足:h∈(H-σ,H+σ),σ为预设值,σ大于等于预设步长,且小于预设宽度。,例如,预设步长为f,预设宽度为g,则f≤σ<g。
上述步骤b实际上是对高度的粗选,步骤c实际上是对高度的精选。示例的,假设σ为2,H为95,预设步长为1,则h∈(95-2,95+2),也即是h∈(93,97),假设参考平面方程:ax+by+cz=0为:x+2y+3z=0,则预选平面集合包括:x+2y+3z-93=0;x+2y+3z-94=0;x+2y+3z-95=0;x+2y+3z-96=0和x+2y+3z-97=0。
步骤d、根据三维点集合和预选平面集合,计算三维点集合中所有三维点与每个参考平面的距离。
可选的,根据三维点集合和预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,该n为三维点集合中三维点的总数,第二距离计算公式为:
Figure BDA0001231714050000141
其中,上述第一预选平面为预选平面集合中的任一个预选平面。
具体的,采用上述公式可以重新统计三维点集合中所有三维点与每个参考平面的距离。
示例的,假设第一预选平面对应的方程为:x+2y+3z-96=0,三维点集合中某一点的坐标为(2,2,2),则根据x+2y+3z-96=0计算得到的该点与参考平面的距离为
Figure BDA0001231714050000142
步骤e、对于每个参考平面,将与参考平面的距离大于预设支撑阈值的三维点确定为参考平面的支撑点。
示例的,假设支撑阈值ht,当采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,Hi′>ht,则点(xi,yi,zi)为第一预选平面:ax+by+cz+d=0的一个支撑点。
步骤f、将预选平面集合中支撑点最多的预选平面确定为目标平面。
由于常规的地面是连通的一片,一个预选平面的支撑点最多,说明三维点在该预选平面的分布越密集,说明该预选平面更接近于世界坐标系的地面,因此,可以将预选平面集合中支撑点最多的预选平面确定为目标平面。
步骤g、将目标平面的所有支撑点与参考平面的距离的平均值确定为立体视觉摄像机的高度。
综上所述,本发明实施例提供的立体视觉摄像机的高度获取方法,通过拍摄立体视觉摄像机所在场景的地面图像,并基于该地面图像确定记录有地面图像上各像素点对应的三维点的坐标信息的三维点集合,根据角度信息和三维点集合,确定立体视觉摄像机的高度。无需设置外部参照结构,由立体视觉摄像机自动进行高度确定,减少操作复杂度,降低确定高度的成本。并且,在本发明实施例中,只要立体视觉摄像机拍摄的图像存在地面图像,立体视觉摄像机即可以地面图像为参照,实现高度的确定,外参的确定方便简洁。
如图4所示,本发明实施例提供一种立体视觉摄像机40,包括:
获取模块401,用于获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;
拍摄模块402,用于拍摄所述立体视觉摄像机所在场景的地面图像;
第一确定模块403,用于确定所述地面图像上各像素点的深度信息;
建立模块404,用于根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;
第二确定模块405,用于根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。
其中,所述第二确定模块405,包括:
第一确定子模块,用于根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,所述参考平面与世界坐标系的地平面平行,且所述立体视觉摄像机的镜头的中心点位于所述参考平面中;
计算子模块,用于根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合;
第二确定子模块,用于根据所述距离集合中的距离,确定所述立体视觉摄像机的高度。
可选的,所述第一确定子模块,具体用于:
根据所述俯仰角θ和所述倾斜角
Figure BDA0001231714050000152
确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,所述角度转换公式为:
[y]=[T-1][x];
其中,[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下所述任一点对应的点,所述世界参考坐标系的原点与摄像机坐标系的原点重合,坐标轴与世界坐标系的坐标轴对应平行。
可选的,所述计算子模块,具体用于:
根据所述三维点集合和所述参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与所述参考平面的距离Hi,所述距离集合包括所述Hi,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第一距离计算公式为:
Figure BDA0001231714050000161
其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
可选的,所述第二确定子模块,具体用于:
将所述距离集合中的距离整合得到目标距离集合,所述目标距离集合中的各个距离不同,且每个距离对应一个次数值,所述次数值指示对应的距离在所述距离集合中出现的次数;
将所述目标距离集合中对应次数值最大的距离确定为所述立体视觉摄像机的高度。
可选的,其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数,
所述第二确定子模块,包括:
直方图建立子模块,用于以预设宽度为组距,将所述距离集合统计形成距离直方图,所述距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示所述距离集合中落入所述距离范围的距离个数;
预选值确定子模块,用于将所述距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
集合确定子模块,用于以预设步长遍历所述高度预选值H的附近高度值,得到预选平面集合,所述预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,所述附近高度值h满足:h∈(H-σ,H+σ),所述σ为预设值,所述σ大于等于所述预设步长,且小于所述预设宽度;
距离计算子模块,用于根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离;
支撑点确定子模块,用于对于每个所述参考平面,将与所述参考平面的距离大于预设支撑阈值的三维点确定为所述参考平面的支撑点;
目标平面确定子模块,用于将所述预选平面集合中支撑点最多的预选平面确定为目标平面;
高度确定子模块,用于将所述目标平面的所有支撑点与所述参考平面的距离的平均值确定为所述立体视觉摄像机的高度。
可选的,所述距离计算子模块,具体用于:
根据所述三维点集合和所述预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第二距离计算公式为:
所述第一预选平面为所述预选平面集合中的任一个预选平面。
可选的,所述地面图像为所述立体视觉摄像机拍摄得到的多张连续的地面图像,
所述第一确定模块403具体用于:
对所述多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;
对时域中值滤波后的所述地面图像进行空域中值滤波得到空域中值滤波后的地面图像;
确定所述空域中值滤波后的地面图像上各个像素点的深度信息。
可选的,所述获取模块401,具体用于:
通过设置在所述立体视觉摄像机内的角度传感器获取所述立体视觉摄像机的角度信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
综上所述,本发明实施例提供的立体视觉摄像机,通过拍摄模块拍摄所述立体视觉摄像机所在场景的地面图像,并由建立模块基于该地面图像确定记录有地面图像上各像素点对应的三维点的坐标信息的三维点集合,第二确定模块根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。无需设置外部参照结构,由立体视觉摄像机自动进行高度确定,减少操作复杂度,降低确定高度的成本。
如图5所示,本发明实施例提供一种立体视觉摄像机50,包括:
角度获取模块501,用于获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;
摄像头502,用于拍摄所述立体视觉摄像机所在场景的地面图像;
处理器503,用于确定所述地面图像上各像素点的深度信息;
所述处理器503,还用于根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;
处理器503,还用于根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。
可选的,所述处理器503用于:
根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,所述参考平面与世界坐标系的地平面平行,且所述立体视觉摄像机的镜头的中心点位于所述参考平面中;
根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合;
根据所述距离集合中的距离,确定所述立体视觉摄像机的高度。
可选的,所述处理器503用于:
根据所述俯仰角θ和所述倾斜角
Figure BDA0001231714050000182
确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,所述角度转换公式为:
[y]=[T-1][x];
其中,[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下所述任一点对应的点,所述世界参考坐标系的原点与摄像机坐标系的原点重合,坐标轴与世界坐标系的坐标轴对应平行。
可选的,所述处理器503用于:
所述根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合,包括:
根据所述三维点集合和所述参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与所述参考平面的距离Hi,所述距离集合包括所述Hi,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第一距离计算公式为:
Figure BDA0001231714050000191
其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
可选的,所述处理器503用于:
所述根据所述距离集合中的距离,确定所述立体视觉摄像机的高度,包括:
将所述所有三维点与所述参考平面的距离中最大的距离确定为所述立体视觉摄像机的高度。
可选的,所述处理器503用于:
所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数,
所述根据所述距离集合中的距离,确定所述立体视觉摄像机的高度,包括:
以预设宽度为组距,将所述距离集合统计形成距离直方图,所述距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示所述距离集合中落入所述距离范围的距离个数;
将所述距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
以预设步长遍历所述高度预选值H的附近高度值,得到预选平面集合,所述预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,所述附近高度值h满足:h∈(H-σ,H+σ),所述σ为预设值,所述σ大于等于所述预设步长,且小于所述预设宽度;
根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离;
对于每个所述参考平面,将与所述参考平面的距离大于预设支撑阈值的三维点确定为所述参考平面的支撑点;
将所述预选平面集合中支撑点最多的预选平面确定为目标平面;
将所述目标平面的所有支撑点与所述参考平面的距离的平均值确定为所述立体视觉摄像机的高度。
可选的,所述处理器503用于:
所述根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离,包括:
根据所述三维点集合和所述预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第二距离计算公式为:
Figure BDA0001231714050000201
所述第一预选平面为所述预选平面集合中的任一个预选平面。
可选的,所述处理器503用于:
所述地面图像为所述立体视觉摄像机拍摄得到的多张连续的地面图像,
所述确定所述地面图像上各像素点的深度信息,包括:
对所述多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;
对时域中值滤波后的所述地面图像进行空域中值滤波得到空域中值滤波后的地面图像;
确定所述空域中值滤波后的地面图像上各个像素点的深度信息。
可选的,角度获取模块501为角度传感器,该角度传感器设置在所述立体视觉摄像机内。
综上所述,本发明实施例提供的立体视觉摄像机,通过摄像头拍摄所述立体视觉摄像机所在场景的地面图像,并由处理器基于该地面图像确定记录有地面图像上各像素点对应的三维点的坐标信息的三维点集合,根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度。无需设置外部参照结构,由立体视觉摄像机自动进行高度确定,减少操作复杂度,降低确定高度的成本。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种立体视觉摄像机的高度获取方法,其特征在于,应用于所述立体视觉摄像机,包括:
获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;
拍摄所述立体视觉摄像机所在场景的地面图像;
确定所述地面图像上各像素点的深度信息;
根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;
根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度;
所述根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度,包括:
根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,所述参考平面与世界坐标系的地平面平行,且所述立体视觉摄像机的镜头的中心点位于所述参考平面中;
根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合;
根据所述距离集合中的距离,确定所述立体视觉摄像机的高度。
2.根据权利要求1所述的方法,其特征在于,
所述根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,包括:
根据所述俯仰角θ和所述倾斜角
Figure FDA0002186179520000012
确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,所述角度转换公式为:
[y]=[T-1][x].
其中,
Figure FDA0002186179520000011
[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下所述任一点对应的点,所述世界参考坐标系的原点与摄像机坐标系的原点重合,坐标轴与世界坐标系的坐标轴对应平行。
3.根据权利要求1所述的方法,其特征在于,
所述根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合,包括:
根据所述三维点集合和所述参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与所述参考平面的距离Hi,所述距离集合包括所述Hi,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第一距离计算公式为:
Figure FDA0002186179520000021
其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
4.根据权利要求1-3任一所述的方法,其特征在于,
所述根据所述距离集合中的距离,确定所述立体视觉摄像机的高度,包括:
将所述距离集合中的距离整合得到目标距离集合,所述目标距离集合中的各个距离不同,且每个距离对应一个次数值,所述次数值指示对应的距离在所述距离集合中出现的次数;
将所述目标距离集合中对应次数值最大的距离确定为所述立体视觉摄像机的高度。
5.根据权利要求1-3任一所述的方法,其特征在于,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数,
所述根据所述距离集合中的距离,确定所述立体视觉摄像机的高度,包括:
以预设宽度为组距,将所述距离集合统计形成距离直方图,所述距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示所述距离集合中落入所述距离范围的距离个数;
将所述距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
以预设步长遍历所述高度预选值H的附近高度值,得到预选平面集合,所述预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,所述附近高度值h满足:h∈(H-σ,H+σ),所述σ为预设值,所述σ大于等于所述预设步长,且小于所述预设宽度;
根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离;
对于每个所述参考平面,将与所述参考平面的距离大于预设支撑阈值的三维点确定为所述参考平面的支撑点;
将所述预选平面集合中支撑点最多的预选平面确定为目标平面;
将所述目标平面的所有支撑点与所述参考平面的距离的平均值确定为所述立体视觉摄像机的高度。
6.根据权利要求5所述的方法,其特征在于,
所述根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离,包括:
根据所述三维点集合和所述预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第二距离计算公式为:
所述第一预选平面为所述预选平面集合中的任一个预选平面。
7.根据权利要求1所述的方法,其特征在于,所述地面图像为所述立体视觉摄像机拍摄得到的多张连续的地面图像,
所述确定所述地面图像上各像素点的深度信息,包括:
对所述多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;
对时域中值滤波后的所述地面图像进行空域中值滤波得到空域中值滤波后的地面图像;
确定所述空域中值滤波后的地面图像上各个像素点的深度信息。
8.根据权利要求1所述的方法,其特征在于,所述获取所述立体视觉摄像机的角度信息,包括:
通过设置在所述立体视觉摄像机内的角度传感器获取所述立体视觉摄像机的角度信息。
9.一种立体视觉摄像机,其特征在于,包括:
获取模块,用于获取所述立体视觉摄像机的角度信息,所述角度信息包括:俯仰角和倾斜角;
拍摄模块,用于拍摄所述立体视觉摄像机所在场景的地面图像;
第一确定模块,用于确定所述地面图像上各像素点的深度信息;
建立模块,用于根据所述地面图像上各像素点的深度信息建立三维点集合,所述三维点集合记录有所述地面图像上各像素点对应的三维点的坐标信息;
第二确定模块,用于根据所述角度信息和所述三维点集合,确定所述立体视觉摄像机的高度;
所述第二确定模块,包括:
第一确定子模块,用于根据所述俯仰角和所述倾斜角确定参考平面所对应的参考平面方程,所述参考平面与世界坐标系的地平面平行,且所述立体视觉摄像机的镜头的中心点位于所述参考平面中;
计算子模块,用于根据所述三维点集合和所述参考平面方程,计算所述三维点集合中所有三维点与所述参考平面的距离,得到距离集合;
第二确定子模块,用于根据所述距离集合中的距离,确定所述立体视觉摄像机的高度。
10.根据权利要求9所述的立体视觉摄像机,其特征在于,
所述第一确定子模块,具体用于:
根据所述俯仰角θ和所述倾斜角
Figure FDA0002186179520000041
确定参考平面方程:ax+by+cz=0,使得摄像机坐标系下的点(a,b,c)满足角度转换公式,所述角度转换公式为:
[y]=[T-1][x];
其中,
Figure FDA0002186179520000051
[T-1]为[T]的逆矩阵,(xc,yc,zc)为摄像机坐标系下的任一点,(xr,yr,zr)为世界参考坐标系下所述任一点对应的点,所述世界参考坐标系的原点与摄像机坐标系的原点重合,坐标轴与世界坐标系的坐标轴对应平行。
11.根据权利要求9所述的立体视觉摄像机,其特征在于,
所述计算子模块,具体用于:
根据所述三维点集合和所述参考平面方程,采用第一距离计算公式计算第i个三维点(xi,yi,zi)与所述参考平面的距离Hi,所述距离集合包括所述Hi,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第一距离计算公式为:
Figure FDA0002186179520000052
其中,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数。
12.根据权利要求9-11任一所述的立体视觉摄像机,其特征在于,
所述第二确定子模块,具体用于:
将所述距离集合中的距离整合得到目标距离集合,所述目标距离集合中的各个距离不同,且每个距离对应一个次数值,所述次数值指示对应的距离在所述距离集合中出现的次数;
将所述目标距离集合中对应次数值最大的距离确定为所述立体视觉摄像机的高度。
13.根据权利要求9-11任一所述的立体视觉摄像机,其特征在于,所述参考平面方程为ax+by+cz=0,a、b和c为ax+by+cz=0的系数,
所述第二确定子模块,包括:
直方图建立子模块,用于以预设宽度为组距,将所述距离集合统计形成距离直方图,所述距离直方图上每个矩形条在横轴上的宽度表示一距离范围,在纵轴上的长度表示所述距离集合中落入所述距离范围的距离个数;
预选值确定子模块,用于将所述距离直方图中包括最大距离值的矩形条在横轴上的宽度中间点确定为高度预选值H;
集合确定子模块,用于以预设步长遍历所述高度预选值H的附近高度值,得到预选平面集合,所述预选平面集合中的每个预选平面满足:ax+by+cz+d=0,d=-h,所述附近高度值h满足:h∈(H-σ,H+σ),所述σ为预设值,所述σ大于等于所述预设步长,且小于所述预设宽度;
距离计算子模块,用于根据所述三维点集合和所述预选平面集合,计算所述三维点集合中所有三维点与每个所述参考平面的距离;
支撑点确定子模块,用于对于每个所述参考平面,将与所述参考平面的距离大于预设支撑阈值的三维点确定为所述参考平面的支撑点;
目标平面确定子模块,用于将所述预选平面集合中支撑点最多的预选平面确定为目标平面;
高度确定子模块,用于将所述目标平面的所有支撑点与所述参考平面的距离的平均值确定为所述立体视觉摄像机的高度。
14.根据权利要求13所述的立体视觉摄像机,其特征在于,
所述距离计算子模块,具体用于:
根据所述三维点集合和所述预选平面集合,采用第二距离计算公式计算第i个三维点(xi,yi,zi)与第一预选平面的距离Hi′,1≤i≤n,所述n为所述三维点集合中三维点的总数,所述第二距离计算公式为:
所述第一预选平面为所述预选平面集合中的任一个预选平面。
15.根据权利要求9所述的立体视觉摄像机,其特征在于,所述地面图像为所述立体视觉摄像机拍摄得到的多张连续的地面图像,
所述第一确定模块,具体用于:
对所述多张连续的地面图像进行时域中值滤波得到时域中值滤波后的地面图像;
对时域中值滤波后的所述地面图像进行空域中值滤波得到空域中值滤波后的地面图像;
确定所述空域中值滤波后的地面图像上各个像素点的深度信息。
16.根据权利要求9所述的立体视觉摄像机,其特征在于,所述获取模块,具体用于:
通过设置在所述立体视觉摄像机内的角度传感器获取所述立体视觉摄像机的角度信息。
CN201710100940.1A 2017-02-23 2017-02-23 立体视觉摄像机及其高度获取方法 Active CN108510540B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710100940.1A CN108510540B (zh) 2017-02-23 2017-02-23 立体视觉摄像机及其高度获取方法
EP18756576.7A EP3588004B1 (en) 2017-02-23 2018-02-12 Stereoscopic camera and height acquisition method therefor and height acquisition system
PCT/CN2018/076571 WO2018153313A1 (zh) 2017-02-23 2018-02-12 立体视觉摄像机及其高度获取方法、高度获取系统
US16/548,721 US11024052B2 (en) 2017-02-23 2019-08-22 Stereo camera and height acquisition method thereof and height acquisition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710100940.1A CN108510540B (zh) 2017-02-23 2017-02-23 立体视觉摄像机及其高度获取方法

Publications (2)

Publication Number Publication Date
CN108510540A CN108510540A (zh) 2018-09-07
CN108510540B true CN108510540B (zh) 2020-02-07

Family

ID=63253058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710100940.1A Active CN108510540B (zh) 2017-02-23 2017-02-23 立体视觉摄像机及其高度获取方法

Country Status (4)

Country Link
US (1) US11024052B2 (zh)
EP (1) EP3588004B1 (zh)
CN (1) CN108510540B (zh)
WO (1) WO2018153313A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
CN109945785A (zh) * 2019-03-26 2019-06-28 湖南安华鼎科技有限公司 一种平台倾角和高度实时测量方法及系统
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
CN110490943B (zh) * 2019-08-26 2022-04-15 深圳市自由视像科技有限公司 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN112449100B (zh) * 2019-09-03 2023-11-17 中国科学院长春光学精密机械与物理研究所 航空相机倾斜图像的拼接方法、装置、终端及存储介质
CN111273701B (zh) * 2020-02-28 2023-10-31 佛山科学技术学院 一种云台视觉控制系统以及控制方法
CN111415420B (zh) * 2020-03-25 2024-01-23 北京迈格威科技有限公司 空间信息确定方法、装置及电子设备
CN111462317B (zh) * 2020-04-27 2022-06-21 清华大学 一种基于多视角三维重建的空间网格结构监测的相机布置方法
CN112541951A (zh) * 2020-11-13 2021-03-23 国网浙江省电力有限公司舟山供电公司 预防船舶钩断跨海架空电力线路的监测系统及其监测方法
CN112634152A (zh) * 2020-12-16 2021-04-09 中科海微(北京)科技有限公司 基于图像深度信息的人脸样本数据增强方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN103258322A (zh) * 2012-11-01 2013-08-21 南京朋源电气有限公司 不同投影角度下动态目标高度的确定方法
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
CN105346706A (zh) * 2015-11-13 2016-02-24 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN105469386A (zh) * 2015-11-11 2016-04-06 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
WO2004114063A2 (en) * 2003-06-13 2004-12-29 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
US8289321B2 (en) * 2004-03-17 2012-10-16 Sony Corporation Method and apparatus for detecting plane, and robot apparatus having apparatus for detecting plane
US20120004792A1 (en) * 2007-09-28 2012-01-05 The United States Of America As Represented By The Secretary Of The Navy Weber-box, an aviation display device to support spatial awareness
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US10354407B2 (en) * 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101758058B1 (ko) * 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US10078887B2 (en) * 2014-10-20 2018-09-18 Bae Systems Information And Electronic Systems Integration Inc. Scene-based non-uniformity correction in focal plane arrays
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN103258322A (zh) * 2012-11-01 2013-08-21 南京朋源电气有限公司 不同投影角度下动态目标高度的确定方法
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
CN105469386A (zh) * 2015-11-11 2016-04-06 浙江大华技术股份有限公司 一种确定立体相机高度与俯仰角的方法及装置
CN105346706A (zh) * 2015-11-13 2016-02-24 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法

Also Published As

Publication number Publication date
CN108510540A (zh) 2018-09-07
US11024052B2 (en) 2021-06-01
WO2018153313A1 (zh) 2018-08-30
EP3588004A4 (en) 2020-03-04
EP3588004A1 (en) 2020-01-01
US20190378294A1 (en) 2019-12-12
EP3588004B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
CN108510540B (zh) 立体视觉摄像机及其高度获取方法
JP6564537B1 (ja) 単眼3次元走査システムによる3次元再構成法および装置
CN109146794B (zh) 一种光场图像旋转误差校正方法
CN106960454B (zh) 景深避障方法、设备及无人飞行器
US20190051036A1 (en) Three-dimensional reconstruction method
US20160065948A1 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN108961383B (zh) 三维重建方法及装置
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN102997891B (zh) 场景深度的测量装置和方法
CN109076200A (zh) 全景立体视频系统的校准方法和装置
KR20160090373A (ko) 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
CN111371986A (zh) 用于焦距调节和深度图确定的装置和方法
CN109493373B (zh) 一种基于双目立体视觉的立体匹配方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN104038752B (zh) 基于三维高斯混合模型的多视点视频直方图颜色校正
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN109029380B (zh) 基于镀膜式多光谱相机的立体视觉系统及其标定测距方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant