CN109934854B - 一种利用多目摄像头检测运动目标的装置及方法 - Google Patents

一种利用多目摄像头检测运动目标的装置及方法 Download PDF

Info

Publication number
CN109934854B
CN109934854B CN201910245857.2A CN201910245857A CN109934854B CN 109934854 B CN109934854 B CN 109934854B CN 201910245857 A CN201910245857 A CN 201910245857A CN 109934854 B CN109934854 B CN 109934854B
Authority
CN
China
Prior art keywords
camera
plane
target
cone
secant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910245857.2A
Other languages
English (en)
Other versions
CN109934854A (zh
Inventor
熊礼亮
岳文静
陈志�
朱正天
徐秋石
周传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910245857.2A priority Critical patent/CN109934854B/zh
Publication of CN109934854A publication Critical patent/CN109934854A/zh
Application granted granted Critical
Publication of CN109934854B publication Critical patent/CN109934854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种利用多目摄像头检测运动目标的装置及方法,包括4个摄像头,分别为中心摄像头C0,摄像头C1~C3以及控制系统,通过摄像头C1~C3以检测目标是否存在;检测到目标后,输出脉冲至摄像头C0,C0将对目标成像;摄像头通过球坐标系成像,将空间信息映射至球坐标系,并计算穿过平面上一点的切平面的方程;之后在空间球坐标系里形成目标物体到小眼的圆锥投影,然后计算得到椭圆投影面积S,得出目标椭圆成像结果;本发明降低了检测难度和复杂度。

Description

一种利用多目摄像头检测运动目标的装置及方法
技术领域
本发明涉及一种利用多目摄像头检测运动目标的方法,属于仿生学、目标检测和视频图像处理等交叉技术领域。
背景技术
近年来,运动目标检测作为运动目标识别和跟踪的基础,是计算机视觉领域热门研究问题,在视频监控、机器人技术、增强现实等场景中有着广泛的应用,而基于仿生学的检测方法的研究具有重大理论意义和应用价值。
随着我国在经济和科技等方面的不断发展与进步,对视频或图像中目标的检测成为了人工智能、计算机视觉领域研究的重要内容。例如在无人驾驶场景中,通过借鉴苍蝇复眼的物理结构研发了仿生复眼检测系统,其在运动目标检测和跟踪方面具有独特的优势:体积小、视野大、对运动目标敏感。在识别到车前的行人车辆和障碍物时,通过计算判断是否需要刹车来避开危险,此检测系统在某些情况下的安全性及可靠性优于传统的雷达刹车系统,该项技术的发展使得无人驾驶有了进一步的突破。与静态目标检测相比,运动对象的跟踪和多维数据处理会更加复杂,如何在高速运动中精确地检测目标是该项技术的关键。
传统的运动目标检测方法主要有两种,一种是帧间差分法,其检测速度较快,但缺点是无法实现运动补偿,会导致摄像头移动时检测精度降低。另一种是利用可见光系统以“3-2-3”模式处理图像,将实际的空间信息从3D变为2D,当检测动态目标时,将2D信息转换为3D以重新显示目标。但这种“3-2-3”转换模式的缺点是计算量大,实时性低,精度差。
目前对仿生复眼的研究主要集中在复眼的光学系统开发和复眼成像技术上,信息提取和运动目标检测技术相对来说并不成熟。在复杂环境背景下,如背景多变、目标易被遮挡、存在阴影干扰、天气复杂,以及摄像头角度和高度不同导致目标出现形变等干扰对检测准确性和精确性提出了挑战。
由上可见,在保证实时跟踪检测目标和克服复杂环境干扰的前提下,如何降低检测方法数据处理的计算量及提高检测精度是运动目标检测的难点所在。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种利用多目摄像头检测运动目标的装置及方法,是通过仿生复眼构造的多目摄像头进行图像采集,增大视野范围并设计一种检测目标的成像方法以加快数据处理速度和提高运动目标识别的准确性,解决了单目摄像头检测目标时视角受限的问题。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种多目摄像头检测运动目标的装置,包括4个摄像头,分别为中心摄像头C0、摄像头一C1、摄像头二C2、摄像头三C3以及控制系统,所述中心摄像头C0、摄像头一C1、摄像头二C2、摄像头三C3均与控制系统连接;所述摄像头一C1、摄像头二C2、摄像头三C3沿中心摄像头C0周向分布,所述中心摄像头C0为基于苍蝇复眼的摄像头;控制系统包括信号处理器、现场可编程门阵列、复眼摄像头控制电路,其中,所述信号处理器用于产生控制信号,所述现场可编程门阵列在控制信号的作用下驱动复眼摄像头控制电路,所述复眼摄像头控制电路根据控制信号控制摄像头一C1、摄像头二C2、摄像头三C3转动,对摄像头摄像区域监控;当至少摄像头一C1、摄像头二C2、摄像头三C3中的一个摄像头检测到目标时,输出一个脉冲,收到脉冲后通过复眼摄像头控制电路控制中心摄像头C0对目标成像。
优选的:所述摄像头一C1、摄像头二C2、摄像头三C3沿中心摄像头C0周向均匀分布。
一种利用多目摄像头检测运动目标的装置的检测运动目标的方法,解决了单目摄像头检测目标时视角受限的问题。该方法首先启动摄像头C1~C3,在硬件系统的驱动下C1~C3被控制转动,监控到多个方向,获得大面积区域的视角,以检测目标是否存在;接着在检测到目标后,输出脉冲至中心摄像头C0,C0将对目标成像;摄像头通过球坐标系成像,将空间信息映射至球坐标系,并计算穿过平面上一点的切平面的方程;之后在空间球坐标系里形成目标物体到小眼的圆锥投影,由割线平面的方程与切平面方程得出两平面之间的夹角θ,判断是否满足0°≤θ<90°,满足时能形成目标平面上的圆形或椭圆形投影;接着当截面平面穿过圆锥顶点或不穿过圆锥顶点时,计算出锥顶顶角φ,判断是否满足φ≤θ,若满足则小眼能成像,且已知φ和l1,计算得到椭圆投影面积S,得出目标椭圆成像结果;不满足时,重新检测目标,具体包括以下步骤:
步骤1),通过控制系统控制摄像头一C1、摄像头二C2、摄像头三C3转动,对摄像头摄像区域监控;
步骤2),中心摄像头C0根据步骤1)中摄像头一C1、摄像头二C2、摄像头三C3的检测结果决定是否启动,若收到摄像头一C1、摄像头二C2、摄像头三C3中一个摄像头输出的确认脉冲,获得目标确实存在及目标所在位置的信息,中心摄像头C0开始工作,将对目标成像,没有收到脉冲时中心摄像头C0待机;
步骤3),中心摄像头C0将空间信息映射至球坐标系,并以球坐标成像,设置一个以小眼中心为球心的一个球面W,表示为:x2+y2+z2=L2,(0,0,0)即原点表示球心,L表示目标物体与复眼的距离;所述球面的x轴与中心摄像头C0竖直方向垂直且正轴指向前方,y轴与中心摄像头C0竖直方向平行且正轴指向左侧,z轴与中心摄像头C0竖直方向垂直且正轴指向上方;根据穿过球面上一点P(x′,y′,z′)将球面方程进行改写;
步骤4),从外部的目标物体汇聚到内部小眼的一点,在空间球坐标系里形成圆锥投影,所述圆锥投影有两种情况,当圆锥面与球面相切时,称为切线圆锥投影,相切处的平面为切平面;当圆锥面与球面间相割时,称为割线圆锥投影,相割处的平面为割线平面;计算割线平面与切平面间的夹角θ,若0°≤θ<90°,则能形成目标平面上的圆形或椭圆形投影;
步骤5)判断目标平面与圆锥体相交的线的情况,当截面平面穿过圆锥顶点或不穿过圆锥顶点时,计算出锥顶顶角φ,根据步骤4)中的割线平面与切平面间的夹角θ判断是否满足φ≤θ,若满足则小眼能成像,根据割线平面与切平面间的夹角θ、锥顶顶角φ、割线平面和轴相交的交点到圆锥顶点的距离l1计算得到椭圆投影面积S,得出目标椭圆成像结果;不满足时,重新检测目标。
优选的:所述步骤3)具体如下:
步骤31),建立球面坐标系中的复眼成像模型,设置球面W为x2+y2+z2=L2,x轴与摄像头C0竖直方向垂直且正轴指向前方,y轴与C0竖直方向平行且正轴指向左侧,z轴与C0竖直方向垂直且正轴指向上方;
步骤32),确定目标所在的平面,计算投影过程中目标物体与复眼的距离L;
步骤33),设置在球面W上的一点为P(x′,y′,z′),得到穿过点P的切面平面的方程,(ux)P(x-x′)+(uy)P(y-y′)+(uz)P(z-z′)=0,其中,ux是球面W在x轴上的微分系数,uy是球面W在y轴上的微分系数,uz是球面W在z轴上的微分系数,()P表示在点P处;
步骤34),穿过球面上一点P(x′,y′,z′)切平面的法向量
Figure GDA0003756620400000031
ux、uy及 uz的计算公式分别为
Figure GDA0003756620400000032
其中,u(x,y,z)是球面上的点满足的曲面方程,即u(x,y,z)=x2+y2+z2-L2
优选的:所述步骤4)具体如下:
步骤41),形成从实际目标物体到单个小眼的圆锥投影,判断圆锥面与球面是否为相切,为相切关系时形成切线圆锥投影,反之为割线圆锥投影,所述的相切是相割的一种特殊情况;
步骤42),以视点为球体的中心,并以半径为轴按一定的角度旋转,在圆锥面上形成一个割线平面圆;该圆沿着圆锥母线延伸,在目标平面上形成投影;
步骤43),利用上述公式计算得到ux=2x,uy=2y,uz=2z,带入点P(x′,y′,z′)得(ux)P=2x′, (uy)P=2y′,(uz)P=2z′,将步骤33)中的切面平面方程改写为 (ux)P*x+(uy)P*y+(uz)P*z-2(x′2+y′2+z′2)=0,用A1*x+A2*y+A3*z+A4=0表示割线平面,其中(A1,A2,A3)表示割线平面的法向量、A4表示割线平面的截距;
步骤44)计算割线平面与切平面间的夹角θ,通过平面的方程求得割线平面与切线平面之间的夹角
Figure GDA0003756620400000041
当θ=0°时,获得在目标平面上的投影圆;当θ<90°时,则能形成目标平面上的椭圆形投影;当割线面与目标平面相垂直时,不能形成投影。
优选的:所述步骤5)具体如下:
步骤51)判断目标平面与圆锥体相交的线属于以下哪种情况:剖面穿过圆锥的顶点,则截面线是直线;剖面不通过圆锥的顶点,垂直于圆锥的轴,截面线是圆;剖面不通过圆锥的顶点,当θ=φ时截面线是抛物线;剖面不通过圆锥的顶点,当θ<φ时截面线是双曲线;剖面不通过圆锥的顶点,当θ>φ时截面线是椭圆;
步骤52)只有截面线为抛物线或椭圆时能成像,计算出锥顶顶角φ,根据步骤43)中的θ判断是否满足φ≤θ,若满足则能成像;不满足时,重新检测目标;
步骤53)根据割线平面与切平面间的夹角θ、锥顶顶角φ、割线平面和轴相交的交点到圆锥顶点的距离l1计算得到椭圆投影的面积
Figure GDA0003756620400000042
得到目标的椭圆成像。
本发明相比现有技术,具有以下有益效果:
1.本发明采用了基于复眼物理结构的多目摄像头结构,由4个摄像头组成,外围3个低分辨率摄像头确定目标存在性,中心的高分辨率摄像头用于目标成像,使系统具有相对较大的视野。仿生复眼使用球坐标系成像,形成实际目标物体到复眼的圆锥投影。使用圆锥曲线理论分析目标平面与圆锥体相交截面线,得到目标成像的条件。使用空间几何运算进行目标的椭圆成像。通过这些方法的应用能够计算出运动目标物体成像的椭圆投影,进行运动目标检测,具有良好的准确性和稳定性,具体来说:
2.本发明采用了基于复眼物理结构的多目摄像头结构,系统具有较大的视野范围因此即使目标在高速情况下,也无法迅速脱离视野范围,增大强了运动目标监测系统的稳定性。
3.本发明使用多个摄像头同时捕获给定范围内的多个目标,引入冗余图像,但可以利用这些冗余图像来帮助减少目标信息中的随机误差,对运动目标更加敏感。
4.本发明提出了球坐标系的目标成像,基于目标到摄像头的圆锥投影,实现了运动目标的椭圆成像。
5.本发明在运动目标检测时只需得到割线平面到目标平面椭圆投影,便可进行成像,降低了检测难度和复杂度。
附图说明
图1是多目摄像头运动目标检测方法流程。
图2是多目摄像头的结构示意图。
图3是仿生复眼的投影成像示意图。
图4是割线平面切开圆锥体的侧视图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种多目摄像头检测运动目标的装置,根据苍蝇复眼的物理结构,利用高分辨率和低分辨率摄像头构造多目摄像头装置,如图2所示,由4个摄像头C0~C3组成,分别为中心摄像头C0、摄像头一C1、摄像头二C2、摄像头三C3以及控制系统,所述中心摄像头C0、摄像头一C1、摄像头二C2、摄像头三C3均与控制系统连接;3个低分辨率的摄像头(1号到3号,即摄像头一C1、摄像头二C2、摄像头三C3)环绕一个基于苍蝇复眼的高分辨率中心摄像头C0。摄像头一C1、摄像头二C2、摄像头三C3相隔120°,角度可根据实际情况调整,所述中心摄像头C0为基于苍蝇复眼的摄像头;控制系统包括信号处理器、现场可编程门阵列、复眼摄像头控制电路,其中,所述信号处理器用于产生控制信号,所述现场可编程门阵列在控制信号的作用下驱动复眼摄像头控制电路(根据组合和时序逻辑电路生成同步顺序控制单元,同步脉冲进入驱动复眼摄像头控制电路),所述复眼摄像头控制电路根据控制信号控制摄像头一C1、摄像头二C2、摄像头三C3转动,对摄像头摄像区域监控(指向特定位置,并监控到多个方向,形成大面积区域的视角);检测目标是否存在,当至少摄像头一C1、摄像头二C2、摄像头三C3中的一个摄像头检测到目标时,输出一个脉冲,收到脉冲后通过复眼摄像头控制电路控制中心摄像头C0对目标成像。
一种利用多目摄像头检测运动目标的装置的检测运动目标的方法,如图1所示,包括以下步骤:
步骤1),通过控制系统控制摄像头一C1、摄像头二C2、摄像头三C3转动,对摄像头摄像区域监控;
步骤2),中心摄像头C0根据步骤1)中摄像头一C1、摄像头二C2、摄像头三C3的检测结果决定是否启动,若收到摄像头一C1、摄像头二C2、摄像头三C3中一个摄像头输出的确认脉冲,获得目标确实存在及目标所在位置的信息,中心摄像头C0开始工作,将对目标成像,没有收到脉冲时中心摄像头C0待机;
步骤3),中心摄像头C0将空间信息映射至球坐标系,并以球坐标成像,设置一个以小眼中心为球心的一个球面W,表示为:x2+y2+z2=L2,(0,0,0)即原点表示球心,L表示目标物体与复眼的距离;所述球面的x轴与中心摄像头C0竖直方向垂直且正轴指向前方,y轴与中心摄像头C0竖直方向平行且正轴指向左侧,z轴与中心摄像头C0竖直方向垂直且正轴指向上方;根据穿过球面上一点P(x′,y′,z′)将球面方程进行改写;
所述步骤3)具体如下:
步骤31),建立球面坐标系中的复眼成像模型,设置球面W为x2+y2+z2=L2,x轴与摄像头C0竖直方向垂直且正轴指向前方,y轴与C0竖直方向平行且正轴指向左侧,z轴与C0竖直方向垂直且正轴指向上方;
步骤32),确定目标所在的平面,计算投影过程中目标物体与复眼的距离L;
步骤33),设置在球面W上的一点为P(x′,y′,z′),得到穿过点P的切面平面的方程,(ux)P(x-x′)+(uy)P(y-y′)+(uz)P(z-z′)=0,其中,ux是球面W在x轴上的微分系数,uy是球面W在y轴上的微分系数,uz是球面W在z轴上的微分系数,()P表示在点P处;
步骤34),穿过球面上一点P(x′,y′,z′)切平面的法向量
Figure GDA0003756620400000061
ux、uy及 uz的计算公式分别为
Figure GDA0003756620400000062
其中,u(x,y,z)是球面上的点满足的曲面方程,即u(x,y,z)=x2+y2+z2-L2
步骤4),从外部的目标物体汇聚到内部小眼的一点,在空间球坐标系里形成圆锥投影,所述圆锥投影有两种情况,当圆锥面与球面相切时,称为切线圆锥投影,相切处的平面为切平面;当圆锥面与球面间相割时,称为割线圆锥投影,相割处的平面为割线平面;计算割线平面与切平面间的夹角θ,若0°≤θ<90°,则能形成目标平面上的圆形或椭圆形投影;
所述步骤4)具体如下:
步骤41),形成从实际目标物体到单个小眼的圆锥投影,判断圆锥面与球面是否为相切,为相切关系时形成切线圆锥投影,反之为割线圆锥投影,所述的相切是相割的一种特殊情况;
步骤42),以视点为球体的中心,并以半径为轴按一定的角度旋转,在圆锥面上形成一个割线平面圆;该圆沿着圆锥母线延伸,在目标平面上形成投影;
步骤43),利用上述公式计算得到ux=2x,uy=2y,uz=2z,带入点P(x′,y′,z′)得(ux)P=2x′, (uy)P=2y′,(uz)P=2z′,将步骤33)中的切面平面方程改写为 (ux)P*x+(uy)P*y+(uz)P*z-2(x′2+y′2+z′2)=0,用A1*x+A2*y+A3*z+A4=0表示割线平面,其中(A1,A2,A3)表示割线平面的法向量、A4表示割线平面的截距;
步骤44)计算割线平面与切平面间的夹角θ,通过平面的方程求得割线平面与切线平面之间的夹角
Figure GDA0003756620400000071
当θ=0°时,获得在目标平面上的投影圆;当θ<90°时,则能形成目标平面上的椭圆形投影;当割线面与目标平面相垂直时,不能形成投影。
步骤5)判断目标平面与圆锥体相交的线的情况,当截面平面穿过圆锥顶点或不穿过圆锥顶点时,计算出锥顶顶角φ,根据步骤4)中的割线平面与切平面间的夹角θ判断是否满足φ≤θ,若满足则小眼能成像,根据割线平面与切平面间的夹角θ、锥顶顶角φ、割线平面和轴相交的交点到圆锥顶点的距离l1计算得到椭圆投影面积S,得出目标椭圆成像结果;不满足时,重新检测目标。
所述步骤5)具体如下:
步骤51)判断目标平面与圆锥体相交的线属于以下哪种情况:剖面穿过圆锥的顶点,则截面线是直线;剖面不通过圆锥的顶点,垂直于圆锥的轴,截面线是圆;剖面不通过圆锥的顶点,当θ=φ时截面线是抛物线;剖面不通过圆锥的顶点,当θ<φ时截面线是双曲线;剖面不通过圆锥的顶点,当θ>φ时截面线是椭圆;
步骤52)只有截面线为抛物线或椭圆时能成像,计算出锥顶顶角φ,根据步骤43)中的θ判断是否满足φ≤θ,若满足则能成像;不满足时,重新检测目标;
步骤53)根据割线平面与切平面间的夹角θ、锥顶顶角φ、割线平面和轴相交的交点到圆锥顶点的距离l1计算得到椭圆投影的面积
Figure GDA0003756620400000081
得到目标的椭圆成像。
使用时,控制系统启动,由数字信号处理器要控制的核心单元产生控制信号,由现场可编程门阵列在控制信号的作用下驱动复眼摄像头控制电路。在该系统下摄像头可以被控制指向特定位置,并监控到多个方向,形成大面积区域的视角。监测到目标时,输出一个表示确认的脉冲至中心摄像头C0
接着中心摄像头C0启动,确定目标所在位置,准备对目标成像。复眼以球坐标系成像,将空间信息映射至球坐标系,以x2+y2+z2=L2球面W代表复眼。实际目标物体到单个复眼的投影是圆锥投影,因为是从一个面汇聚到一点,所以是圆锥,且投影成像的过程中已知目标物体到复眼的距离。视点位于球体的中心,以半径为轴按一定的角度旋转,将有一个割线平面圆在圆锥平面上。该圆沿着母线延伸,并在目标物体平面上形成投影,如图3所示。相反,它是从目标物体到复眼的投影。
接下来计算圆锥投影的锥顶顶角φ,从割线平面和轴相交的交点到圆锥顶点的距离为l1,如图4所示。球面W上有一点M0(x0,y0,z0),计算穿过点M0的切线平面 (ux)P(x-x0)+(uy)P(y-y0)+(uz)P(z-z0)=0,其中((ux)P,(uy)P,(uz)P)为切线平面的法向量。割线平面的方程为A1*x+A2*y+A3*z+A4=0,求得在M0处切线平面与割线平面之间的夹角θ。当割线平面与切平面平行时,可以在目标平面上获得投影圆;当θ<90°时,它是目标平面上的椭圆投影;当割线平面垂直于目标平面时,不能形成投影。
最后,来自目标平面和圆锥体相交的线有以下几种情况:剖面穿过圆锥的顶点,截面线是直线;剖面不通过圆锥的顶点,垂直于圆锥的轴,截面线是圆;剖面不通过圆锥的顶点,当θ=φ时截面线是抛物线;剖面不通过圆锥的顶点,当θ<φ时截面线是双曲线;剖面不通过圆锥的顶点,当θ>φ时截面线是椭圆。当φ≤θ时则能成像,形成椭圆形投影,计算得到椭圆的面积S;不满足此条件时重新检测目标,得到割线平面到目标平面椭圆投影,便可进行成像,降低了检测难度和复杂度。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种利用多目摄像头检测运动目标的方法,所述方法利用多目摄像头检测运动目标的装置检测运动目标,其特征在于,多目摄像头检测运动目标的装置包括4个摄像头,分别为中心摄像头C0、摄像头一C1、摄像头二C2、摄像头三C3以及控制系统,所述中心摄像头C0、摄像头一C1、摄像头二C2、摄像头三C3均与控制系统连接;所述摄像头一C1、摄像头二C2、摄像头三C3沿中心摄像头C0周向分布,所述中心摄像头C0为基于苍蝇复眼的摄像头;控制系统包括信号处理器、现场可编程门阵列、复眼摄像头控制电路,其中,所述信号处理器用于产生控制信号,所述现场可编程门阵列在控制信号的作用下驱动复眼摄像头控制电路,所述复眼摄像头控制电路根据控制信号控制摄像头一C1、摄像头二C2、摄像头三C3转动,对摄像头摄像区域监控;当至少摄像头一C1、摄像头二C2、摄像头三C3中的一个摄像头检测到目标时,输出一个脉冲,收到脉冲后通过复眼摄像头控制电路控制中心摄像头C0对目标成像;
所述方法包括以下步骤:
步骤1),通过控制系统控制摄像头一C1、摄像头二C2、摄像头三C3转动,对摄像头摄像区域监控;
步骤2),中心摄像头C0根据步骤1)中摄像头一C1、摄像头二C2、摄像头三C3的检测结果决定是否启动,若收到摄像头一C1、摄像头二C2、摄像头三C3中一个摄像头输出的确认脉冲,获得目标确实存在及目标所在位置的信息,中心摄像头C0开始工作,将对目标成像,没有收到脉冲时中心摄像头C0待机;
步骤3),中心摄像头C0将空间信息映射至球坐标系,并以球坐标成像,设置一个以小眼中心为球心的一个球面W,表示为:x2+y2+z2=L2,(0,0,0)即原点表示球心,L表示目标物体与复眼的距离;所述球面的x轴与中心摄像头C0竖直方向垂直且正轴指向前方,y轴与中心摄像头C0竖直方向平行且正轴指向左侧,z轴与中心摄像头C0竖直方向垂直且正轴指向上方;计算穿过球面上一点P(x′,y′,z′)切平面的法向量
Figure FDA0003756620390000011
步骤4),从外部的目标物体汇聚到内部小眼的一点,在空间球坐标系里形成圆锥投影,所述圆锥投影有两种情况,当圆锥面与球面相切时,称为切线圆锥投影,相切处的平面为切平面;当圆锥面与球面间相割时,称为割线圆锥投影,相割处的平面为割线平面;计算割线平面与切平面间的夹角θ,若0°≤θ<90°,则能形成目标平面上的圆形或椭圆形投影;
步骤5)判断目标平面与圆锥体相交的线的情况,当截面平面穿过圆锥顶点或不穿过圆锥顶点时,计算出锥顶顶角φ,根据步骤4)中的割线平面与切平面间的夹角θ判断是否满足φ≤θ,若满足则小眼能成像,根据割线平面与切平面间的夹角θ、锥顶顶角φ、割线平面和轴相交的交点到圆锥顶点的距离l1计算得到椭圆投影面积S,得出目标椭圆成像结果;不满足时,重新检测目标。
2.根据权利要求1所述利用多目摄像头检测运动目标的方法,其特征在于:所述步骤3)具体如下:
步骤31),建立球面坐标系中的复眼成像模型,设置球面W为x2+y2+z2=L2,x轴与摄像头C0竖直方向垂直且正轴指向前方,y轴与C0竖直方向平行且正轴指向左侧,z轴与C0竖直方向垂直且正轴指向上方;
步骤32),确定目标所在的平面,计算投影过程中目标物体与复眼的距离L;
步骤33),设置在球面W上的一点为P(x′,y′,z′),得到穿过点P的切面平面的方程,(ux)P(x-x′)+(uy)P(y-y′)+(uz)P(z-z′)=0,其中,ux是球面W在x轴上的微分系数,uy是球面W在y轴上的微分系数,uz是球面W在z轴上的微分系数,()P表示在点P处;
步骤34),计算穿过球面上一点P(x′,y′,z′)切平面的法向量
Figure FDA0003756620390000021
ux、uy及uz的计算公式分别为
Figure FDA0003756620390000022
其中,u(x,y,z)是球面上的点满足的曲面方程,即u(x,y,z)=x2+y2+z2-L2
3.根据权利要求2所述利用多目摄像头检测运动目标的方法,其特征在于:所述步骤4)具体如下:
步骤41),形成从实际目标物体到单个小眼的圆锥投影,判断圆锥面与球面是否为相切,为相切关系时形成切线圆锥投影,反之为割线圆锥投影,所述的相切是相割的一种特殊情况;
步骤42),以视点为球体的中心,并以半径为轴按一定的角度旋转,在圆锥面上形成一个割线平面圆;该割线平面圆沿着圆锥母线延伸,在目标平面上形成投影;
步骤43),利用上述公式计算得到ux=2x,uy=2y,uz=2z,带入点P(x′,y′,z′)得(ux)P=2x′,(uy)P=2y′,(uz)P=2z′,将步骤33)中的切面平面方程改写为(ux)P*x+(uy)P*y+(uz)P*z-2(x′2+y′2+z′2)=0,用A1*x+A2*y+A3*z+A4=0表示割线平面,其中(A1,A2,A3)表示割线平面的法向量、A4表示割线平面的截距;
步骤44)计算割线平面与切平面间的夹角θ,通过平面的方程求得割线平面与切线平面之间的夹角
Figure FDA0003756620390000031
当θ=0°时,获得在目标平面上的投影圆;当θ<90°时,则能形成目标平面上的椭圆形投影;当割线面与目标平面相垂直时,不能形成投影。
4.根据权利要求3所述利用多目摄像头检测运动目标的方法,其特征在于:所述步骤5)具体如下:
步骤51)判断目标平面与圆锥体相交的线属于以下哪种情况:剖面穿过圆锥的顶点,则截面线是直线;剖面不通过圆锥的顶点,垂直于圆锥的轴,截面线是圆;剖面不通过圆锥的顶点,当θ=φ时截面线是抛物线;剖面不通过圆锥的顶点,当θ<φ时截面线是双曲线;剖面不通过圆锥的顶点,当θ>φ时截面线是椭圆;
步骤52)只有截面线为抛物线或椭圆时能成像,计算出锥顶顶角φ,根据步骤43)中的θ判断是否满足φ≤θ,若满足则能成像;不满足时,重新检测目标;
步骤53)根据割线平面与切平面间的夹角θ、锥顶顶角φ、割线平面和轴相交的交点到圆锥顶点的距离l1计算得到椭圆投影的面积
Figure FDA0003756620390000032
得到目标的椭圆成像。
5.根据权利要求4所述利用多目摄像头检测运动目标的方法,其特征在于:所述摄像头一C1、摄像头二C2、摄像头三C3沿中心摄像头C0周向均匀分布。
CN201910245857.2A 2019-03-28 2019-03-28 一种利用多目摄像头检测运动目标的装置及方法 Active CN109934854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910245857.2A CN109934854B (zh) 2019-03-28 2019-03-28 一种利用多目摄像头检测运动目标的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910245857.2A CN109934854B (zh) 2019-03-28 2019-03-28 一种利用多目摄像头检测运动目标的装置及方法

Publications (2)

Publication Number Publication Date
CN109934854A CN109934854A (zh) 2019-06-25
CN109934854B true CN109934854B (zh) 2022-09-02

Family

ID=66988612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910245857.2A Active CN109934854B (zh) 2019-03-28 2019-03-28 一种利用多目摄像头检测运动目标的装置及方法

Country Status (1)

Country Link
CN (1) CN109934854B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866512B (zh) * 2019-11-26 2022-03-22 中国科学院上海微系统与信息技术研究所 复眼摄像装置及复眼系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815585A (zh) * 2017-01-20 2017-06-09 浙江大学 一种复杂动态环境孔特征的高精视觉定位方法
CN107218930A (zh) * 2017-05-05 2017-09-29 山东大学 基于单目手眼系统的空间圆六维位置‑姿态主动式测量方法
US20180231375A1 (en) * 2016-03-31 2018-08-16 Boe Technology Group Co., Ltd. Imaging device, rotating device, distance measuring device, distance measuring system and distance measuring method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231375A1 (en) * 2016-03-31 2018-08-16 Boe Technology Group Co., Ltd. Imaging device, rotating device, distance measuring device, distance measuring system and distance measuring method
CN106815585A (zh) * 2017-01-20 2017-06-09 浙江大学 一种复杂动态环境孔特征的高精视觉定位方法
CN107218930A (zh) * 2017-05-05 2017-09-29 山东大学 基于单目手眼系统的空间圆六维位置‑姿态主动式测量方法

Also Published As

Publication number Publication date
CN109934854A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN109144095B (zh) 用于无人驾驶飞行器的基于嵌入式立体视觉的障碍躲避系统
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
França et al. A 3D scanning system based on laser triangulation and variable field of view
CN109598765A (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
WO2021052403A1 (zh) 一种移动机器人感知障碍信息的方法、装置
CN106598046A (zh) 机器人躲避控制方法和装置
CN102353376B (zh) 全景成像地球敏感器
CN107680159A (zh) 一种基于投影矩阵的空间非合作目标三维重建方法
WO2019127518A1 (zh) 避障方法、装置及可移动平台
WO2019033673A1 (zh) 海域全景监控方法、装置、服务器及系统
JP2021528732A (ja) 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器
CN102572220A (zh) 3-3-2空间信息转换新模式的仿生复眼运动目标检测
Xu et al. Object detection based on fusion of sparse point cloud and image information
CN104330075B (zh) 栅格化极坐标系目标定位方法
KR102525570B1 (ko) 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치
CN109934854B (zh) 一种利用多目摄像头检测运动目标的装置及方法
CN103617631A (zh) 一种基于中心检测的跟踪方法
CN1272750C (zh) 一种基于两张鱼眼图像的智能型全景生成方法
Zhang et al. Rotation equivariant orientation estimation for omnidirectional localization
CN116824080A (zh) 一种基于多传感器融合实现输电走廊slam点云建图方法
Li et al. Comparison of 3D object detection based on LiDAR point cloud
KR102310958B1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
WO2022011560A1 (zh) 图像裁剪方法与装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant