CN113689474B - 基于凝视跟踪一维高速运动目标系统的跟踪方法 - Google Patents

基于凝视跟踪一维高速运动目标系统的跟踪方法 Download PDF

Info

Publication number
CN113689474B
CN113689474B CN202110988809.XA CN202110988809A CN113689474B CN 113689474 B CN113689474 B CN 113689474B CN 202110988809 A CN202110988809 A CN 202110988809A CN 113689474 B CN113689474 B CN 113689474B
Authority
CN
China
Prior art keywords
camera
coordinate system
speed moving
vibrating mirror
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110988809.XA
Other languages
English (en)
Other versions
CN113689474A (zh
Inventor
耿树巧
王力超
竺长安
金�一
李子阳
王义琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202110988809.XA priority Critical patent/CN113689474B/zh
Publication of CN113689474A publication Critical patent/CN113689474A/zh
Application granted granted Critical
Publication of CN113689474B publication Critical patent/CN113689474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了基于凝视跟踪一维高速运动目标系统的跟踪方法,设计高速运动目标跟踪结构,初步组建凝视跟踪一维高速运动目标系统;根据镜面成像原理精确高速相机的位置,从而完成对凝视跟踪一维高速运动目标系统的组建;根据凝视跟踪一维高速运动目标系统建立振镜旋转角度与画面平移像素之间的数学模型;根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间的关系,并根据高速运动目标出现的方向将振镜置于相应的最大偏转角处;启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标;本发明针对一维高速运动目标的运动特性,提高了设计的系统采用单振镜方式,能够实现较大的成像视角和扫描角度,具有广泛的应用前景。

Description

基于凝视跟踪一维高速运动目标系统的跟踪方法
技术领域
本发明涉及跟踪一维高速运动目标技术领域,具体涉及基于凝视跟踪一维高速运动目标系统的跟踪方法。
背景技术
高速运动目标广泛存在于国防军事、航空航天和体育赛事等领域。视觉测量方法因其无负载效应的特点,已逐渐成为分析高速运动目标的主流方法。然而,对运动目标本体的精确测量要求目标占据尽可能多的像素点,这需要采用较大的焦距,导致视场范围较小;对运动目标轨迹的长时间测量要求视场尽可能大,导致需要采用较小的焦距。这两者之间是矛盾的。基于振镜反射的凝视跟踪系统可以解决这一矛盾:高速相机采用较大焦距,使目标本体尽可能清晰;通过改变振镜角度,可以改变相机视场,实现大范围内长时间的跟踪。
目前,双振镜系统采用平移振镜和倾斜振镜,先通过倾斜振镜旋转反射运动物体在竖直方向的运动,再通过平移振镜旋转反射倾斜振镜镜面中运动物体在水平方向的运动;这样双振镜系统可以在二维平面中跟踪运动目标,然而双振镜系统成像视角和最大扫描角度均受到一定的限制因为结构;因此,需要设计基于凝视跟踪一维高速运动目标系统的跟踪方法。
发明内容
本发明的目的是克服现有技术的不足,并针对一维高速运动目标的运动特性,且设计的系统采用单振镜方式,具有能够实现较大的成像视角和扫描角度的优点。
为了达到上述目的,本发明所采用的技术方案是:
基于凝视跟踪一维高速运动目标系统的跟踪方法,包括以下步骤,
步骤(A),设计高速运动目标跟踪结构,初步组建凝视跟踪一维高速运动目标系统;
步骤(B),根据镜面成像原理精确高速相机的位置,从而完成对凝视跟踪一维高速运动目标系统的组建;
步骤(C),根据凝视跟踪一维高速运动目标系统建立振镜旋转角度与画面平移像素之间的数学模型;
步骤(D),根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间的关系,并根据高速运动目标出现的方向将振镜置于相应的最大偏转角处;
步骤(E),启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,若出现高速运动目标则继续步骤(F),若未出现高速运动目标则重复步骤(E);
步骤(F),计算高速运动目标在画面中的位置与画面中心点之间的偏差,并将偏差反馈至振镜控制系统;
步骤(G),通过振镜控制系统调整振镜旋转角度,完成对高速运动目标的凝视跟踪。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,步骤(A),设计高速运动目标跟踪结构,初步组建凝视跟踪一维高速运动目标系统,其中高速运动目标跟踪结构包括目标运动轨迹、振镜旋转轴和高速相机,初步组建凝视跟踪一维高速运动目标系统是将高速运动目标跟踪结构放置于坐标系中,以振镜中心点为坐标系原点,其组建具体步骤如下,
步骤(A1),将目标运动轨迹放置于坐标系中,以目标运动轨迹为x轴,并设运动方向为正方向;
步骤(A2),将振镜旋转轴放置于坐标系中,以振镜旋转轴为y轴,并设向上为正方向,与xoy平面正交轴为z轴,设由振镜向目标方向为正方向;
步骤(A3),将高速相机放置于坐标系中,将高速相机置于yoz平面,位置固定不变,通过振镜的反射拍摄目标,且高速相机放置于目标运动轨迹的下方,高速相机视角与z轴夹角为-β。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,步骤(B),根据镜面成像原理精确高速相机的位置,从而完成对凝视跟踪一维高速运动目标系统的组建,其具体步骤如下,
步骤(B1),根据镜面成像原理,将实体高速相机位置A等效为镜面中的虚拟相机位置A’;
步骤(B2),振镜绕y轴旋转,使得相机视场在x轴方向发生平移,设镜面与xoy平面的夹角为α,逆时针旋转为正角度,顺时针旋转为负角度;
步骤(B3),根据运动目标位置确定旋转角度,从而实现对相机视场的改变,使得目标始终在画面的中心位置。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,步骤(C),根据凝视跟踪一维高速运动目标系统建立振镜旋转角度与画面平移像素之间的数学模型,其建立数学模型的具体步骤是根据凝视跟踪一维高速运动目标系统可知,振镜绕y轴旋转使得相机视场沿x轴方向平移,再通过世界坐标系、相机坐标系、成像坐标系和像素坐标系的转换建立振镜旋转角度与画面平移像素之间的数学模型,设目标在世界坐标系中某点坐标的位置为(xw,yw,zw),而对应像素坐标系中的坐标为(u,v),根据张正友标定法可得如公式(1)所示,
Figure GDA0004141153620000041
其中,Zc表示该点在相机坐标系下z轴方向的坐标,R表示相机外参矩阵,Rij构成旋转矩阵并代表世界坐标系和相机坐标系之间的旋转关系,且1≤i≤3,1≤j≤3,tx、ty和tz表示相机坐标系原点在世界坐标系中的坐标分量,A表示相机内参矩阵并代表像素坐标系和相机坐标系之间的仿射变换关系,f表示相机焦距,1/dx和1/dy分别表示成像坐标系和像素坐标系之间两个坐标轴的尺度变换因子,u0和v0表示像素坐标系原点在成像坐标系中的坐标分量,fx表示相机焦距f变换为在x方向上的像素度量,fy表示相机焦距f变换为在y方向上的像素度量。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,步骤(D),根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间的关系,并根据高速运动目标出现的方向将振镜置于相应的最大偏转角处,其中根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间关系的具体步骤如下,
步骤(D1),以振镜偏转角α=0°时对相机进行标定,设棋盘格水平方向上的两个相邻角点在世界坐标系中的坐标为P1(x1,y,0)和P2(x2,y,0),这时棋盘格上所有点在Z轴方向的坐标值为0,计算P1和P2的具体步骤如下,
步骤(D2),利用公式(1)计算P1(u1,v1)的像素位置如公式(2)所示,
Figure GDA0004141153620000051
步骤(D3),利用公式(1)计算P2(u2,v2)的像素位置如公式(3)所示,
Figure GDA0004141153620000052
步骤(D4),由P1(u1,v1)和P2(u2,v2)的像素位置可得像素坐标系中两坐标点在水平方向和竖直方向的像素距离,如公式(4)所示,
Figure GDA0004141153620000053
其中,△u表示两点之间的水平距离,△v表示两点之间的竖直距离;
步骤(D5),设世界坐标系中棋盘格尺寸为Δl,得到世界坐标系中1mm对应的像素长度p,且p的单位为像素,而长度p的计算如公式(5)所示,
Figure GDA0004141153620000054
步骤(D6),在世界坐标系中推算振镜旋转角度与相机凝视线水平位移之间的关系,并设-αi、-αi+1分别振镜的两个偏转角度,且对应的相机凝视线投影在xoz平面上的点为Gi、Gi+1点,再由镜面成像原理可得不同角度的凝视线均相交于振镜中心点,再通过用L表示振镜偏转角度为0°时振镜中心点到相机凝视线在xoz平面上的投影点G的距离,这样由几何关系可得相机凝视线的水平位移等于其在xoz平面上的投影Gi和Gi+1之间的距离如公式(6)所示,
△x=L*[tan(-αi)-tan(-αi+1)]            (6)
其中,△x表示在xoz平面上的投影Gi和Gi+1之间的距离;
步骤(D7),根据公式(5)推导出的世界坐标系和像素坐标系的尺度变换关系,并结合公式(5)和(6)计算出振镜偏转角度与相机凝视线水平像素位移之间的关系如公式(7)所示,
△x=L*[tan(-αi)-tan(-αi+1)]*p         (7)。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,步骤(E),启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,若出现高速运动目标则继续步骤(F),若未出现高速运动目标则重复步骤(E),其中检测连续图像中是否出现高速运动目标的具体步骤如下,
步骤(E1),设w表示图像的宽度,h表示图像的高度,仅需要找到第n帧图像上背景的像素点(u,v)在第n+1帧图像上的位置(u’,v’),即采用帧差法检测动态背景中的运动目标;
步骤(E2),利用帧差法检测动态背景中运动目标的具体步骤为假设第n+1帧相机的凝视线相对于第n帧时向右平移了Δu个像素点,向下平移了Δv个像素点,即得到(u,v)与(u’,v’)的关系如公式(8)所示,
Figure GDA0004141153620000061
其中,1≤u≤w-Δu,1≤v≤h-Δv,1+Δu≤u’≤w,1+Δv≤v’≤h。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,其特征在于:步骤(F),计算高速运动目标在画面中的位置与画面中心点之间的偏差,并将偏差反馈至振镜控制系统,其中计算高速运动目标在画面中的位置与画面中心点之间的偏差采用的是公式(6)。
前述的基于凝视跟踪一维高速运动目标系统的跟踪方法,步骤(G),通过振镜控制系统调整振镜旋转角度,完成对高速运动目标的凝视跟踪,其中振镜旋转角度大小是采用公式(7)计算得出,而通过振镜控制系统调整振镜旋转角度的具体步骤如下,
步骤(G1),根据(u,v)和(u’,v’)的取值范围,将第n帧图像和第n+1帧图像进行裁剪,保留第n帧图像的第1+Δu至第w列、第1+Δv至第h行的像素点,保留第n+1帧图像的第1至w-Δu列、第1至h-Δv行的像素点,即消除了因相机凝视线移动所造成的静态背景在图像上的偏移,且裁剪后的两帧图像尺寸不再是w*h,而是(w-Δu)*(h-Δv);
步骤(G2),设fn(u,v)表示视频序列中的第n帧图像上(u,v)像素点的灰度值(以左上角为(0,0)点),任意相邻帧图像的差分公式如公式(9)所示,
Dn(u,v)=|fn+1(u,v)-fn(u,v)|  (9);
其中,Dn(u,v)为下一帧图像减去当前帧图像的差分图像的绝对值,设T为阈值,Rn+1为差分图,则Rn+1(u,v)由公式(10)确定,
Figure GDA0004141153620000071
本发明的有益效果是:本发明的基于凝视跟踪一维高速运动目标系统的跟踪方法,针对一维高速运动目标的运动特性,首先根据高速运动目标出现的方向将振镜置于相应的最大偏转角处,再启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,当检测出高速运动目标时,这时计算高速运动目标在画面中的位置与画面中心点之间的偏差,接着反馈至振镜控制系统,从而形成闭环控制,进而实现了对高速运动目标的凝视跟踪,本发明设计的系统采用单振镜方式,能够实现较大的成像视角和扫描角度,具有广泛的应用前景。
附图说明
图1是本发明的基于凝视跟踪一维高速运动目标系统的跟踪方法的流程图;
图2是本发明的系统结构三维示意图;
图3是本发明的系统结构左视示意图;
图4是本发明的系统结构俯视示意图;
图5是本发明的振镜旋转角度与目标运动位移示意图;
图6是本发明的视频集中两个相邻帧裁剪效果示意图;
图7是本发明的实验数据示意图。
具体实施方式
下面将结合说明书附图,对本发明作进一步的说明。
如图1所示,本发明的基于凝视跟踪一维高速运动目标系统的跟踪方法,包括以下步骤,
步骤(A),设计高速运动目标跟踪结构,初步组建凝视跟踪一维高速运动目标系统,其中高速运动目标跟踪结构包括目标运动轨迹、振镜旋转轴和高速相机,初步组建凝视跟踪一维高速运动目标系统是将高速运动目标跟踪结构放置于坐标系中,以振镜中心点为坐标系原点,其组建具体步骤如下,
步骤(A1),将目标运动轨迹放置于坐标系中,以目标运动轨迹为x轴,并设运动方向为正方向;
步骤(A2),将振镜旋转轴放置于坐标系中,以振镜旋转轴为y轴,并设向上为正方向,与xoy平面正交轴为z轴,设由振镜向目标方向为正方向;
步骤(A3),将高速相机放置于坐标系中,将高速相机置于yoz平面,位置固定不变,通过振镜的反射拍摄目标,且高速相机放置于目标运动轨迹的下方,高速相机视角与z轴夹角为-β;
其中原理图2所示,且高速相机放置于目标运动轨迹的下方是为了避免高速相机本体产生遮挡。
步骤(B),根据镜面成像原理精确高速相机的位置,从而完成对凝视跟踪一维高速运动目标系统的组建,其具体步骤如下,
步骤(B1),根据镜面成像原理,将实体高速相机位置A等效为镜面中的虚拟相机位置A’;
其中,原理如图3所示;
步骤(B2),振镜绕y轴旋转,使得相机视场在x轴方向发生平移,设镜面与xoy平面的夹角为α,逆时针旋转为正角度,顺时针旋转为负角度;
步骤(B3),根据运动目标位置确定旋转角度,从而实现对相机视场的改变,使得目标始终在画面的中心位置;
其中,原理如图4所示。
步骤(C),根据凝视跟踪一维高速运动目标系统建立振镜旋转角度与画面平移像素之间的数学模型,其建立数学模型的具体步骤是根据凝视跟踪一维高速运动目标系统可知,振镜绕y轴旋转使得相机视场沿x轴方向平移,再通过世界坐标系、相机坐标系、成像坐标系和像素坐标系的转换建立振镜旋转角度与画面平移像素之间的数学模型,设目标在世界坐标系中某点坐标的位置为(xw,yw,zw),而对应像素坐标系中的坐标为(u,v),根据张正友标定法可得如公式(1)所示,
Figure GDA0004141153620000101
其中,Zc表示该点在相机坐标系下z轴方向的坐标,R表示相机外参矩阵,Rij构成旋转矩阵并代表世界坐标系和相机坐标系之间的旋转关系,且1≤i≤3,1≤j≤3,tx、ty和tz表示相机坐标系原点在世界坐标系中的坐标分量,A表示相机内参矩阵并代表像素坐标系和相机坐标系之间的仿射变换关系,f表示相机焦距,1/dx和1/dy分别表示成像坐标系和像素坐标系之间两个坐标轴的尺度变换因子,u0和v0表示像素坐标系原点在成像坐标系中的坐标分量,fx表示相机焦距f变换为在x方向上的像素度量,fy表示相机焦距f变换为在y方向上的像素度量。
通过数学模型实现了系统凝视跟踪过程中,内参矩阵A固定不变,外参矩阵R随振镜角度的改变而改变。
步骤(D),根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间的关系,并根据高速运动目标出现的方向将振镜置于相应的最大偏转角处,其中根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间关系的具体步骤如下,
步骤(D1),以振镜偏转角α=0°时对相机进行标定,设棋盘格水平方向上的两个相邻角点在世界坐标系中的坐标为P1(x1,y,0)和P2(x2,y,0),这时棋盘格上所有点在Z轴方向的坐标值为0,计算P1和P2的具体步骤如下,
步骤(D2),利用公式(1)计算P1(u1,v1)的像素位置如公式(2)所示,
Figure GDA0004141153620000111
步骤(D3),利用公式(1)计算P2(u2,v2)的像素位置如公式(3)所示,
Figure GDA0004141153620000112
步骤(D4),由P1(u1,v1)和P2(u2,v2)的像素位置可得像素坐标系中两坐标点在水平方向和竖直方向的像素距离,如公式(4)所示,
Figure GDA0004141153620000113
其中,△u表示两点之间的水平距离,△v表示两点之间的竖直距离;
步骤(D5),设世界坐标系中棋盘格尺寸为Δl,得到世界坐标系中1mm对应的像素长度p,且p的单位为像素,而长度p的计算如公式(5)所示,
Figure GDA0004141153620000114
步骤(D6),在世界坐标系中推算振镜旋转角度与相机凝视线水平位移之间的关系,并设-αi、-αi+1分别振镜的两个偏转角度,且对应的相机凝视线投影在xoz平面上的点为Gi、Gi+1点,再由镜面成像原理可得不同角度的凝视线均相交于振镜中心点,再通过用L表示振镜偏转角度为0°时振镜中心点到相机凝视线在xoz平面上的投影点G的距离,这样由几何关系可得相机凝视线的水平位移等于其在xoz平面上的投影Gi和Gi+1之间的距离如公式(6)所示,
△x=L*[tan(-αi)-tan(-αi+1)]            (6)
其中,原理图5所示,△x表示在xoz平面上的投影Gi和Gi+1之间的距离;
步骤(D7),根据公式(5)推导出的世界坐标系和像素坐标系的尺度变换关系,并结合公式(5)和(6)计算出振镜偏转角度与相机凝视线水平像素位移之间的关系如公式(7)所示,
△x=L*[tan(-αi)-tan(-αi+1)]*p         (7)。
步骤(E),启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,若出现高速运动目标则继续步骤(F),若未出现高速运动目标则重复步骤(E),其中检测连续图像中是否出现高速运动目标的具体步骤如下,
步骤(E1),设w表示图像的宽度,h表示图像的高度,仅需要找到第n帧图像上背景的像素点(u,v)在第n+1帧图像上的位置(u’,v’),即采用帧差法检测动态背景中的运动目标;
步骤(E2),利用帧差法检测动态背景中运动目标的具体步骤为假设第n+1帧相机的凝视线相对于第n帧时向右平移了Δu个像素点,向下平移了Δv个像素点,即得到(u,v)与(u’,v’)的关系如公式(8)所示,
Figure GDA0004141153620000121
其中,1≤u≤w-Δu,1≤v≤h-Δv,1+Δu≤u’≤w,1+Δv≤v’≤h,取值范围的设定是为了确保计算过程中不出现边界溢出的情况。
步骤(F),计算高速运动目标在画面中的位置与画面中心点之间的偏差,并将偏差反馈至振镜控制系统,其中计算高速运动目标在画面中的位置与画面中心点之间的偏差采用的是公式(6)。
步骤(G),通过振镜控制系统调整振镜旋转角度,完成对高速运动目标的凝视跟踪,其中振镜旋转角度大小是采用公式(7)计算得出,而通过振镜控制系统调整振镜旋转角度的具体步骤如下,
步骤(G1),根据(u,v)和(u’,v’)的取值范围,将第n帧图像和第n+1帧图像进行裁剪,保留第n帧图像的第1+Δu至第w列、第1+Δv至第h行的像素点,保留第n+1帧图像的第1至w-Δu列、第1至h-Δv行的像素点,即消除了因相机凝视线移动所造成的静态背景在图像上的偏移,且裁剪后的两帧图像尺寸不再是w*h,而是(w-Δu)*(h-Δv);
其中,原理由图6所示;
步骤(G2),设fn(u,v)表示视频序列中的第n帧图像上(u,v)像素点的灰度值(以左上角为(0,0)点),任意相邻帧图像的差分公式如公式(9)所示,
Dn(u,v)=|fn+1(u,v)-fn(u,v)|  (9);
其中,Dn(u,v)为下一帧图像减去当前帧图像的差分图像的绝对值,设T为阈值,Rn+1为差分图,则Rn+1(u,v)由公式(10)确定,
Figure GDA0004141153620000131
图7展示的是本发明的一个实验数据,以一个凝视跟踪炮弹的视频为对象,验证本发明的有效性,(a)原始帧;(b)传统帧差;(c)本发明提出的方法;由图7所示:
图7(a)展示了该视频的第n-2、n-1、n、n+1、n+2帧,可以看出,相机凝视线一直在随炮弹运动方向移动,且背景较为复杂,干扰大;
图7(b)是传统帧差法的差分图像;
图7(c)是基于裁剪的帧差法的差分图像,可以看出,传统帧差法完全无法检测运动的炮弹,而改进后的方法可以有效检测出运动炮弹的位置。
综上所述,本发明的基于凝视跟踪一维高速运动目标系统的跟踪方法,针对一维高速运动目标的运动特性,首先根据高速运动目标出现的方向将振镜置于相应的最大偏转角处,再启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,当检测出高速运动目标时,这时计算高速运动目标在画面中的位置与画面中心点之间的偏差,接着反馈至振镜控制系统,从而形成闭环控制,进而实现了对高速运动目标的凝视跟踪,本发明设计的系统采用单振镜方式,能够实现较大的成像视角和扫描角度,具有广泛的应用前景。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.基于凝视跟踪一维高速运动目标系统的跟踪方法,其特征在于:包括以下步骤,
步骤(A),设计高速运动目标跟踪结构,初步组建凝视跟踪一维高速运动目标系统,其中高速运动目标跟踪结构包括目标运动轨迹、振镜旋转轴和高速相机,初步组建凝视跟踪一维高速运动目标系统是将高速运动目标跟踪结构放置于坐标系中,以振镜中心点为坐标系原点,其组建具体步骤如下,
步骤(A1),将目标运动轨迹放置于坐标系中,以目标运动轨迹为x轴,并设运动方向为正方向;
步骤(A2),将振镜旋转轴放置于坐标系中,以振镜旋转轴为y轴,并设向上为正方向,与xoy平面正交轴为z轴,设由振镜向目标方向为正方向;
步骤(A3),将高速相机放置于坐标系中,将高速相机置于yoz平面,位置固定不变,通过振镜的反射拍摄目标,且高速相机放置于目标运动轨迹的下方,高速相机视角与z轴夹角为-β;
步骤(B),根据镜面成像原理精确高速相机的位置,从而完成对凝视跟踪一维高速运动目标系统的组建,其具体步骤如下,
步骤(B1),根据镜面成像原理,将实体高速相机位置A等效为镜面中的虚拟相机位置A’;
步骤(B2),振镜绕y轴旋转,使得相机视场在x轴方向发生平移,设镜面与xoy平面的夹角为α,逆时针旋转为正角度,顺时针旋转为负角度;
步骤(B3),根据运动目标位置确定旋转角度,从而实现对相机视场的改变,使得目标始终在画面的中心位置;
步骤(C),根据凝视跟踪一维高速运动目标系统建立振镜旋转角度与画面平移像素之间的数学模型,其建立数学模型的具体步骤是根据凝视跟踪一维高速运动目标系统可知,振镜绕y轴旋转使得相机视场沿x轴方向平移,再通过世界坐标系、相机坐标系、成像坐标系和像素坐标系的转换建立振镜旋转角度与画面平移像素之间的数学模型,设目标在世界坐标系中某点坐标的位置为(xw,yw,zw),而对应像素坐标系中的坐标为(u,v),根据张正友标定法可得如公式(1)所示,
Figure FDA0004141153610000021
Figure FDA0004141153610000022
其中,Zc表示该点在相机坐标系下z轴方向的坐标,R表示相机外参矩阵,Rij构成旋转矩阵并代表世界坐标系和相机坐标系之间的旋转关系,且1≤i≤3,1≤j≤3,tx、ty和tz表示相机坐标系原点在世界坐标系中的坐标分量,A表示相机内参矩阵并代表像素坐标系和相机坐标系之间的仿射变换关系,f表示相机焦距,1/dx和1/dy分别表示成像坐标系和像素坐标系之间两个坐标轴的尺度变换因子,u0和v0表示像素坐标系原点在成像坐标系中的坐标分量,fx表示相机焦距f变换为在x方向上的像素度量,fy表示相机焦距f变换为在y方向上的像素度量;
步骤(D),根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间的关系,并根据高速运动目标出现的方向将振镜置于相应的最大偏转角处;
步骤(E),启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,若出现高速运动目标则继续步骤(F),若未出现高速运动目标则重复步骤(E);
步骤(F),计算高速运动目标在画面中的位置与画面中心点之间的偏差,并将偏差反馈至振镜控制系统;
步骤(G),通过振镜控制系统调整振镜旋转角度,完成对高速运动目标的凝视跟踪。
2.根据权利要求1所述的基于凝视跟踪一维高速运动目标系统的跟踪方法,其特征在于:步骤(D),根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间的关系,并根据高速运动目标出现的方向将振镜置于相应的最大偏转角处,其中根据建立的数学模型计算出振镜偏转角度与相机凝视线水平像素位移之间关系的具体步骤如下,
步骤(D1),以振镜偏转角α=0°时对相机进行标定,设棋盘格水平方向上的两个相邻角点在世界坐标系中的坐标为P1(x1,y,0)和P2(x2,y,0),这时棋盘格上所有点在Z轴方向的坐标值为0,计算P1和P2的具体步骤如下,
步骤(D2),利用公式(1)计算P1(u1,v1)的像素位置如公式(2)所示,
Figure FDA0004141153610000031
步骤(D3),利用公式(1)计算P2(u2,v2)的像素位置如公式(3)所示,
Figure FDA0004141153610000041
步骤(D4),由P1(u1,v1)和P2(u2,v2)的像素位置可得像素坐标系中两坐标点在水平方向和竖直方向的像素距离,如公式(4)所示,
Figure FDA0004141153610000042
其中,△u表示两点之间的水平距离,△v表示两点之间的竖直距离;
步骤(D5),设世界坐标系中棋盘格尺寸为Δl,得到世界坐标系中1mm对应的像素长度p,且p的单位为像素,而长度p的计算如公式(5)所示,
Figure FDA0004141153610000043
步骤(D6),在世界坐标系中推算振镜旋转角度与相机凝视线水平位移之间的关系,并设-αi、-αi+1分别振镜的两个偏转角度,且对应的相机凝视线投影在xoz平面上的点为Gi、Gi+1点,再由镜面成像原理可得不同角度的凝视线均相交于振镜中心点,再通过用L表示振镜偏转角度为0°时振镜中心点到相机凝视线在xoz平面上的投影点G的距离,这样由几何关系可得相机凝视线的水平位移等于其在xoz平面上的投影Gi和Gi+1之间的距离如公式(6)所示,
△x=L*[tan(-αi)-tan(-αi+1)]            (6)
其中,△x表示在xoz平面上的投影Gi和Gi+1之间的距离;
步骤(D7),根据公式(5)推导出的世界坐标系和像素坐标系的尺度变换关系,并结合公式(5)和(6)计算出振镜偏转角度与相机凝视线水平像素位移之间的关系如公式(7)所示,
△x=L*[tan(-αi)-tan(-αi+1)]*p         (7)。
3.根据权利要求2所述的基于凝视跟踪一维高速运动目标系统的跟踪方法,其特征在于:步骤(E),启动高速相机实时采集图像,并检测连续图像中是否出现高速运动目标,若出现高速运动目标则继续步骤(F),若未出现高速运动目标则重复步骤(E),其中检测连续图像中是否出现高速运动目标的具体步骤如下,
步骤(E1),设w表示图像的宽度,h表示图像的高度,仅需要找到第n帧图像上背景的像素点(u,v)在第n+1帧图像上的位置(u’,v’),即采用帧差法检测动态背景中的运动目标;
步骤(E2),利用帧差法检测动态背景中运动目标的具体步骤为假设第n+1帧相机的凝视线相对于第n帧时向右平移了Δu个像素点,向下平移了Δv个像素点,即得到(u,v)与(u’,v’)的关系如公式(8)所示,
Figure FDA0004141153610000051
其中,1≤u≤w-Δu,1≤v≤h-Δv,1+Δu≤u’≤w,1+Δv≤v’≤h。
4.根据权利要求3所述的基于凝视跟踪一维高速运动目标系统的跟踪方法,其特征在于:步骤(F),计算高速运动目标在画面中的位置与画面中心点之间的偏差,并将偏差反馈至振镜控制系统,其中计算高速运动目标在画面中的位置与画面中心点之间的偏差采用的是公式(6)。
5.根据权利要求4所述的基于凝视跟踪一维高速运动目标系统的跟踪方法,其特征在于:步骤(G),通过振镜控制系统调整振镜旋转角度,完成对高速运动目标的凝视跟踪,其中振镜旋转角度大小是采用公式(7)计算得出,而通过振镜控制系统调整振镜旋转角度的具体步骤如下,
步骤(G1),根据(u,v)和(u’,v’)的取值范围,将第n帧图像和第n+1帧图像进行裁剪,保留第n帧图像的第1+Δu至第w列、第1+Δv至第h行的像素点,保留第n+1帧图像的第1至w-Δu列、第1至h-Δv行的像素点,即消除了因相机凝视线移动所造成的静态背景在图像上的偏移,且裁剪后的两帧图像尺寸不再是w*h,而是(w-Δu)*(h-Δv);
步骤(G2),设fn(u,v)表示视频序列中的第n帧图像上(u,v)像素点的灰度值(以左上角为(0,0)点),任意相邻帧图像的差分公式如公式(9)所示,
Dn(u,v)=fn+1(u,v)-fn(u,v)(9);
其中,Dn(u,v)为下一帧图像减去当前帧图像的差分图像的绝对值,设T为阈值,Rn+1为差分图,则Rn+1(u,v)由公式(10)确定,
Figure FDA0004141153610000061
CN202110988809.XA 2021-08-26 2021-08-26 基于凝视跟踪一维高速运动目标系统的跟踪方法 Active CN113689474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110988809.XA CN113689474B (zh) 2021-08-26 2021-08-26 基于凝视跟踪一维高速运动目标系统的跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110988809.XA CN113689474B (zh) 2021-08-26 2021-08-26 基于凝视跟踪一维高速运动目标系统的跟踪方法

Publications (2)

Publication Number Publication Date
CN113689474A CN113689474A (zh) 2021-11-23
CN113689474B true CN113689474B (zh) 2023-05-02

Family

ID=78583120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110988809.XA Active CN113689474B (zh) 2021-08-26 2021-08-26 基于凝视跟踪一维高速运动目标系统的跟踪方法

Country Status (1)

Country Link
CN (1) CN113689474B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348237B (zh) * 2023-12-04 2024-02-06 北京天翔睿翼科技有限公司 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207908048U (zh) * 2018-03-20 2018-09-25 南京凯奥思数据技术有限公司 追踪旋转叶片的振动测量装置
CN108646741A (zh) * 2018-05-31 2018-10-12 哈尔滨工程大学 一种基于视觉反馈的无人艇目标跟踪方法
CN110225226A (zh) * 2019-05-10 2019-09-10 华中科技大学 一种视觉跟踪系统及方法
CN111246099A (zh) * 2020-01-20 2020-06-05 中国科学院微电子研究所 主动式闭环控制的高速目标同步跟拍装置及方法
CN111896973A (zh) * 2020-07-16 2020-11-06 武汉大学 基于主被动融合的超远距离目标三维运动轨迹预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207908048U (zh) * 2018-03-20 2018-09-25 南京凯奥思数据技术有限公司 追踪旋转叶片的振动测量装置
CN108646741A (zh) * 2018-05-31 2018-10-12 哈尔滨工程大学 一种基于视觉反馈的无人艇目标跟踪方法
CN110225226A (zh) * 2019-05-10 2019-09-10 华中科技大学 一种视觉跟踪系统及方法
CN111246099A (zh) * 2020-01-20 2020-06-05 中国科学院微电子研究所 主动式闭环控制的高速目标同步跟拍装置及方法
CN111896973A (zh) * 2020-07-16 2020-11-06 武汉大学 基于主被动融合的超远距离目标三维运动轨迹预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Lichao Wang等.Ballistocardiogram heart rate detection: Improved methodology based on a three-layer filter.《measurement》.2019,(第149期),正文1-10. *
Tomohiko Hayakawa等.Real-time high-speed motion blur compensation system based on back-and-forth motion control of galvanometer mirror.《Optics Express》.2015,第23卷(第25期),31648-31661. *
王力超等.基于高速视觉的振动频率测量方法研究.《光电子·激光》.2020,第31卷(第5期),488-493. *
钟东宏.基于自适应多相关滤波模型的视觉跟踪算法研究.《CNKI优秀硕士学位论文全文库(信息科技辑)》.2019,(第6期),I135-91. *

Also Published As

Publication number Publication date
CN113689474A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN106650682B (zh) 一种人脸追踪的方法及装置
CN108363946B (zh) 基于无人机的人脸跟踪系统及方法
CN111243033B (zh) 一种优化双目相机外参数的方法
WO2021043213A1 (zh) 标定方法、装置、航拍设备和存储介质
WO2014068779A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN111263142B (zh) 一种摄像模组光学防抖的测试方法、装置、设备及介质
CN106408551A (zh) 一种监控装置控制的方法及装置
CN113689474B (zh) 基于凝视跟踪一维高速运动目标系统的跟踪方法
CN113554708A (zh) 一种基于单圆柱靶标的线结构光视觉传感器的完全标定法
WO2020063058A1 (zh) 一种多自由度可动视觉系统的标定方法
CN109724586A (zh) 一种融合深度图和点云的航天器相对位姿测量方法
CN112419427A (zh) 用于提高飞行时间相机精度的方法
Wang et al. A real-time correction and stitching algorithm for underwater fisheye images
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN115082555A (zh) 一种rgbd单目相机的高精度位移实时测量系统及方法
CN112629342B (zh) 弹体姿态角测量方法
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
CN112689084A (zh) 一种机载光电侦察成像系统及电子稳像方法
Ren et al. Self-calibration method of gyroscope and camera in video stabilization
CN112197701B (zh) 应用于大幅面工件的三维数据提取方法
Tan et al. A distortion image correction method based on machine vision
JP2021033015A5 (zh)
CN109242910A (zh) 一种基于任意已知平面形状的单目相机自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant