CN117348237B - 基于工业振镜系统的远距离高速视觉实时跟踪系统及方法 - Google Patents

Abstract

本申请公开了一种基于工业振镜系统的远距离高速视觉实时跟踪系统及方法，该系统包括：工业振镜组件、高速相机和处理单元，其中，工业振镜组件，接收处理单元发出的控制指令，控制自身的旋转，以实时将捕捉到的包含移动目标的目标图像反射于高速相机中；高速相机，将工业振镜组件反射目标图像传输给处理单元；处理单元，接收高速相机发送的目标图像并进行二维图像的显示，以及根据目标点变化前后的图像坐标，计算出工业振镜组件的旋转角度并发出对应的控制指令。本申请利用工业激光领域成熟的二维扫描振镜和相机组合起来，其响应非常快，旋转重复定位精度高，在低成本的前提下，实现了高响应、高精度的远距离高速视觉实时跟踪目标的效果。

Description

基于工业振镜系统的远距离高速视觉实时跟踪系统及方法

技术领域

本申请属于光电技术领域，具体涉及一种基于工业振镜系统的远距离高速视觉实时跟踪系统及方法。

背景技术

现有的远距离捕捉跟踪高速运动物体的技术，可用于无人驾驶汽车、航空航天等领域的避障、定位、规划等应用，目前对视觉跟踪捕捉技术主要存在如下三种技术。

一是通过激光雷达、毫米波雷达等主动探测捕捉跟踪技术，此种技术手段受限于雨雪雾等天气干扰影响很大，且探测距离受到发射功率的限制一般不会超过1000米且成本高。

二是通过建设基站/携带传感器模式的GPS/UWB等探测跟踪技术，此种技术手段受限于基站建设成本高、被跟踪目标需携带传感器等缺点，可应用的范围有限。

三是基于旋转云台的远距离被动视觉跟踪技术，基于被动视觉的捕捉跟踪技术具有成本低、不受天气影响、被跟踪目标无需携带传感器等优点，目前基于此技术的都是通过控制旋转云台来控制相机跟踪目标，但旋转云台存在速率慢、响应慢、精度低的缺点。

因此，如何设计一种响应速度快、精度高、成本低的远距离高速视觉实时跟踪系统，是目前需要解决的技术问题。

发明内容

本申请的目的在于提供一种远距离高速视觉实时跟踪系统及方法，以解决传统的高速运动目标点视觉跟踪技术存在的响应速度慢、精度低、成本高的问题。

根据上述目的，本申请的第一方面，提供了一种基于工业振镜系统的远距离高速视觉实时跟踪系统，所述系统包括：工业振镜组件、高速相机和处理单元，其中，

所述工业振镜组件，连接所述处理单元，用于接收所述处理单元发出的控制指令，控制所述工业振镜组件旋转，以实时将捕捉到的包含所述移动目标的目标图像反射于所述高速相机的镜头中；

所述高速相机，连接所述处理单元，以对所述工业振镜组件反射的所述目标图像传输给所述处理单元；

所述处理单元，用于接收所述高速相机发送的目标图像并进行二维图像的显示，以及根据目标点变化前后的图像坐标，计算出所述工业振镜组件的旋转角度并基于所述旋转角度发出所述控制指令。

进一步地，根据目标点变化前后的图像坐标，计算出所述工业振镜组件的旋转角度包括：记录二维图像中的画面中央位置坐标不变，当目标点移动后，根据目标点在二维图像中的的新的位置坐标与中央位置坐标的差异，计算出所述工业振镜组件的旋转角度。

进一步地，根据目标点变化前后的图像坐标，计算出所述工业振镜组件的旋转角度并基于所述旋转角度发出所述控制指令包括：

初始状态下，调整系统中各部件位置，使得相机画面中能够显示目标点图像，通过目标检测算法检测到目标在图像中的初始位置，计算出目标在二维图像中的中心点，记为坐标x0、y0，手动旋转所述工业振镜组件，使得目标移动到二维图像的画面正中，记为中央位置坐标x1、y1，根据如下公式计算出旋转的俯仰角和偏航角，

rot_x = -2.0*arctan((sqrt(y0**2 - y1**2 + 1.0) - 1.0)/(y0 + y1))；

trig_A= x0; trig_B = y0*sin(-rot_x) + cos(-rot_x); trig_C = x1；

rot_y = 2*arctan( (trig_B - ( trig_B**2 + trig_A**2 - trig_C**2 )**0.5)/( trig_A + trig_C ) )；

其中，rot_x为上下维度控制振镜的旋转角度，rot_y为左右维度控制振镜旋转角度，arctan为反正切函数,‘**’符号代表幂函数，sqrt代表方根，x0、y0、x1、y1均为像素坐标；

当目标高速移动时，给所述工业振镜组件的电机旋转发出控制指令；

记录设定的时间间隔后的目标点在二维图像中的位置坐标x2、y2，将此位置坐标x2、y2分别代替上述公式中的x0、y0，画面的中央位置坐标x1、y1始终保持不变，计算得到所述工业振镜组件的旋转角度并发出对应的控制指令。

进一步地，工业振镜组件包括控制板、驱动板和二维可控振镜，其中，

所述控制板，分别连接所述驱动板和处理单元，所述控制板用于接收所述处理单元发送的控制指令并发送所述驱动板；

所述驱动板，连接所述二维可控振镜，用于接收所述控制板发送的控制指令，以驱动所述二维可控振镜进行角度旋转，所述驱动板还连接电机；

所述二维可控振镜，包括上下维度控制振镜和左右维度控制振镜，根据所述驱动板的控制指令，驱动所述上下维度控制振镜和/或左右维度控制振镜进行旋转，以捕捉到移动目标，并将捕捉到的包含所述移动目标的目标图像反射给所述高速相机。

本发明的另一方面，还提供了一种基于工业振镜系统的远距离高速视觉实时跟踪方法，该方法包括：

通过工业振镜组件接收上位机发出的控制指令，控制所述工业振镜组件旋转，以实时跟踪移动目标，并将捕捉到的包含所述移动目标的目标图像反射于高速相机的镜头中；

通过所述高速相机接收所述工业振镜组件反射的所述目标图像并传输给上位机；

通过所述上位机接收所述高速相机发送的目标图像并显示，以及根据两次目标点变化的图像坐标位置，计算出所述工业振镜组件跟踪所需调整的旋转角度以发出所述控制指令。

本申请实施例所公开的一种基于工业振镜系统的远距离高速视觉实时跟踪系统，利用工业激光领域成熟的二维扫描振镜和相机进行巧妙的组合，通过控制旋转振镜的镜片角度，利用光反射原理，将跟踪目标通过二维振镜的镜片，反射进入相机以采集包含运动目标的画面；当跟踪目标移动时，通过特定的控制算法给二维振镜电机一个旋转指令，在相机固定不动的情况下，始终将相机采集到的跟踪目标，保持在画面正中心，实现运动目标的捕捉。本申请采用工业激光扫描所用的振镜组件价格低，单其振镜旋转频率>1000hz，响应非常快，旋转重复定位精度<2urad，即如果捕捉1公里外的物体，其跟踪精度可达到 2 毫米，即使目标移动距离较长，通过控制振镜小角度旋转，也能迅速捕捉到目标人物，在低成本的前提下，实现了高响应、高精度的远距离高速视觉实时跟踪目标的效果。

附图说明

图1为本发明实施例中的基于工业振镜系统的远距离高速视觉实时跟踪系统的结构原理图；

图2为本发明实施例中的实时跟踪系统的结构示意图；

图3为本发明实施例中的跟踪目标与相机的成像示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

本说明书中所引用的如“前”、“、后”、“左”、“右”、“中间”、“纵向”、“横向”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，亦仅为了便于简化叙述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

参照图1、图2所示，本申请的实施例一提供了一种基于工业振镜系统的远距离高速视觉实时跟踪系统，该跟踪系统包括：工业振镜组件、高速相机和处理单元，被捕捉目标通过工业振镜组件反射入高速相机，然后由高速相机将采集到的包含运动目标的图像发送给处理单元进行处理。

具体的，工业振镜组件，通过网线以有线的方式连接所述处理单元，其用于接收处理单元发出的控制指令，控制其自身的二维振镜旋转，以实时跟踪移动目标，并将捕捉到的包含该移动目标的目标图像反射于高速相机的镜头中。

其中，工业振镜组件包括控制板、驱动板和二维可控振镜；

所述控制板，通过信号线分别以有线的方式连接驱动板和处理单元，控制板用于接收所述处理单元实时发送的包含旋转数据的控制指令然后发送所述驱动板；

所述驱动板，通过信号线连接所述二维可控振镜及控制板，用于接收所述控制板发送的包括旋转数据的控制指令，以驱动该二维可控振镜进行角度旋转，实现实时跟踪运动目标的目的；

所述二维可控振镜，通过信号线连接该驱动板，其包括上下维度控制振镜和左右维度控制振镜，根据所述驱动板的控制指令，驱动所述上下维度控制振镜和/或左右维度控制振镜在不同的维度进行旋转，可同时跟踪两个维度空间上的目标，并将包含所述移动目标的目标图像通过振镜反射给所述高速相机。

振镜是一种优良的矢量扫描器件，它属于一种特殊的摆动电机，只能偏转，偏转角与电流成正比，二维振镜是通过X-Y轴电机带动反射镜片偏转来实现平面扫描的。参照图2所示，通过控制的二维振镜的旋转来捕捉跟踪高速移动的目标，当被捕捉目标向图2上方移动时，可以将左边的振镜逆时针旋转一定角度即可在相机中实时跟踪到，当被捕捉目标向图2下方移动时，可以控制左边的振镜顺时针旋转一定角度即可，其中，振镜的旋转则是根据驱动板发出的指令来完成，而驱动板的指令则来自控制板，控制板则是根据处理单元所计算出的运动目标从某一位置到移动到的另一位置时，二维可控振镜的上下维度控制振镜和/或左右维度控制振镜应当所旋转的角度来计算出，然后将计算出的旋转数据以指令的形式发送给控制板。电脑控制器提供的信号通过驱动放大电路驱动光学扫描头, 从而在X-Y平面控制激光束的偏转。需要说明的是，在实际应用中，物体运动是基于相机的上下、左右、前后三个维度立体空间运动的，故而采用的是工业激光切割领域的二维可控振镜，可实时跟踪到物体的三维空间运动，由于前后维度的运动在相机成像时只会放大和缩小，故不需要跟踪，只需要跟踪上下、左右两个维度即可。

具体的，高速相机，通过网线连接所述处理单元，以对所述工业振镜组件反射的所述目标图像通过网线实时的传输给所述处理单元。

该高速相机与二维可控振镜间隔相对设置，二者间具有一小段间距，高速相机应处于开机运行状态，以能够实时捕捉到反射的画面，在实际装配时，至少保证二维振镜转动后，仍然能够将捕捉到的目标点图像反射入该高速相机的镜头中，调试完成后，高速相机在本系统中的位置是不变的，其中，上下振镜和左右振镜的转动角度在90度范围以内。

具体的，处理单元，可以是具有运算处理功能的如计算机、微处理器等，其用于接收所述高速相机发送的目标图像并进行二维图像的显示，以及根据前后两次目标点变化的图像坐标位置，计算出所述工业振镜组件的旋转角度并基于所述旋转角度对应发出所述控制指令。此外，处理单元集成有相关的控制算法，比如视觉跟踪捕捉算法、目标检测算法等，控制工业振镜组件的旋转的变换模型基于ubuntu 2.0系统下开发，但不限于该操作系统。此外，关于控制指令的算法通过python语言编写并实现，实际验证跟踪精度可达到1个像素，通过高速相机捕捉，可实现几十帧到上百帧的高速捕捉跟踪性能。

高速相机捕捉到二维可控振镜反射的目标图像后，处理单元通过目标检测算法，比如人体头像检测算法，检测到移动目标在目标图像中的位置，并计算出移动目标在二维图像中的中心点，并以此中心点作为目标点在二维图像中的初始位置坐标，同时，还根据二维图像中的画面正中心的位置坐标，计算所述工业振镜组件的旋转角度，显示的二维图像为矩形。

具体的，如何在目标移动而相机不动的情况下，精准控制电机旋转角度，使目标始终保持在画面正中，是本申请的主要的一个控制算法，具体实施步骤如下。

1、使相机（通过上述系统）拍摄到目标，目标不限位置，在画面任意位置均可，可通过设置画面中的初始位置，或手工调整相机或振镜的位置。

2、相机跟踪到图像后，通过常用的目标检测算法（ 比如：人体检测算法）检测到目标在图像中的位置，计算出目标在二维图像中的中心点，记录该点的坐标为x0，y0，由于目标点人体为一个平面图像，此处的中心点为人体的中心点目标。

3、通过旋转振镜，将目标移动到画面正中，其中，而正中央的坐标为（x1，y1），画面正中央的位置坐标始终不变，其为确定的坐标点，根据移动前后二者的坐标在同一二维平面的差异，根据如下公式计算出旋转所需的俯仰角和偏航角为：

rot_x = -2.0*arctan((sqrt(y0**2 - y1**2 + 1.0) - 1.0)/(y0 + y1))

trig_A= x0;

trig_B = y0*sin(-rot_x) + cos(-rot_x);

trig_C = x1

rot_y = 2*arctan( (trig_B - ( trig_B**2 + trig_A**2 - trig_C**2 )**0.5)/( trig_A + trig_C ) ) ；

其中，rot_x为上下维度振镜的旋转角度，rot_y为左右维度振镜的旋转角度，arctan为反正切函数,‘**’符号代表幂函数，sqrt代表方根，x0、y0、x1、y1均为像素坐标，trig_为中间值，不具有意义；需要说明的是，当得到了目标的某一位置坐标时，要求将目标移动到画面正中，画面中央的位置坐标始终不变，仅缺少两轴的移动角度，通过前述公式，将当前位置坐标和固定不变的中央位置坐标分别带入，即可得到旋转角度，而将该角度转换为电压值，即可得到电机的旋转参数，控制电机旋转。

4、若目标高速移动，控制振镜电机旋转，假设振镜旋转频率为1000hz，那么记录1ms后的目标位置在处理单元的二维图像中的坐标为x2，y2，将其替换步骤3的公式中x0，y0，画面中央位置坐标x1，y1不变，计算得到振镜组件的旋转角度。举例来说，假设目标点位于图像[ 100, 100 ]像素位置，想移动目标点到图像的中心位置[50,50]，则x0=100,y0=100, x1=50, y1=50, 带入前述的公式中，可解算出 rot_x = -59.428度，rot_y = -26.89度。

如图3所示，仍假设振镜旋转频率为1000hz，最小旋转角为2urad，则每毫秒在1000米以外可随目标移动0.002米，即跟踪精度为2毫米；若每次旋转1度，则可随目标移动17米，即17000m/s。因此，采用本申请的振镜-相机组合，还能大范围的采集人体目标图像，即使目标移动距离较长，通过控制振镜小角度旋转，也能很快在相机中捕捉到远处的目标人物并在处理单元的二维图像中进行显示。

本申请实施例一所公开的一种基于工业振镜系统的远距离高速视觉实时跟踪系统，通过利用工业激光领域成熟的二维扫描振镜和相机组合起来，采用工业激光扫描所用的振镜组件价格低，单其振镜旋转频率>1000hz，响应非常快，旋转重复定位精度<2urad，即如果捕捉1公里外的物体，其跟踪精度可达到 2 毫米，在低成本情况下，实现了高响应、高精度的远距离高速视觉实时跟踪目标。

与实施例一的系统相对应的，本申请的实施例二提供了一种基于工业振镜系统的远距离高速视觉实时跟踪方法，该方法包括：

通过工业振镜组件接收上位机发出的控制指令，控制所述工业振镜组件旋转，以实时跟踪移动目标，并将捕捉到的包含所述移动目标的目标图像反射于高速相机的镜头中；其中，工业振镜组件的旋转主要是上下振镜和左右振镜两种振镜的旋转；

通过所述高速相机接收所述工业振镜组件反射的所述目标图像画面并传输给上位机；

通过所述上位机接收所述高速相机发送的目标图像画面并进行二维图像的显示，以及根据两次目标点变化的图像坐标位置，计算出所述工业振镜组件跟踪移动后的目标点所需的旋转角度进而发出所述控制指令。

本申请实施例二所提供的基于工业振镜系统的远距离高速视觉实时跟踪方法，与实施例一具有相同的技术特征，并能达到相同的技术效果，故在此不再赘述。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于工业振镜系统的远距离高速视觉实时跟踪系统，其特征在于，所述系统包括：工业振镜组件、高速相机和处理单元，其中，

所述工业振镜组件，连接所述处理单元，用于接收所述处理单元发出的控制指令，控制所述工业振镜组件旋转，以实时将捕捉到的包含移动目标的目标图像反射于所述高速相机的镜头中，所述工业振镜组件包括二维控制振镜；

所述高速相机，连接所述处理单元，以对所述工业振镜组件反射的所述目标图像传输给所述处理单元；

所述处理单元，用于接收所述高速相机发送的目标图像并进行二维图像的显示，以及根据目标点变化前后的图像坐标，计算出所述工业振镜组件的旋转角度并基于所述旋转角度发出所述控制指令；

根据目标点变化前后的图像坐标，计算出所述工业振镜组件的旋转角度包括：记录二维图像中的画面中央位置坐标，当目标点移动后，根据目标点在二维图像中的新的位置坐标与中央位置坐标的差异，计算出所述工业振镜组件的旋转角度；

其中，根据目标点在二维图像中的新的位置坐标与中心点位置坐标的差异，计算出所述工业振镜组件的旋转角度包括：

初始状态下，调整系统中各部件位置，使得相机画面中能够显示目标点图像，通过目标检测算法检测到目标在二维图像中的初始位置，计算出目标在二维图像中的中心点，记为坐标x0、y0，控制所述工业振镜组件旋转，使得目标移动到二维图像的画面正中，记为中央位置坐标x1、y1，根据如下公式计算出旋转的俯仰角和偏航角，

rot_x = -2.0*arctan((sqrt(y0**2 - y1**2 + 1.0) - 1.0)/(y0 + y1))；

trig_A= x0; trig_B = y0*sin(-rot_x) + cos(-rot_x); trig_C = x1；

rot_y = 2*arctan( (trig_B - ( trig_B**2 + trig_A**2 - trig_C**2 )**0.5)/( trig_A + trig_C ) )；

其中，rot_x为上下维度控制振镜的旋转角度，rot_y为左右维度控制振镜旋转角度，arctan为反正切函数,**符号代表幂函数，sqrt代表方根，x0、y0、x1、y1均为像素坐标；

当目标再高速移动后，给所述工业振镜组件的电机旋转发出控制指令；

记录设定的时间间隔后的目标点在二维图像中的位置坐标x2、y2，将此位置坐标x2、y2分别代替上述公式中的x0、y0，画面中央位置坐标x1、y1固定不变，计算得到所述工业振镜组件的旋转角度并发出对应的控制指令。

2.根据权利要求1所述的实时跟踪系统，其特征在于，所述工业振镜组件包括控制板、驱动板和二维可控振镜，其中，

所述控制板，分别连接所述驱动板和处理单元，所述控制板用于接收所述处理单元发送的控制指令并发送所述驱动板；

所述驱动板，连接所述二维可控振镜，用于接收所述控制板发送的控制指令，以驱动所述二维可控振镜进行角度旋转，所述驱动板还连接电机；

所述二维可控振镜，包括上下维度控制振镜和左右维度控制振镜，根据所述驱动板的控制指令，驱动所述上下维度控制振镜和/或左右维度控制振镜进行旋转，以捕捉到移动目标，并将捕捉到的包含所述移动目标的目标图像反射给所述高速相机。

3.根据权利要求1所述的实时跟踪系统，其特征在于，所述处理单元与所述高速相机、工业振镜组件通过网线连接。

4.根据权利要求3所述的实时跟踪系统，其特征在于，所述处理单元为计算机，控制所述工业振镜组件的旋转的变换模型基于ubuntu 2.0系统下开发。

5.一种基于工业振镜系统的远距离高速视觉实时跟踪方法，其特征在于，所述方法包括：

通过工业振镜组件，接收上位机发出的控制指令，控制所述工业振镜组件旋转，以实时跟踪移动目标，并将捕捉到的包含所述移动目标的目标图像反射于高速相机的镜头中，所述工业振镜组件包括二维控制振镜；

所述高速相机接收所述工业振镜组件反射的所述目标图像并传输给上位机；

所述上位机接收所述高速相机发送的目标图像并显示，以及前后两次目标点变化的图像坐标位置，计算出所述工业振镜组件跟踪所需的旋转角度以发出所述控制指令；

根据目标点变化前后的图像坐标，计算出所述工业振镜组件的旋转角度包括：记录二维图像中的画面中央位置坐标，当目标点移动后，根据目标点在二维图像中的新的位置坐标与中央位置坐标的差异，计算出所述工业振镜组件的旋转角度；

其中，根据目标点在二维图像中的新的位置坐标与中心点位置坐标的差异，计算出所述工业振镜组件的旋转角度包括：

初始状态下，调整系统中各部件位置，使得相机画面中能够显示目标点图像，通过目标检测算法检测到目标在二维图像中的初始位置，计算出目标在二维图像中的中心点，记为坐标x0、y0，控制所述工业振镜组件旋转，使得目标移动到二维图像的画面正中，记为中央位置坐标x1、y1，根据如下公式计算出旋转的俯仰角和偏航角，

rot_x = -2.0*arctan((sqrt(y0**2 - y1**2 + 1.0) - 1.0)/(y0 + y1))；

trig_A= x0; trig_B = y0*sin(-rot_x) + cos(-rot_x); trig_C = x1；

rot_y = 2*arctan( (trig_B - ( trig_B**2 + trig_A**2 - trig_C**2 )**0.5)/( trig_A + trig_C ) )；

其中，rot_x为上下维度控制振镜的旋转角度，rot_y为左右维度控制振镜旋转角度，arctan为反正切函数,**符号代表幂函数，sqrt代表方根，x0、y0、x1、y1均为像素坐标；

当目标再高速移动后，给所述工业振镜组件的电机旋转发出控制指令；

记录设定的时间间隔后的目标点在二维图像中的位置坐标x2、y2，将此位置坐标x2、y2分别代替上述公式中的x0、y0，画面中央位置坐标x1、y1固定不变，计算得到所述工业振镜组件的旋转角度并发出对应的控制指令。