CN105222758A - 基于鸟类视觉特征的多运动目标搜索与定位装置及方法 - Google Patents

Abstract

本发明公开了一种基于鸟类视觉特征的多运动目标搜索与定位装置及方法，该装置从仿生学的角度，利用了捕食关系中动物的视觉特征并结合了鸟类的双凹结构特点进行仿生设计。装置由水平安装的圆形底座、沿圆形均匀分布的四个相同的2自由度单目机构、安装于底座中部的固定相机部分及相应的计算机和电路部分等组成。此装置兼具被捕食动物视野宽、捕食动物双目视觉发达的特点，能够同时实现全景范围的多运动目标的快速搜索和精确定位，适合工程实际中视觉监控领域的应用与推广。

Description

基于鸟类视觉特征的多运动目标搜索与定位装置及方法

【技术领域】

本发明属于仿生设计领域，涉及一种基于鸟类视觉特征的多运动目标搜索与定位装置及方法。

【背景技术】

对运动目标的搜索与跟踪定位是机器视觉领域研究的热点，在实际中也应用广泛。问题的关键在于保证大范围搜索和定位的快速性和准确性。现有技术方案主要有两类：其一是利用单目或者双目视觉对目标进行识别、跟踪和定位。目前这种方案可以对运动目标实现准确的识别和定位，但该方法对多个目标无法同时保证对多个目标大范围搜索和精确定位；其二是在需要搜索的区域内安装足够多的摄像头，使该区域都能被搜索到。这种方法虽然在一定程度上解决了上述问题，但是成本增加，并且后续的图像信息处理工作带来困难。综上，目前的工程技术对多运动目标的大范围搜索和精确定位难以同时满足。因此，设计一种搜索范围大、精度高的多运动目标搜索与定位装置成为工程实际的迫切需要，具有非常重要的研究价值及现实意义。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于鸟类视觉特征的多运动目标搜索与定位装置及方法，该装置能够解决工程中利用主动机器视觉监控中对多目标进行大范围快速搜索和准确定位之间的不能同时满足的问题。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于鸟类视觉特征的多运动目标搜索与定位装置，包括底座以及固定在底座上的四个结构相同的2自由度单目机构和两个结构相同的固定相机；所述四个单目机构包括沿圆周方向均匀分布的第一单目机构、第二单目机构、第三单目机构和第四单目机构；固定相机为设置在底座中心的第一固定相机和第二固定相机，第一固定相机和第二固定相机的视角反向设置；四个2自由度的单目机构通过控制系统的控制以实现多运动目标搜索与定位。

本发明进一步的改进在于：

所述单目机构包括自上而下依次设置的相机、上部支撑、下部支撑以及支撑架；上部支撑上安装有用于实现相机在竖直方向上转动的第一步进电机、第一齿轮传动对和第一转动轴；第一转动轴与相机固连；下部支撑上安装有用于实现相机在水平方向上转动的第二步近电机、第二齿轮传动对和第二转动轴，上部支撑通过第二转动轴与下部支撑固连。

所述第一转动轴和第二转动轴的两端均装有轴承，第一转动轴与轴承之间的配合为过渡配合，第二转动轴与轴承之间的配合为过盈配合；上部支撑与第一转动轴上轴承的配合方式为过渡配合，下部支撑与第二转动轴上轴承的配合方式为过渡配合；第一齿轮传动对和第二齿轮传动对的齿轮与相应传动轴之间的配合为过盈配合，齿轮与相应步进电机轴之间的配合为过渡配合。

所述控制系统包括上位机、每个步进电机的控制器、驱动器和处理器；第一固定相机和第二固定相机的信号输出端通过各自处理器与上位机相交互；四个单目机构的相机分别通过各自的处理器与上位机相交互；每个单目机构的步进电机分别通过各自的控制器，经CAN总线与上位机相交互。

所述相机上还设置有用于采集相机位姿的陀螺仪。

所述陀螺仪通过每个单目机构的控制器，经CAN总线与上位机相交互。

本发明还公开了一种基于鸟类视觉特征的多运动目标搜索与定位装置的搜索与定位方法，包括以下步骤：

1)系统上电，程序初始化，第一固定相机和第二固定相机开始搜索目标；

2)当两个固定相机中的任意一个发现目标时，该固定相机获取的图像通过标定，根据目标在固定相机图像上的位置，确定目标在空间的位置；

3)将以上位置信息传给上位机，上位机将该信息发送到CAN总线上；

4)四个单目机构的处理器接收到CAN总线上的信息，通过设置和标定，激活离目标最近的单目机构对目标进行跟踪；若目标在几个单目机构负责的范围内运动，则需要切换几个单目机构轮流对目标进行跟踪；

5)根据目标在单目相机获取的图像上的大小来确定是否进行双目测距，当上位机判断目标在图像上大于像素时，激活距离目标最近的两个相邻的单目机构，对目标进行双目测距，其中，n×m为相机获取图像的像素；被激活的两个单目机构的相机处理器根据接收到的信息，实时控制对应的两个单目机构运动，使得两个单目机构上的相机均捕捉到目标，然后执行步骤6)；如果目标在图像上小于像素，则返回步骤4)，继续对目标进行跟踪；

6)通过闭环控制，调整已激活的两个单目机构的位姿，使得目标处于两个单目机构相机的中心区域，并获取的目标图像信息；

7)根据步骤6)从获取的两幅图像中进行目标提取、立体匹配，深度信息计算等，测量出待测目标到两摄像机中心位置的距离信息；

8)将上述两个单目机构的位姿信息及双目测距结果通过CAN总线发送给上位机，结合根据7)中得到的目标相对两单目机构相机中心位置信息，计算得到目标的绝对位置信息，包括相对于两个单目机构相机的中心位置距离及相对于平台底座的角度。

所述步骤4)中，单目机构负责的范围是指将空间均匀划分成4部分，每个单目负责的一个范围。

与现有技术相比，本发明具有以下有益效果：

本发明通过借鉴捕食关系中动物视觉特征并结合鸟类视觉的双凹结构特点，创造性地为多运动目标的大范围搜索和精确定位提供仿生的方法和思路。本发明能够同时实现对多个运动目标的大范围搜索和精确定位，解决了工程实际中的问题。本发明利用CAN总线分布式控制结构，提高了处理速度，同时提高了系统的可靠性，即当某一个相机出现故障时，其他的相机仍然可以对目标进行跟踪和定位。

【附图说明】

图1是基于鸟类视觉特征多目标搜索与定位装置示意图；其中，a为俯视图，b为轴测图；

图2是单目机构结构示意图；

图3是系统的分布式控制结构图；

图4是装置工作流程图。

其中：1为第一单目机构；2为第一固定相机；3为第二固定相机；4为第二单目机构；5为第三单目机构；6为底座；7为第四单目机构；8为单目机构相机；9为上部支撑；10为第二传动轴；11为下部支撑；12为支撑架；13为第二步进电机；14为第二齿轮传动对；15为第一步进电机；16为第一齿轮传动对；17为第一传动轴；18为陀螺仪。

【具体实施方式】

下面结合附图对本发明做进一步详细描述：

本发明从仿生学的角度出发，利用捕食关系中动物的视觉特征和鸟类的视觉特征，设计了一套多运动目标大范围搜索与精确定位装置。兼具被捕食动物视野宽、捕食动物双目视觉发达的特点，能够对多个运动目标进行大范围搜索与定位。在搜索与定位过程中，具有鸟的“双凹”特征，实现多个相机的功能切换。在模仿鸟类视觉特征的基础上，拓展了其功能，具有更大的监视范围。

本发明由水平安装的圆形底座、沿圆形均匀分布的四个相同的2自由度单目机构、安装于底座中部的固定相机部分及相应的计算机和电路部分等组成。单目机构相机通过两个28步进电机分别驱动两对齿轮传动，具有两个方向的转动自由度，即包括水平面内转动和竖直平面内的转动。单目机构的相机镜头视角在30°～60°范围内。相邻两个单目机构转动使相机平行时，双目交叠区至少为相机镜头视角大小。为中心部分背对背安装有视角在180°～220°两台鱼眼镜头的固定相机，作用是模仿鸟类视网膜，对目标进行大范围搜索。两台相机的视角范围加起来超过360°。

本发明主要处理单元为上位计算机。四个单目机构的相机及两个固定相机获取的图像处理器通过相应的处理器处理后，发送给上位机。上位机通过获取的信息控制四个单目机构做相应的运动。装置通信采用基于CAN总线的分布式结构，即上位机和四个单目机构控制器之间利用CAN总线进行通信。

本发明所述的多运动目标搜索与定位装置的机构组成、电路连接及控制策略结合附图详细描述如下：

如附图1所示，基于鸟类视觉特征的多运动目标搜索与定位方法的装置由四个2自由度单目机构、2个鱼眼镜头的第一固定相机2和第二及底座6组成。四个单目机构包括关于圆形底座中心对称分布的第一单目机构1、第二单目机构4、第三单目机构5和第四单目机构7，上面安装的相机镜头朝向外侧。固定相机部分由第一固定相机2、第二固定相机3及支撑架组成，各部分之间均为螺钉固定连接。圆形底座用于固定安装以上所述的四个单目机构部分及固定相机部分。对目标的视觉监控范围是装置的外侧360°全景范围。对于感兴趣目标的识别和双目测距获得的位置信息应事先做标定。

如附图2所示，单目机构由相机8、陀螺仪18、第一转动轴17、上部支撑9、第一步进电机15、第一齿轮传动对16、第一控制器、第一驱动器、第二转动轴10、下部支撑11、第二步进电机13、第二齿轮传动对14、第二控制器、第二驱动器及支撑架12组成。

在第一转动轴17和第二转动轴10的两端均装有B＝5的686ZZ轴承。考虑到零件之间的拆装及配合精度，第一转动轴17与轴承之间的配合为过渡配合，配合代号为第二转动轴10与轴承之间的配合为过盈配合，配合代号为上部支撑9与第一转动轴17上轴承的配合方式为过渡配合，配合代号为下部支撑11与第二转动轴10上轴承的配合方式为过渡配合，配合代号为齿轮与传动轴之间的配合为过盈配合，配合代号为齿轮与电机轴之间的配合为过渡配合，配合代号为齿轮与电机轴之间还通过顶丝固定。此外，上部支撑是由三部分铝合金板经机加工后通过M3螺钉连接成整体。第一步进电机和第二步进电机15、13通过螺钉分别固定在上部支撑9和下部支撑11上。单目机构1、4、5、7通过螺栓固定在圆形底座6上。第一齿轮对和第二齿轮对16、14均为减速传动。

如附图2所示，单目机构的相机型号为AONID881HD720P。第一步进电机15、第二步进电机13的型号均为为28HBP34BL4，对应的第一控制器、第二控制器主芯片型号均为STM32F103ZET6，以及对应的驱动器型号为ZD-8731两相步进电机驱动器。第一齿轮传动对16、第二齿轮传动对14的模数为0.5，小齿轮齿数z₁＝40，大齿轮齿数为z₂＝80。CAN总线上两端的电阻为R＝120Ω。用于CAN总线和控制器之间通信的收发器芯片为TJA1050T。单目机构的位姿传感器为三轴电子陀螺仪，其型号为JY-901陀螺仪模块。

如附图2所示，通过第一步进电机15驱动第一齿轮传动对16减速后，使得单目机构具有竖直平面内的旋转运动。通过第二步进电机13驱动第二齿轮传动对14减速后，使得单目机构具有水平面内的旋转运动。单目机构上相机8的位姿是两个方向转动综合作用完成的，通过位姿传感器18测得。

结合附图2和附图3，单目机构的具体控制过程为：控制器1从CAN总线上接收指令信息，同时通过串口接收位姿传感器模块18测量单目机构相机8的位姿信息。通过上述两个信息得到偏差，通过计算转化为两个方向的转动角度，通过串口通信分别发送给第一控制器和第二控制器。第一控制器、第二控制器分别输出相应的驱动信号给第一驱动器、第二驱动器，从而驱动第一步进电机15、第二步进电机13执行相应转动。

结合附图1和附图3，整个装置的工作过程为：第一固定相机2和第二固定相机3在全景范围内搜索感兴趣目标，并将获得的图像信息经过第一处理器和第二处理器处理后发送到上位计算机，上位机根据收到的信息，发送信息到CAN总线上，使得控制器1～4接收相应的信息使得四个单目机构进行目标跟踪或双目测距。四个单目机构相机获得的图像同样经过相应的处理器处理后发送给上位机。

结合图1，本发明所述的多运动目标搜索与定位装置整体的具体控制策略为：

1)系统上电，程序初始化，第一固定相机和第二固定相机开始搜索目标；

2)当两个固定相机中的任意一个发现目标时，该固定相机获取的图像通过标定，根据目标在固定相机图像上的位置，确定目标在空间的位置；

3)将以上位置信息传给上位机，上位机将该信息发送到CAN总线上；

4)四个单目机构的处理器接收到CAN总线上的信息，通过设置和标定，激活离目标最近的单目机构对目标进行跟踪；若目标在几个单目机构负责的范围内运动，则需要切换几个单目机构轮流对目标进行跟踪；单目机构负责的范围是指将空间均匀划分成4部分，每个单目负责的一个范围。

5)根据目标在单目相机获取的图像上的大小来确定是否进行双目测距，当上位机判断目标在图像上大于像素时，激活距离目标最近的两个相邻的单目机构，对目标进行双目测距，其中，n×m为相机像素；被激活的两个单目机构的相机处理器根据接收到的信息，实时控制对应的两个单目机构运动，使得两个单目机构上的相机均捕捉到目标，然后执行步骤6)；如果目标在图像上小于像素，则返回步骤4)，继续对目标进行跟踪；

6)通过闭环控制，调整已激活的两个单目机构的位姿，使得目标处于两个单目机构相机的中心区域，并获取的目标图像信息；

7)根据步骤6)从获取的两幅图像中进行目标提取、立体匹配，深度信息计算等，测量出待测目标到两摄像机中心位置的距离信息；

8)将上述两个单目机构的位姿信息及双目测距结果通过CAN总线发送给上位机，结合根据7)中得到的目标相对两单目机构相机中心位置信息，计算得到目标的绝对位置信息，包括相对于两个单目机构相机的中心位置距离及相对于平台底座的角度。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于鸟类视觉特征的多运动目标搜索与定位装置，其特征在于，包括底座(6)以及固定在底座(6)上的四个结构相同的2自由度单目机构和两个结构相同的固定相机；所述四个单目机构包括沿圆周方向均匀分布的第一单目机构(1)、第二单目机构(4)、第三单目机构(5)和第四单目机构(7)；固定相机为设置在底座(6)中心的第一固定相机(2)和第二固定相机(3)，第一固定相机(2)和第二固定相机(3)的视角反向设置；四个2自由度的单目机构通过控制系统的控制以实现多运动目标搜索与定位。

2.根据权利要求1所述的基于鸟类视觉特征的多运动目标搜索与定位装置，其特征在于，所述单目机构包括自上而下依次设置的相机(8)、上部支撑(9)、下部支撑(11)以及支撑架(12)；上部支撑(9)上安装有用于实现相机(8)在竖直方向上转动的第一步进电机(15)、第一齿轮传动对(16)和第一转动轴(17)；第一转动轴(17)与相机(8)固连；下部支撑(11)上安装有用于实现相机(8)在水平方向上转动的第二步近电机(13)、第二齿轮传动对(14)和第二转动轴(10)，上部支撑(9)通过第二转动轴(10)与下部支撑(11)固连。

3.根据权利要求2所述的基于鸟类视觉特征的多运动目标搜索与定位装置，其特征在于，所述第一转动轴(17)和第二转动轴(10)的两端均装有轴承，第一转动轴(17)与轴承之间的配合为过渡配合，第二转动轴(10)与轴承之间的配合为过盈配合；上部支撑(9)与第一转动轴(17)上轴承的配合方式为过渡配合，下部支撑(11)与第二转动轴(10)上轴承的配合方式为过渡配合；第一齿轮传动对(16)和第二齿轮传动对(14)的齿轮与相应传动轴之间的配合为过盈配合，齿轮与相应步进电机轴之间的配合为过渡配合。

4.根据权利要求2所述的基于鸟类视觉特征的多运动目标搜索与定位装置，其特征在于，所述控制系统包括上位机、每个步进电机的控制器、驱动器和处理器；第一固定相机(2)和第二固定相机(3)的信号输出端通过各自处理器与上位机相交互；四个单目机构的相机(8)分别通过各自的处理器与上位机相交互；每个单目机构的步进电机分别通过各自的控制器，经CAN总线与上位机相交互。

5.根据权利要求2或3或4所述的基于鸟类视觉特征的多运动目标搜索与定位装置，其特征在于，所述相机(8)上还设置有用于采集相机(8)位姿的陀螺仪(18)。

6.根据权利要求5所述的基于鸟类视觉特征的多运动目标搜索与定位装置，其特征在于，所述陀螺仪(18)通过每个单目机构的控制器，经CAN总线与上位机相交互。

7.一种采用权利要求1-4任意一项所述基于鸟类视觉特征的多运动目标搜索与定位装置的搜索与定位方法，其特征在于，包括以下步骤：

1)系统上电，程序初始化，第一固定相机和第二固定相机开始搜索目标；

2)当两个固定相机中的任意一个发现目标时，该固定相机获取的图像通过标定，根据目标在固定相机图像上的位置，确定目标在空间的位置；

3)将以上位置信息传给上位机，上位机将该信息发送到CAN总线上；

4)四个单目机构的处理器接收到CAN总线上的信息，通过设置和标定，激活离目标最近的单目机构对目标进行跟踪；若目标在几个单目机构负责的范围内运动，则需要切换几个单目机构轮流对目标进行跟踪；

5)根据目标在单目相机获取的图像上的大小来确定是否进行双目测距，当上位机判断目标在图像上大于像素时，激活距离目标最近的两个相邻的单目机构，对目标进行双目测距，其中，n×m为相机获取图像的像素；被激活的两个单目机构的相机处理器根据接收到的信息，实时控制对应的两个单目机构运动，使得两个单目机构上的相机均捕捉到目标，然后执行步骤6)；如果目标在图像上小于像素，则返回步骤4)，继续对目标进行跟踪；

6)通过闭环控制，调整已激活的两个单目机构的位姿，使得目标处于两个单目机构相机的中心区域，并获取的目标图像信息；

7)根据步骤6)从获取的两幅图像中进行目标提取、立体匹配，深度信息计算等，测量出待测目标到两摄像机中心位置的距离信息；

8)将上述两个单目机构的位姿信息及双目测距结果通过CAN总线发送给上位机，结合根据7)中得到的目标相对两单目机构相机中心位置信息，计算得到目标的绝对位置信息，包括相对于两个单目机构相机的中心位置距离及相对于平台底座的角度。

8.根据权利要求7所述的基于鸟类视觉特征的多运动目标搜索与定位方法，其特征在于，所述步骤4)中，单目机构负责的范围是指将空间均匀划分成4部分，每个单目负责的一个范围。