CN114153108A - 全向单目视觉装置、全向双目视觉装置及跟踪方法 - Google Patents
全向单目视觉装置、全向双目视觉装置及跟踪方法 Download PDFInfo
- Publication number
- CN114153108A CN114153108A CN202111234251.2A CN202111234251A CN114153108A CN 114153108 A CN114153108 A CN 114153108A CN 202111234251 A CN202111234251 A CN 202111234251A CN 114153108 A CN114153108 A CN 114153108A
- Authority
- CN
- China
- Prior art keywords
- omnidirectional
- rotating mirror
- monocular vision
- vision device
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 235
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 13
- 230000008859 change Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000000306 component Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了全向单目视觉装置、全向双目视觉装置及跟踪方法，全向单目视觉装置包括：上转镜模组、下转镜模组以及相机模组；其中，上转镜模组包括上转镜，下转镜模组包括下转镜；上转镜模组中的上转镜的旋转范围在0‑360度之间，用于通过旋转上转镜的角度，将入射光反射进入下转镜模组；下转镜模组用于通过偏转下转镜的角度，将入射光反射进入相机模组，以使相机模组对目标物体成像。本发明相机始终保持不动，从而减少了机械运动产生的振动对图像的影响。相机光轴的变化由上下两转镜切换，实现了高速自由灵活切换相机视角，实现了对高动态目标的连续追踪。
Description
技术领域
本发明涉及机器视觉技术领域，具体涉及全向单目视觉装置、全向双目视觉装置及跟踪方法。
背景技术
在智能机器人领域中，视觉设备是智能机器人感知外界环境的主要组成部分。智能机器人的视觉感知分为被动感知与主动感知两种，其中被动感知是指视觉设备静止不动，被动接受外界环境光线，进而对所拍摄到的外界环境进行识别确认；主动感知是指通过视觉设备的主动调节来实现对外界环境的主动搜索与识别确认。
现有的视觉系统通常被设计为固定式或云台运动式两种形式，其中固定式是指视觉系统相对于运动平台本身静止不动，其对目标的全向识别、跟踪、测量只能依靠运动平台本身的运动来实现。云台运动式是指视觉系统与一个多自由度云台相固连，其对目标的全向识别、跟踪、测量可以通过云台运动来实现，机器人或移动平台本身可以静止不动。然而，无论是固定式还是云台运动式，其共同特点均是运动惯量大，动态响应性能低，无法实现对高机动目标的持续全向识别、跟踪、测量功能。
综上，目前亟需一种视觉跟踪的方法，用于解决上述现有技术存在的问题。
发明内容
由于现有方法存在上述问题，本发明提出全向单目视觉装置、全向双目视觉装置及跟踪方法。
第一方面，本发明提供了一种全向单目视觉装置，包括：上转镜模组、下转镜模组以及相机模组；其中，所述上转镜模组包括上转镜，所述下转镜模组包括下转镜；
所述上转镜模组中的上转镜的旋转范围在0-360度之间，用于通过旋转所述上转镜的角度，将入射光反射进入所述下转镜模组；
所述下转镜模组用于通过偏转所述下转镜的角度，将所述入射光反射进入所述相机模组，以使所述相机模组对目标物体成像。
进一步地，所述上转镜模组还包括旋转伺服电机；所述下转镜模组还包括摆动伺服电机；
所述旋转伺服电机用于驱动所述上转镜进行360度旋转；
所述摆动伺服电机用于驱动所述下转镜偏转。
进一步地，所述摆动伺服电机用于驱动所述下转镜偏转的角度范围在0-25度之间。
进一步地，所述相机模组包括相机镜头以及相机微调模块；
所述相机镜头与所述相机微调模块固定连接；
所述相机镜头用于对所述目标物体成像；
所述相机微调模块用于调节所述相机镜头距所述下转镜的距离。
第二方面，本发明提供了一种基于上述第一方面的全向单目视觉跟踪的方法，包括：
上转镜以及下转镜按照预设规律转动；
通过识别采集到的图像，搜索到目标物体；
在搜索到所述目标物体后，所述上转镜以及所述下转镜根据预设的视觉伺服算法跟随所述目标物体的运动而转动。
第三方面，本发明提供了一种基于上述第一方面的全向单目视觉跟踪的方法，包括：
上转镜以及下转镜按照预设规律转动；
通过识别采集到的图像，搜索到目标物体；
在搜索到所述目标物体后，所述上转镜以及所述下转镜继续按照预设规律转动，并获取所述上转镜以及所述下转镜在规律转动时相机镜头采集的多张图像；
根据所述多张图像中所述目标物体出现的像素点确定所述目标物体的运动轨迹。
第四方面，本发明提供了一种全向双目视觉装置，包括：2个第一方面所述的全向单目视觉装置；
2个全向单目视觉装置的相机镜头的中心轴位于同一条直线上。
第五方面，本发明提供了一种基于上述第四方面的全向双目视觉跟踪的方法，包括：
2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动；
在第一全向单目视觉装置搜索到目标物体后，将所述第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；其中，所述第一全向单目视觉装置为所述2个全向单目视觉装置中的任一全向单目视觉装置；所述第二全向单目视觉装置为所述2个全向单目视觉装置中不同于所述第一全向单目视觉装置的另一个全向单目视觉装置；
在所述第一全向单目视觉装置以及所述第二全向单目视觉装置锁定目标物体后，通过预设的视觉伺服算法使得所述第一全向单目视觉装置的上转镜及下转镜、所述第二全向单目视觉装置的上转镜及下转镜跟随所述目标物体转动。
进一步地，在所述第一全向单目视觉装置以及所述第二全向单目视觉装置锁定目标物体后，获取第一全向单目视觉装置关于目标物体的第一图像以及第二全向单目视觉装置关于目标物体的第二图像；
根据所述第一图像以及所述第二图像确定目标物体的位置参数。
第六方面，本发明提供了一种基于上述第四方面的全向双目视觉跟踪的方法，包括：
2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动；
在第一全向单目视觉装置搜索到目标物体后，将所述第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；其中，所述第一全向单目视觉装置为所述2个全向单目视觉装置中任一全向单目视觉装置；所述第二全向单目视觉装置为不同于所述第一全向单目视觉装置的另一个；
获取所述第一全向单目视觉装置以及所述第二全向单目视觉装置在不同时刻针对目标物体采集的多个图像；所述第一全向单目视觉装置以及所述第二全向单目视觉装置按预先标定的运动关系转动；
根据所述多个图像中所述目标物体出现的像素点确定所述目标物体的运动轨迹。
第七方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二、三方面所述的全向单目视觉跟踪的方法或第五、六方面所述的全向双目视觉跟踪的方法。
第八方面，本发明还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二、三方面所述的全向单目视觉跟踪的方法或第五、六方面所述的全向双目视觉跟踪的方法。
由上述技术方案可知，本发明提供的全向单目视觉装置、全向双目视觉装置及跟踪方法，相机始终保持不动，从而减少了机械运动产生的振动对图像的影响。相机光轴的变化由上下两转镜切换，实现了高速自由灵活切换相机视角，实现了对高动态目标的连续追踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明提供的全向双目视觉装置的示意图；
图2为本发明提供的全向双目视觉装置的示意图；
图3为本发明提供的全向单目视觉装置的示意图；
图4为本发明提供的相机成像示意图；
图5为本发明提供的全向双目视觉装置的示意图；
图6为本发明提供的全向单目视觉装置的示意图；
图7为本发明提供的全向单目视觉装置的示意图；
图8为本发明提供的全向单目视觉跟踪的方法的流程示意图；
图9为本发明提供的全向单目视觉跟踪的方法的流程示意图；
图10为本发明提供的全向单目视觉跟踪的方法的流程示意图；
图11为本发明提供的全向单目视觉跟踪的方法的流程示意图；
图12为本发明提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1为本发明实施例提供的一种全向双目视觉装置的示意图，包括：第一全向单目视觉装置100、第二全向单目视觉装置200以及控制模块300。
具体的，如图2所示，2个全向单目视觉装置的相机镜头的中心轴位于同一条直线上。
控制模块300用于在第一全向单目视觉装置搜索到目标物体后，将第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；
第一全向单目视觉装置100或第二全向单目视觉装置200用于锁定目标物体后，通过预设的视觉伺服算法使得第一全向单目视觉装置的上转镜及下转镜、第二全向单目视觉装置的上转镜及下转镜跟随目标物体转动。
上述方案，相机始终保持不动，从而减少了机械运动产生的振动对图像的影响。相机光轴的变化由转镜切换，实现了高速自由灵活切换相机视角，实现了对高动态目标的连续追踪，实现了智能机器人或智能无人运动系统全向、高速、高稳定性、高效率与环境感知。
进一步地，图3为本发明实施例提供的全向单目视觉装置的示意图，包括：上转镜模组、下转镜模组以及相机模组。
需要说明的是，其中，上转镜模组包括上转镜，下转镜模组包括下转镜。
上转镜模组中的上转镜的旋转范围在0-360度之间，用于通过旋转上转镜的角度，将入射光反射进入下转镜模组；
下转镜模组用于通过偏转下转镜的角度，将入射光反射进入相机模组，以使相机模组对目标物体成像。
进一步地，上转镜模组还包括旋转伺服电机；下转镜模组还包括摆动伺服电机；
旋转伺服电机用于驱动上转镜进行360度旋转；
摆动伺服电机用于驱动下转镜偏转。
在一种可能的实施方式中，摆动伺服电机用于驱动下转镜偏转的角度范围在0-25度之间。
需要说明的是，摆动伺服电机用于驱动下转镜偏转的角度范围在0-30度之间，本发明实施例对此不做具体限定。
进一步地，相机模组包括相机镜头以及相机微调模块；
相机镜头与相机微调模块固定连接；
相机镜头用于对目标物体成像；
相机微调模块用于调节相机镜头距下转镜的距离。
本发明实施例中，如图4所示，全向单目视觉装置是在不改变成像传感器姿态的前提下改变光轴朝向的系统。其核心部件是两块由电机带动的高反光率镜片即上转镜与下转镜。
具体的，入射光首先经过上转镜反射进入下转镜，然后由下反射镜反射进入相机镜头，最终投射到成像平面上。
上述方案，相机始终保持不动，从而减少了机械运动产生的振动对图像的影响。相机光轴的变化由转镜切换，实现了高速自由灵活切换相机视角，实现了对高动态目标的连续追踪。
如图5所示，全向单目视觉装置由相机镜头1、相机微调模块2、上转镜3、旋转伺服电机4、下转镜5以及摆动伺服电机6组成。
本发明实施例中，相机镜头1与相机微调模块2固连，由相机微调模块2运动调节相机镜头1距下转镜5的距离。
具体的，相机微调模块底部可在轨道上运动，从而带动相机镜头运动。
进一步地，如图6所示，相机微调模块由Y向微调模块21，X向微调模块22组成，通过Y向微调模块可以调节相机镜头距下转镜模组的距离，通过X向微调模块可以调节相机光轴对准下转镜中心点。
如图7所示，相机微调模块还包括Z向微调模块23。X向微调模块22可实现上、下转镜模组中心对中功能，Z向微调模块23可调节上、下转镜之间的距离。
在一种可能的实施方式中，首先调节X、Y向微调模块，使相机光轴对准下转镜中心点，然后调节X向微调模块，使上转镜旋转轴与下转镜中心点对中，最后调节Z向微调模块，直到图像清晰为止。
本发明实施例中，上转镜3与下转镜5均为高反光率镜片，其中，上转镜3由旋转伺服电机4驱动做旋转，下转镜5由摆动伺服电机6驱动做偏转。
进一步地，下转镜5由摆动伺服电机6驱动在预设范围内偏转。
需要说明的是，预设角度范围由相机镜头1距下转镜5的距离、上转镜3与下转镜5的距离确定。
在一种可能的实施方式中，上转镜3由旋转伺服电机4驱动做360度旋转，下转镜5由摆动伺服电机6驱动在0-25度范围内偏转。
进一步地，在电机的带动下，两个镜片的角度可以高速的变化，从而改变等效光轴的朝向。
如图5所示的方式建立坐标系，相机光轴与y轴平行，上转镜镜片转轴与z轴平行，下转镜镜片转轴与x轴平行。
具体的，上转镜镜片面积较大，只具有一个反光面，其镜面法向量与z轴保持45度夹角。下转镜镜片面积较小，略大于相机视场角。
进一步地，上转镜镜片在电机的带动下可以绕z轴顺时针或逆时针方向无限制的转动。下转镜镜片在电机的带动下可以绕x轴顺时针或逆时针做±25度摆动。
上述方案，根据几何光学原理，全向单目视觉装置的光轴可以覆盖水平360度、俯仰50度范围内的任意朝向。由于上转镜可以360度连续改变光轴朝向，因此可以实现全向主动视觉。
进一步地，相较于传统的电机驱动相机或传动机构带动相机运动而言，本发明实施例中镜片的转动惯量非常小，因而可以高速低振动转动，相应的机械系统提高了可以承受的过载角加速度，实现了多视角灵活切换、低惯量高动态目标持续跟踪。
进一步，相较于传统的电机驱动相机或传动机构带动相机运动而言，本发明实施例中由于电机转动惯量非常小，因此可以实现旋转或摆动方向的高速灵活切换，且由于相机始终保持固定，因此可以避免传统的电机驱动相机或传动机构带动相机运动在高速方向切换时带来的振动而导致的图像模糊情况，实现了高动态响应。
基于上述的全向单目视觉装置，图8示例性的示出了本发明实施例提供的一种全向单目视觉跟踪的方法的流程。该流程可以由上述全向单目视觉装置执行。
如图8所示，该流程具体包括：
步骤801，上转镜以及下转镜按照预设规律转动。
步骤802，通过识别采集到的图像，搜索到目标物体。
步骤803，在搜索到目标物体后，上转镜以及下转镜根据预设的视觉伺服算法跟随目标物体的运动而转动。
上述方案，通过视觉伺服算法实现跟随目标物体运动而转动或摆动，由于相机始终保持固定，因此可以避免传统的电机驱动相机或传动机构带动相机运动在高速方向切换时带来的振动而导致的图像模糊情况，实现了高动态响应。
基于上述的全向单目视觉装置，图9示例性的示出了本发明实施例提供的一种全向单目视觉跟踪的方法的流程。该流程可以由上述全向单目视觉装置执行。
如图9所示，该流程具体包括：
步骤901，上转镜以及下转镜按照预设规律转动。
步骤902，通过识别采集到的图像，搜索到目标物体。
步骤903，在搜索到目标物体后，上转镜以及下转镜继续按照预设规律转动，并获取上转镜以及下转镜在规律转动时相机镜头采集的多张图像。
步骤904，根据多张图像中目标物体出现的像素点确定目标物体的运动轨迹。
上述方案，将目标物体出现的像素点按照标定好的位置关系连接起来就可以获得目标物体的连续运动轨迹，从而实现矢量跟随。
基于上述的全向双目视觉装置，图10示例性的示出了本发明实施例提供的一种全向双目视觉跟踪的方法的流程。该流程可以由上述全向双目视觉装置执行。
如图10所示，该流程具体包括：
步骤1001，2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动。
步骤1002，在第一全向单目视觉装置搜索到目标物体后，将第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置。
需要说明的是，其中，第一全向单目视觉装置为2个全向单目视觉装置中的任一全向单目视觉装置；第二全向单目视觉装置为2个全向单目视觉装置中不同于第一全向单目视觉装置的另一个全向单目视觉装置。
具体的，第一全向单目视觉装置以及第二全向单目视觉装置同时高速转动工作，任意一个搜索到目标后，通过控制模块根据预设的标定算法转换，将转换后的上、下转镜位姿传输给另一视觉装置，并由控制模块发送指令使其上、下转镜到达相应位姿，从而实现双目锁定。
本发明实施例中，系统开启后，第一全向单目视觉装置以及第二全向单目视觉装置的上、下转镜按设定的探测运动模式开始主动探测，两个全向单目视觉装置的上转镜旋转方向可以同向，也可以是反向。当任意一个发现并锁定目标后，控制模块立即将该装置的上、下转镜位姿提取并通过标定好的系转换为另一装置的上、下转镜位姿，并由控制系统发送指令，调动另一视觉装置也转向目标物体，从而实现双目锁定。
步骤1003，在第一全向单目视觉装置以及第二全向单目视觉装置锁定目标物体后，通过预设的视觉伺服算法使得第一全向单目视觉装置的上转镜及下转镜、第二全向单目视觉装置的上转镜及下转镜跟随目标物体转动。
在一种可能的实施方式中，第一全向单目视觉装置以及第二全向单目视觉装置均通过视觉伺服算法实现跟随目标物体运动而同时转动。
具体的，系统开启后，上转镜绕Z轴沿顺时针或逆时针方向连续转动，下转镜绕X轴在±25度范围内摆动，上下转镜之间的运动符合特定关系，此关系由视觉算法以及运动控制算法给出。相机持续高速采集由下转镜反射回来的图像，后台视觉算法在处理器上处理每一帧图像，当发现目标物体后，上下转镜停止自主转动，转为由视觉伺服算法控制的跟随转动，即跟随目标物体运动而转动或摆动。也就是说，当目标物体运动时，由视觉伺服算法给出目标物体运动方向与偏差，并由控制算法将方向与偏差转换为左右两个全向矢量视觉装置上、下两转镜的位姿参数，并发送指令使其运动达到该位姿，从而实现跟随目标物体运动而转动或摆动。
基于上述的全向双目视觉装置，图11示例性的示出了本发明实施例提供的一种全向双目视觉跟踪的方法的流程。该流程可以由上述全向双目视觉装置执行。
如图11所示，该流程具体包括：
步骤1101，2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动。
步骤1102，在第一全向单目视觉装置搜索到目标物体后，将第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；
需要说明的是，其中，第一全向单目视觉装置为2个全向单目视觉装置中任一全向单目视觉装置；第二全向单目视觉装置为不同于第一全向单目视觉装置的另一个。
步骤1103，获取第一全向单目视觉装置以及第二全向单目视觉装置在不同时刻针对目标物体采集的多个图像。
需要说明的是，第一全向单目视觉装置以及第二全向单目视觉装置按预先标定的运动关系转动。
步骤1104，根据多个图像中目标物体出现的像素点确定目标物体的运动轨迹。
具体的，第一全向单目视觉装置以及第二全向单目视觉装置的上下转镜均一直按预先标定的运动关系持续高速转动或摆动，左右两相机进行持续高速采集图像，如果将上下转镜平面看做是由一个个像素点组成的矩阵，目标物体在不同时间会出现在上下转镜的不同矩阵点中，后台处理器对左右两相机获得的每一帧图像进行处理，将目标物体出现的像素点按照标定好的位置关系连接起来就可以获得目标物体的连续运动轨迹，从而实现矢量跟随。
本发明实施例中，系统开启后，上转镜绕Z轴沿顺时针或逆时针方向连续转动，下转镜绕X轴在±25度范围内摆动，上下转镜之间的运动符合特定数学关系，此关系由视觉算法以及运动控制算法给出。且上下转镜在工作过程始终保持这种固定运动。相机持续高速采集由下转镜反射回来的图像，后台视觉算法在处理器上处理每一帧图像，当发现目标物体后，上下转镜仍保持上述运动，由视觉算法将目标物体在每一帧图像中的位置坐标计算出来，并将这些图像连接起来，就可以获得目标物体的运动轨迹，从而实现矢量跟随模式。
本发明实施例中，可以同时提取多个目标特征所在转镜矩阵中的位置点，由于各个目标物体在不同时间会出现在上下转镜的不同矩阵点中，后台处理器对左右两相机获得的每一帧图像进行处理，将多个目标物体出现的像素点按照标定好的位置关系连接起来就可以获得多个目标物体的连续运动轨迹，从而实现多目标探测。
进一步地，在上述第一全向单目视觉装置以及第二全向单目视觉装置锁定目标物体后，获取第一全向单目视觉装置关于目标物体的第一图像以及第二全向单目视觉装置关于目标物体的第二图像；
根据第一图像以及第二图像确定目标物体的位置参数。
本发明实施例中，通过对2个全向单目视觉装置进行精确标定后，便可获得2个全向单目视觉装置重叠视野范围内目标物的三维位置参数，通过控制算法，可以保障第一全向单目视觉装置以及第二全向单目视觉装置在锁定目标物体后始终具有重叠视野。
本发明实施例中，当系统处于跟踪时，对于同一目标物体，始终可以从2个全向单目视觉装置获得两幅不同视角的图像，因此，通过预设的双目视觉标定算法以及双目视觉测量算法就可以获得当前目标物体的三维坐标。
上述方案，相机始终保持不动，从而减少了机械运动产生的振动对图像的影响。相机光轴的变化由上下两转镜切换，实现了高速自由灵活切换相机视角，实现了对高动态目标的连续追踪，实现了智能机器人或智能无人运动系统全向、高速、高稳定性、高效率、多目标探测与环境感知。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图12，所述电子设备具体包括如下内容：处理器1201、存储器1202、通信接口1203和通信总线1204；
其中，所述处理器1201、存储器1202、通信接口1203通过所述通信总线1204完成相互间的通信；所述通信接口1203用于实现各设备之间的信息传输；
所述处理器1201用于调用所述存储器1202中的计算机程序，所述处理器执行所述计算机程序时实现上述全向双目视觉跟踪的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动；在第一全向单目视觉装置搜索到目标物体后，将所述第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；其中，所述第一全向单目视觉装置为所述2个全向单目视觉装置中的任一全向单目视觉装置；所述第二全向单目视觉装置为所述2个全向单目视觉装置中不同于所述第一全向单目视觉装置的另一个全向单目视觉装置；在所述第一全向单目视觉装置以及所述第二全向单目视觉装置锁定目标物体后，通过预设的视觉伺服算法使得所述第一全向单目视觉装置的上转镜及下转镜、所述第二全向单目视觉装置的上转镜及下转镜跟随所述目标物体转动。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述全向双目视觉跟踪的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动；在第一全向单目视觉装置搜索到目标物体后，将所述第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；其中，所述第一全向单目视觉装置为所述2个全向单目视觉装置中的任一全向单目视觉装置；所述第二全向单目视觉装置为所述2个全向单目视觉装置中不同于所述第一全向单目视觉装置的另一个全向单目视觉装置；在所述第一全向单目视觉装置以及所述第二全向单目视觉装置锁定目标物体后，通过预设的视觉伺服算法使得所述第一全向单目视觉装置的上转镜及下转镜、所述第二全向单目视觉装置的上转镜及下转镜跟随所述目标物体转动。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，全向双目视觉装置，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，全向双目视觉装置，或者网络设备等)执行各个实施例或者实施例的某些部分所述的全向双目视觉跟踪的方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种全向单目视觉装置，其特征在于，包括：上转镜模组、下转镜模组以及相机模组；其中，所述上转镜模组包括上转镜，所述下转镜模组包括下转镜；
所述上转镜模组中的上转镜的旋转范围在0-360度之间，用于通过旋转所述上转镜的角度，将入射光反射进入所述下转镜模组；
所述下转镜模组用于通过偏转所述下转镜的角度，将所述入射光反射进入所述相机模组，以使所述相机模组对目标物体成像。
2.根据权利要求1所述的全向单目视觉装置，其特征在于，所述上转镜模组还包括旋转伺服电机；所述下转镜模组还包括摆动伺服电机；
所述旋转伺服电机用于驱动所述上转镜进行360度旋转；
所述摆动伺服电机用于驱动所述下转镜偏转。
3.根据权利要求2所述的全向单目视觉装置，其特征在于，所述摆动伺服电机用于驱动所述下转镜偏转的角度范围在0-25度之间。
4.根据权利要求1所述的全向单目视觉装置，其特征在于，所述相机模组包括相机镜头以及相机微调模块；
所述相机镜头与所述相机微调模块固定连接；
所述相机镜头用于对所述目标物体成像；
所述相机微调模块用于调节所述相机镜头距所述下转镜的距离。
5.一种基于权利要求1至4任一项所述全向单目视觉装置的全向单目视觉跟踪的方法，其特征在于，包括：
上转镜以及下转镜按照预设规律转动；
通过识别采集到的图像，搜索到目标物体；
在搜索到所述目标物体后，所述上转镜以及所述下转镜根据预设的视觉伺服算法跟随所述目标物体的运动而转动。
6.一种基于权利要求1至4任一项所述全向单目视觉装置的全向单目视觉跟踪的方法，其特征在于，包括：
上转镜以及下转镜按照预设规律转动；
通过识别采集到的图像，搜索到目标物体；
在搜索到所述目标物体后，所述上转镜以及所述下转镜继续按照预设规律转动，并获取所述上转镜以及所述下转镜在规律转动时相机镜头采集的多张图像；
根据所述多张图像中所述目标物体出现的像素点确定所述目标物体的运动轨迹。
7.一种全向双目视觉装置，其特征在于，包括：2个权利要求1至4任一项所述的全向单目视觉装置；
2个全向单目视觉装置的相机镜头的中心轴位于同一条直线上。
8.一种基于权利要求7所述的全向双目视觉装置的全向双目视觉跟踪的方法，其特征在于，包括：
2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动；
在第一全向单目视觉装置搜索到目标物体后，将所述第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；其中，所述第一全向单目视觉装置为所述2个全向单目视觉装置中的任一全向单目视觉装置；所述第二全向单目视觉装置为所述2个全向单目视觉装置中不同于所述第一全向单目视觉装置的另一个全向单目视觉装置；
在所述第一全向单目视觉装置以及所述第二全向单目视觉装置锁定目标物体后，通过预设的视觉伺服算法使得所述第一全向单目视觉装置的上转镜及下转镜、所述第二全向单目视觉装置的上转镜及下转镜跟随所述目标物体转动。
9.一种基于权利要求8所述的全向双目视觉装置的全向双目视觉跟踪的方法，其特征在于，在所述第一全向单目视觉装置以及所述第二全向单目视觉装置锁定目标物体后，所述方法还包括：
获取第一全向单目视觉装置关于目标物体的第一图像以及第二全向单目视觉装置关于目标物体的第二图像；
根据所述第一图像以及所述第二图像确定目标物体的位置参数。
10.一种基于权利要求7所述的全向双目视觉装置的全向双目视觉跟踪的方法，其特征在于，包括：
2个全向单目视觉装置中的上转镜以及下转镜各自按照预设规律转动；
在第一全向单目视觉装置搜索到目标物体后，将所述第一全向单目视觉装置的转镜的位姿根据预设的标定规则进行转换并发送至第二全向单目视觉装置；其中，所述第一全向单目视觉装置为所述2个全向单目视觉装置中任一全向单目视觉装置；所述第二全向单目视觉装置为不同于所述第一全向单目视觉装置的另一个；
获取所述第一全向单目视觉装置以及所述第二全向单目视觉装置在不同时刻针对目标物体采集的多个图像；所述第一全向单目视觉装置以及所述第二全向单目视觉装置按预先标定的运动关系转动；
根据所述多个图像中所述目标物体出现的像素点确定所述目标物体的运动轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111234251.2A CN114153108A (zh) | 2021-10-22 | 2021-10-22 | 全向单目视觉装置、全向双目视觉装置及跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111234251.2A CN114153108A (zh) | 2021-10-22 | 2021-10-22 | 全向单目视觉装置、全向双目视觉装置及跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114153108A true CN114153108A (zh) | 2022-03-08 |
Family
ID=80458608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111234251.2A Pending CN114153108A (zh) | 2021-10-22 | 2021-10-22 | 全向单目视觉装置、全向双目视觉装置及跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114153108A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090115850A1 (en) * | 2007-11-06 | 2009-05-07 | Kabushiki Kaisha Toshiba | Mobile object image tracking apparatus and method |
| CN103676446A (zh) * | 2012-09-05 | 2014-03-26 | 张伟 | 摄影支架 |
| CN204486318U (zh) * | 2014-12-10 | 2015-07-22 | 合肥安晶龙电子有限公司 | 色选机镜面相机调节装置 |
| CN105242689A (zh) * | 2015-09-23 | 2016-01-13 | 浙江大学 | 一种基于光学反射的云台跟踪视觉系统 |
| CN108089196A (zh) * | 2017-12-14 | 2018-05-29 | 中国科学院光电技术研究所 | 一种光学主被动融合的非合作目标位姿测量装置 |
-
2021
- 2021-10-22 CN CN202111234251.2A patent/CN114153108A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090115850A1 (en) * | 2007-11-06 | 2009-05-07 | Kabushiki Kaisha Toshiba | Mobile object image tracking apparatus and method |
| CN103676446A (zh) * | 2012-09-05 | 2014-03-26 | 张伟 | 摄影支架 |
| CN204486318U (zh) * | 2014-12-10 | 2015-07-22 | 合肥安晶龙电子有限公司 | 色选机镜面相机调节装置 |
| CN105242689A (zh) * | 2015-09-23 | 2016-01-13 | 浙江大学 | 一种基于光学反射的云台跟踪视觉系统 |
| CN108089196A (zh) * | 2017-12-14 | 2018-05-29 | 中国科学院光电技术研究所 | 一种光学主被动融合的非合作目标位姿测量装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| CN109927012B (zh) | 移动抓取机器人和自动取货方法 | |
| CN107883929B (zh) | 基于多关节机械臂的单目视觉定位装置及方法 | |
| CN109079799B (zh) | 一种基于仿生的机器人感知控制系统及控制方法 | |
| US11312011B2 (en) | Manipulator system, control device, control method, and computer program product | |
| Ude et al. | Foveated vision systems with two cameras per eye | |
| CN109976347A (zh) | 一种基于快速扩展随机树和势场法的视觉伺服路径规划方法 | |
| CN109866201B (zh) | 双目视觉系统、移动抓取机器人和自动取货方法 | |
| Fiala et al. | TRICLOPS: A tool for studying active vision | |
| CN103559734A (zh) | 双目成像三维视觉系统装置及控制方法 | |
| US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
| Yang et al. | An optimized image-based visual servo control for fixed-wing unmanned aerial vehicle target tracking with fixed camera | |
| US20190244391A1 (en) | An aerial camera boresight calibration system | |
| CN114516051A (zh) | 三个及以上自由度机器人视觉测量的前方交会方法及系统 | |
| Marchand et al. | Visual servoing through mirror reflection | |
| CN114153108A (zh) | 全向单目视觉装置、全向双目视觉装置及跟踪方法 | |
| CN206710716U (zh) | 一种随动头显装置 | |
| Li et al. | A flexible calibration algorithm for high-speed bionic vision system based on galvanometer | |
| Crowley et al. | Gaze control for a binocular camera head | |
| JPH04352124A (ja) | 光学機器に於ける光軸偏角装置 | |
| Makabe et al. | Development of movable binocular high-resolution eye-camera unit for humanoid and the evaluation of looking around fixation control and object recognition | |
| WO2022124398A1 (ja) | 遠隔制御マニピュレータシステムおよび遠隔制御支援システム | |
| WO2017167033A1 (zh) | 一种视觉系统的图像处理方法及系统 | |
| CN212193168U (zh) | 一种两侧设置激光雷达的机器人头部 | |
| CN111699445A (zh) | 机器人运动学模型优化方法、系统和存储装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220308 |