CN103791832A - 双目立体视觉多线程跟踪定位方法 - Google Patents

双目立体视觉多线程跟踪定位方法 Download PDF

Info

Publication number
CN103791832A
CN103791832A CN201210433505.8A CN201210433505A CN103791832A CN 103791832 A CN103791832 A CN 103791832A CN 201210433505 A CN201210433505 A CN 201210433505A CN 103791832 A CN103791832 A CN 103791832A
Authority
CN
China
Prior art keywords
video camera
camera
capture card
crossbeam
stereo vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210433505.8A
Other languages
English (en)
Inventor
刘仰川
高欣
刘兆邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201210433505.8A priority Critical patent/CN103791832A/zh
Publication of CN103791832A publication Critical patent/CN103791832A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本发明公开了双目立体视觉多线程跟踪定位方法，包括横梁和三脚架，所述横梁固定在所述三脚架上，所述横梁两端分别固定着第一摄像机和第二摄像机，所述第一摄像机的镜头安装有第一红外滤光片，所述第二摄像机的镜头安装有第二红外滤光片，所述第一摄像机通过第一摄像连接线连接第一采集卡，所述第二摄像机通过第二摄像连接线连接第二采集卡，所述第一采集卡和所述第二采集卡插在计算机内，所述计算机和显示器连接，所述第一摄像机和所述第二摄像机通过第一通用输入输出线和第二通用输入输出线连接外触发端。本发明通过改进硬软件系统，使系统具备较强的兼容性，能够实现图像数据采集与处理、空间重建的并行运行，满足实时性要求。

Description

双目立体视觉多线程跟踪定位方法
技术领域
本发明涉及一种定位方法，具体涉及的是双目立体视觉多线程跟踪定位方法。
背景技术
双目立体视觉测量技术是应用最广泛的计算机视觉技术之一，该技术模仿人眼系统而设计的立体视觉系统，其主要原理是：两台摄像机在不同角度对同一靶标进行拍摄，获得两幅图像，即立体图像对，计算靶标在两相机中的视差，根据重建原理即可获得靶标的空间坐标。双目立体视觉是获取空间坐标最基本、最简单的方法，该技术常用于对靶标进行跟踪定位。
目前，双目立体视觉跟踪定位系统存在的主要问题是无法兼顾测量精度和测量速度。较高的测量精度要求对图像进行较高精度的处理，而普通PC机计算能力有限，这必然导致更多的时间消耗。以硬件处理平台替代PC机实现高速计算是解决该问题的有效方法，但该方法增加了开发难度。此外，软件架构上的单线程工作模式使得PC机只能串行工作，这大大影响了处理的实时性。
发明内容
本发明的目的在于克服现有技术存在的以上问题，提供一种双目立体视觉多线程跟踪定位方法，分别在硬件系统中和软件架构上进行了改进，大大降低了提取靶标特征点的难度和实现了图像数据采集与处理、空间重建的并行运行。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
双目立体视觉多线程跟踪定位方法，包括横梁和三脚架，所述横梁固定在所述三脚架上，所述横梁两端分别固定着第一摄像机和第二摄像机，所述第一摄像机的镜头安装有第一红外滤光片，所述第二摄像机的镜头安装有第二红外滤光片，所述第一摄像机通过第一摄像连接线连接第一采集卡，所述第二摄像机通过第二摄像连接线连接第二采集卡，所述第一采集卡和所述第二采集卡插在计算机内，所述计算机和显示器连接，所述第一摄像机和所述第二摄像机通过第一通用输入输出线和第二通用输入输出线连接外触发端。
进一步的，所述三脚架为不固定结构，调节所述横梁的角度和高度。
进一步的，所述第一采集卡和第二采集卡所采集的数据分别由两独立线程进行处理，输出靶标的特征点坐标对，所述靶标的特征点坐标对由一独立线程进行重建，输出靶标的空间坐标。
本发明的有益效果是：
本发明通过改进硬件系统，使系统具备较强的兼容性，只要设备提供触发信号即可实现对设备动件的跟踪定位；本发明通过改进软件架构，能够实现图像数据采集与处理、空间重建的并行运行，满足实时性要求。此外，本发明具有多种工作模式，可实现对处于不同运动状态物体的跟踪定位，具备较强的通用性。
附图说明
图1整体结构示意图；
图2为本发明的工作原理图；
图3为本发明的软件架构图；
图4为采集与处理线程工作原理图；
图5为重建线程工作原理图；
图6为间接外触发结构示意图。
图中标号说明：1、第一摄像机，2、第二摄像机，3、第一红外滤光片，4、第二红外滤光片，5、横梁，6、三脚架，7、第一摄像连接线，8、第二摄像连接线，9、第一通用输入输出线，10、第二通用输入输出线，11、第一采集卡，12、第二采集卡，13、计算机，14、显示器，15、外触发端，16、第一触发电缆，17、第二触发电缆。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。
参照图1所示，双目立体视觉多线程跟踪定位方法，包括横梁5和三脚架6，所述横梁5固定在所述三脚架6上，所述横梁5两端分别固定着第一摄像机1和第二摄像机2，所述第一摄像机1的镜头安装有第一红外滤光片3，所述第二摄像机2的镜头安装有第二红外滤光片4，所述第一摄像机1通过第一摄像连接线7连接第一采集卡11，所述第二摄像机2通过第二摄像连接线8连接第二采集卡12，所述第一采集卡11和所述第二采集卡12插在计算机13内，所述计算机13和显示器14连接，所述第一摄像机1和所述第二摄像机2通过第一通用输入输出线9和第二通用输入输出线10连接外触发端15。
进一步的，所述三脚架6为不固定结构，调节所述横梁5的角度和高度。
进一步的，所述第一采集卡和第二采集卡所采集的数据分别由两独立线程进行处理，输出靶标的特征点坐标对，所述靶标的特征点坐标对由一独立线程进行重建，输出靶标的空间坐标。
本发明的工作原理如下：
如图2所示，两台相机由触发源产生的触发信号触发，产生的图像数据经摄像连接线传输至采集卡。两个采集与处理线程分别读取相应采集卡中的数据，经数据处理后获得靶标的特征点坐标。重建线程读取采集与处理线程所获得的特征点坐标对，经重建后输出世界坐标。
如附图3所示，在软件架构中，共存在四个线程，包括一个主线程和三个次线程。继承于QObject类的第一、第二采集与处理类由moveToThread函数分别装载到继承于QThread类的第一、第二次线程类，使得采集与处理类能够运行在独立线程中。同样，继承于QObject类的空间重建类运行在继承于QThread类的第三次线程中。第一、第二次线程分别通过信号槽机制与第三次线程进行通信。主线程提供可视化操作，通过信号槽机制与三个次线程进行通信。
如图4所示，采集与处理线程启动后即处于等待接收图像数据状态。当接收到图像数据，该线程立刻进行特征点提取，并将获得的特征点坐标添加到相应的QList中；然后，该线程发射添加完成信号，该信号可自定义为CaptOver信号。如果没有接收到退出线程命令，该线程再次进入等待状态。从接收到数据至发射CaptOver信号为一个运行周期，该周期决定了系统的上限触发频率。
如图5所示，重建线程启动后即处于等待接收信号状态。当接收到CaptOver信号线程时，该线程启动相应的槽函数去读取两个QList中的元素。如果第一QList非空，则读取并删除首元素；否则，去判断第二QList。如果第二QList非空，则读取并删除首元素；否则，回到等待状态。这种由CaptOver信号启动的读QList方法避免了因循环判断而导致的内存浪费。当成功从两QList中读取靶标坐标对后，该线程的重建函数利用坐标对获得空间坐标(Xw，yw，Zw)。如果没有退出线程命令，线程再次转入等待状态。
进一步的，根据触发源和触发方式的不同，本发明可以在以下四种模式中工作。
(1)外触发同步跟踪模式
首先，使用串口软件(如超级终端)设置相机处于外触发状态。然后，将外触发端口与待跟踪定位物体的控制系统相连。点击软件界面上的外触发同步跟踪按键，使系统处于等待状态。控制系统控制物体运动的同时，产生触发信号，保证跟踪定位与运动同步。该模式主要用于跟踪定位处于受控状态的物体。
(2)外触发连续跟踪模式
首先，使用串口软件(如超级终端)设置相机处于外触发状态。然后，将外触发端与能够产生触发信号的设备(如信号发生器)相连。点击软件界面上的外触发连续跟踪按键，使系统处于等待状态。当待跟踪定位物体即将开始运动时，使触发设备以固定频率产生触发信号，实现等间隔跟踪定位。该模式主要用于跟踪定位处于非受控状态的物体。
(3)外触发单步跟踪模式
首先，使用串口软件(如超级终端)设置相机处于外触发状态。然后，将外触发端与能够产生触发信号的设备(如信号发生器)相连。点击软件界面上的外触发单步跟踪按键，使系统处于等待状态。当待跟踪定位物体产生一次运动时，手动使触发源产生一触发脉冲，进行当前状态的跟踪定位。该模式主要用于跟踪定位处于较低运动速度的物体。
(4)内触发连续跟踪模式
首先，使用串口软件(如超级终端)设置相机处于内触发状态。当待跟踪定位物体即将运动时，手动点击软件界面上的内触发连续跟踪按键，软件设置采集卡产生固定频率的触发信号，经CameraLink线触发相机，实现对运动物体的等间隔跟踪定位。该模式主要用于跟踪定位处于非受控状态的物体。
(5)内触发单步跟踪模式
首先，使用串口软件(如超级终端)设置相机处于内触发状态。当待跟踪定位物体产生一次运动时，手动点击软件界面上的内触发单步跟踪按键，软件控制采集卡产生一触发脉冲，经CameraLink线触发相机，实现对当前状态的跟踪定位。该模式主要用于跟踪定位处于较低运动速度的物体。
进一步的，本发明在使用时，还可以经采集卡间接外触发相机，如图6所示。第一触发电缆16跟第一采集卡11相连，第二触发电缆17跟第二采集卡12相连。两触发电缆另一端共同连接于触发端15。使用时，触发信号经两触发电缆触发两采集卡，两采集卡再产生触发信号，经两摄像连接线触发两相机。该方式同样可以实现上述有关外触发的跟踪模式。
进一步的，本发明在使用时，红外靶标固定在要跟踪定位的运动物体上，提供标示功能。所述红外靶标由不透光的材料做成一个带窗口的内腔。

Claims (3)

1.双目立体视觉多线程跟踪定位方法，其特征在于：包括横梁(5)和三脚架(6)，所述横梁(5)固定在所述三脚架(6)上，所述横梁(5)两端分别固定着第一摄像机(1)和第二摄像机(2)，所述第一摄像机(1)的镜头安装有第一红外滤光片(3)，所述第二摄像机(2)的镜头安装有第二红外滤光片(4)，所述第一摄像机(1)通过第一摄像连接线(7)连接第一采集卡(11)，所述第二摄像机(2)通过第二摄像连接线(8)连接第二采集卡(12)，所述第一采集卡(11)和所述第二采集卡(12)插在计算机(13)内，所述计算机(13)和显示器(14)连接，所述第一摄像机(1)和所述第二摄像机(2)通过第一通用输入输出线(9)和第二通用输入输出线(10)连接外触发端(15)。
2.根据权利要求1所述的双目立体视觉多线程跟踪定位方法，其特征在于：所述三脚架(6)为可伸缩结构，调节所述横梁(5)的角度和高度。
3.根据权利要求1所述的双目立体视觉多线程跟踪定位方法，其特征在于：所述第一采集卡(11)和第二采集卡(12)所采集的数据分别由两独立线程进行处理，输出靶标的特征点坐标对，所述靶标的特征点坐标对由一独立线程进行重建，输出靶标的空间坐标。
CN201210433505.8A 2012-11-05 2012-11-05 双目立体视觉多线程跟踪定位方法 Pending CN103791832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210433505.8A CN103791832A (zh) 2012-11-05 2012-11-05 双目立体视觉多线程跟踪定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210433505.8A CN103791832A (zh) 2012-11-05 2012-11-05 双目立体视觉多线程跟踪定位方法

Publications (1)

Publication Number Publication Date
CN103791832A true CN103791832A (zh) 2014-05-14

Family

ID=50667723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210433505.8A Pending CN103791832A (zh) 2012-11-05 2012-11-05 双目立体视觉多线程跟踪定位方法

Country Status (1)

Country Link
CN (1) CN103791832A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106197270A (zh) * 2016-07-07 2016-12-07 大连理工大学 一种便携式龙门视觉测量装置
CN109143983A (zh) * 2018-08-15 2019-01-04 杭州电子科技大学 嵌入式可编程控制器的运动控制方法及装置
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11160021A (ja) * 1997-11-27 1999-06-18 Nippon Telegr & Teleph Corp <Ntt> 広域３次元位置計測方法及び装置
CN101393012A (zh) * 2008-10-16 2009-03-25 汤一平 新型的双目立体视觉测量装置
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
CN101726258A (zh) * 2009-12-10 2010-06-09 华中科技大学 一种热态物体在线检测系统
CN102322799A (zh) * 2011-08-24 2012-01-18 苏州生物医学工程技术研究所 一种用于x线成像装置的空间测量定位系统及方法
CN202175829U (zh) * 2010-12-27 2012-03-28 中国船舶重工集团公司第七一五研究所 基于机器视觉的坯布疵点在线实时检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11160021A (ja) * 1997-11-27 1999-06-18 Nippon Telegr & Teleph Corp <Ntt> 広域３次元位置計測方法及び装置
CN101393012A (zh) * 2008-10-16 2009-03-25 汤一平 新型的双目立体视觉测量装置
CN101518438A (zh) * 2009-03-27 2009-09-02 南开大学 双目内窥镜手术视觉系统
CN101726258A (zh) * 2009-12-10 2010-06-09 华中科技大学 一种热态物体在线检测系统
CN202175829U (zh) * 2010-12-27 2012-03-28 中国船舶重工集团公司第七一五研究所 基于机器视觉的坯布疵点在线实时检测系统
CN102322799A (zh) * 2011-08-24 2012-01-18 苏州生物医学工程技术研究所 一种用于x线成像装置的空间测量定位系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106197270A (zh) * 2016-07-07 2016-12-07 大连理工大学 一种便携式龙门视觉测量装置
CN109143983A (zh) * 2018-08-15 2019-01-04 杭州电子科技大学 嵌入式可编程控制器的运动控制方法及装置
CN109143983B (zh) * 2018-08-15 2019-12-24 杭州电子科技大学 嵌入式可编程控制器的运动控制方法及装置
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及系统

Similar Documents

Publication Publication Date Title
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
US10122998B2 (en) Real time sensor and method for synchronizing real time sensor data streams
CN102221887B (zh) 互动投影系统及方法
CN107341827B (zh) 一种视频处理方法、装置和存储介质
US8648808B2 (en) Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof
CN105554385A (zh) 一种远距离多模态生物特征识别方法及其系统
US11798177B2 (en) Hand tracking method, device and system
CN109701810A (zh) 一种基于3d视觉喷胶机器人系统及其工作方法
CN105376484A (zh) 一种图像处理方法及终端
WO2017147748A1 (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN108871307B (zh) 基于图像识别与光功率反馈的y波导芯片直接耦合装置
TWI668670B (zh) 深度圖產生裝置
CN107145822A (zh) 偏离深度相机的用户体感交互标定的方法和系统
CN105637852A (zh) 一种图像处理方法、装置及电子设备
CN107133984A (zh) 深度相机与主体设备的标定方法与系统
CN103791832A (zh) 双目立体视觉多线程跟踪定位方法
CN103514449A (zh) 一种图像采集装置及方法
TWI510082B (zh) 用於影像辨識之影像擷取方法及其系統
CN202110488U (zh) 一种基于计算机视觉的手势操控系统
EP3316222B1 (en) Pre-visualization device
CN205788098U (zh) 基于双目机器视觉的非接触投影交互系统
CN114283241A (zh) 一种结构光三维重建装置及方法
CN209122167U (zh) 一种低功耗胶囊内窥镜图像采集及三维重建系统
CN110189267B (zh) 一种基于机器视觉的实时定位装置和系统
CN106210702A (zh) 一种同步三维数据采集仪、采集系统及采集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140514