CN113379796A - 一种大范围多相机跟踪控制方法及系统 - Google Patents
一种大范围多相机跟踪控制方法及系统 Download PDFInfo
- Publication number
- CN113379796A CN113379796A CN202110570718.4A CN202110570718A CN113379796A CN 113379796 A CN113379796 A CN 113379796A CN 202110570718 A CN202110570718 A CN 202110570718A CN 113379796 A CN113379796 A CN 113379796A
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- cameras
- range
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
本发明涉及航空制造表面质量检测技术领域,特别是涉及一种大范围多相机跟踪控制方法及系统,所述控制系统包括控制模块、多个位置固定的相机和一个可移动的靶标,相邻相机视野有1/10的重叠范围,所述控制方法采用实时跟踪靶标位置,分时开启小部分相机的方法。通过本控制方法及系统,能有效解决定位效果差和数据计算量大的问题。
Description
技术领域
本发明涉及航空制造表面质量检测技术领域,特别是涉及一种大范围多相机跟踪控制方法及系统。
背景技术
机大尺寸三维形貌自动化测量是测量技术发展的一个重要方向。对于大尺寸物体,表面三维形貌数据测量往往难以通过简单单个三维扫描测量设备来实现,需要对多次扫描的三维形貌数据进行拼接。而在多次的扫描数据拼接时往往需要对各次扫描数据的坐标基准进行定位、跟踪、转换,才能更好的合成更精准的大尺寸物体表面三维形貌数据,数据传输和处理的压力大,跟踪效果不理想,很难满足大尺寸物体的表面三维形貌测量需求。
发明内容
为解决上述技术问题,本发明提出了一种大范围多相机跟踪控制方法及系统,有效实现靶标的空间大范围跟踪,能有效解决定位效果差和数据计算量大的问题。
本发明是通过采用下述技术方案实现的:
一种大范围多相机跟踪控制方法,其特征在于:包括以下步骤:
步骤1,靶标在初始位置静止不动,依次开启所有相机1、2、3....N,判断相机范围内是否有靶标;
步骤2,开启视野内有靶标的相机,选择离靶标中心最近的相机,并开启该相机,关闭其他相机,初始化靶标位置;
步骤3,跟踪靶标,计算靶标位置,判断靶标位置是否进入距相机边界1/10视野宽度的范围内;若是,开启缺失相机,即该边界相邻的相机,进入步骤4,若否,进入步骤4;
步骤4,判断已开启的相机中是否存在其视野范围内无靶标的多余相机,若是,关闭多余相机后进入步骤5,若否,进入步骤5;
步骤5,判断跟踪是否结束,若否,返回步骤3循环跟踪,若是,直接退出。
所述步骤2中选择离靶标中心最近的相机,具体指:在保持开启的相机i中,A,B,C所成的像为Ai(mA,nA),Bi(mB,nB),Ci(mC,nC),计算其平均值选择(mi,ni)最靠近图像中心的相机i,关闭其他相机,其中,A,B,C分别为靶标上的三个发光圆点的圆心。
所述步骤3具体包括:移动靶标,实时计算(mi,ni),当其进入图像边界1/10图像宽度的距离时,开启与相机i相邻的相机,若其同时靠近两个边界,则同时开启在两个边界上与相机i相邻的相机,此时达到相机同时开启的最大数量,即3个相机。
所述靶标上发光圆点的三维坐标AW,BW,CW,计算方式为:
求解同时满足上述三式的T1 i,其中,Ai、Bi、Ci是发光圆点的圆心在图像坐标系中的坐标,AW,BW,CW满足AWBW=AB,AWCW=AC,CWBW=CB,AB为靶标上圆点A和圆点B之间的圆心距,AC为靶标上圆点A和圆点C之间的圆心距,CB为靶标上圆点C和圆点B之间的圆心距;T1 i为相机i到相机1坐标系的转换关系,Ki为相机i的内部参数矩阵。
发光圆点的发光频率是单一的,每个相机上均装有相应频率的滤光片。
所述步骤1之前还包括步骤a,所述步骤a具体包括:对多相机进行排序,确保相邻序号的相机之间有足够大的公共视野,最后一个序号的相机和第一个序号的相机之间有足够大的公共视野。
所述步骤a与步骤1之间还包括步骤b,所述步骤b具体包括:标定全部相机的内外部参数。
一种大范围多相机跟踪系统,其特征在于:包括控制模块、多个位置固定的相机和一个可移动的靶标,所有相机视野的集合能够覆盖靶标的预定活动范围;每台相机分别有一根数据线和一根同步信号线与控制模块相连;相机之间的位置关系经过标定,相邻相机视野有1/10的重叠范围。
与现有技术相比,本发明的有益效果表现在:
1、本发明能有效实现靶标的空间大范围跟踪,将同时开启的相机个数控制在3个以内,极大的减少了数据传输和处理的资源需求,从而释放更多资源用于少量相机数据处理,进而提高跟踪效果,如定位精度和跟踪刷新率等。
附图说明
下面将结合说明书附图和具体实施方式对本发明作进一步的详细说明,其中:
图1为本发明的流程示意图;
图2为本发明中控制系统的结构示意图。
具体实施方式
实施例1
作为本发明基本实施方式,参照说明书附图1,本发明包括一种大范围多相机跟踪控制方法,包括以下步骤:
步骤1,靶标在初始位置静止不动,依次开启所有相机1、2、3....N,判断相机范围内是否有靶标。
步骤2,开启视野内有靶标的相机,选择离靶标中心最近的相机,并开启该相机,关闭其他相机,初始化靶标位置。即记录i时刻靶标在相机坐标系下的三维坐标(xi,yi,zi)或在相机图像坐标系下的二维坐标(mi,ni)。
步骤3,跟踪靶标,继续记录i+1时刻靶标在同一相机坐标系下的三维坐标(xi+1,yi+1,zi+1)或在相机图像坐标系下的二维坐标(mi+1,ni+1)。靶标在同一相机坐标系下的三维坐标(xi+1,yi+1,zi+1)距离相机视野空间边界的距离小于相机视野宽度的1/10,或在相机图像坐标系下的二维坐标(mi+1,ni+1)距离图像边界小于相机图像宽度的1/10,则根据其接近的视野或图像边界,开启该边界相邻的相机。
步骤4,判断已开启的相机中是否存在其视野范围内无靶标的多余相机,若是,关闭多余相机后进入步骤5,若否,进入步骤5;
步骤5,判断跟踪是否结束,若否,返回步骤3循环跟踪,若是,直接退出。
实施例2
作为本发明最佳实施方式,本发明包括一种大范围多相机跟踪系统,参照说明书附图2,包括控制模块、多个位置固定的相机和一个可移动的靶标,所有相机视野的集合能够覆盖靶标的预定活动范围;每台相机分别有一根数据线和一根同步信号线与控制模块相连;数据线用以传输拍摄的照片,同步线用以传输触发信号,使所有相机同步拍摄,每一路触发信号可以单独打开或关闭。靶标上有三个发光圆点,其圆心分别为A,B,C,三个圆点的相互位置关系已知,即AB,AC,CB的长度已知,发光圆点的发光频率是单一的,每个相机上均装有相应频率的滤光片,以确保仅有靶标上发光圆点的光线可以进入相机镜头。
本发明还包括一种大范围多相机跟踪控制方法,包括以下步骤:
步骤a,对多相机进行排序,相机序号依次为1,2,3,......,i,i+1,......,N-1,N,确保相邻序号的相机之间有足够大的公共视野,公共视野的大小应超过单相机视野的1/10,即一台相机视野内1/10的区域可被其相邻相机看见,每台相机有4个相邻相机,分别位于其视野的四个方向,最后一个序号的相机和第一个序号的相机之间有足够大的公共视野,即排序以回环方式进行。步骤a的要求可通过增加相机数量确保实现。
步骤b,标定全部相机的内外部参数。内部参数为相机本身镜头、成像元件属性,构成内参矩阵Ki,外部参数为相机之间的坐标系转换关系,相邻两相机的外部参数为并通过转换链条……转换。其中外部参数以相机1为基准,计算其他相机坐标系到相机1坐标系的转换关系,依次为T1 i,i=1,2,3,…,N。则相机i和相机j的转换关系为
步骤1,靶标在初始位置静止不动,依次开启所有相机1、2、3....N,判断相机范围内是否有靶标的发光圆点。
步骤2,开启视野内有靶标的相机,其中,在保持开启的相机i中,A,B,C所成的像为Ai(mA,nA),Bi(mB,nB),Ci(mC,nC),计算其平均值选择(mi,ni)最靠近图像中心的相机i,关闭其他相机,其中,A,B,C分别为靶标上有三个发光圆点的圆心。初始化靶标位置。在(mi,ni)最靠近图像中心的相机i中,计算靶标上发光圆点的三维坐标AW,BW,CW,计算方式为:
求解同时满足上述三式的T1 i,其中,Ai、Bi、Ci是发光圆点的圆心在图像坐标系中的坐标,AW,BW,CW满足AWBW=AB,AWCW=AC,CWBW=CB。AB为靶标上圆点A和圆点B之间的圆心距,AC为靶标上圆点A和圆点C之间的圆心距,CB为靶标上圆点C和圆点B之间的圆心距;T1 i为相机i到相机1坐标系的转换关系,Ki为相机i的内部参数矩阵。
步骤3,跟踪靶标,实时计算(mi,ni),当其进入图像边界1/10图像宽度的距离时,开启与相机i相邻的相机,若其同时靠近两个边界,则同时开启在两个边界上与相机i相邻的相机,此时达到相机同时开启的最大数量,即3个相机。
步骤4,判断已开启的相机中是否存在其视野范围内无靶标的多余相机,若是,关闭多余相机后进入步骤5,若否,进入步骤5。
步骤5,判断跟踪是否结束,若否,返回步骤3循环跟踪,若是,直接退出。
综上所述,本领域的普通技术人员阅读本发明文件后,根据本发明的技术方案和技术构思无需创造性脑力劳动而作出的其他各种相应的变换方案,均属于本发明所保护的范围。
Claims (8)
1.一种大范围多相机跟踪控制方法,其特征在于:包括以下步骤:
步骤1,靶标在初始位置静止不动,依次开启所有相机1、2、3....N,判断相机范围内是否有靶标;
步骤2,开启视野内有靶标的相机,选择离靶标中心最近的相机,并开启该相机,关闭其他相机,初始化靶标位置;
步骤3,跟踪靶标,计算靶标位置,判断靶标位置是否进入距相机边界1/10视野宽度的范围内;若是,开启缺失相机,即该边界相邻的相机,进入步骤4,若否,进入步骤4;
步骤4,判断已开启的相机中是否存在其视野范围内无靶标的多余相机,若是,关闭多余相机后进入步骤5,若否,进入步骤5;
步骤5,判断跟踪是否结束,若否,返回步骤3循环跟踪,若是,直接退出。
3.根据权利要求2所述的一种大范围多相机跟踪控制方法,其特征在于:所述步骤3具体包括:移动靶标,实时计算(mi,ni),当其进入图像边界1/10图像宽度的距离时,开启与相机i相邻的相机,若其同时靠近两个边界,则同时开启在两个边界上与相机i相邻的相机,此时达到相机同时开启的最大数量,即3个相机。
5.根据权利要求1所述的一种大范围多相机跟踪控制方法,其特征在于:发光圆点的发光频率是单一的,每个相机上均装有相应频率的滤光片。
6.根据权利要求1所述的一种大范围多相机跟踪控制方法,其特征在于:所述步骤1之前还包括步骤a,所述步骤a具体包括:对多相机进行排序,确保相邻序号的相机之间有足够大的公共视野,最后一个序号的相机和第一个序号的相机之间有足够大的公共视野。
7.根据权利要求6所述的一种大范围多相机跟踪控制方法,其特征在于:所述步骤a与步骤1之间还包括步骤b,所述步骤b具体包括:标定全部相机的内外部参数。
8.一种大范围多相机跟踪系统,其特征在于:包括控制模块、多个位置固定的相机和一个可移动的靶标,所有相机视野的集合能够覆盖靶标的预定活动范围;每台相机分别有一根数据线和一根同步信号线与控制模块相连;相机之间的位置关系经过标定,相邻相机视野有1/10的重叠范围。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110570718.4A CN113379796B (zh) | 2021-05-25 | 2021-05-25 | 一种大范围多相机跟踪控制方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110570718.4A CN113379796B (zh) | 2021-05-25 | 2021-05-25 | 一种大范围多相机跟踪控制方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379796A true CN113379796A (zh) | 2021-09-10 |
CN113379796B CN113379796B (zh) | 2022-07-15 |
Family
ID=77571876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110570718.4A Active CN113379796B (zh) | 2021-05-25 | 2021-05-25 | 一种大范围多相机跟踪控制方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379796B (zh) |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027442A (ja) * | 2000-07-05 | 2002-01-25 | Hitachi Kokusai Electric Inc | 物体追尾システム |
US20100085437A1 (en) * | 2008-10-07 | 2010-04-08 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
CN103513295A (zh) * | 2013-09-25 | 2014-01-15 | 青海中控太阳能发电有限公司 | 一种基于多相机实时拍摄与图像处理的天气监测系统与方法 |
CN104506821A (zh) * | 2015-01-07 | 2015-04-08 | 浙江省交通规划设计研究院 | 一种基于数字图像测量的渡口人员落水快速定位系统 |
CN104601964A (zh) * | 2015-02-06 | 2015-05-06 | 武汉大学 | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 |
CN104751486A (zh) * | 2015-03-20 | 2015-07-01 | 安徽大学 | 一种多ptz相机的运动目标接力跟踪算法 |
CN104794439A (zh) * | 2015-04-10 | 2015-07-22 | 上海交通大学 | 基于多相机的准正面人脸图像实时优选方法及系统 |
CN104897060A (zh) * | 2015-06-17 | 2015-09-09 | 大连理工大学 | 采用坐标跟踪控制板的大视场全局测量方法 |
US9536322B1 (en) * | 2007-05-15 | 2017-01-03 | Peter Harmon Smith | Implementation of multi-camera tracking applications using rich color transition curve target sequences |
CN106959080A (zh) * | 2017-04-10 | 2017-07-18 | 上海交通大学 | 一种大型复杂曲面构件三维形貌光学测量系统和方法 |
CN107122770A (zh) * | 2017-06-13 | 2017-09-01 | 驭势(上海)汽车科技有限公司 | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 |
CN108269286A (zh) * | 2016-12-30 | 2018-07-10 | 中国空气动力研究与发展中心超高速空气动力研究所 | 基于组合立体标志的多相机位姿关联方法 |
CN108496138A (zh) * | 2017-05-25 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种跟踪方法及装置 |
CN108897342A (zh) * | 2018-08-22 | 2018-11-27 | 江西理工大学 | 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统 |
CN110487213A (zh) * | 2019-08-19 | 2019-11-22 | 杭州电子科技大学 | 基于空间错位的全视角线激光扫描三维成像装置与方法 |
CN112001945A (zh) * | 2020-07-13 | 2020-11-27 | 西安理工大学 | 一种适用于生产线作业的多机器人监控方法 |
CN112212788A (zh) * | 2020-11-17 | 2021-01-12 | 华南农业大学 | 基于多台手机的视觉空间点三维坐标测量方法 |
CN112637550A (zh) * | 2020-11-18 | 2021-04-09 | 合肥市卓迩无人机科技服务有限责任公司 | 多路4k准实时拼接视频的ptz动目标跟踪方法 |
-
2021
- 2021-05-25 CN CN202110570718.4A patent/CN113379796B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027442A (ja) * | 2000-07-05 | 2002-01-25 | Hitachi Kokusai Electric Inc | 物体追尾システム |
US9536322B1 (en) * | 2007-05-15 | 2017-01-03 | Peter Harmon Smith | Implementation of multi-camera tracking applications using rich color transition curve target sequences |
US20100085437A1 (en) * | 2008-10-07 | 2010-04-08 | The Boeing Company | Method and system involving controlling a video camera to track a movable target object |
CN103513295A (zh) * | 2013-09-25 | 2014-01-15 | 青海中控太阳能发电有限公司 | 一种基于多相机实时拍摄与图像处理的天气监测系统与方法 |
CN104506821A (zh) * | 2015-01-07 | 2015-04-08 | 浙江省交通规划设计研究院 | 一种基于数字图像测量的渡口人员落水快速定位系统 |
CN104601964A (zh) * | 2015-02-06 | 2015-05-06 | 武汉大学 | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 |
CN104751486A (zh) * | 2015-03-20 | 2015-07-01 | 安徽大学 | 一种多ptz相机的运动目标接力跟踪算法 |
CN104794439A (zh) * | 2015-04-10 | 2015-07-22 | 上海交通大学 | 基于多相机的准正面人脸图像实时优选方法及系统 |
CN104897060A (zh) * | 2015-06-17 | 2015-09-09 | 大连理工大学 | 采用坐标跟踪控制板的大视场全局测量方法 |
CN108269286A (zh) * | 2016-12-30 | 2018-07-10 | 中国空气动力研究与发展中心超高速空气动力研究所 | 基于组合立体标志的多相机位姿关联方法 |
CN106959080A (zh) * | 2017-04-10 | 2017-07-18 | 上海交通大学 | 一种大型复杂曲面构件三维形貌光学测量系统和方法 |
CN108496138A (zh) * | 2017-05-25 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 一种跟踪方法及装置 |
CN107122770A (zh) * | 2017-06-13 | 2017-09-01 | 驭势(上海)汽车科技有限公司 | 多目相机系统、智能驾驶系统、汽车、方法和存储介质 |
CN108897342A (zh) * | 2018-08-22 | 2018-11-27 | 江西理工大学 | 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统 |
CN110487213A (zh) * | 2019-08-19 | 2019-11-22 | 杭州电子科技大学 | 基于空间错位的全视角线激光扫描三维成像装置与方法 |
CN112001945A (zh) * | 2020-07-13 | 2020-11-27 | 西安理工大学 | 一种适用于生产线作业的多机器人监控方法 |
CN112212788A (zh) * | 2020-11-17 | 2021-01-12 | 华南农业大学 | 基于多台手机的视觉空间点三维坐标测量方法 |
CN112637550A (zh) * | 2020-11-18 | 2021-04-09 | 合肥市卓迩无人机科技服务有限责任公司 | 多路4k准实时拼接视频的ptz动目标跟踪方法 |
Non-Patent Citations (8)
Title |
---|
ADAM HARMAT等: "Multi-Camera Tracking and Mapping for Unmanned Aerial Vehicles in Unstructured Environments", 《JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS》, vol. 78, 31 December 2015 (2015-12-31), pages 291 - 317, XP035476914, DOI: 10.1007/s10846-014-0085-y * |
LIONEL HENG等: "Self-calibration and visual SLAM with a multi-camera system on a micro aerial vehicle", 《AUTONOMOUS ROBOTS》 * |
LIONEL HENG等: "Self-calibration and visual SLAM with a multi-camera system on a micro aerial vehicle", 《AUTONOMOUS ROBOTS》, vol. 39, 19 July 2015 (2015-07-19), pages 259 - 277, XP035546546, DOI: 10.1007/s10514-015-9466-8 * |
孟凡星: "基于DSP的多相机联合监控的目标接力跟踪方法研究", 《万方在线》 * |
孟凡星: "基于DSP的多相机联合监控的目标接力跟踪方法研究", 《万方在线》, 12 February 2017 (2017-02-12), pages 23 * |
李中振: "大场景主从相机协同的运动目标检测和跟踪", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
李中振: "大场景主从相机协同的运动目标检测和跟踪", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, 15 February 2019 (2019-02-15), pages 138 - 1588 * |
黄海波等: "高精度智能相机光电跟踪控制系统的研制", 《仪器仪表学报》, vol. 32, no. 1, 31 January 2011 (2011-01-31), pages 107 - 112 * |
Also Published As
Publication number | Publication date |
---|---|
CN113379796B (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10586352B2 (en) | Camera calibration | |
WO2022142759A1 (zh) | 一种激光雷达与相机联合标定方法 | |
CN109598765B (zh) | 基于球形标定物的单目相机与毫米波雷达外参联合标定方法 | |
CN110632589B (zh) | 一种雷达光电信息融合技术 | |
CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
CN109767476A (zh) | 一种自动对焦双目摄像头标定及深度计算方法 | |
CN106612390B (zh) | 具有双成像模块的摄像模组及其光轴平行度调整方法 | |
CN112655024B (zh) | 一种图像标定方法及装置 | |
CN105608671A (zh) | 一种基于surf算法的图像拼接方法 | |
CN108344360A (zh) | 一种视觉测量系统的激光扫描式全局校准装置及方法 | |
WO2021139176A1 (zh) | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 | |
CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
CN110070598A (zh) | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 | |
WO2019144269A1 (zh) | 多目摄像系统、终端设备及机器人 | |
CN106709955A (zh) | 基于双目立体视觉的空间坐标系标定系统和方法 | |
CN110827360B (zh) | 一种光度立体式测量系统及其标定光源方向的方法 | |
CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
CN109798877A (zh) | 一种仿生水下机器鱼双目立体测距方法 | |
CN113379796B (zh) | 一种大范围多相机跟踪控制方法及系统 | |
CN108205799B (zh) | 一种图像拼接方法及装置 | |
US11699244B2 (en) | Planar coding target for vision system and real-time pose measurement method thereof | |
CN113330487A (zh) | 参数标定方法及装置 | |
CN115690212A (zh) | 一种对视定位方法、装置及存储介质 | |
WO2021208630A1 (zh) | 标定方法、标定装置及应用其的电子设备 | |
CN111412898B (zh) | 基于地空耦合的大区域变形摄影测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |