CN111462240B - 一种基于多单目视觉融合的目标定位方法 - Google Patents
一种基于多单目视觉融合的目标定位方法 Download PDFInfo
- Publication number
- CN111462240B CN111462240B CN202010268482.4A CN202010268482A CN111462240B CN 111462240 B CN111462240 B CN 111462240B CN 202010268482 A CN202010268482 A CN 202010268482A CN 111462240 B CN111462240 B CN 111462240B
- Authority
- CN
- China
- Prior art keywords
- target
- positioning
- lens
- regression
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于多单目视觉融合的目标定位方法,使用一组变换系数描述平行放置的镜头间的区域映射关系,对多镜头重复检测的目标回归框进行分组,并设计融合规则完成多单目视觉融合定位;基于单目视觉定位原理,相较于双目视觉定位,本发明所提方法不受基线束缚,对于视野范围内的可检测目标均能实现定位测距;相较于单目视觉定位,本发明所提方法通过融合多单目视觉定位结果,扩展了单目视觉的性能边界,实现了大范围高精度目标定位;本发明所提方法原理简单,实现方便,支持模块快速扩展。
Description
技术领域
本发明属于目标定位技术领域,具体涉及一种基于多单目视觉融合的目标定位方法。
背景技术
目标定位技术广泛应用于辅助驾驶、精细制造、侦察打击等不同领域。目前较成熟的目标定位技术方案包括激光雷达、单目以及双目三大类,其中激光雷达定位精度高但成本高昂,一般存在于高端产品,难以广泛普及应用;单目定位技术与双目定位技术均属于计算机视觉技术,旨在借助摄像机等设备获取环境信息进行目标定位,原理简单,成本低廉,组装方便,因此具有极大的研究潜力空间。
双目定位技术利用双目摄像头获取同一环境信息,通过匹配左右两幅图像中的特征点来解算目标位置信息。原理上,双目定位技术精度受到基线和焦距的限制,针对远距离目标往往需要布置几十甚至上百米长的基线,因此难以在室外进行大规模部署。
相比之下,单目定位技术仅利用单幅RGB图像进行目标定位,如姬艳鑫在专利《一种基于单目视觉的目标识别定位方法》(CN 110009682)中结合深度学习技术与先验知识库获得目标尺寸等相关参数,然后基于单目视觉模型进行目标定位。单目定位技术原理上精度不受镜头焦距有关,即增大镜头焦距可以精确定位远距离目标,然而随着镜头焦距的增加,视野范围变窄,近距离目标易“溢出”图像平面,因此研究如何通过多单目视觉融合同时满足远近距离目标的精确定位是未来的发展方向。
发明内容
有鉴于此,本发明提供了一种基于多单目视觉融合的目标定位方法,使用一组变换系数描述平行放置的镜头间的区域映射关系,设计去重分组规则对多镜头重复检测的目标回归框进行分组,并设计融合规则完成多单目视觉融合定位。
一种基于多单目视觉融合的目标定位方法,包括以下步骤:
步骤1:挑选多个具有不同焦距的镜头满足不同距离目标高精度定位需求,保证镜头姿态一致、光轴平行且小焦距镜头视野涵盖大焦距镜头视野;标定得到相应内参及畸变系数;
步骤2:各镜头同时拍摄获取同一场景的环境信息,利用步骤1中的标定数据进行畸变矫正,然后解算得到两两镜头间的变换系数;
步骤3:在目标定位时,先利用各镜头拍摄获取环境的多幅图片并进行畸变矫正,得到各图片中目标类别及回归框像素坐标;然后,针对每一类目标,将含有该类目标的所有图片,根据步骤2得到的变换系数将不同图片中的检测回归框映射至同一图片内,再将属于同一个体的回归框进行分组,每组中保留一个最优个体,即为融合后的目标;
步骤4:根据融合后的目标回归框像素坐标和步骤1得到的镜头内参,使用单目视觉定位方法解算目标位置。
较佳的,所述步骤2中,通过匹配特征点的像素点坐标解算得到两两镜头间的变换系数。
其中,m>n+1。
较佳的,所述步骤3中,对回归框进行分组的具体方法为:
step3.如果镜头数目不止2个时,将第三个镜头拍摄图片Ih的回归框也映射到图片Ii内,并将图片Ih的映射回归框与图片Ij的未分组映射回归框,按照step1和step2的方法进行重合度检测;以此类推,直到把所有镜头图片的映射回归框重合度检测完毕,如此,可以得到每一类目标下的个体分组数据。
较佳的,所述步骤3中,每组中保留一个最优个体的规则为:只保留每一组中最大焦距镜头拍摄的个体。
较佳的,所述步骤4中,解算目标位置后,将融合后的目标个体由局部相机坐标系下变换到全局相机坐标系下。
较佳的,所述步骤1中,将各镜头平行紧密放置组成多目模组。
较佳的,根据所述步骤4的定位结果,搭建可视化平台,构建三维场景实时动态地图。
本发明具有如下有益效果:
1、本发明所提方法通过在二维图像平面上对回归框去重分组,可以有效融合多镜头定位结果,避免定位重影;
2、本发明所提方法通过融合具有不同焦距镜头的定位结果,扩展了单一镜头的定位性能,可以高精度定位分布在不同距离的目标;
3、本发明所提方法操作简单,扩展性好,只需根据场景需要,在满足上述条件的前提下,将合适焦距的镜头进行紧密平行放置即可。
附图说明
图1为本发明的目标定位方法流程图;
图2为多目标模组结构示意图;
具体实施方式
下面结合附图,对本发明进行详细描述。
如图1所示,本发明提供了一种基于多单目视觉融合的目标定位方法,具体包括以下步骤:
步骤1:如图2所示,挑选不同焦距的镜头满足不同距离目标的高精度定位需求,平行紧密放置保证小焦距镜头视野覆盖大焦距镜头视野,标定各镜头得到内参与畸变系数。这里称各相机坐标系为局部坐标系,并且称以其中一个相机光心为原点建立的相机坐标系为全局相机坐标系。
理论上,两对匹配点即可解算出镜头间的变换系数,且变换系数服从独立的高斯分布。在实际解算镜头间的变换系数时,利用各镜头获取同一环境信息,经畸变矫正后利用特征点匹配算法获得特征点匹配对的像素坐标,代入等式(1)中即可。
步骤3:步骤1与步骤2属于镜头标定过程,在目标定位时,利用各镜头拍摄获取环境的多幅图片并进行畸变矫正,使用深度学习目标检测模型并行地处理各图片得到目标类别及回归框像素坐标。
由于不同镜头可能检测到同一目标,因此需要对回归框进行去重检测,具体为:针对每一类目标,将含有该类目标的所有图片,根据步骤2得到的变换系数将不同图片中的检测回归框映射至同一图片内,记图片Ii内属于该类目标的回归框为图片Ij内属于该类目标的检测回归框为/>且根据变换系数映射至图片Ii内得到回归框/>其中c1,c2分别代表两幅图片内的属于该类的回归框总个数。
step3.如果镜头数目不止两个时,将第三个镜头拍摄图片(设为图片Ih)的回归框也映射到图片Ii内,并将图片Ih的映射回归框与图片Ij的未分组映射回归框,按照step1和step2的方法进行重合度检测;以此类推,直到把所有镜头图片的映射回归框重合度检测完毕,如此,可以得到每一类目标下的个体分组数据。
步骤4:原理上在可以观测到目标“全貌”的前提下,镜头焦距越大,定位精度越高,因此为了过滤掉目标重复检测结果,回归框融合规则设置为在目标成像不“溢出”图像平面的前提下只保留大焦距镜头的检测结果,即只保留每一组中最大焦距镜头拍摄的个体,得到融合后的目标检测结果。
根据融合后的目标回归框像素坐标和步骤1得到的镜头内参,使用单目视觉定位方法解算目标位置。由于此时各类目标融合后的目标个体可能在不同的局部相机坐标系下,因此,需要将其转换到全局相机坐标系下,如式(3)所示:
其中,(X,Y,Z)为目标在局部相机坐标下的坐标,(X′,Y′,Z′)为平移变换后目标在全局相机坐标系下的坐标,[T,0,0]T为相机坐标系间的平移向量。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多单目视觉融合的目标定位方法,其特征在于,包括以下步骤:
步骤1:挑选多个具有不同焦距的镜头满足不同距离目标高精度定位需求,保证镜头姿态一致、光轴平行且小焦距镜头视野涵盖大焦距镜头视野;标定得到相应内参及畸变系数;
步骤2:各镜头同时拍摄获取同一场景的环境信息,利用步骤1中的标定数据进行畸变矫正,然后解算得到两两镜头间的变换系数;
步骤3:在目标定位时,先利用各镜头拍摄获取环境的多幅图片并进行畸变矫正,得到各图片中目标类别及回归框像素坐标;然后,针对每一类目标,将含有该类目标的所有图片,根据步骤2得到的变换系数将不同图片中的检测回归框映射至同一图片内,再将属于同一个体的回归框进行分组,每组中保留一个最优个体,即为融合后的目标;
步骤4:根据融合后的目标回归框像素坐标和步骤1得到的镜头内参,使用单目视觉定位方法解算目标位置。
2.如权利要求1所述的一种基于多单目视觉融合的目标定位方法,其特征在于,所述步骤2中,通过匹配特征点的像素点坐标解算得到两两镜头间的变换系数。
4.如权利要求1所述的一种基于多单目视觉融合的目标定位方法,其特征在于,所述步骤3中,对回归框进行分组的具体方法为:
step3.如果镜头数目不止2个时,将第三个镜头拍摄图片Ih的回归框也映射到图片Ii内,并将图片Ih的映射回归框与图片Ij的未分组映射回归框,按照step1和step2的方法进行重合度检测;以此类推,直到把所有镜头图片的映射回归框重合度检测完毕,如此,可以得到每一类目标下的个体分组数据。
5.如权利要求1所述的一种基于多单目视觉融合的目标定位方法,其特征在于,所述步骤3中,每组中保留一个最优个体的规则为:只保留每一组中最大焦距镜头拍摄的个体。
6.如权利要求1所述的一种基于多单目视觉融合的目标定位方法,其特征在于,所述步骤4中,解算目标位置后,将融合后的目标个体由局部相机坐标系下变换到全局相机坐标系下。
7.如权利要求1所述的一种基于多单目视觉融合的目标定位方法,其特征在于,所述步骤1中,将各镜头平行紧密放置组成多目模组。
8.如权利要求1所述的一种基于多单目视觉融合的目标定位方法,其特征在于,根据所述步骤4的定位结果,搭建可视化平台,构建三维场景实时动态地图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010268482.4A CN111462240B (zh) | 2020-04-08 | 2020-04-08 | 一种基于多单目视觉融合的目标定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010268482.4A CN111462240B (zh) | 2020-04-08 | 2020-04-08 | 一种基于多单目视觉融合的目标定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462240A CN111462240A (zh) | 2020-07-28 |
CN111462240B true CN111462240B (zh) | 2023-05-30 |
Family
ID=71679360
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010268482.4A Active CN111462240B (zh) | 2020-04-08 | 2020-04-08 | 一种基于多单目视觉融合的目标定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462240B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244474A (ja) * | 2009-04-09 | 2010-10-28 | Hitachi Automotive Systems Ltd | 自動車の外界認識装置 |
CN106875425A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于深度学习的多目标追踪系统及实现方法 |
CN107813310A (zh) * | 2017-11-22 | 2018-03-20 | 浙江优迈德智能装备有限公司 | 一种基于双目视觉多手势机器人控制方法 |
CN109800794A (zh) * | 2018-12-27 | 2019-05-24 | 上海交通大学 | 一种外观相似目标的跨相机重识别融合方法及系统 |
CN110942449A (zh) * | 2019-10-30 | 2020-03-31 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
-
2020
- 2020-04-08 CN CN202010268482.4A patent/CN111462240B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244474A (ja) * | 2009-04-09 | 2010-10-28 | Hitachi Automotive Systems Ltd | 自動車の外界認識装置 |
CN106875425A (zh) * | 2017-01-22 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于深度学习的多目标追踪系统及实现方法 |
CN107813310A (zh) * | 2017-11-22 | 2018-03-20 | 浙江优迈德智能装备有限公司 | 一种基于双目视觉多手势机器人控制方法 |
CN109800794A (zh) * | 2018-12-27 | 2019-05-24 | 上海交通大学 | 一种外观相似目标的跨相机重识别融合方法及系统 |
CN110942449A (zh) * | 2019-10-30 | 2020-03-31 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
Non-Patent Citations (3)
Title |
---|
Jonathan David Estilo 等.Obstacle detection and localization in an automated vehicle using binocular stereopsis and motion field.《2016 6th IEEE International Conference on Control System, Computing and Engineering (ICCSCE)》.2017,全文. * |
徐小伟 等.强光干扰下基于多目视觉交叉注意的物体识别系统.《计算机应用与软件》.2018,全文. * |
郑少武 ; 李巍华 ; 胡坚耀 ; .基于激光点云与图像信息融合的交通环境车辆检测.仪器仪表学报.2019,(第12期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111462240A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109993793B (zh) | 视觉定位方法及装置 | |
CN106934809B (zh) | 基于双目视觉的无人机空中自主加油快速对接导航方法 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
Chatterjee et al. | Algorithms for coplanar camera calibration | |
CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
CN111274959B (zh) | 一种基于可变视场角的加油锥套位姿精确测量方法 | |
CN112509065B (zh) | 一种应用于深海机械臂作业的视觉引导的方法 | |
CN110517284B (zh) | 一种基于激光雷达和ptz摄像机的目标追踪方法 | |
CN111709985A (zh) | 一种基于双目视觉的水下目标测距方法 | |
CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
CN107036579A (zh) | 一种基于单目液透镜变焦光学系统的目标相对定位方法 | |
CN111462241B (zh) | 一种基于单目视觉的目标定位方法 | |
CN106204554A (zh) | 基于多聚焦图像的景深信息获取方法、系统及拍摄终端 | |
CN117036300A (zh) | 基于点云-rgb异源图像多级配准映射的路面裂缝识别方法 | |
CN110689572A (zh) | 一种三维空间中移动机器人定位系统及方法 | |
CN114298151A (zh) | 一种基于点云数据与图像数据融合的3d目标检测方法 | |
CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
CN111047636A (zh) | 基于主动红外双目视觉的避障系统和避障方法 | |
CN112712566B (zh) | 基于结构参数在线校正的双目立体视觉传感器测量方法 | |
CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
CN111998823B (zh) | 基于双目异光源测距装置的目标测距方法 | |
CN111462240B (zh) | 一种基于多单目视觉融合的目标定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |