CN110009682B - 一种基于单目视觉的目标识别定位方法 - Google Patents

一种基于单目视觉的目标识别定位方法 Download PDF

Info

Publication number
CN110009682B
CN110009682B CN201910248109.XA CN201910248109A CN110009682B CN 110009682 B CN110009682 B CN 110009682B CN 201910248109 A CN201910248109 A CN 201910248109A CN 110009682 B CN110009682 B CN 110009682B
Authority
CN
China
Prior art keywords
target
camera
objects
ranging
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910248109.XA
Other languages
English (en)
Other versions
CN110009682A (zh
Inventor
邓方
姬艳鑫
高峰
米承玮
赵佳晨
张乐乐
陈杰
陈文颉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201910248109.XA priority Critical patent/CN110009682B/zh
Publication of CN110009682A publication Critical patent/CN110009682A/zh
Application granted granted Critical
Publication of CN110009682B publication Critical patent/CN110009682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种基于单目视觉的识别定位方法，可以通过单目视觉实现测距和定位，使用深度学习目标检测神经网络进行目标检测与定位，具有识别复杂物体、识别物体类型多的特点，突破了之前单目视觉测距只能识别简单目标物、识别目标物种类有限的限制；基于单目摄像头利用针孔成像原理进行目标测距，相较于双目视觉测距，理论上不受双目视觉视差极限的束缚，在视线范围内可检测到的物体基本都可以实现定位测距，可以实现远近不同距离目标物的测距，适用范围广；可以同时检测一张图片上的多个目标物，并结合先验信息同时获取其相对方位，可以非常方便的实现单目摄像头多目标检测与测距定位。

Description

一种基于单目视觉的目标识别定位方法
技术领域
本发明属于视觉目标检测与目标定位技术领域，具体涉及一种基于单目视觉的识别定位方法。
背景技术
在一些情况下(例如战场环境侦察)，我们需要快速的采集场景中的目标类别与位置等信息，并通过与现有环境数据库中的信息进行结合与匹配，获取实时动态的环境信息。现在常用的视觉目标识别与定位方法具有以下问题：
1、只能用于简单视觉元素。如王天奇等在论文《基于单目视觉的目标识别与定位》中提出了一种通过检测目标轮廓中包含的直线、圆等基本几何特征，利用平面约束的单目定位模型，结合给定工件数据模型库对目标进行识别和位姿计算的单目视觉目标识别定位方法。这种方法只能用于简单物体视觉元素的识别和定位，对于复杂元素或物体的识别就无能为力了。
2、识别物体十分有限。如朴松浩在专利《一种基于轮椅式护理机器人的单目摄像头视觉定位系统》(CN108020222)中公布了一种通过使用单目摄像头获取图像中的特殊标志，并结合同时定位与地图构建获取机器人具体位置的方法。该方法只能识别一些特殊的标志，然后结合地图等先验信息对机器人进行定位，适用的场景有限。
3、只能完成近距离测距。当前效果比较好的测距方法为双目视觉测距，但该方法随着测量距离的增大，精度急速下降，且双目视觉测距在应用中受到左右摄像头光心之间基线长度的限制，若双目摄像头在有限空间内安装，其测量距离从根本上难以突破现有的瓶颈。
发明内容
有鉴于此，本发明的目的是提供一种基于单目视觉的识别定位方法，可以通过单目视觉实现测距和定位。
一种基于单目视觉的目标识别定位方法，包括如下步骤：
步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；
步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；
步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息，定义为W×H；
步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于单目视觉摄像头的方向(α,β)与距离ρ：
Figure BDA0002011599510000021
其中，(u0,v0)为图像坐标系中心在像素坐标系中的位置，fx和fy分别为摄像头在像素坐标系x轴和y轴方向上的像素焦距；
Figure BDA0002011599510000022
或
Figure BDA0002011599510000023
k为摄像头修正系数；
步骤5：获取摄像头的绝对位置信息和相对位姿信息；
步骤6：根据步骤4得到的目标相对于摄像头的方向与距离及步骤5得到的摄像头的对位置信息和相对位姿信，计算得到图像中目标的绝对位置信息，实现目标定位。
较佳的，所述步骤5中，采用摄像头的GPS和惯性导航设备获取摄像头的绝对位置。
较佳的，所述步骤2中，当深度学习目标检测模型检测出多个目标时，采用步骤3至步骤6的方法分别对每个目标进行定位。
进一步的，还包括：将步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。
本发明具有如下有益效果：
1、本发明使用深度学习目标检测神经网络进行目标检测与定位，具有识别复杂物体、识别物体类型多的特点，突破了之前单目视觉测距只能识别简单目标物、识别目标物种类有限的限制。
2、本发明基于单目摄像头利用针孔成像原理进行目标测距，相较于双目视觉测距，理论上不受双目视觉视差极限的束缚，在视线范围内可检测到的物体基本都可以实现定位测距，可以实现远近不同距离目标物的测距，适用范围广。
3、本发明可以同时检测一张图片上的多个目标物，并结合先验信息同时获取其相对方位，可以非常方便的实现单目摄像头多目标检测与测距定位。
附图说明
图1为本发明的流程图。
图2为本发明的像素坐标系与图像坐标系之间的关系图。
图3为本发明的二维定位测距原理图。
图4为本发明的二维空间定位测距原理图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
如图1所示，本发明提供的一种基于单目视觉的识别定位方法，具体包括如下步骤：
步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；
步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；bx,by表示目标回归框的中心点坐标，bw,bh表示目标回归框的长和宽；
步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息；
步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于摄像头的方向与距离；
步骤5：通过依附于摄像头的GPS和惯性导航设备获取摄像头的绝对位置信息和相对位姿信息；
步骤6：将步骤4得到的目标的相对位置信息和步骤5得到的摄像头的绝对位姿信息进行数据融合，得到图像中目标的绝对位置信息；
步骤7：结合地图数据库与步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。
具体的，步骤1中通过使用张正友标定法对摄像头标定，得到摄像头的内参矩阵：
Figure BDA0002011599510000041
得到图像坐标系中心在像素坐标系中的位置为(u0,v0)，摄像头在x轴方向上的像素焦距为fx，在y轴方向上的像素焦距为fy。
如图2所示，为像素坐标系与图像坐标系之间的关系，设像素坐标系中的点为(u,v)，图像坐标系中的点为(x,y)，则像素坐标到相机坐标的变换为：
Figure BDA0002011599510000051
步骤2中通过对摄像头采集的图像利用深度神经网络目标检测模型进行目标检测，获取图像中检测目标物的类别label与回归框像素坐标为(bx,by,bw,bh)，回归框中心点T′的像素坐标为(bx,by)，宽高为(bw,bh)，回归框的左上角顶点U'的像素坐标为(lux,luy)＝(bx-bw/2,by-bh/2)，左下角定点C'的坐标为(ldx,ldy)＝(bx-bw/2,by+bh/2)，右下角顶点D'的像素坐标为(rdx,rdy)＝(bx+bw/2,by+bh/2)。
步骤3中获取目标物的实际物理尺寸大小为W×H。
如图3所示为三维空间中，利用目标物先验知识进行单目视觉测距的原理图。图像坐标系中物体的回归框左上角顶点为U'，左下角顶点为C'，右下角顶点为D'，中心点为T'，目标物回归框在物理世界中二维平面的投影左上角顶点为U，左下角顶点为C，右下角顶点为D，中心点为T，在光轴上，光心为F，成像中心点为O'(对称之后)，在目标物二维平面的投影为O。
设T'T在平面FO'x上的投影与平面FO'y的夹角为α，在平面FO'y上的投影与平面FO'x的夹角为β，目标物中心点到光心的距离为FT，根据几何关系，求得：
Figure BDA0002011599510000061
其中，Tx'表示T'点在x轴上的投影，Ty'表示T'点在y轴上的投影；
Figure BDA0002011599510000062
数组(α,β,ρ)可确定目标物中心相对于光心的方位，当目标物位于视觉左侧(bx<u0)时，α为正，右侧(bx>u0)时，α为负，当目标物位于视觉上侧(by<v0)时，β为正，下侧(by>v0)时，β为负。通过以上关系，得到最终结果为：
Figure BDA0002011599510000063
其中
Figure BDA0002011599510000064
或
Figure BDA0002011599510000065
k为修正系数，与不同摄像头(或镜头)有关，实际中依据一个目标物方位与距离估计得出。
步骤4中，依据公式(5)计算出目标物相对于摄像头的方位与距离。
如图4，以北半球、东经区域的二维平面为例，简要说明定位原理。摄像头位于中心点O，其视线正方向为OS方向，目标物在点T处。假设摄像头视线正方向相对于正东方向逆时针偏角为θ，已经得到摄像头经纬度坐标为(e,n)，目标物相对于摄像头正方向的方位为(α,ρ)，根据几何关系推导可得目标物经纬度(e',n')为：
Figure BDA0002011599510000066
其中trans()函数将距离转换为经纬度变化量。
步骤6将依据图4所示原理，计算得出目标物的绝对位置信息。
除此之外，因为目标检测过程中可以同时检测远近多个目标物的回归框，所以可以同时完成对多目标物的即时定位。在实际应用过程中，摄像头的焦距是可变的，当需要更精确定位远近处不同的目标物时，可以尝试改变摄像头的焦距，获得更加精准的数据。
在获得目标物的位置信息之后，既可以通过地图数据库获得位置匹配信息，在地图上将目标物的位置显示出来，实现动态环境的实时可视化。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于单目视觉的目标识别定位方法，其特征在于，包括如下步骤：
步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；
步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；
回归框中心点T′的像素坐标为(bx,by)，宽高为(bw,bh)，回归框的左上角顶点U'的像素坐标为(lux,luy)＝(bx-bw/2,by-bh/2)，左下角定点C'的坐标为(ldx,ldy)＝(bx-bw/2,by+bh/2)，右下角顶点D'的像素坐标为(rdx,rdy)＝(bx+bw/2,by+bh/2)；
步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息，定义为W×H；
步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于单目视觉摄像头的方向(α,β)与距离ρ：
Figure FDF0000019379950000011
其中，(u0,v0)为图像坐标系中心在像素坐标系中的位置，fx和fy分别为摄像头在像素坐标系x轴和y轴方向上的像素焦距；
Figure FDF0000019379950000012
或
Figure FDF0000019379950000013
k为摄像头修正系数；
假设摄像头视线正方向相对于正东方向逆时针偏角为θ，已经得到摄像头经纬度坐标为(e,n)，目标物相对于摄像头正方向的方位为(α,ρ)，根据几何关系推导可得目标物经纬度(e',n')为：
Figure FDF0000019379950000021
步骤5：获取摄像头的绝对位置信息和相对位姿信息；
步骤6：根据步骤4得到的目标相对于摄像头的方向与距离及步骤5得到的摄像头的对位置信息和相对位姿信，计算得到图像中目标的绝对位置信息，实现目标定位；
步骤7：结合地图数据库与步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。
2.如权利要求1所述的一种基于单目视觉的目标识别定位方法，其特征在于，所述步骤5中，采用摄像头的GPS和惯性导航设备获取摄像头的绝对位置。
3.如权利要求1所述的一种基于单目视觉的目标识别定位方法，其特征在于，所述步骤2中，当深度学习目标检测模型检测出多个目标时，采用步骤3至步骤6的方法分别对每个目标进行定位。
CN201910248109.XA 2019-03-29 2019-03-29 一种基于单目视觉的目标识别定位方法 Active CN110009682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910248109.XA CN110009682B (zh) 2019-03-29 2019-03-29 一种基于单目视觉的目标识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910248109.XA CN110009682B (zh) 2019-03-29 2019-03-29 一种基于单目视觉的目标识别定位方法

Publications (2)

Publication Number Publication Date
CN110009682A CN110009682A (zh) 2019-07-12
CN110009682B true CN110009682B (zh) 2022-12-06

Family

ID=67168853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910248109.XA Active CN110009682B (zh) 2019-03-29 2019-03-29 一种基于单目视觉的目标识别定位方法

Country Status (1)

Country Link
CN (1) CN110009682B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490903B (zh) * 2019-08-12 2022-11-11 中国科学院光电技术研究所 一种双目视觉测量中多目标快速捕获与跟踪方法
CN111192235B (zh) * 2019-12-05 2023-05-26 中国地质大学（武汉） 一种基于单目视觉模型和透视变换的图像测量方法
CN111191625A (zh) * 2020-01-03 2020-05-22 浙江大学 一种激光-单目视觉融合的物体识别与定位方法
CN111309032A (zh) * 2020-04-08 2020-06-19 江苏盛海智能科技有限公司 一种无人驾驶车辆的自主避障方法及控制端
CN111462241B (zh) * 2020-04-08 2023-03-28 北京理工大学 一种基于单目视觉的目标定位方法
CN111982072B (zh) * 2020-07-29 2022-07-05 西北工业大学 一种基于单目视觉的目标测距方法
CN111990930B (zh) * 2020-08-28 2022-05-20 北京石头创新科技有限公司 一种测距方法、装置、机器人和存储介质
CN112164015B (zh) * 2020-11-30 2021-04-23 中国电力科学研究院有限公司 单目视觉自主巡检图像采集方法、装置及电力巡检无人机
CN112781562B (zh) * 2020-12-29 2022-06-21 中国北方车辆研究所 基于单目摄像机的多目标侦察测距方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法
CN105243664A (zh) * 2015-10-08 2016-01-13 东南大学 一种基于视觉的轮式移动机器人快速目标跟踪方法
CN108225319A (zh) * 2017-11-30 2018-06-29 上海航天控制技术研究所 基于目标特征的单目视觉快速相对位姿估计系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793719A (zh) * 2014-01-26 2014-05-14 深圳大学 一种基于人眼定位的单目测距方法和系统
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109190636B (zh) * 2018-07-30 2022-05-31 北京航空航天大学 一种遥感图像舰船目标信息提取方法
CN109035320B (zh) * 2018-08-12 2021-08-10 浙江农林大学 基于单目视觉的深度提取方法
CN109066861A (zh) * 2018-08-20 2018-12-21 四川超影科技有限公司 基于机器视觉的智能巡检机器人自动充电控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法
CN105243664A (zh) * 2015-10-08 2016-01-13 东南大学 一种基于视觉的轮式移动机器人快速目标跟踪方法
CN108225319A (zh) * 2017-11-30 2018-06-29 上海航天控制技术研究所 基于目标特征的单目视觉快速相对位姿估计系统及方法

Also Published As

Publication number Publication date
CN110009682A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110009682B (zh) 一种基于单目视觉的目标识别定位方法
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
CN106408601B (zh) 一种基于gps的双目融合定位方法及装置
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN109163657B (zh) 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN106990776B (zh) 机器人归航定位方法与系统
US20040234122A1 (en) Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
CN102661717A (zh) 铁塔单目视觉测量方法
CN102376089A (zh) 一种标靶校正方法及系统
CN110415286B (zh) 一种多飞行时间深度相机系统的外参标定方法
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
WO2022257794A1 (zh) 可见光图像和红外图像的处理方法及装置
US20180040138A1 (en) Camera-based method for measuring distance to object (options)
KR20130034528A (ko) 도로시설물 자동 위치측정 방법
JP2005322128A (ja) ステレオ３次元計測用キャリブレーション方法及び３次元位置算出方法
CN104036518A (zh) 一种基于向量法和三点共线的相机标定方法
CN113340272B (zh) 一种基于无人机微群的地面目标实时定位方法
CN114926538A (zh) 单目激光散斑投影系统的外参数标定方法和装置
CN105809685B (zh) 一种基于单幅同心圆图像的摄像机定标方法
JP2020098451A (ja) 情報投影システム、制御装置、及び情報投影方法
CN112074706A (zh) 精确定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant