CN110288656A - 一种基于单目摄像头的目标定位方法 - Google Patents

一种基于单目摄像头的目标定位方法 Download PDF

Info

Publication number
CN110288656A
CN110288656A CN201910584294.XA CN201910584294A CN110288656A CN 110288656 A CN110288656 A CN 110288656A CN 201910584294 A CN201910584294 A CN 201910584294A CN 110288656 A CN110288656 A CN 110288656A
Authority
CN
China
Prior art keywords
coordinate system
camera
target object
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910584294.XA
Other languages
English (en)
Inventor
郭红戈
田俊康
张春美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN201910584294.XA priority Critical patent/CN110288656A/zh
Publication of CN110288656A publication Critical patent/CN110288656A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉技术领域,具体技术方案为:一种基于单目摄像头的特定目标定位方法,一、搭建开发平台;二、选定目标物体,以目标物体的几何中心为原点,建立坐标系,选择物体上除原点外其他便于获取的点并得到坐标,用于后续计算;三、摄像机标定;四、将摄像头与主控制器设备连接,实时获取图像数据,以矩阵形式存储;五、主控制器设备对获取到的图像进行预处理,识别出目标物体,在图像中锁定目标物体;六、运用滤波算法对对应点的像素坐标进行滤波;七、对步骤五获得的像素坐标、步骤二的点坐标和步骤三得到的参数进行计算,得到旋转矩阵R和平移矩阵,根据平移矩阵和旋转矩阵计算出目标物体相对于摄像机的位置,操作便捷,成本低。

Description

一种基于单目摄像头的目标定位方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种单目摄像头的目标定位方法。
背景技术
计算机视觉,是利用图像传感器和计算机模拟人的视觉系统,广泛应用于机器人领域和无人驾驶领域,如何准确测量定位物体在空间中的位置一直是计算机视觉研究的重点问题。
目前,由于成本问题,很多小型的工业机器人和服务型机器人使用单目视觉(摄像机),其测距方式大多采用基于单目视觉系统的散焦测距方法,该方法通过镜头不同参数下所拍摄的两幅图像就可以计算出物体到摄像头的距离信息,但是该方法操作繁琐,在实际应用上,实施性差。
发明内容
为解决现有技术存在的技术问题,本发明提供了一种基于单目视觉的目标距离测量的方法,实现对目标物体距离的实时测量,简化测量步骤,节约开发成本。
为实现上述目的,本发明所采用的技术方案为:一种基于单目摄像头的目标定位方法,其特征在于,具体步骤如下:
一、搭建开发平台;
二、选定目标物体,目标物体可为单一颜色的立方体或者有发特定颜色(白色光除外)光的规则物体,或者二维码等,以目标物体的几何中心为原点,建立坐标系,选择物体上除原点外的另外四个点并得到坐标,用于后续计算;
三、摄像机标定,获取摄像机的内部参数,包含焦距fx,fy,光心Cx,Cy,用于后续计算,标定可以利用标准的黑白棋格图片;
四、将摄像头与主控制器设备连接,主控制器设备的操作系统可以选择linux或者windows,编写驱动程序,实时获取图像数据,以矩阵形式存储;
五、主控制器设备对获取到的图像进行处理,首先将图像灰度化,同时将图像的颜色通道分离为R、G、B三色通道,减少处理数据量,排出干扰。根据形状轮廓、颜色特征识别出目标物体,在图像中锁定目标物体,同时获取步骤二中四个点对应在图像上的像素坐标;
六、运用滤波算法对对应点的像素坐标进行滤波,防止像素点的跳变,影响位置信息的计算;
七、对步骤五获取到的像素坐标、步骤二的点坐标和步骤三得到的参数进行计算,得到旋转矩阵R和平移矩阵,根据平移矩阵和旋转矩阵计算出目标物体相对于摄像机的位置,计算算法推到如下:
A、世界坐标系与相机坐标系的转换,涉及旋转矩阵R和平移矩阵T,以下为绕Z轴的旋转变换,具体公式如下:
同样的原理可以获得绕X轴和绕Y轴的旋转矩阵,最终获得叠加后的旋转矩阵,目标物体从世界坐标系与相机坐标系的转换可以表示为:
R=RzRxRy
B、相机坐标系到图像物理坐标系的转换,从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D,满足三角形相似定理,具体表示如下:
即,
最终可以推算出:
其中,为图像坐标系中的坐标,为为相机坐标系中的坐标,为世界坐标系中的坐标。
八、将上述步骤用编程语言实现,使得代码在主控制器中编译运行,将目标的空间位置通过串口传输到其他控制器,使得位置信息能够得到真正应用;
九、将以上实现步骤结合,外加硬件装置例如mini-pc或者嵌入式处理器结合,并用串口将数据发送出来,整体可以制成一个测距装置,用于工业或者教学使用。
本发明与现有技术相比,具体有益效果体现在:本发明使用单目摄像机,在一定程度上降低了目标物体位置计算的成本,同时在操作上也有一定的便捷性,相对于其他单目摄像机目标物体位置计算,加入PNP计算,使得得到的位置信息更精确,用到滤波算法,防止距离的跳变。
附图说明
图1为世界坐标系、相机坐标系、图像物理坐标系和像素坐标系的转换图。
图2为图1中坐标系之间的透视投影关系图。
图3为本发明的定位流程图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
视觉可以帮助人类粗略的地感知外界环境中的事物与自身之间的距离,从而进行适当的避让,但对于工业机器人、服务型机器人或无人驾驶汽车而言,因其自身软硬件的条件约束,是很难向人类一样高效地利用视觉(摄像机)进行距离和位置的感知。单目视觉(摄像机)测量是其他视觉测量方法的基础,比如,可以通过使用单目摄像机对物体进行多角度的拍摄来达到单目视觉测量的效果。单目视觉测量就是使用一台摄像机设备对被测物体进行拍摄,然后对获取到的图形进行测量,其优点在于运算速度快、设备简单、成本低、灵活性高,且能够有效避免多目视觉立体匹配难的情况,在实时性要求比较高的场景中,单目视觉是首选的方案。
图像处理中涉及到世界坐标系、相机坐标系、图像物理坐标系和像素坐标系,下面对它们的具体关系进行说明:
如图1和图2所示,1):世界坐标系:根据情况而定,可以表示任何物体,此时是由于相机而引入,单位为m。
2):相机坐标系(Oc-XcYcZc):以摄像机光心为原点(在针孔模型中也就是针孔为光心),z轴与光轴重合,z轴指向相机的前方(也就是与成像平面垂直),x轴与y轴的正方向与物体坐标系平行,f为摄像机的焦距,单位为m。
3):图像物理坐标系(o-xy)(也叫平面坐标系):单位为mm,用物理单位表示像素的位置,坐标原点为摄像机光轴与图像物理坐标系的焦点位置。单位为mm的原因是由于相机内部的CCD传感器是很小的,比如8mm x 6mm。但是,最后图像照片的像素单位为640x480。
4):像素坐标系(uv):以像素为单位,坐标原点布置在左上角,这也是一些opencv,OpenGL等库的坐标原点选在左上角的原因。当然明显看出CCD传感器以mm单位到像素中间有转换的。举个例子,CCD传感上面的8mm x 6mm,转换到像素大小是640x480.假如dx表示像素坐标系中每个像素的物理大小就是1/80.也就是说毫米与像素点的之间关系是piexl/mm.
如图3所示,一种基于单目摄像头的目标定位方法,其特征在于,具体步骤如下:
一、搭建开发平台;
二、选定目标物体,目标物体可为单一颜色的立方体或者有发特定颜色(白色光除外)光的规则物体,或者二维码等,以目标物体的几何中心为原点,建立坐标系,选择物体上除原点外的另外四个点并得到坐标,用于后续计算;
三、摄像机标定,获取摄像机的内部参数,包含焦距fx,fy,光心Cx,Cy,用于后续计算,标定可以利用标准的黑白棋格图片;
四、将摄像头与主控制器设备连接,主控制器设备的操作系统可以选择linux或者windows,编写驱动程序,实时获取图像数据,以矩阵形式存储;
五、主控制器设备对获取到的图像进行处理,首先将图像灰度化,同时将图像的颜色通道分离为R、G、B三色通道,减少处理数据量,排出干扰。根据形状轮廓、颜色特征识别出目标物体,在图像中锁定目标物体,同时获取步骤二中四个点对应在图像上的像素坐标;
六、运用滤波算法对对应点的像素坐标进行滤波,防止像素点的跳变,影响位置信息的计算;
七、对步骤五获取到的像素坐标、步骤二的点坐标和步骤三得到的参数进行计算,得到旋转矩阵R和平移矩阵,根据平移矩阵和旋转矩阵计算出目标物体相对于摄像机的位置,计算算法推导如下:
A、世界坐标系与相机坐标系的转换,涉及旋转矩阵R和平移矩阵T,以下为绕Z轴的旋转变换,具体公式如下:
同样的原理可以获得绕X轴和绕Y轴的旋转矩阵,最终获得叠加后的旋转矩阵,目标物体从世界坐标系与相机坐标系的转换可以表示为:
R=RzRxRy
B、相机坐标系到图像物理坐标系的转换,从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D,满足三角形相似定理,具体表示如下:
即,
最终可以推算出:
八、将上述步骤用编程语言实现,使得代码在主控制器中编译运行,将目标的空间位置通过串口传输到其他控制器,使得位置信息能够得到真正应用;
九、将以上实现步骤结合,外加硬件装置例如mini-pc或者嵌入式处理器结合,并用串口将数据发送出来,整体可以制成一个测距装置,用于工业或者教学使用。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包在本发明范围内。

Claims (1)

1.一种基于单目摄像头的目标定位方法,其特征在于,具体步骤如下:
一、搭建开发平台;
二、选定目标物体,以目标物体的几何中心为原点,建立坐标系,选择物体上除原点外的另外四个点并得到坐标,用于后续计算;
三、摄像机标定,获取摄像机的内部参数,包含焦距fx,fy,光心Cx,Cy,用于后续计算,标定可以利用标准的黑白棋格图片;
四、将摄像头与主控制器设备连接,编写驱动程序,实时获取图像数据,以矩阵形式存储;
五、主控制器设备对获取到的图像进行处理,首先将图像灰度化,同时将图像的颜色通道分离为R、G、B三色通道,根据形状轮廓、颜色特征识别出目标物体,在图像中锁定目标物体,同时获取步骤二中四个点对应在图像上的像素坐标;
六、运用滤波算法对对应点的像素坐标进行滤波;
七、对步骤五获取到的像素坐标、步骤二的点坐标和步骤三得到的参数进行计算,得到旋转矩阵R和平移矩阵,根据平移矩阵和旋转矩阵计算出目标物体相对于摄像机的位置,计算算法推到如下:
A、世界坐标系与相机坐标系的转换,涉及旋转矩阵R和平移矩阵T,以下为绕Z轴的旋转变换,具体公式如下:
同样的原理可以获得绕X轴和绕Y轴的旋转矩阵,最终获得叠加后的旋转矩阵,目标物体从世界坐标系与相机坐标系的转换可以表示为:
R=RzRxRy
B、相机坐标系到图像物理坐标系的转换,从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D,满足三角形相似定理,具体表示如下:
即,
最终可以推算出:
CN201910584294.XA 2019-07-01 2019-07-01 一种基于单目摄像头的目标定位方法 Pending CN110288656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910584294.XA CN110288656A (zh) 2019-07-01 2019-07-01 一种基于单目摄像头的目标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910584294.XA CN110288656A (zh) 2019-07-01 2019-07-01 一种基于单目摄像头的目标定位方法

Publications (1)

Publication Number Publication Date
CN110288656A true CN110288656A (zh) 2019-09-27

Family

ID=68020347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910584294.XA Pending CN110288656A (zh) 2019-07-01 2019-07-01 一种基于单目摄像头的目标定位方法

Country Status (1)

Country Link
CN (1) CN110288656A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827358A (zh) * 2019-10-15 2020-02-21 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
CN111199560A (zh) * 2019-12-31 2020-05-26 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
CN111210472A (zh) * 2019-12-31 2020-05-29 山东信通电子股份有限公司 一种视频画面的3d定位方法、装置、设备以及介质
CN111354046A (zh) * 2020-03-30 2020-06-30 北京芯龙德大数据科技有限公司 室内摄像头定位方法及定位系统
CN111524182A (zh) * 2020-04-29 2020-08-11 杭州电子科技大学 一种基于视觉情报分析的数学建模方法
CN111586369A (zh) * 2020-06-05 2020-08-25 上海商汤智能科技有限公司 聚集检测方法、装置、电子设备及可读存储介质
CN111922510A (zh) * 2020-09-24 2020-11-13 武汉华工激光工程有限责任公司 一种激光可视化加工方法及系统
CN111968177A (zh) * 2020-07-22 2020-11-20 东南大学 一种基于固定摄像头视觉的移动机器人定位方法
CN112465907A (zh) * 2020-10-29 2021-03-09 清华大学 一种室内视觉导航方法及系统
CN113034609A (zh) * 2021-03-17 2021-06-25 南京航空航天大学 一种基于摄像头对目标进行定位的方法
CN113506340A (zh) * 2021-06-15 2021-10-15 浙江大华技术股份有限公司 一种云台位姿预测的方法、设备和计算机可读存储介质
TWI752504B (zh) * 2020-03-16 2022-01-11 大陸商安博思華智能科技有限責任公司 調整多媒體黑板的方法、裝置、電腦可讀取記錄媒體和電子設備
CN114413958A (zh) * 2021-12-28 2022-04-29 浙江大学 无人物流车的单目视觉测距测速方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN109146980A (zh) * 2018-08-12 2019-01-04 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN109146980A (zh) * 2018-08-12 2019-01-04 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姬旭: "基于单目视觉的移动机器人室内定位方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈启: "基于单目视觉的机器人目标跟随系统研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827358A (zh) * 2019-10-15 2020-02-21 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
CN110827358B (zh) * 2019-10-15 2023-10-31 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
CN111210472B (zh) * 2019-12-31 2021-07-09 山东信通电子股份有限公司 一种视频画面的3d定位方法、装置、设备以及介质
CN111199560A (zh) * 2019-12-31 2020-05-26 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
CN111210472A (zh) * 2019-12-31 2020-05-29 山东信通电子股份有限公司 一种视频画面的3d定位方法、装置、设备以及介质
CN111199560B (zh) * 2019-12-31 2024-03-19 海能达通信股份有限公司 一种视频监控的定位方法及视频监控系统
TWI752504B (zh) * 2020-03-16 2022-01-11 大陸商安博思華智能科技有限責任公司 調整多媒體黑板的方法、裝置、電腦可讀取記錄媒體和電子設備
CN111354046A (zh) * 2020-03-30 2020-06-30 北京芯龙德大数据科技有限公司 室内摄像头定位方法及定位系统
CN111524182A (zh) * 2020-04-29 2020-08-11 杭州电子科技大学 一种基于视觉情报分析的数学建模方法
CN111524182B (zh) * 2020-04-29 2023-11-10 杭州电子科技大学 一种基于视觉情报分析的数学建模方法
CN111586369A (zh) * 2020-06-05 2020-08-25 上海商汤智能科技有限公司 聚集检测方法、装置、电子设备及可读存储介质
CN111586369B (zh) * 2020-06-05 2022-04-01 上海商汤智能科技有限公司 聚集检测方法、装置、电子设备及可读存储介质
CN111968177A (zh) * 2020-07-22 2020-11-20 东南大学 一种基于固定摄像头视觉的移动机器人定位方法
CN111922510A (zh) * 2020-09-24 2020-11-13 武汉华工激光工程有限责任公司 一种激光可视化加工方法及系统
CN112465907A (zh) * 2020-10-29 2021-03-09 清华大学 一种室内视觉导航方法及系统
CN112465907B (zh) * 2020-10-29 2024-07-19 清华大学 一种室内视觉导航方法及系统
CN113034609A (zh) * 2021-03-17 2021-06-25 南京航空航天大学 一种基于摄像头对目标进行定位的方法
CN113034609B (zh) * 2021-03-17 2022-05-03 南京航空航天大学 一种基于摄像头对目标进行定位的方法
CN113506340A (zh) * 2021-06-15 2021-10-15 浙江大华技术股份有限公司 一种云台位姿预测的方法、设备和计算机可读存储介质
CN114413958A (zh) * 2021-12-28 2022-04-29 浙江大学 无人物流车的单目视觉测距测速方法

Similar Documents

Publication Publication Date Title
CN110288656A (zh) 一种基于单目摄像头的目标定位方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
JP4825980B2 (ja) 魚眼カメラの校正方法。
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN103106688B (zh) 基于双层配准方法的室内三维场景重建方法
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN110572630B (zh) 三维图像拍摄系统、方法、装置、设备以及存储介质
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
Holzmann et al. Measuring distance with mobile phones using single-camera stereo vision
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
Ruchay et al. Fusion of information from multiple Kinect sensors for 3D object reconstruction
WO2017077925A1 (en) Method and system for estimating three-dimensional pose of sensor
CN113841384B (zh) 校准装置,用于校准的图表和校准方法
US20100172571A1 (en) Robot and control method thereof
CN109618108B (zh) 电子设备和移动平台
CN106767526A (zh) 一种基于激光mems振镜投影的彩色多线激光三维测量方法
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
Aliakbarpour et al. An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
CN110119189B (zh) Slam系统的初始化、ar控制方法、装置和系统
Li Real-time spherical stereo
Nirmal et al. Homing with stereovision
CN114299153B (zh) 一种超大电力设备的相机阵列同步标定方法及系统
CN114004880A (zh) 双目相机的点云和强反光目标实时定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190927