CN106127115A - 一种基于全景和常规视觉的混合视觉目标定位方法 - Google Patents
一种基于全景和常规视觉的混合视觉目标定位方法 Download PDFInfo
- Publication number
- CN106127115A CN106127115A CN201610428923.6A CN201610428923A CN106127115A CN 106127115 A CN106127115 A CN 106127115A CN 201610428923 A CN201610428923 A CN 201610428923A CN 106127115 A CN106127115 A CN 106127115A
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- panorama
- mixing
- perspective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
本发明属于机器视觉领域,具体涉及一种基于全景和常规视觉的混合视觉目标定位方法。本发明包括:(1)混合视觉系统的标定;(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标;(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配;(4)计算所识别目标的三维信息对其进行定位。本发明使用混合视觉系统,在保证全景视觉系统大视场视频监视这一优势的前提下,应用透视相机高分辨率这一优势,对目标进行定位,提高了定位精度,从而实现了一种低功耗、高性能的立体化可视化目标探测系统。
Description
技术领域
本发明属于机器视觉领域,具体涉及一种基于全景和常规视觉的混合视觉目标定位方法。
背景技术
视觉技术由于其具有非接触感知、获取信息量丰富、抗干扰能力强等特点,在环境理解、目标探测、视觉导航及安防监控等领域有着广泛的应用。混合视觉系统由一个全景视觉系统和一个常规视觉系统组成的异构混合立体视觉系统,其利用全景视觉成像视角广阔及球面空间方位可定位的特点,首先对环境目标进行发现,然后控制常规视觉系统对兴趣目标进行精确观察,此混合系统兼顾了视觉视场和可视距离双重因素,正逐渐成为实现大视场远距离环境感知的有效手段,目前,并未见基于此异构双尺度混合视觉系统实现对视域内所识别目标精确定位以及三维空间重构等方面的研究相关报道。因此,基于全景和常规视觉的混合视觉目标定位技术的研究具有很大价值。
发明内容
本发明的目的在于提供一种基于全景和常规视觉的混合视觉目标定位方法。
本发明的目的是这样实现的:
一种基于全景和常规视觉的混合视觉目标定位方法,包括如下步骤:
(1)混合视觉系统的标定;
(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标;
(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配;
(4)计算所识别目标的三维信息对其进行定位;
所述的混合视觉系统,上半部分为一个全景相机,下半部分为一个透视相机;其中全景相机包括双曲面全方位成像反光镜1,经全景相机环形透光玻璃支撑筒2支撑在全景相机支架底座3上,在全方位成像反光镜1下方全景相机环形透光玻璃支撑筒2内的全景相机支架底座3上,垂直向上设置有1394相机4;作为透视相机的1394相机5垂直链接于可旋转的链接杆6并垂直链接在全景相机支架底座3上,透视相机环形透光玻璃支撑筒7支撑全景相机,置于透视相机支架底座8上。
所述的混合视觉系统的标定是对极几何模型,其中全景相机由球形同一模型表示,透视相机用小孔模型表示,通过全景摄像机有效投影中心Om1、透视摄像机有效投影中心Om2和空间一点x的平面称为极平面,两个投影中心的连线称为基线,任意两张极平面均相交于基线;极平面与单位球相交于单位圆,该圆在全景图像上成像为一条二次曲线l1,该曲线称为全景图像极线;极平面与透视相机成像平面交于直线l2,该直线称为透视图像极线;同一张极平面π在两个摄像机像平面上成像的两条曲线l1,l2称为一对极线对应;基线与单位球相交于两点,其在全景相机像平面上的成像点为为全景图像极点,记为e11、e12;基线与透视相机平面交于e2为透视相机成像面极点,e11和e12是透视相机有效投影中心在全景视觉系统像平面上的成像点,e2则是全景视觉系统有效投影中心在透视相机像平面上的成像点;所有极平面组成了共基线的平面束,极平面在两个视觉系统成像平面上的投影曲线都相交于极点,组成共极点的平面曲线簇。
所述的全景相机识别目标并计算全景图像中目标的方位角,主要步骤包括:
1)用基于分区的自适应阈值Canny边缘检测算法对全景图像进行边缘检测,对海天线边缘进行双阈值梯度方向过滤;
2)对图像边缘进行细化,使用基于最长曲线法海天线边缘提取算法进行椭圆拟合得到海天线边缘成像椭圆方程;
3)根据海天线椭圆方程对海天线上舰船目标进行检测;
4)根据标定的图像中心和识别的舰船目标中心点,计算目标相对于全景坐标系的方位角。
本发明的有益效果在于:使用混合视觉系统,在保证全景视觉系统大视场视频监视这一优势的前提下,应用透视相机高分辨率这一优势,对目标进行定位,提高了定位精度,从而实现了一种低功耗、高性能的立体化可视化目标探测系统。
附图说明
图1为本发明混合视觉装置示意图。
图2为本发明中混合视觉系统标定模型说明。
具体实施方式
下面结合附图和本发明一种较佳的具体实施实例对本发明作进一步说明。
本发明公开了一种基于全景和常规视觉的混合视觉目标定位技术。采用机器视觉的方案,使用一个全景相机和一个透视相机组合的混合视觉系统进行目标的定位。主要步骤有,混合视觉系统的标定、全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标、采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配、计算所识别目标的三维信息进行定位。本发明的有益效果是:使用混合视觉系统,在保证全景视觉系统大视场视频监视这一优势的前提下,应用透视相机高分辨率这一优势,对目标进行定位,提高了定位精度,从而实现了一种低功耗、高性能的立体化可视化目标探测与定位系统。
本发明实现发明目的采用的技术方案是:采用基于全景视觉和常规变焦视觉技术相结合的异构双尺度探测模式,构建了一套大范围目标探测系统。此系统利用全景视觉成像系统“水平视场无死角、垂直视场抗摇摆、成像凝视一体化、360度大视场、轴线旋转不变性、可空间球面坐标定位、图像沉浸感强、系统无运动部件”等特点,实现系统一定距离范围内的大视场环境“粗略”监视,当在其全景视域范围内发现可疑目标或需要对周围环境进行定点精确观察时,全景视觉系统对视点进行方位解算后,激发处于休眠状态的常规变焦视觉系统,引导其通过宽范围光学变焦实现对既定视点的精确观察,这样利用全景视觉系统的广阔视场进行目标发觉,利用常规变焦视觉系统的远视能力来弥补全景视觉系统定焦成像及分辨率不足的缺点,且在浮标周围海域内未出现兴趣目标时,常规变焦视觉系统处于一种零功耗的休眠状态,而全景视觉系统由于没有运动部件,其采集图像的功耗很低,从而实现了一种低功耗、高性能的立体化可视化目标探测系统。
一种基于全景和常规视觉的混合视觉目标定位技术,主要步骤有:混合视觉系统的标定、全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标、采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配、计算所识别目标的三维信息进行定位。
第一步:混合视觉系统的标定,使用平面板立体标定方法,主要步骤有:
1)使用平面板放在不同位置,使用全景和透视相机同时拍摄25幅图像。
2)使用matlab标定工具箱进行标定。
第二步:全景相机识别目标并计算全景图像中目标的方位角,主要步骤有:
1)用基于分区的自适应阈值Canny边缘检测算法对全景图像进行边缘检测,对海天线边缘进行双阈值梯度方向过滤。
2)对图像边缘进行细化,使用基于最长曲线法海天线边缘提取算法进行椭圆拟合得到海天线边缘成像椭圆方程。
3)根据海天线椭圆方程对海天线上舰船目标进行检测。
4)根据标定的图像中心和识别的舰船目标中心点,计算目标相对于全景坐标系的方位角。
第三步:透视相机旋转相应角度并拍摄全景相机识别到的目标。
第四步:采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配。
第五步:计算所识别目标的三维信息进行定位。
Claims (3)
1.一种基于全景和常规视觉的混合视觉目标定位方法,其特征在于,包括如下步骤:
(1)混合视觉系统的标定;
(2)全景相机识别目标并计算全景图像中目标的方位角、透视相机旋转相应角度并拍摄全景相机识别到的目标;
(3)采用SIFT图像特征点匹配算法对混合视觉系统的共同视场中特征点进行匹配;
(4)计算所识别目标的三维信息对其进行定位;
所述的混合视觉系统,上半部分为一个全景相机,下半部分为一个透视相机;其中全景相机包括双曲面全方位成像反光镜(1),经全景相机环形透光玻璃支撑筒(2)支撑在全景相机支架底座(3)上,在全方位成像反光镜(1)下方全景相机环形透光玻璃支撑筒(2)内的全景相机支架底座(3)上,垂直向上设置有1394相机(4);作为透视相机的1394相机(5)垂直链接于可旋转的链接杆(6)并垂直链接在全景相机支架底座(3)上,透视相机环形透光玻璃支撑筒(7)支撑全景相机,置于透视相机支架底座(8)上。
2.根据权利要求1所述的一种基于全景和常规视觉的混合视觉目标定位方法,其特征在于:所述的混合视觉系统的标定是对极几何模型,其中全景相机由球形同一模型表示,透视相机用小孔模型表示,通过全景摄像机有效投影中心Om1、透视摄像机有效投影中心Om2和空间一点x的平面称为极平面,两个投影中心的连线称为基线,任意两张极平面均相交于基线;极平面与单位球相交于单位圆,该圆在全景图像上成像为一条二次曲线l1,该曲线称为全景图像极线;极平面与透视相机成像平面交于直线l2,该直线称为透视图像极线;同一张极平面π在两个摄像机像平面上成像的两条曲线l1,l2称为一对极线对应;基线与单位球相交于两点,其在全景相机像平面上的成像点为为全景图像极点,记为e11、e12;基线与透视相机平面交于e2为透视相机成像面极点,e11和e12是透视相机有效投影中心在全景视觉系统像平面上的成像点,e2则是全景视觉系统有效投影中心在透视相机像平面上的成像点;所有极平面组成了共基线的平面束,极平面在两个视觉系统成像平面上的投影曲线都相交于极点,组成共极点的平面曲线簇。
3.根据权利要求1所述的一种基于全景和常规视觉的混合视觉目标定位方法,其特征在于:所述的全景相机识别目标并计算全景图像中目标的方位角,主要步骤包括:
1)用基于分区的自适应阈值Canny边缘检测算法对全景图像进行边缘检测,对海天线边缘进行双阈值梯度方向过滤;
2)对图像边缘进行细化,使用基于最长曲线法海天线边缘提取算法进行椭圆拟合得到海天线边缘成像椭圆方程;
3)根据海天线椭圆方程对海天线上舰船目标进行检测;
4)根据标定的图像中心和识别的舰船目标中心点,计算目标相对于全景坐标系的方位角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610428923.6A CN106127115B (zh) | 2016-06-16 | 2016-06-16 | 一种基于全景和常规视觉的混合视觉目标定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610428923.6A CN106127115B (zh) | 2016-06-16 | 2016-06-16 | 一种基于全景和常规视觉的混合视觉目标定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106127115A true CN106127115A (zh) | 2016-11-16 |
CN106127115B CN106127115B (zh) | 2020-01-31 |
Family
ID=57470498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610428923.6A Active CN106127115B (zh) | 2016-06-16 | 2016-06-16 | 一种基于全景和常规视觉的混合视觉目标定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106127115B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709942A (zh) * | 2016-12-13 | 2017-05-24 | 广州智能装备研究院有限公司 | 一种基于特征方位角的全景图像误匹配消除方法 |
CN107782322A (zh) * | 2016-08-26 | 2018-03-09 | 光禾感知科技股份有限公司 | 室内定位方法与系统及其室内地图建立装置 |
CN109345587A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
CN109737981A (zh) * | 2019-01-11 | 2019-05-10 | 西安电子科技大学 | 基于多传感器的无人车目标搜索装置及方法 |
CN110110767A (zh) * | 2019-04-23 | 2019-08-09 | 广州智能装备研究院有限公司 | 一种图像特征优化方法、装置、终端设备及可读存储介质 |
CN111161138A (zh) * | 2019-12-31 | 2020-05-15 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
CN113310468A (zh) * | 2021-07-29 | 2021-08-27 | 杭州博雅鸿图视频技术有限公司 | 一种监控目标的时空信息采集方法、系统及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
CN101354796A (zh) * | 2008-09-05 | 2009-01-28 | 浙江大学 | 基于泰勒级数模型的全向立体视觉三维重建方法 |
CN103051884A (zh) * | 2013-01-14 | 2013-04-17 | 哈尔滨工程大学 | 一种粗精观察模式相结合的全方位视觉监视系统 |
CN103077524A (zh) * | 2013-01-25 | 2013-05-01 | 福州大学 | 混合视觉系统标定方法 |
CN103593854A (zh) * | 2013-12-02 | 2014-02-19 | 福州大学 | 一种混合视觉系统标定中虚拟摄像机的确定方法 |
CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉系统标定方法 |
CN103824278A (zh) * | 2013-12-10 | 2014-05-28 | 清华大学 | 监控摄像机的标定方法和系统 |
CN103971378A (zh) * | 2014-05-29 | 2014-08-06 | 福州大学 | 一种混合视觉系统中全景图像的三维重建方法 |
DE102013203404A1 (de) * | 2013-02-28 | 2014-08-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds |
CN104568983A (zh) * | 2015-01-06 | 2015-04-29 | 浙江工业大学 | 基于主动式全景视觉的管道内部功缺陷检测装置及方法 |
-
2016
- 2016-06-16 CN CN201610428923.6A patent/CN106127115B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
CN101354796A (zh) * | 2008-09-05 | 2009-01-28 | 浙江大学 | 基于泰勒级数模型的全向立体视觉三维重建方法 |
CN103051884A (zh) * | 2013-01-14 | 2013-04-17 | 哈尔滨工程大学 | 一种粗精观察模式相结合的全方位视觉监视系统 |
CN103077524A (zh) * | 2013-01-25 | 2013-05-01 | 福州大学 | 混合视觉系统标定方法 |
DE102013203404A1 (de) * | 2013-02-28 | 2014-08-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds |
CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉系统标定方法 |
CN103593854A (zh) * | 2013-12-02 | 2014-02-19 | 福州大学 | 一种混合视觉系统标定中虚拟摄像机的确定方法 |
CN103824278A (zh) * | 2013-12-10 | 2014-05-28 | 清华大学 | 监控摄像机的标定方法和系统 |
CN103971378A (zh) * | 2014-05-29 | 2014-08-06 | 福州大学 | 一种混合视觉系统中全景图像的三维重建方法 |
CN104568983A (zh) * | 2015-01-06 | 2015-04-29 | 浙江工业大学 | 基于主动式全景视觉的管道内部功缺陷检测装置及方法 |
Non-Patent Citations (3)
Title |
---|
TOMA~ SVOBODA 等: "Epipolar geometry for panoramic cameras", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 * |
何炳蔚 等: "《混合视觉系统中共同视场的确定与3维重建方法》", 《机器人》 * |
杨鹏 等: "基于全景与前向视觉的足球机器人定位方法研究", 《控制与决策》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107782322A (zh) * | 2016-08-26 | 2018-03-09 | 光禾感知科技股份有限公司 | 室内定位方法与系统及其室内地图建立装置 |
CN107782322B (zh) * | 2016-08-26 | 2021-01-12 | 光禾感知科技股份有限公司 | 室内定位方法与系统及其室内地图建立装置 |
CN106709942A (zh) * | 2016-12-13 | 2017-05-24 | 广州智能装备研究院有限公司 | 一种基于特征方位角的全景图像误匹配消除方法 |
CN106709942B (zh) * | 2016-12-13 | 2020-05-19 | 广州智能装备研究院有限公司 | 一种基于特征方位角的全景图像误匹配消除方法 |
CN109345587A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
CN109345587B (zh) * | 2018-09-01 | 2022-02-22 | 哈尔滨工程大学 | 一种基于全景与单目视觉的混合视觉定位方法 |
CN109737981A (zh) * | 2019-01-11 | 2019-05-10 | 西安电子科技大学 | 基于多传感器的无人车目标搜索装置及方法 |
CN109737981B (zh) * | 2019-01-11 | 2022-12-02 | 西安电子科技大学 | 基于多传感器的无人车目标搜索装置及方法 |
CN110110767A (zh) * | 2019-04-23 | 2019-08-09 | 广州智能装备研究院有限公司 | 一种图像特征优化方法、装置、终端设备及可读存储介质 |
CN110110767B (zh) * | 2019-04-23 | 2023-02-10 | 广州智能装备研究院有限公司 | 一种图像特征优化方法、装置、终端设备及可读存储介质 |
CN111161138A (zh) * | 2019-12-31 | 2020-05-15 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
CN113310468A (zh) * | 2021-07-29 | 2021-08-27 | 杭州博雅鸿图视频技术有限公司 | 一种监控目标的时空信息采集方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106127115B (zh) | 2020-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106127115A (zh) | 一种基于全景和常规视觉的混合视觉目标定位方法 | |
DE102013202393B4 (de) | Bestimmen von Neigungswinkel und Neigungsrichtung unter Verwendung von Bildverarbeitung | |
CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
CN100562707C (zh) | 双目视觉转轴标定方法 | |
CN109348119A (zh) | 一种全景监控系统 | |
CN110246175A (zh) | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 | |
CN205693769U (zh) | 一种运动摄像机对全景目标快速定位捕捉系统 | |
US20120169596A1 (en) | Method and apparatus for detecting a fixation point based on face detection and image measurement | |
CN102902884A (zh) | 云台摄像机自动定位角度计算方法 | |
US8155387B2 (en) | Method and system for position determination using image deformation | |
WO2014065854A1 (en) | Method, system and computer program product for gamifying the process of obtaining panoramic images | |
CN103714571A (zh) | 一种基于摄影测量的单像机三维重建方法 | |
CN111199560A (zh) | 一种视频监控的定位方法及视频监控系统 | |
CN102622767A (zh) | 双目非标定空间定位方法 | |
CN206611521U (zh) | 一种基于多传感器的车载环境识别系统及全方位视觉模块 | |
CN110132226A (zh) | 一种无人机巡线的距离及方位角测量系统和方法 | |
CN105262949A (zh) | 一种多功能全景视频实时拼接方法 | |
CN111815672B (zh) | 动态跟踪控制方法、装置及控制设备 | |
CN106370160A (zh) | 一种机器人室内定位系统和方法 | |
CN106204496A (zh) | 一种云台摄像头的鱼眼图像处理方法及装置 | |
CN103327238A (zh) | 基于全景高速球一体机的空间配准方法 | |
CN105100577A (zh) | 一种图像处理方法及装置 | |
CN109120901A (zh) | 一种摄像机间画面切换的方法 | |
KR101233948B1 (ko) | 회전 대칭형의 광각 렌즈를 이용하여 디지털 팬·틸트 영상을 얻는 방법 및 그 영상 시스템 | |
CN206042209U (zh) | 一种新型无人机航拍装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |