CN108399630A - 一种复杂场景下感兴趣区域内目标快速测距方法 - Google Patents

一种复杂场景下感兴趣区域内目标快速测距方法 Download PDF

Info

Publication number
CN108399630A
CN108399630A CN201810057506.4A CN201810057506A CN108399630A CN 108399630 A CN108399630 A CN 108399630A CN 201810057506 A CN201810057506 A CN 201810057506A CN 108399630 A CN108399630 A CN 108399630A
Authority
CN
China
Prior art keywords
area
image
interest
center
mass point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810057506.4A
Other languages
English (en)
Other versions
CN108399630B (zh
Inventor
高立宁
张俊青
梁小伟
章菲菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd filed Critical BEIJING POLYTECHNIC LEIKE ELECTRONIC INFORMATION TECHNOLOGY Co Ltd
Priority to CN201810057506.4A priority Critical patent/CN108399630B/zh
Publication of CN108399630A publication Critical patent/CN108399630A/zh
Application granted granted Critical
Publication of CN108399630B publication Critical patent/CN108399630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂场景下感兴趣区域内目标快速测距方法,该方法对于双目相机得到的双目图像进行如下处理:先在左图像中点选感兴趣区域,以点选点为中心截取感兴趣区域图像img;对感兴趣区域进行高斯滤波,对滤波后的图像求梯度图,在梯度图基础上进行分水岭分割操作,对分割后的提取的区域进行连通域标记,求得连通域质心点;利用归一化互相关匹配原理,对左图中提取出的质心点在右图像中进行同名点匹配;最后将匹配到的同名点对分别带入距离计算公式,计算目标距离;重复以上步骤,可对感兴趣区域内移动的目标物体进行实时距离测算。本发明采用了将分水岭分割与归一化互相关匹配相结合的技术,实现了感兴趣区域内移动目标的测距功能。

Description

一种复杂场景下感兴趣区域内目标快速测距方法
技术领域
本发明属于图像处理与立体视觉技术领域,具体涉及一种复杂场景下感兴趣区域内目标快速测距方法。
背景技术
视觉是人类观察世界、认知世界的重要手段,约80%的信息是由视觉获取的。机器视觉是研究用计算机模拟生物外显或视觉功能的科学和技术,双目立体视觉是机器视觉中的重要形式之一,距离测量作为障碍物检测以及路径规划的前提和基础是双目立体视觉测距的重要应用之一。
双目立体视觉测距方法,具有信息丰富、探测距离广等优点,可通过左右相机提供的图像信息能够比较准地恢复出视场内的三维信息,但由于视差的存在,使得双目立体视觉测距存在左右图像同名点难于匹配的问题。近几年,很多学者提出了许多立体匹配算法,有些匹配精度很高,但适用场景比较固定,有些以增加计算量提高匹配精度,同样不具有通用性。
发明内容
为了解决上述技术问题,本发明提出一种复杂场景下感兴趣区域内目标快速测距方法,该方法能够很好解决双目立体视觉测距中由于视差存在而导致的左右图像同名点难于匹配的问题。本发明计算代价小,效率高,同名点提取准确率高,对实时性要求较高的场景,如双目实时测距系统,有一定参考。
实施本发明的技术方案如下:
一种复杂场景下感兴趣区域内目标快速测距方法,具体过程为:
步骤1、利用成像设备获得被测区域双目图像,双目图像中包含左图像和右图像;
步骤2、在左图像中选取感兴趣区域,并截取感兴趣区域的图像img;
步骤3、对步骤2中截取的图像img进行区域分割,获得多个分割区域,每个分割区域都包含一个目标,提取各分割区域的质心点作为目标的质心点,获得这些质心点的坐标;
步骤4、选取一质心点,设该质心点的坐标为(xl,yl),利用归一化互相关匹配原理,在右图像中对左图像中的质心点(xl,yl)进行同名点匹配,得到右图像中一点的坐标(xr,yr),该点为点(xl,yl)在右图像中对应的同名点;
步骤5、将提取出的左、右图像的同名点坐标(xl,yl)与(xr,yr)代入双目距离计算公式,计算成像设备到目标的距离;
步骤6、重复步骤4和5,直到感兴趣区域内所有提取出的质心点均求得同名点,就能获得成像设备到感兴趣区域内所有目标的距离。
进一步的,步骤3具体为:
1)对图像img进行t倍的降采样,得到图像img1,所述具体倍数t依实际场景而定;
2)对图像img1进行高斯滤波,并求滤波后的梯度图g;
3)对梯度图g做分水岭分割,并求出所有分割区域的质心点坐标。
进一步的,步骤4具体为:
1)选取一质心点,设该质心点的坐标为(xl,yl);
2)以质心点的坐标(xl,yl)为中心在左图像中截取m1*n1大小区域imgL做匹配模板,其中m1、n1依实际场景而定;
3)以质心点坐标(xl,yl)为中心在右图像中截取m2*n2大小区域imgR,为待匹配区域,其中m2、n2依实际场景而定;
4)求匹配模板imgL在待匹配区域imgR中的归一化互相关系数矩阵C,计算公式如下:
其中t(x,y)为匹配模板,为匹配模板均值,f(x,y)为待匹配区域,为待匹配区域对应模板大小区域的均值,其中u、v为矩阵的平移量,u的取值范围为[-(m1-1),(m2-1)],v的取值范围为[-(n1-1),(n2-1)];
5)找出矩阵C最大值坐标(xmax,ymax),求出其在右图中相应的坐标点(xr,yr),该点即为左图中(xl,yl)点的同名点。
有效益处
本发明提供的一种复杂场景下感兴趣区域内目标快速测距方法,和现有技术相比,其优点在于:
1)采用了归一化互相关匹配方法,提高了同名点匹配的准确率。
2)采用了基于分水岭的感兴趣区域目标自动分割方法,实现了感兴趣目标快速自动提取功能。
3)采用了将分水岭分割与归一化互相关匹配相结合的技术,实现了感兴趣区域内移动目标的实时测距功能。
附图说明
图1为本发明总体流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
一般而言,自动避障系统实现避障功能的关键问题之一是对障碍物的距离感知,本发明提供的一种复杂场景下感兴趣区域内目标快速测距方法,能够迅速、准确感知障碍物的距离。本发明总体流程图如图1所示,下面结合附图和实例对本发明作进一步详细的说明:
1)在左图像中点选感兴趣区域,并截取感兴趣区域图像img:
在左图像中以人点选的点为中心,截取m*n大小的感兴趣区域图像img。
2)对所有感兴趣区域图像img进行区域分割,并提取所有分割区域的质心坐标:
21)为了避免图像img中分割出过多区域,先对图像img进行t倍的降采样(具体倍数依实际场景而定),得到图像img1;
22)对图像img1进行高斯滤波,并求滤波后的梯度图g;
23)对梯度图g做分水岭分割,并求出所有分割区域的质心点坐标。
3)利用归一化互相关匹配原理,对左图像中提取出的质心点进行同名点匹配:
31)选取一质心点,设该质心点的坐标为(xl,yl);
32)以质心点坐标(xl,yl)为中心在左图像中截取m1*n1大小区域imgL做匹配模板;
33)以质心点坐标(xl,yl)为中心在右图像中截取m2*n2大小区域imgR,为待匹配区域;
34)求匹配模板imgL在待匹配区域imgR中的归一化互相关系数矩阵C,计算公式如下:
其中t(x,y)为匹配模板,在本发明中为imgL,为匹配模板均值,f(x,y)为待匹配图像,在本发明中为imgR,为待匹配区域对应模板大小区域的均值;
35)找出矩阵C最大值坐标(xmax,ymax),求出其在右图中相应的坐标点(xr,yr),该点即为左图中(xl,yl)点的同名点。
4)将提取出的同名点带入双目距离计算公式,计算目标距离
5)本发明中可实现感兴趣区域内所有提取出的目标实时测距,重复步骤3)与4),直到感兴趣区域内所有提取出的质心点均求得同名点,我们可以得到成像设备到感兴趣区域内所有物体目标的距离。
本发明中的仿真步骤是以感兴趣区域内目标处于静止状态为示例进行说明的,由于该方法具有计算简单,匹配准确度高,运行速度快等特点,该方法同样适用于对感兴趣区域内移动的目标进行实时测距。可为自动避障系统提供距离感知,进行路径规划。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (3)

1.一种复杂场景下感兴趣区域内目标快速测距方法,其特征在于,具体过程为:
步骤1、利用成像设备获得被测区域双目图像,双目图像中包含左图像和右图像;
步骤2、在左图像中选取感兴趣区域,并截取感兴趣区域的图像img;
步骤3、对步骤2中截取的图像img进行区域分割,获得多个分割区域,每个分割区域都包含一个目标,提取各分割区域的质心点作为目标的质心点,获得这些质心点的坐标;
步骤4、选取一质心点,设该质心点的坐标为(xl,yl),利用归一化互相关匹配原理,在右图像中对左图像中的质心点(xl,yl)进行同名点匹配,得到右图像中一点的坐标(xr,yr),该点为点(xl,yl)在右图像中对应的同名点;
步骤5、将提取出的左、右图像的同名点坐标(xl,yl)与(xr,yr)代入双目距离计算公式,计算成像设备到目标的距离;
步骤6、重复步骤4和5,直到感兴趣区域内所有提取出的质心点均求得同名点,就能获得成像设备到感兴趣区域内所有目标的距离。
2.根据权利1所述的一种复杂场景下感兴趣区域内目标快速测距方法,其特征在于,步骤3具体为:
1)对图像img进行t倍的降采样,得到图像img1;
2)对图像img1进行高斯滤波,并求滤波后的梯度图g;
3)对梯度图g做分水岭分割,并求出所有分割区域的质心点坐标。
3.根据权利1所述的一种复杂场景下感兴趣区域内目标快速测距方法,其特征在于,步骤4具体为:
1)选取一质心点,设该质心点的坐标为(xl,yl);
2)以质心点的坐标(xl,yl)为中心在左图像中截取m1*n1大小区域imgL做匹配模板,其中m1、n1依实际场景而定;
3)以质心点坐标(xl,yl)为中心在右图像中截取m2*n2大小区域imgR,为待匹配区域,其中m2、n2依实际场景而定;
4)求匹配模板imgL在待匹配区域imgR中的归一化互相关系数矩阵C,计算公式如下:
其中t(x,y)为匹配模板,为匹配模板均值,f(x,y)为待匹配区域,为待匹配区域对应模板大小区域的均值,其中u、v为矩阵的平移量,u的取值范围为[-(m1-1),(m2-1)],v的取值范围为[-(n1-1),(n2-1)];
5)找出矩阵C最大值坐标(xmax,ymax),求出其在右图中相应的坐标点(xr,yr),该点即为左图中(xl,yl)点的同名点。
CN201810057506.4A 2018-01-22 2018-01-22 一种复杂场景下感兴趣区域内目标快速测距方法 Active CN108399630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810057506.4A CN108399630B (zh) 2018-01-22 2018-01-22 一种复杂场景下感兴趣区域内目标快速测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810057506.4A CN108399630B (zh) 2018-01-22 2018-01-22 一种复杂场景下感兴趣区域内目标快速测距方法

Publications (2)

Publication Number Publication Date
CN108399630A true CN108399630A (zh) 2018-08-14
CN108399630B CN108399630B (zh) 2022-07-08

Family

ID=63094006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810057506.4A Active CN108399630B (zh) 2018-01-22 2018-01-22 一种复杂场景下感兴趣区域内目标快速测距方法

Country Status (1)

Country Link
CN (1) CN108399630B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636851A (zh) * 2018-11-13 2019-04-16 中国科学院计算技术研究所 基于双目视觉的危化品事故处理剂投送靶向定位方法
CN110210324A (zh) * 2019-05-08 2019-09-06 华中科技大学 一种道路目标快速检测预警方法和系统
CN112907164A (zh) * 2019-12-03 2021-06-04 北京京东乾石科技有限公司 物体定位方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493932A (zh) * 2009-03-05 2009-07-29 西安电子科技大学 基于形态Haar小波纹理梯度提取的分水岭纹理图像分割方法
WO2011097937A1 (zh) * 2010-02-11 2011-08-18 上海点佰趣信息科技有限公司 形变指纹图像的处理方法
US20120127171A1 (en) * 2009-05-21 2012-05-24 Jianguo Li Techniques for rapid stereo reconstruction from images
CN102663354A (zh) * 2012-03-26 2012-09-12 腾讯科技(深圳)有限公司 人脸标定方法和系统
CN103310228A (zh) * 2013-05-28 2013-09-18 南京邮电大学 基于归一化相关系数的模板匹配高速并行实现方法和装置
CN103646242A (zh) * 2013-12-31 2014-03-19 成都正扬博创电子技术有限公司 基于最大稳定极值区域特征的扩展目标跟踪方法
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN104036488A (zh) * 2014-05-04 2014-09-10 北方工业大学 一种基于双目视觉的人体姿态动作研究方法
CN105277169A (zh) * 2015-09-25 2016-01-27 安霸半导体技术(上海)有限公司 基于图像分割的双目测距方法
CN105447845A (zh) * 2014-08-25 2016-03-30 联想(北京)有限公司 一种数据处理方法及电子设备
CN106327467A (zh) * 2015-06-25 2017-01-11 吴海峰 一种苹果采摘机器人目标果实快速跟踪识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493932A (zh) * 2009-03-05 2009-07-29 西安电子科技大学 基于形态Haar小波纹理梯度提取的分水岭纹理图像分割方法
US20120127171A1 (en) * 2009-05-21 2012-05-24 Jianguo Li Techniques for rapid stereo reconstruction from images
WO2011097937A1 (zh) * 2010-02-11 2011-08-18 上海点佰趣信息科技有限公司 形变指纹图像的处理方法
CN102663354A (zh) * 2012-03-26 2012-09-12 腾讯科技(深圳)有限公司 人脸标定方法和系统
CN103310228A (zh) * 2013-05-28 2013-09-18 南京邮电大学 基于归一化相关系数的模板匹配高速并行实现方法和装置
CN103646242A (zh) * 2013-12-31 2014-03-19 成都正扬博创电子技术有限公司 基于最大稳定极值区域特征的扩展目标跟踪方法
CN103927016A (zh) * 2014-04-24 2014-07-16 西北工业大学 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN104036488A (zh) * 2014-05-04 2014-09-10 北方工业大学 一种基于双目视觉的人体姿态动作研究方法
CN105447845A (zh) * 2014-08-25 2016-03-30 联想(北京)有限公司 一种数据处理方法及电子设备
CN106327467A (zh) * 2015-06-25 2017-01-11 吴海峰 一种苹果采摘机器人目标果实快速跟踪识别方法
CN105277169A (zh) * 2015-09-25 2016-01-27 安霸半导体技术(上海)有限公司 基于图像分割的双目测距方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEIKO HIRSCHMULLER 等: "Evaluation of Stereo Matching Costs on Images with Radiometric Differences", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
胡敏 等: "快速区域质心图像匹配算法", 《电子测量与仪器学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636851A (zh) * 2018-11-13 2019-04-16 中国科学院计算技术研究所 基于双目视觉的危化品事故处理剂投送靶向定位方法
CN109636851B (zh) * 2018-11-13 2020-12-29 中国科学院计算技术研究所 基于双目视觉的危化品事故处理剂投送靶向定位方法
CN110210324A (zh) * 2019-05-08 2019-09-06 华中科技大学 一种道路目标快速检测预警方法和系统
CN110210324B (zh) * 2019-05-08 2021-01-19 华中科技大学 一种道路目标快速检测预警方法和系统
CN112907164A (zh) * 2019-12-03 2021-06-04 北京京东乾石科技有限公司 物体定位方法和装置

Also Published As

Publication number Publication date
CN108399630B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN106204595B (zh) 一种基于双目摄像机的机场场面三维全景监视方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
CN111914715B (zh) 一种基于仿生视觉的智能车目标实时检测与定位方法
CN105043350A (zh) 一种双目视觉测量方法
CN107784038B (zh) 一种传感器数据的标注方法
WO2014186611A2 (en) Refractive flow measurement system
CN104463890A (zh) 一种立体图像显著性区域检测方法
CN109917419B (zh) 一种基于激光雷达与图像的深度填充密集系统及方法
CN108399630A (zh) 一种复杂场景下感兴趣区域内目标快速测距方法
CN109948413A (zh) 基于高精度地图融合的车道线检测方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
CN114114312A (zh) 一种基于多焦距相机与激光雷达融合的三维目标检测方法
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
Burlacu et al. Obstacle detection in stereo sequences using multiple representations of the disparity map
Rosero et al. Calibration and multi-sensor fusion for on-road obstacle detection
CN103646397B (zh) 基于多源数据融合的实时合成孔径透视成像方法
CA3040599C (en) Method and system for generating environment model and for positioning using cross-sensor feature point referencing
Zhai et al. Image real-time augmented reality technology based on spatial color and depth consistency
US9087381B2 (en) Method and apparatus for building surface representations of 3D objects from stereo images
JP2023168262A (ja) データ分割装置及び方法
Chen et al. Epipole Estimation under Pure Camera Translation.
CN116151320A (zh) 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置
Kurka et al. Automatic estimation of camera parameters from a solid calibration box

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Gao Lining

Inventor after: Zhang Junqing

Inventor after: Liang Xiaowei

Inventor after: Zhang Feifei

Inventor after: Wang Shufu

Inventor before: Gao Lining

Inventor before: Zhang Junqing

Inventor before: Liang Xiaowei

Inventor before: Zhang Feifei

CB03 Change of inventor or designer information