CN110599513B - 一种双目视觉图像边缘检测与目标跟踪方法 - Google Patents

一种双目视觉图像边缘检测与目标跟踪方法 Download PDF

Info

Publication number
CN110599513B
CN110599513B CN201910830348.6A CN201910830348A CN110599513B CN 110599513 B CN110599513 B CN 110599513B CN 201910830348 A CN201910830348 A CN 201910830348A CN 110599513 B CN110599513 B CN 110599513B
Authority
CN
China
Prior art keywords
target
edge
camera
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910830348.6A
Other languages
English (en)
Other versions
CN110599513A (zh
Inventor
马千里
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201910830348.6A priority Critical patent/CN110599513B/zh
Publication of CN110599513A publication Critical patent/CN110599513A/zh
Application granted granted Critical
Publication of CN110599513B publication Critical patent/CN110599513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明公开了一种双目视觉图像边缘检测与目标跟踪方法，包括以下步骤：(1)通过左右相机采集目标图像；(2)对左右相机采集到的图像进行目标边缘检测；(3)通过目标在左右相机成像的相关性补全未检测到目标的边缘信息；(4)根据目标的物理属性以及在空间的连续性判断补全的边缘信息是否合理；(5)根据左右相机检测到的边缘信息，得到目标的物理数据。本发明通过双目视觉中目标在两个相机成像的关联性，对未检测出的目标边缘进行跟踪与推测得到目标边缘，再根据目标在物理空间上的连续性进行进一步的判断，有效提高检测的准确性与可靠性。

Description

一种双目视觉图像边缘检测与目标跟踪方法
技术领域
本发明涉及图像处理领域，尤其涉及一种双目视觉图像边缘检测与目标跟踪方法。
背景技术
边缘检测是图像处理和计算机视觉中的基本问题，准确的定位目标的边缘对目标进行特征提取，数据分析有着重要作用。当前，双目视觉是目标检测与跟踪技术常采用的方法，但目前的技术对于检测中的不连续点，断边不能有效的进行处理，从二维图像中获取空间三维信息时会出现精度不准确，数据丢失等问题。本发明所提出的双目视觉目标边缘检测方法，利用双目视觉两个相机所拍摄图像之间的关联性，对边缘检测过程中出现的断点有效准确的进行补全，便于后续的目标特征与物理数据的提取。
发明内容
发明目的：本发明提供一种双目视觉图像边缘检测与目标跟踪方法，能有效提高边缘检测的准确性和可靠性。
发明内容：本发明所述一种双目视觉图像边缘检测与目标跟踪方法，包括以下步骤：
(1)通过左右线阵相机采集目标图像，得到目标的灰度图像，传感器将模拟信号转成数字信号，得到图像中各像素的灰度值；
(2)对左右相机采集到的灰度图像进行背景差分法目标边缘检测，得到目标的边缘信息；
(3)通过目标在左右相机成像的相关性补全未检测到目标的边缘信息；
(4)根据检测出的目标边缘或者计算出的边缘从相机标定文件中读取目标在三维物理空间的位置，和之前检测出的目标位置作比较，判断目标在物理空间上是否连续，从而判断补全的边缘信息是否合理；
(5)若补全的边缘信息合理，则根据边缘信息读取目标的物理数据，如果计算出的目标边缘不合理，则沿用上一次的目标边缘信息读取目标的物理数据。
步骤(3)所述的未检测到的目标边缘信息包括只有一侧相机没有检测出完整的目标边缘信息和左右相机都未检测到完整的目标边缘信息。
所述步骤(3)包括以下步骤：
(31)若只有一侧相机没有检测出完整的目标边缘信息，则先对检测出完整目标边缘的那一侧图像的边缘做拟合处理，得到目标边缘的曲线方程，然后利用此方程对没有完全找到边缘的那侧图像进行预测，推断出未检测出的目标边缘的位置；
(32)若左右相机都未检测到完整的目标边缘信息，对已检测出的边缘像素点做拟合处理，然后利用拟合出的曲线方程补全断点处的边缘信息。
所述步骤(4)包括以下步骤：
(41)判断补全的边缘与已检测出的边缘在图像上的连续性，补全的边缘像素点位置位于上一次检测到的目标边缘邻域N个像素点范围内，其中N的取值范围为20-40，则属于图像上的连续性，否则则不连续；
(42)通过左右相机检测出的目标边缘信息计算出目标在三维空间中位置，与之前检测出的目标位置进行比较，若检测出的目标的高度差异在目标的物理数据合理变化范围内，即高度差的绝对值小于H1大于H2，且目标本身高度大于H3小于H4，其中，H2为目标的宽度，H1为H2的10倍，H3为目标的最低高度，H4为H3的2倍，则认为检测出的目标准确，否则则认为检测出的目标不合理，则沿用上一行目标的位置信息作为当前的目标位置。
步骤(5)所述的物理数据主要是目标在物理空间的三维坐标以及目标尺寸。
有益效果：与现有技术相比，本发明的有益效果：本发明通过双目视觉两个相机的关联性，推测出未检测到的边缘信息，再根据目标在物理空间上的连续性进行进一步的判断，有效提高检测的准确性，可靠性高。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图以及在电气化铁路接触网供电线参数检测的实际应用对本发明作进一步详细说明，如图1所示，本发明包括以下步骤：
步骤一：采集图像，通过左右线阵相机进行拍摄，得到包含供电线的灰度图像，传感器将模拟信号转成数字信号，得到图像中各像素的灰度值。
步骤二：对线阵相机采集到的灰度图像做背景差分法目标检测，得到图像中供电线的边缘信息。
步骤三：若左右相机灰度差分未能都检测出图像中供电线边缘，则利用双目视觉中左右相机的关联性计算出当前图像中供电线可能的边缘。
左右相机未能检测出边缘信息分为两种情况：第一种为只有一侧相机没有检测出完整的图像中供电线边缘；第二种为左右相机都未检测到完整的图像中供电线边缘。
进一步的根据不同情况采取不同补全边缘的方法：若为第一种情况，则先对检测出完整图像中供电线边缘的那一侧图像的边缘做拟合处理，得到图像中供电线边缘的曲线方程，然后利用此方程对没有完全找到边缘的那侧图像进行预测，推断出未检测出的图像中供电线边缘的位置；若为第二种情况，对已检测出的边缘像素点做拟合处理，然后利用拟合出的曲线方程补全断点处的边缘信息。
步骤四：根据检测出的图像中供电线边缘或者计算出的边缘从相机标定文件中读取供电线在三维空间的位置，和之前的位置作比较，判断计算出的供电线坐标在物理空间上是否连续，从而判断补全的边缘信息是否合理。
判断补全的边缘与已检测出的边缘在图像上的连续性，补全的边缘像素点位置位于上一次检测到的图像中供电线边缘邻域30个像素点范围内，则属于图像上的连续性，否则则不连续；
通过左右相机检测出的图像中供电线边缘信息计算出目标在三维空间中位置，与之前检测出的供电线位置进行比较，若检测出的供电线的高度差异在供电线的物理数据合理变化范围内，即高度差小于200mm，大于20mm，且供电线本身高度大于3800mm小于7900mm内则认为检测出的供电线坐标准确，否则则认为检测出的供电线坐标不合理，则沿用上一行检测出的供电线的位置信息作为当前的供电线位置。
步骤五：根据步骤四的判断，若供电线在物理空间中是连续的，根据检测或计算出的边缘信息读取供电线导高，拉出值，磨损等信息便于后续的特征分析。
两侧相机能够检测出供电线边缘，且与上一行相比是连续的则直接使用检测出的边缘信息。如果有一侧相机未能检测出供电线边缘，且计算出的供电线边缘合理则使用计算出的边缘信息。如果计算出的供电线边缘不合理，则沿用上一次的供电线边缘信息。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (3)

1.一种双目视觉图像边缘检测与目标跟踪方法，其特征在于，包括以下步骤：
(1)通过左右线阵相机采集目标图像，得到目标的灰度图像，传感器将模拟信号转成数字信号，得到图像中各像素的灰度值；
(2)对左右相机采集到的灰度图像进行背景差分法目标边缘检测，得到目标的边缘信息；
(3)通过目标在左右相机成像的相关性补全未检测到目标的边缘信息；所述未检测到的目标边缘信息包括只有一侧相机没有检测出完整的目标边缘信息和左右相机都未检测到完整的目标边缘信息；
步骤(3)包括以下步骤：
(31)若只有一侧相机没有检测出完整的目标边缘信息，则先对检测出完整目标边缘的那一侧图像的边缘做拟合处理，得到目标边缘的曲线方程，然后利用此方程对没有完全找到边缘的那侧图像进行预测，推断出未检测出的目标边缘的位置；
(32)若左右相机都未检测到完整的目标边缘信息，对已检测出的边缘像素点做拟合处理，然后利用拟合出的曲线方程补全断点处的边缘信息；(4)根据检测出的目标边缘或者计算出的边缘从相机标定文件中读取目标在三维物理空间的位置，和之前检测出的目标位置作比较，判断目标在物理空间上是否连续，从而判断补全的边缘信息是否合理；
(5)若补全的边缘信息合理，则根据边缘信息读取目标的物理数据，如果计算出的目标边缘不合理，则沿用上一次的目标边缘信息读取目标的物理数据。
2.根据权利要求1所述的一种双目视觉图像边缘检测与目标跟踪方法，其特征在于，步骤(4)包括以下步骤：
(41)判断补全的边缘与已检测出的边缘在图像上的连续性，补全的边缘像素点位置位于上一次检测到的目标边缘邻域N个像素点范围内，其中N的取值范围为20-40，则属于图像上的连续性，否则则不连续；
(42)通过左右相机检测出的目标边缘信息计算出目标在三维空间中位置，与之前检测出的目标位置进行比较，若检测出的目标的高度差异在目标的物理数据合理变化范围内，即高度差的绝对值小于H1大于H2，且目标本身高度大于H3小于H4，其中，H2为目标的宽度，H1为H2的10倍，H3为目标的最低高度，H4为H3的2倍，则认为检测出的目标准确，否则则认为检测出的目标不合理，则沿用上一行目标的位置信息作为当前的目标位置。
3.根据权利要求1所述的一种双目视觉图像边缘检测与目标跟踪方法，其特征在于，步骤(5)所述的物理数据主要包括目标在物理空间的三维坐标以及目标尺寸。
CN201910830348.6A 2019-09-04 2019-09-04 一种双目视觉图像边缘检测与目标跟踪方法 Active CN110599513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910830348.6A CN110599513B (zh) 2019-09-04 2019-09-04 一种双目视觉图像边缘检测与目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910830348.6A CN110599513B (zh) 2019-09-04 2019-09-04 一种双目视觉图像边缘检测与目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110599513A CN110599513A (zh) 2019-12-20
CN110599513B true CN110599513B (zh) 2022-02-11

Family

ID=68857292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910830348.6A Active CN110599513B (zh) 2019-09-04 2019-09-04 一种双目视觉图像边缘检测与目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110599513B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909604A (zh) * 2017-11-07 2018-04-13 武汉科技大学 基于双目视觉的动态物体运动轨迹识别方法
CN109559324A (zh) * 2018-11-22 2019-04-02 北京理工大学 一种线阵图像中的目标轮廓检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610423B (zh) * 2009-07-13 2010-09-08 清华大学 一种渲染图像的方法和装置
CN102358324A (zh) * 2011-06-15 2012-02-22 广西大学 一种基于图像处理的弓网状态检测方法
CN103150729B (zh) * 2013-03-04 2015-12-23 清华大学 一种虚拟视图渲染方法
CN104574331B (zh) * 2013-10-22 2019-03-08 中兴通讯股份有限公司 一种数据处理方法、装置、计算机存储介质及用户终端
CN108648221B (zh) * 2018-05-10 2021-09-17 重庆大学 一种基于混合滤波的深度图空洞修复方法
CN108919838B (zh) * 2018-08-27 2021-03-26 河海大学常州校区 一种基于双目视觉的无人机输电线路自动跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909604A (zh) * 2017-11-07 2018-04-13 武汉科技大学 基于双目视觉的动态物体运动轨迹识别方法
CN109559324A (zh) * 2018-11-22 2019-04-02 北京理工大学 一种线阵图像中的目标轮廓检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像处理的受电弓故障检测算法研究;陈双;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》;20170715(第07期);第C033-255页 *

Also Published As

Publication number Publication date
CN110599513A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN108416791B (zh) 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法
EP2426642B1 (en) Method, device and system for motion detection
EP3296953B1 (en) Method and device for processing depth images
CN107014294B (zh) 一种基于红外图像的接触网几何参数检测方法及系统
CN111080582B (zh) 工件内外表面缺陷检测方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
CN110672007A (zh) 一种基于机器视觉的工件表面质量检测方法及系统
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
US20130237829A1 (en) Methods and systems for color flow dynamic frame persistence
CN104331907A (zh) 一种基于orb特征检测测量载体速度的方法
US10134136B2 (en) Image processing apparatus and image processing method
CN113781523B (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
Howe et al. Weakly supervised training of monocular 3d object detectors using wide baseline multi-view traffic camera data
CN114820474A (zh) 一种基于三维信息的列车车轮缺陷检测方法
Li et al. Study on slam algorithm based on object detection in dynamic scene
CN110599513B (zh) 一种双目视觉图像边缘检测与目标跟踪方法
CN117173215A (zh) 一种跨摄像头的内河航船全程轨迹识别方法及系统
CN110687548A (zh) 一种基于无人船的雷达数据处理系统
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法
JP2007156897A (ja) 速度計測装置、方法及びプログラム
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
CN111473944B (zh) 观测流场中存在复杂壁面的piv数据修正方法、装置
CN113989428A (zh) 一种基于深度视觉的冶金库区全局三维重建方法及装置
CN109214398B (zh) 一种从连续图像中量测杆体位置的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant