CN113487687B - 一种深沟窄槽视觉检测镜头防碰撞控制方法 - Google Patents

一种深沟窄槽视觉检测镜头防碰撞控制方法 Download PDF

Info

Publication number
CN113487687B
CN113487687B CN202110894324.4A CN202110894324A CN113487687B CN 113487687 B CN113487687 B CN 113487687B CN 202110894324 A CN202110894324 A CN 202110894324A CN 113487687 B CN113487687 B CN 113487687B
Authority
CN
China
Prior art keywords
endoscope
narrow groove
groove
deep groove
narrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110894324.4A
Other languages
English (en)
Other versions
CN113487687A (zh
Inventor
张紫琳
邓耀华
孙成
李伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110894324.4A priority Critical patent/CN113487687B/zh
Publication of CN113487687A publication Critical patent/CN113487687A/zh
Application granted granted Critical
Publication of CN113487687B publication Critical patent/CN113487687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本发明公开一种深沟窄槽视觉检测镜头防碰撞控制方法，包括以下步骤：将内窥镜置于运动控制模块上；运动控制模块驱动内窥镜自动检索目标窄槽；采集深沟窄槽照片，提取图像中窄槽特征和窄槽轮廓，并计算窄槽宽度；提取中心线，基于中心线选取中心定位点；在内窥镜进入深沟窄槽前设定一个内窥镜伸入点位的可信度阈值；运动控制模块驱动内窥镜使其视野范围的中心与中心定位点相重合，并逐渐伸入深沟窄槽中；不断进行可信度评级和验证；若判断结果为不可信，继续对位，反复进行验证和矫正；若判断结果为可信等级，内窥镜继续向下伸入深沟窄槽中。该防碰撞控制方法能够保证使内窥镜安全进入深沟窄槽中，防止镜头和待检元件损坏，可靠性强。

Description

一种深沟窄槽视觉检测镜头防碰撞控制方法
技术领域
本发明涉及视觉检测控制方法，具体涉及一种深沟窄槽视觉检测镜头防碰撞控制方法。
背景技术
随着计算机视觉技术的成熟，视觉检测被广泛运用于工业领域当中。特别是内窥镜的出现，更是突破了人眼的所不能触及的极限，能在密封空腔内观察内部空间结构与状态，实现远距离观察与操作。
但是,在一些复杂工件常含有细小而狭长的深沟窄槽，如发动机缸体的窄小而深的水道，这为自动化视觉检测带来一定困难，在进入深沟窄槽时容易碰撞窄槽外壁，导致镜头或待检工件损坏。
发明内容
本发明的目的在于克服上述存在的问题，提供一种深沟窄槽视觉检测镜头防碰撞控制方法，该防碰撞控制方法能够保证使内窥镜安全进入深沟窄槽中，防止镜头和待检元件损坏，可靠性强，为实现深沟窄槽的自动化视觉检测提供可能。
本发明的目的通过以下技术方案实现：
一种深沟窄槽视觉检测镜头防碰撞控制方法，包括以下步骤：
(1)将内窥镜置于运动控制模块上；对内窥镜的视觉检测相机进行视觉标定；
(2)将含有待检窄槽的工件垂直放在内窥镜的正下方；运动控制模块驱动内窥镜自动检索目标窄槽，使拍摄视野内出现待检目标，以完成待检深沟窄槽的初步定位；
(3)采集深沟窄槽照片，提取图像中窄槽特征，利用像素边缘信息提取窄槽轮廓，并计算窄槽宽度；
(4)得出深沟窄槽轮廓后，提取中心线；再基于中心线的其中一个点作为内窥镜进入的中心定位点；
(5)在内窥镜进入深沟窄槽前设定一个内窥镜伸入点位的可信度阈值，用于判断内窥镜伸入是否会碰撞元件；
(6)将深沟窄槽宽度和中心定位点的坐标信息传递到运动控制模块，运动控制模块驱动内窥镜，使其视野范围的中心与选定的窄槽中心定位点相重合，并逐渐伸入深沟窄槽中；在下降过程中，不断进行可信度评级和验证，如步骤(7)所示；
(7)根据当前的内窥镜坐标，按照步骤(5)计算得出当前可信度等级，判断内窥镜视野中心坐标是否在设定的范围之内；
(8)若判断结果为不可信，回到步骤(6)继续对位，反复进行验证和矫正；若判断结果达到设定的可信等级，内窥镜继续向下伸入深沟窄槽中，直至内窥任务完成。
本发明的一个优选方案，在步骤(4)中，提取中心线的方法包括以下步骤：
获取原图，进行图像预处理；进行阈值分割，并提取感兴趣区域；提取区域骨架；提取并显示中心线。
本发明的一个优选方案，在步骤(5)中，可信度阈值的计算方法包括以下步骤：
设定深沟窄槽的宽度为w、内窥半径为r，根据以上数据可得内窥镜的移动坐标的允许范围宽度m为：
m＝w-2r；
根据内窥镜的位置和允许范围宽度m的关系划分为不同等级的可信度，内窥镜位置在允许范围之外设定为不可信，在此之内设定为可信；
根据内窥镜中心位置与窄槽中心线的距离大小划分为多等级可信度，当达到设定的特定等级可信度时，即可执行进入深沟窄槽的运动操作。
本发明的一个优选方案，若在伸入过程中，即将进入深沟窄槽时可信度仍判定为不可信，则启动紧急停止操作并报警，防止碰撞发生。
本发明与现有技术相比具有以下有益效果：
本发明中的防碰撞控制方法利用可信度多次反复在线验证的方法，极大程度提高了内窥镜进入沟槽的定位精度，保障了内窥镜安全进入深沟窄槽中，防止镜头和待检元件损坏，可靠性强，为实现深沟窄槽的自动化视觉检测提供可能。
附图说明
图1为本发明中的深沟窄槽视觉检测镜头防碰撞控制方法的工作示意图。
图2为本发明中的深沟窄槽视觉检测镜头防碰撞控制方法的流程框图。
图3为本发明中的中心线提取的流程框图。
图4为本发明中的可信度阈值的计算示意图。
具体实施方式
为了使本领域的技术人员很好地理解本发明的技术方案，下面结合实施例和附图对本发明作进一步描述，但本发明的实施方式不仅限于此。
参见图1-4，本实施例中的深沟窄槽视觉检测镜头防碰撞控制方法,包括以下步骤：
(1)相机标定及矫正。
将检测的内窥镜置于运动控制模块中，采用标定方法确定相机的内部参数和外部参数，消除相机成像畸变，确定空间物体的三维几何位置与其在图像之间的相互关系，建立相机成像的几何模型，完成标定过程。
进一步，本实施例中的运动控制模块包括执行机构(伺服电机或步进电机)、驱动机构(伺服或者步进驱动器)、控制机构(运动控制器)，实现路径和电机联动的算法运算控制，达到运动控制目的，将计算得到的目标位置坐标作为运动控制模块的移动目标，带动内窥镜装置运动到对应(XYZ)坐标位置，以实现内窥镜安全进入深沟窄槽中。具体地，本实施例中的运动控制模块的结构可参考现有技术中的自动驱动机构。
(2)窄槽中心的“定点”定位。
用于检测的内窥镜完成标定后，在工作台上，将含有待检窄槽的工件垂直放在内窥镜正下方，运动控制模块通过模板匹配进行自动检索目标窄槽，使拍摄视野内出现待检目标，以完成待检深沟窄槽的初步定位。
初步定位完成后，采集深沟窄槽照片，经图像处理模块提取图像中窄槽特征，利用像素边缘信息提取窄槽轮廓，并计算窄槽宽度w。
其中，窄槽宽度的测量直接用视觉测长的针孔原理，具体如下：
物体发出的光经过相机的光心，成像于图像传感器或者也可以说是像平面上，如果设物体所在平面与相机平面的距离为d，物体实际高度为H，在传感器上的高度为h，焦距为f,那么有这样的关系：d/f＝h/H，H可类比为真实的窄槽宽度。
得出深沟窄槽轮廓后，利用上述的镜头安全移动轨迹计算模块中的深沟窄槽中心线提取法提取中心线，再基于中心线的其中一个点作为内窥镜进入的中心定位点A，此时完成了“定点”定位步骤。
其中，提取中心线的方法包括以下步骤：
获取原图，进行图像预处理；进行阈值分割，并提取感兴趣区域；提取区域骨架；提取并显示中心线。
(3)计算安全范围、可信度阈值。
因深沟窄槽细小而狭长，内窥镜很容易碰撞待检元件外壁，导致检测装置或待检元件损坏，所以在镜头进入深沟窄槽前设定一个镜头伸入点位的可信度阈值，用于判断内窥镜伸入是否会碰撞元件。
其中，可信度阈值的计算方法为：
设定深沟窄槽的宽度为w、内窥半径为r，根据以上数据可得内窥镜的移动坐标的允许范围宽度m为：
m＝w-2r；
根据内窥镜的位置和允许范围宽度m的关系划分为不同等级的可信度，内窥镜位置在允许范围之外设定为不可信，在此之内设定为可信。
根据内窥镜中心位置与窄槽中心线的距离大小划分为多等级可信度，当达到设定的特定等级可信度时，即可执行进入深沟窄槽的运动操作。具体为：可根据不同的精度需求在可信的基础上划分不同等级的可信度，比如偏离中心线小于10％可设为第一等级可信，偏离中心线距离小于20％可设为第二等级可信，以此类推。
(4)对中就位。
将深沟窄槽宽度和中心定位点A的坐标信息传递到控制运动机构，带动内窥镜，使其视野范围的中心与选定的窄槽中心定位点A相重合，步进逐渐伸入，准备进入窄槽中，在下降过程中，不断进行可信度评级和验证，如步骤(5)所示。
(5)计算当前位置可信度。
根据当前的内窥镜坐标，如步骤(3)的计算方法得出当前可信度等级，判断内窥镜视野中心坐标是否在设定的范围之内。
(6)可信度阈值判断。
若判断结果为不可信，回到(4)对中步骤继续对中及就位，反复进行验证和矫正；若判断结果达到设定的可信等级，内窥镜继续向下伸入深沟窄槽中，直至内窥任务完成。
(7)紧急停止及预警。
若在步进过程中，即将进入深沟窄槽时可信度仍判定为不可信，则启动紧急停止操作并报警，防止碰撞发生。
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所做的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种深沟窄槽视觉检测镜头防碰撞控制方法，其特征在于，包括以下步骤：
(1)将内窥镜置于运动控制模块上；对内窥镜的视觉检测相机进行视觉标定；采用标定方法确定相机的内部参数和外部参数，消除相机成像畸变，确定空间物体的三维几何位置与其在图像之间的相互关系，建立相机成像的几何模型，完成标定过程；
(2)将含有待检窄槽的工件垂直放在内窥镜的正下方；运动控制模块驱动内窥镜自动检索目标窄槽，使拍摄视野内出现待检目标，以完成待检深沟窄槽的初步定位；
(3)采集深沟窄槽照片，提取图像中窄槽特征，利用像素边缘信息提取窄槽轮廓，并计算窄槽宽度；
物体发出的光经过相机的光心，成像于图像传感器或者也可以说是像平面上，如果设物体所在平面与相机平面的距离为d，物体实际高度为H，在传感器上的高度为h，焦距为f,那么有这样的关系：d/f＝h/H,H可类比为真实的窄槽宽度；
(4)得出深沟窄槽轮廓后，利用上述的镜头安全移动轨迹计算模块中的深沟窄槽中心线提取法提取中心线，再基于中心线的其中一个点作为内窥镜进入的中心定位点；
(5)在内窥镜进入深沟窄槽前设定一个内窥镜伸入点位的可信度阈值，用于判断内窥镜伸入是否会碰撞元件；
可信度阈值的计算方法包括以下步骤：
设定深沟窄槽的宽度为w、内窥半径为r，根据以上数据可得内窥镜的移动坐标的允许范围宽度m为：
m＝w-2r；
根据内窥镜的位置和允许范围宽度m的关系划分为不同等级的可信度，内窥镜位置在允许范围之外设定为不可信，在此之内设定为可信；
根据内窥镜中心位置与窄槽中心线的距离大小划分为多等级可信度，当达到设定的特定等级可信度时，即可执行进入深沟窄槽的运动操作；
(6)将深沟窄槽宽度和中心定位点的坐标信息传递到运动控制模块，运动控制模块驱动内窥镜，使其视野范围的中心与选定的窄槽中心定位点相重合，并逐渐伸入深沟窄槽中；在下降过程中，不断进行可信度评级和验证，如步骤(7)所示；
(7)根据当前的内窥镜坐标，按照步骤(5)计算得出当前可信度等级，判断内窥镜视野中心坐标是否在设定的范围之内；
(8)若判断结果为不可信，回到步骤(6)继续对位，反复进行验证和矫正；若判断结果达到设定的可信等级，内窥镜继续向下伸入深沟窄槽中，直至内窥任务完成。
2.根据权利要求1所述的深沟窄槽视觉检测镜头防碰撞控制方法，其特征在于，在步骤(4)中，提取中心线的方法包括以下步骤：
获取原图，进行图像预处理；进行阈值分割，并提取感兴趣区域；提取区域骨架；提取并显示中心线。
3.根据权利要求1所述的深沟窄槽视觉检测镜头防碰撞控制方法，其特征在于，若在伸入过程中，即将进入深沟窄槽时可信度仍判定为不可信，则启动紧急停止操作并报警，防止碰撞发生。
CN202110894324.4A 2021-08-04 2021-08-04 一种深沟窄槽视觉检测镜头防碰撞控制方法 Active CN113487687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110894324.4A CN113487687B (zh) 2021-08-04 2021-08-04 一种深沟窄槽视觉检测镜头防碰撞控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110894324.4A CN113487687B (zh) 2021-08-04 2021-08-04 一种深沟窄槽视觉检测镜头防碰撞控制方法

Publications (2)

Publication Number Publication Date
CN113487687A CN113487687A (zh) 2021-10-08
CN113487687B true CN113487687B (zh) 2023-02-03

Family

ID=77944350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110894324.4A Active CN113487687B (zh) 2021-08-04 2021-08-04 一种深沟窄槽视觉检测镜头防碰撞控制方法

Country Status (1)

Country Link
CN (1) CN113487687B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013047215A1 (ja) * 2011-09-26 2013-04-04 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048395A (ja) * 1998-07-24 2000-02-18 Minolta Co Ltd 情報記録再生方法及び装置
JP2009114041A (ja) * 2007-11-08 2009-05-28 Central Glass Co Ltd ガラスリボンの位置補正装置およびその方法
US8553075B2 (en) * 2008-10-22 2013-10-08 Fujifilm Corporation Endoscope apparatus and control method therefor
CN105231978B (zh) * 2015-09-14 2017-03-22 袁非牛 一种引导式虚拟内窥镜导航方法
CN112326083A (zh) * 2019-08-05 2021-02-05 深圳市亚泰光电技术有限公司 用于内窥镜检测的防碰撞装置
CN110533650B (zh) * 2019-08-28 2022-12-13 哈尔滨工程大学 一种基于视觉的auv水下管道检测跟踪方法
CN113091610A (zh) * 2021-04-01 2021-07-09 淮安国宇工程检测有限公司 基于视觉测量套筒与钢筋连接稳定性的检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013047215A1 (ja) * 2011-09-26 2013-04-04 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Also Published As

Publication number Publication date
CN113487687A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
KR101961571B1 (ko) 복수의 물체 검출 수단을 사용한 물체 인식 장치
JP2015190921A (ja) 車両用ステレオ画像処理装置
CN112132896A (zh) 一种轨旁设备状态检测方法及系统
CN110220500B (zh) 一种基于双目相机的无人驾驶用测距方法
CN103171560B (zh) 车道识别装置
CN112634269B (zh) 一种轨道车辆车体检测方法
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
JP2903964B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2018048949A (ja) 物体識別装置
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
KR101738034B1 (ko) 개선된 차선 인식 방법
CN113487687B (zh) 一种深沟窄槽视觉检测镜头防碰撞控制方法
US20220091405A1 (en) Microscopy System, Method and Computer Program for Aligning a Specimen Carrier
KR20170142379A (ko) 영상처리를 이용한 용접로봇의 용접선 인식장치
JP2007253699A (ja) 光軸ずれ検出装置
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN109990734A (zh) 深度信息摄像模组精度自动检测系统及其精度检测方法
CN113049264B (zh) 一种车辆高级驾驶辅助系统的测试系统及方法
CN117115249A (zh) 一种集装箱锁孔自动识别定位系统及方法
CN110322508A (zh) 一种基于计算机视觉的辅助定位方法
KR101784584B1 (ko) 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법
CN112734840A (zh) 一种输电线安全距离测量方法
CN110245647B (zh) 一种玻璃液体温度计自动定位与读数的方法
CN112784868A (zh) 用于训练用于对象识别设备的机器学习系统的方法、执行方法、对象识别设备及计算机程序
CN113513984A (zh) 一种车位识别精度检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant