CN110378957A - 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 - Google Patents
面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 Download PDFInfo
- Publication number
- CN110378957A CN110378957A CN201910486497.5A CN201910486497A CN110378957A CN 110378957 A CN110378957 A CN 110378957A CN 201910486497 A CN201910486497 A CN 201910486497A CN 110378957 A CN110378957 A CN 110378957A
- Authority
- CN
- China
- Prior art keywords
- tank car
- target
- torpedo
- tank mouth
- tank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004807 localization Effects 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000003044 adaptive effect Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000009434 installation Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 abstract description 76
- 229910052742 iron Inorganic materials 0.000 abstract description 38
- 238000000605 extraction Methods 0.000 abstract description 8
- 230000011218 segmentation Effects 0.000 abstract description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000009628 steelmaking Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 230000003137 locomotive effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011049 filling Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 238000005272 metallurgy Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
- B22D41/00—Casting melt-holding vessels, e.g. ladles, tundishes, cups or the like
- B22D41/12—Travelling ladles or similar containers; Cars for ladles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统，属于罐车定位方法技术领域中面向冶金作业的铁水鱼雷罐车罐口及罐盖视觉识别与定位。铁水鱼雷罐车罐口及罐盖的定位主要包括通过鱼雷罐车罐口的滑动窗口模板匹配进行粗定位获取感兴趣区域，视觉识别与定位算法在该感兴趣区域进行图像预处理以及目标搜索完成精细定位和特征拟合，目标特征的提取算法采用参数自适应的椭圆特征检测算法。考虑到炼钢作业环境背景光变化明显，固定阈值算法容易分割及检测失败，因此通过滑动窗口模板匹配对感兴趣区域进行搜索确定大致的目标区域，应用参数自适应的目标特征提取算法，提高目标检测的鲁棒性从而提高冶金作业的鲁棒性。
Description
技术领域
本发明涉及罐车定位方法技术领域，具体地，涉及一种面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统，利用视觉检测和定位算法对鱼雷罐车罐口及罐盖进行 快速识别与定位。
背景技术
由于鱼雷罐车加盖作业是一种繁重高危、复杂以及精细化的重复作业，而传统 的人工作业工人人工操作效率低且存在较高的危险性，因此在该领域机器人替代人 工的需求很急迫。
专利文献CN107200044A的专利公开了一种铁水鱼雷罐车罐口定位方法，该方法通过非接触感应鱼雷罐体目标的温度从而实现铁水鱼雷罐车罐口的定位，采用的传 感器为非接触式热金属检测器，该方法利用铁水鱼雷罐车罐口内部温度与外部温度 偏差大的特性实现铁水鱼雷罐车的定位。该方法在安装结构上设计需要在鱼雷罐车 罐口上安装两个非接触式热金属检测器，由于依据温差检测的原理，安装的非接触 式金属探测器离鱼雷罐车罐口不能太远，因此在一定程度上对机器人加盖作业照成 影响，另外由于热金属检测器的安装位置是固定，因此要求铁水鱼雷罐车需要精准 停靠在信号相应的位置，给实际作业带来困难。
专利文献CN107284474A的专利公开了一种冶金铁路机车车辆的主动定位方法，该方法通过机车上RFID读取器读取轨道地面RFID标签实现机车位置的定位，再通 过机车计程仪的信息对地面RFID标签之间的信息进行修正，从而实现对机车的主 动定位，另外该方法可以通过读取RFID标签实现对机车载挂车辆的判断，同时根 据车辆挂接机车跟随机车的移动，通过对机车的定位可以实现对车辆的实时定位， 这种方法应用在冶金鱼雷罐车加盖作业的局限性在于机械结构上设计较为复杂，并 且同时对机车精准停靠有较高的要求，另外这种方式是对鱼雷罐车车身进行定位而 不是对鱼雷罐车罐口进行定位，而罐车车身在非轨道方向的偏移会给基于鱼雷罐车 车身定位的方法带来很大的误差和不确定性，因此该方法在罐车车身非轨道方向偏 移的情况下鲁棒性较差，并且较难准确定位出鱼雷罐车罐口的位置。
针对已有的鱼雷罐车加盖作业的定位系统主要是对鱼雷罐车车身进行定位的，这类方法无法准确的提供鱼雷罐车罐口的位姿信息，而由于罐车车身在非轨道方向 的偏移会导致罐车罐口的偏移，对该类方法带来很大的误差和不确定性，因此考虑 对鱼雷罐车的罐口和罐盖进行单独识别与定位，可以提高加盖作业定位系统的鲁棒 性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统。
根据本发明提供的一种面向冶金作业的鱼雷罐车视觉识别与定位方法，包括以下步 骤：
识别步骤：通过视觉传感器对罐车的罐口及罐盖进行定位，识别并提取目标检测的 感兴趣区域；
定位步骤：针对感兴趣区域，采用参数自适应进行目标特征检测和目标特征拟合，得到罐口及罐盖的相对于机器人的位姿信息。
优选地，所述识别步骤包括：
设备安装步骤：按照设定安装方式进行拍摄设备安装，以保证拍摄视野范围覆盖罐 车在轨道上的停靠区域，并不影响机器人进行罐车加盖作业；
标定位姿步骤：标定视觉传感器和罐口所在平面的相对关系，形成标定平面，获取视觉传感器的内参，标定视觉传感器与机器人之间的相对位姿关系；
采样匹配步骤：将视觉传感器固定，在标定平面对罐口目标进行多次采样，得到目标数据样本，预处理后作为标准模板；
模板匹配步骤：通过视觉传感器采集罐口目标，获得采集数据，以滑动窗口的形式将采集数据与标准模板进行模板匹配，获得罐口的坐标范围，划定感兴趣区域。
优选地，所述定位步骤包括：
特征测量步骤：基于感兴趣区域，应用参数自适应进行目标特征检测，得到目标特征，对目标特征进行目标特征拟合，得到罐口及罐盖的平面坐标；
位姿传递步骤：基于标定矩阵将罐口及罐盖的平面坐标转为到机器人坐标系中，得 到位姿信息后传递至机器人进行罐车加盖作业。
根据本发明提供的一种面向冶金作业的鱼雷罐车视觉识别与定位系统，包括以下模 块：
识别模块：通过视觉传感器对罐车的罐口及罐盖进行定位，识别并提取目标检测的 感兴趣区域；
定位模块：针对感兴趣区域，采用参数自适应进行目标特征检测和目标特征拟合，得到罐口及罐盖的相对于机器人的位姿信息。
优选地，所述识别模块包括：
设备安装模块：按照设定安装方式进行拍摄设备安装，以保证拍摄视野范围覆盖罐 车在轨道上的停靠区域，并不影响机器人进行罐车加盖作业；
标定位姿模块：标定视觉传感器和罐口所在平面的相对关系，形成标定平面，获取视觉传感器的内参，标定视觉传感器与机器人之间的相对位姿关系；
采样匹配模块：将视觉传感器固定，在标定平面对罐口目标进行多次采样，得到目标数据样本，预处理后作为标准模板；
模板匹配模块：通过视觉传感器采集罐口目标，获得采集数据，以滑动窗口的形式将采集数据与标准模板进行模板匹配，获得罐口的坐标范围，划定感兴趣区域。
优选地，所述定位模块包括：
特征测量模块：基于感兴趣区域，应用参数自适应进行目标特征检测，得到目标特征，对目标特征进行目标特征拟合，得到罐口及罐盖的平面坐标；
位姿传递模块：基于标定矩阵将罐口及罐盖的平面坐标转为到机器人坐标系中，得 到位姿信息后传递至机器人进行罐车加盖作业。
优选地，所述设定安装方式中，拍摄设备的光轴l与罐口所在平面的法线lp的夹角θ属 于小夹角，且满足以下公式：
优选地，所述模板匹配通过计算图像f(x,y)在像素(u,v)的非相似度m′(u,v)作为匹 配尺度，其中非相似度(u,v)表示为重合部分左上角像素坐标；
通过序贯相似性检测算法，对数据I和样本模板MT获得罐口目标的坐标范围 SROI＝[xb_1,yb_1,xb_2,yb_2]，作为目标检测的感兴趣区域；
其中，n×m表示模板的大小；
(k,l)表示像素坐标索引；
t(k,l)表示模板在像素(k,l)的值；
(xb_1,yb_1)表示SROI左上角像素坐标；
(xb_2,yb_2)表示SROI右下角像素坐标。
优选地，所述目标特征拟合采用椭圆拟合，得到目标特征在平面坐标中的精确定位； 对于罐口及罐盖检测，分别获取目标椭圆中心、长短轴信息以及拟合椭圆偏角。
与现有技术相比，本发明具有如下的有益效果：
本发明针对背景环境干扰较为严重的冶金铁水鱼雷罐车加盖作业中，可以对鱼雷罐车罐盖罐口目标进行快速检测和定位，并且具有一定实时性、高精度和高鲁棒 性优点。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为冶金机器人鱼雷罐车加盖系统立体示意图；
图2为铁水鱼雷罐车与视觉传感器相对位置布置示意图；
图3示出了铁水鱼雷罐车俯视图；
图4示出了铁水鱼雷罐车罐盖图；
图5示出了铁水鱼雷罐车罐口特征拟合的方式；
图6示出了铁水鱼雷罐车罐盖特征拟合的方式；
图7示出了铁水鱼雷罐车罐盖堆放示意图。
图中示出：
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于 本发明的保护范围。
本发明提供的自选指数的编制系统，可以通过自选指数的编制方法的步骤流程实现。本领域技术人员可以将自选指数的编制方法理解为所述自选指数的编制系统 的优选例。
本发明的任务在于，针对现有技术存在的缺点，提供一种通过视觉传感器对铁 水鱼雷罐车罐口及罐盖进行定位，通过滑动窗口模板匹配的方法进行感兴趣区域的 提取，再在该感兴趣区域使用参数自适应的目标特征检测算法和目标特征拟合算法， 进行精细定位获得目标相对于机器人的位姿信息，进而精确完成冶金机器人铁水鱼 雷罐车加盖作业。
本发明的创新在于，目前针对鱼雷罐车加盖作业的定位系统主要是对鱼雷罐车车身进行定位的，而由于罐车车身在非轨道方向的偏移会给基于鱼雷罐车车身定位 的方法带来很大的误差和不确定性，罐车车身的偏移会导致罐车罐口的偏移，而本 方法是对鱼雷罐车的罐口和罐盖进行单独识别与定位的，在罐车车身在非轨道方向 偏移的情况下鲁棒性要高于基于鱼雷罐车车身定位的方法。
根据本发明提供的一种面向冶金作业的鱼雷罐车视觉识别与定位方法，包括以下步 骤：
识别步骤：通过视觉传感器对罐车的罐口及罐盖进行定位，识别并提取目标检测的 感兴趣区域；
定位步骤：针对感兴趣区域，采用参数自适应进行目标特征检测和目标特征拟合，得到罐口及罐盖的相对于机器人的位姿信息。
具体地，所述识别步骤包括：
设备安装步骤：按照设定安装方式进行拍摄设备安装，以保证拍摄视野范围覆盖罐 车在轨道上的停靠区域，并不影响机器人进行罐车加盖作业；
标定位姿步骤：标定视觉传感器和罐口所在平面的相对关系，形成标定平面，获取视觉传感器的内参，标定视觉传感器与机器人之间的相对位姿关系；
采样匹配步骤：将视觉传感器固定，在标定平面对罐口目标进行多次采样，得到目标数据样本，预处理后作为标准模板；
模板匹配步骤：通过视觉传感器采集罐口目标，获得采集数据，以滑动窗口的形式将采集数据与标准模板进行模板匹配，获得罐口的坐标范围，划定感兴趣区域。
具体地，所述定位步骤包括：
特征测量步骤：基于感兴趣区域，应用参数自适应进行目标特征检测，得到目标特征，对目标特征进行目标特征拟合，得到罐口及罐盖的平面坐标；
位姿传递步骤：基于标定矩阵将罐口及罐盖的平面坐标转为到机器人坐标系中，得 到位姿信息后传递至机器人进行罐车加盖作业。
根据本发明提供的一种面向冶金作业的鱼雷罐车视觉识别与定位系统，包括以下模 块：
识别模块：通过视觉传感器对罐车的罐口及罐盖进行定位，识别并提取目标检测的 感兴趣区域；
定位模块：针对感兴趣区域，采用参数自适应进行目标特征检测和目标特征拟合，得到罐口及罐盖的相对于机器人的位姿信息。
具体地，所述识别模块包括：
设备安装模块：按照设定安装方式进行拍摄设备安装，以保证拍摄视野范围覆盖罐 车在轨道上的停靠区域，并不影响机器人进行罐车加盖作业；
标定位姿模块：标定视觉传感器和罐口所在平面的相对关系，形成标定平面，获取视觉传感器的内参，标定视觉传感器与机器人之间的相对位姿关系；
采样匹配模块：将视觉传感器固定，在标定平面对罐口目标进行多次采样，得到目标数据样本，预处理后作为标准模板；
模板匹配模块：通过视觉传感器采集罐口目标，获得采集数据，以滑动窗口的形式将采集数据与标准模板进行模板匹配，获得罐口的坐标范围，划定感兴趣区域。
具体地，所述定位模块包括：
特征测量模块：基于感兴趣区域，应用参数自适应进行目标特征检测，得到目标特征，对目标特征进行目标特征拟合，得到罐口及罐盖的平面坐标；
位姿传递模块：基于标定矩阵将罐口及罐盖的平面坐标转为到机器人坐标系中，得 到位姿信息后传递至机器人进行罐车加盖作业。
具体地，所述设定安装方式中，拍摄设备的光轴l与罐口所在平面的法线lp的夹角θ属 于小夹角，且满足以下公式：
具体地，所述模板匹配通过计算图像f(x,y)在像素(u,v)的非相似度m′(u,v)作为匹 配尺度，其中非相似度(u,v)表示为重合部分左上角像素坐标；
通过序贯相似性检测算法，对数据I和样本模板MT获得罐口目标的坐标范围 SROI＝[xb_1,yb_1,xb_2,yb_2]，作为目标检测的感兴趣区域；
其中，n×m表示模板的大小；
(k,l)表示像素坐标索引；
t(k,l)表示模板在像素(k,l)的值；
(xb_1,yb_1)表示SROI左上角像素坐标；
(xb_2,yb_2)表示SROI右下角像素坐标。
具体地，所述目标特征拟合采用椭圆拟合，得到目标特征在平面坐标中的精确定位； 对于罐口及罐盖检测，分别获取目标椭圆中心、长短轴信息以及拟合椭圆偏角。
本发明提供的面向冶金作业的鱼雷罐车视觉识别与定位系统，可以通过面向冶金作 业的鱼雷罐车视觉识别与定位方法的步骤流程实现。本领域技术人员可以将面向冶金作 业的鱼雷罐车视觉识别与定位方法理解为所述面向冶金作业的鱼雷罐车视觉识别与定位系统的优选例。
根据本发明的规定，通过工业视觉传感器和标定板首先标定出相机的内外参以及相机坐标系相对于机器人坐标系的相对关系，再通过相机获取鱼雷罐车罐口标定 平面的信息，通过滑动窗口模板匹配的方法提取感兴趣区域，在该区域应用参数自 适应的目标特征检测算法和目标特征拟合算法检测出目标，结合标定参数快速定位 出目标在三维空间机器人坐标系的信息，该方法通过以下步骤完成：
a)按照特定的方式对检测系统进行安装，保证相机的视野范围覆盖铁水鱼雷罐车在 轨道上的停靠区域，并且不影响机器人进行鱼雷罐车加盖作业；
b)标定工业视觉传感器和鱼雷罐车罐口所在平面的相对关系，包括获取视觉传感器 的内参，标定相机和鱼雷罐车罐口所在平面之间的相对关系以及视觉传感器与机 器人之间的相对位姿关系；
c)离线阶段，通过固定的工业视觉传感器，在上述标定平面对鱼雷罐车罐口目标进 行多次采样，获取标准的目标数据样本进行人工处理或者算法处理作为模板匹配 算法的标准模板；
d)在线阶段，通过视觉传感器采集鱼雷罐车罐口的数据，通过离线阶段采集的模板 进行滑动窗口模板匹配，并且获得鱼雷罐车罐口在图像平面的坐标范围，作为目 标检测的感兴趣区域(ROI)；
e)针对步骤d)获取的感兴趣区域，应用参数自适应目标特征检测算法，再将检测获取的特征进行拟合获得鱼雷罐车罐口及罐盖的测量结果，特征主要为椭圆特征；
f)通过步骤e)中拟合得到的鱼雷罐车罐口及罐盖特征在图像平面的坐标及信息，根据步骤b)中的标定矩阵转换到机器人坐标系中，得到鱼雷罐车罐口及罐盖特 征在机器人坐标系的位姿，再传递给机器人进行鱼雷罐车加盖作业。
由于铁水鱼雷罐车加盖作业过程中，铁水的运输会导致铁水温度的降低，而鱼 雷罐盖在不加盖状态下温度降低速率要大于加盖状态，因此控制冶金机器人加盖作 业时间对保持铁水温度有积极作用，需要视觉检测和定位算法具有一定的实时性。
根据以上的要求，采用滑动窗口模板匹配的方法，先获取目标所在的感兴趣区域，这样既可以在一定程度上去除背景的干扰，又可以减少图像处理的计算复杂度， 使视觉检测和定位算法更加高效。
根据实时性的要求吗，通过以下方式实现：
a)分为粗定位和精定位两个步骤进行，粗定位过程采用通过滑动窗口进行模板匹配 的方法来确定感兴趣区域以减少后续算法计算复杂度从而减少算法处理的时间；
b)根据目标的部分颜色先验信息进行特征提取，处理部分背景干扰数据达到减少计 算复杂度的目的；
c)在梯度图的计算过程中，采用了2×2梯度计算掩码加速计算过程；
d)椭圆特征的拟合采用先提取轮廓后进行最小二乘拟合，由于拟合过程是采用优化 算法较为耗时，因此需要尽可能减少候选目标，通过对候选目标轮廓的筛选达到 此目的。
对于铁水鱼雷罐车加盖作业，由于加盖的精度需要，对于鱼雷罐车罐盖和罐口 的定位精度有一定的要求。例如对于内直径为1400mm的罐口定位精度在40mm以 内，而对于直径为1500mm的罐盖定位精度在10mm以内。
根据高精度的要求，通过以下方式实现：
a)标定相对关系，主要包括相机的内外参，鱼雷罐车罐口所在平面的标定以及相机 和机器人坐标系之间的相对关系；
b)对于鱼雷罐车罐口，由于外椭圆特征不满足算法的约束条件，但是外椭圆轮廓对 定位的精确性有一定程度的贡献，因此采用泛洪填充算法处理数据使外轮廓特征 加入到后续的算法处理步骤中；
c)椭圆特征的拟合，采用最小二乘优化算法进行拟合，通过设计约束项达到高精度 拟合。
由于实际的铁水鱼雷罐车加盖作业现场的背景环境干扰较为严重，特别是背景光线、粉尘和鱼雷罐车罐口铁水凝固的残渣导致边缘模糊等，因此在视觉检测和测 量算法的设计中需要考虑较高的鲁棒性。
根据高鲁棒性的要求，通过以下方式实现：
a)图像处理的噪声抑制采用高斯滤波算法，对一些视觉传感器采样获得的噪声有一 定平滑效果；
b)由于需要提取边缘特征，对图像进行两个尺度80％的缩放，目的是在一定程度上 消除线段的锯齿效应；
c)对于提取的边缘进行非极大值抑制，根据算法规则选取的边缘关键点会出现多条 边缘连接同一个边缘关键点，因此应用非极大值抑制算法(NMS)对获得的边缘图 进行抑制，筛选出像素长度最长的边缘。
根据以上提及具有一定实时性、高精度和高鲁棒性的视觉检测和定位算法，获 得检测和定位的铁水鱼雷罐车罐盖及罐口的目标信息，再通过标定的转换矩阵将目 标信息转换到机器人坐标系中，进行后续加盖作业。
根据本发明提供的一种面向冶金作业的铁水鱼雷罐车罐口及罐盖视觉识别与定位方法，包括：
图1所示为铁水鱼雷罐车加盖作业的实际现场示意图，按照图示的方式对铁水 鱼雷罐车加盖作业视觉检测系统进行安装，铁水鱼雷罐车5在轨道上进行移动，并 且认为主要的运动是沿着轨道方向的而在与轨道正交的两个轴向的运动对视觉检 测系统的影响可以忽略，冶金机器人3如图所示，放置在铁水鱼雷罐车轨道的一侧 且不干扰铁水鱼雷罐车在轨道上的运动，如图4所示为鱼雷罐车罐盖2的结构图， 且鱼雷罐车罐盖2堆摞在机器人3的工作空间内，机器人3通过抓取图7所示堆放 的鱼雷罐车罐盖料堆13中取出鱼雷罐车罐盖2安放到鱼雷罐车罐口4上完成加盖 作业。
图2所示为铁水鱼雷罐车5的左视图，视觉传感器1的布置方式为固定在鱼雷 罐车斜上方，并且不干扰机器人3进行加盖作业，视觉传感器1的安装位置大约距 鱼雷罐车罐口4水平距离4m，考虑到视觉传感器1视野范围需要覆盖铁水鱼雷罐 车5在轨道上的停靠区域，同时还需要保证目标的椭圆边缘特征较为明显，因此需 要尽可能保证椭圆特征离心率e要尽量小，即相机光轴l与鱼雷罐车罐口所在平面的 法线lp夹角要尽量小，以达到更好的识别效果，视觉传感器1的高度 大致在条件允许的情况下，放置高度为hc。
图3所示为铁水鱼雷罐车5的俯视图，其中实际现场作业的铁水鱼雷罐车罐口4 的罐口内直径6大约为1400mm，罐口外直径7大约为1500mm。图4所示为铁水鱼 雷罐车罐盖2的结构图，鱼雷罐车罐盖2的直径为大约1500mm。
其中，对视觉传感器标定是定义相机坐标系分别为OC，对视觉传感器1采用张 正友标定法进行相机标定，获得相机内参K，其中标定平面为α。
对视觉传感器与机器人相对位姿标定是定义机器人坐标系OR，通过视觉传感器 1内参标定后将标定板置于机器人3的末端，采集视觉传感器1获得的标定数据， 从而得到相机坐标系相对于机器人坐标系的齐次变换矩阵其中Rt表示 旋转矩阵，tt表示平移矩阵。
在特征识别时，是在完成标定步骤后，主要是图像处理步骤，图像处理步骤主 要是对铁水鱼雷罐车罐口和罐盖进行检测，包括：
a)特征模板获取：在离线阶段，将铁水鱼雷罐车5停靠在机器人3末端示教获得的定位点或者人工标记的定位点处，同时确定鱼雷罐车罐口保持水平，在上述标定 平面α对鱼雷罐车罐口4目标进行多次采样，获取k组标准的目标数据样本 {a1,a2,…,ak}进行人工处理或者算法处理作为模板匹配算法的标准模板再进行 离线筛选，得到最终的样本数据模板MT，其中模板的大小为n×m。
b)目标粗定位：通过视觉传感器1采集鱼雷罐车罐口4的数据I，通过离线阶段获取的样本数据模板MT采用SSDA相似性检验方法进行滑动窗口模板匹配，通过计 算图像f(x,y)在像素(u,v)的非相似度m(u,v)作为匹配尺度。通过该模板匹配算 法对数据I和样本模板MT获得鱼雷罐车罐口4目标在图像平面的坐标范围 SROI＝[xb_1,yb_1,xb_2,yb_2]，作为目标检测的感兴趣区域(ROI)，在图3所示为 模板匹配鱼雷罐车罐口的感兴趣区域12，根据模板匹配步骤确定的感兴趣区域 12及其在图像坐标系中坐标范围SROI作为掩码mask，对视觉传感器采集输入的 原始图像Iori截取该区域的图像作为实际处理数据I，即I＝SROI×Iori以减少计算 量和背景噪声干扰；
c)颜色信息提取：根据钢液的主要颜色为红色和白色以及鱼雷罐车罐口颜色为灰色， 通过提取RGB颜色空间图像IRGB的White、Gray特征和HSV颜色空间图像IHSV的 Red特征进行加权获得颜色提取数据，即 Icolor＝m1IRGB(White)+m2IRGB(Gray)+m3IHSV(Red)；
d)灰度变换：对提取的颜色信息图像进行灰度变换获得灰度图Igray＝fgray(Icolor)；
e)噪声抑制：将变换后的灰度图像进行高斯滤波抑制噪声干扰Igray-f＝ fgauss(Igray)；
f)图像缩放：将图像进行缩放变换处理，缩放两个尺度因子为80％，缩放变换是为了在一定程度上消除锯齿效应，得到缩放灰度图Is＝fscale(Igray-f)；
g)梯度图和边缘方向图计算：计算图像的梯度图以及边缘方向场图，其中梯度的计 算采用2×2梯度算子以加速处理速度获得梯度图IG＝fgradient(Is)，边缘方向场 图通过比较水平方向和垂直方向梯度大小确定，获得边缘方向图ID＝fdirect(Is)；
h)自动阈值计算：梯度抑制阈值的确定采用参数自适应算法进行特征提取，梯度抑 制阈值θH采用局部图像梯度直方图中值Hmid(Ω)乘以与预调常系数c1，即 θH＝c1Hmid(Ω)作为梯度抑制阈值，滤去小于该阈值的梯度值，得到滤波后的 梯度图
i)边缘关键点提取：对于梯度图IG-f按照梯度值进行从大到小伪排序，按照从大到小梯度顺序作为边缘关键点G(0),G(1),…,G(Ng)；
j)连接边缘关键点：对于边缘关键点G(k)＝G[xk,yk]，通过检索该关键点的边缘方向图ID得到该点边缘方向为D(k)＝D[xk,yk]，边缘方向分为HORIZONTAL和 VERTICAL，对于D(k)＝HORIZONTAL，即需要对垂直方向进行边缘区域生长， 边缘区域生长规则为检索垂直UP方向3个像素和DOWN方向3个像素的梯度值， 按照梯度最大的方向进行生长，对于D(k)＝VERTICAL类似该规则进行生长，从 而连接所有的边缘关键点得到边缘图IE；
k)非极大值抑制：由于以上规则选取的边缘关键点在i)中的步骤会出现多条边缘连接同一个边缘关键点，因此应用非极大值抑制算法(NMS)对上一步获得的边缘 图IE进行抑制，筛选出像素长度最长的边缘，得到最终的边缘图IE-f＝fNMS(IE)。
l)连通域判断：对步骤d)中获得的灰度图Igray-f进行二值化，通过固定阈值法或者Otsu最佳阈值分割法进行二值化处理，得到二值图Ibin＝fBIN(Igray-f)，对获 取的二值图进行连通域标记，获得连通域标记图像为Ilabel＝fcc(Ibin)。
m)圆域椭圆域判断：对连通域标记的图像Ilabel进行圆域椭圆域约束判断，约束条件为τ，图像平面像素数量约束由模板MT可获取目标的像素阈值下限为τn，即目 标轮廓所包围的像素数量Nt-pixel＞τn，欧拉示性数约束τeuler为对目标轮廓或目 标轮廓包围的区域欧拉示性数为0(圆)或者1(圆盘)，目标的类圆直径约束τd为 τd＝[τd1，τd2]，其中目标类圆直径满足τd1＜dobject＜τd2，离心率约束τe为τe＝ [τe1，τe2]，其中目标的离心率满足τe1＜eobject＜τe2，圆形性度量约束条件为τc， 其中圆形性F为区域的面积，max为区域中心到所有轮廓 点的最大距离，因此需要满足1＞c＞τc。综合以上圆域椭圆域约束条件，目标 特征Ilabel需要满足的约束条件为τ＝(τn，τd，τe，τc)，得到目标轮廓
n)泛洪填充：由于铁水鱼雷罐车罐口4主要特征为椭圆环如图5所示，外椭圆特征7不满足步骤l)的约束条件τ，原因在于其所包括的区域极性非唯一。在此基础 上，加入泛洪填充算法对内椭圆目标6进行填充获取新的连通域标记图像为 Ilabel′＝fff(Ilabel)，再将获取的连通域标记图像为Ilabel′重复步骤l)得到 得到最终的目标轮廓为
o)数据融合：针对步骤j)中获取的边缘图IE-f和步骤m)中得到的目标轮廓为SLS进行数据融合，通过某种约束关系，获得最终的候选目标为L＝f(IE-f,SLS)，其 中L为轮廓特征，针对鱼雷罐车罐口4，L为内椭圆和外椭圆轮廓；针对鱼雷罐车 罐盖2，L为椭圆轮廓。
在目标定位步骤中，是在以上的图像处理步骤，对提取边缘轮廓L进行特征拟合及目标定位，主要采用的算法为椭圆拟合，得到目标特征在图像平面坐标的精定位。 对于鱼雷罐车罐口4检测，由图5所示，需要拟合鱼雷罐车罐口4的内轮廓6和外 轮廓7，因此主要获取目标内外椭圆的中心oneck(x,y)、长短轴信息rneck＝ [ra0,rb0,ra1,rb1]以及拟合椭圆偏角γneck，拟合的拟合特征得出的鱼雷罐车罐口的内 轮廓9和外轮廓8如图示；对于鱼雷罐车罐盖2检测，由图6所示需要拟合鱼雷罐 车罐盖2的罐盖轮廓10，因此主要获取目标椭圆的中心olid(x,y)、长短轴信息 rlid＝[ra,rb]以及拟合椭圆偏角γlid，鱼雷罐车罐盖拟合特征的拟合轮廓11如图示， 综合以上参数为Infoc＝(oneck,rneck,γneck,olid,rlid,γlid)。
在信息转换中，对鱼雷罐车罐口及罐盖视觉系统提取椭圆特征，通过标定的相 机内参K和相机1相对于机器人3的齐次变换矩阵将获取的图像坐标系中的信 息转换到机器人坐标系中，视觉检测获取的目标信息Infoc转换到机器人坐标系得到 目标在机器人坐标系下的信息矩阵为再将该信息矩阵传递 给机器人进行加盖作业。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、 “竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示 的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装 置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的 限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改， 这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的 特征可以任意相互组合。
Claims (9)
1.一种面向冶金作业的鱼雷罐车视觉识别与定位方法，其特征在于，包括以下步骤：
识别步骤：通过视觉传感器对罐车的罐口及罐盖进行定位，识别并提取目标检测的感兴趣区域；
定位步骤：针对感兴趣区域，采用参数自适应进行目标特征检测和目标特征拟合，得到罐口及罐盖的相对于机器人的位姿信息。
2.根据权利要求1所述的面向冶金作业的鱼雷罐车视觉识别与定位方法，其特征在于，所述识别步骤包括：
设备安装步骤：按照设定安装方式进行拍摄设备安装，以保证拍摄视野范围覆盖罐车在轨道上的停靠区域，并不影响机器人进行罐车加盖作业；
标定位姿步骤：标定视觉传感器和罐口所在平面的相对关系，形成标定平面，获取视觉传感器的内参，标定视觉传感器与机器人之间的相对位姿关系；
采样匹配步骤：将视觉传感器固定，在标定平面对罐口目标进行多次采样，得到目标数据样本，预处理后作为标准模板；
模板匹配步骤：通过视觉传感器采集罐口目标，获得采集数据，以滑动窗口的形式将采集数据与标准模板进行模板匹配，获得罐口的坐标范围，划定感兴趣区域。
3.根据权利要求1所述的面向冶金作业的鱼雷罐车视觉识别与定位方法，其特征在于，所述定位步骤包括：
特征测量步骤：基于感兴趣区域，应用参数自适应进行目标特征检测，得到目标特征，对目标特征进行目标特征拟合，得到罐口及罐盖的平面坐标；
位姿传递步骤：基于标定矩阵将罐口及罐盖的平面坐标转为到机器人坐标系中，得到位姿信息后传递至机器人进行罐车加盖作业。
4.一种面向冶金作业的鱼雷罐车视觉识别与定位系统，其特征在于，包括以下模块：
识别模块：通过视觉传感器对罐车的罐口及罐盖进行定位，识别并提取目标检测的感兴趣区域；
定位模块：针对感兴趣区域，采用参数自适应进行目标特征检测和目标特征拟合，得到罐口及罐盖的相对于机器人的位姿信息。
5.根据权利要求1所述的面向冶金作业的鱼雷罐车视觉识别与定位系统，其特征在于，所述识别模块包括：
设备安装模块：按照设定安装方式进行拍摄设备安装，以保证拍摄视野范围覆盖罐车在轨道上的停靠区域，并不影响机器人进行罐车加盖作业；
标定位姿模块：标定视觉传感器和罐口所在平面的相对关系，形成标定平面，获取视觉传感器的内参，标定视觉传感器与机器人之间的相对位姿关系；
采样匹配模块：将视觉传感器固定，在标定平面对罐口目标进行多次采样，得到目标数据样本，预处理后作为标准模板；
模板匹配模块：通过视觉传感器采集罐口目标，获得采集数据，以滑动窗口的形式将采集数据与标准模板进行模板匹配，获得罐口的坐标范围，划定感兴趣区域。
6.根据权利要求1所述的面向冶金作业的鱼雷罐车视觉识别与定位系统，其特征在于，所述定位模块包括：
特征测量模块：基于感兴趣区域，应用参数自适应进行目标特征检测，得到目标特征，对目标特征进行目标特征拟合，得到罐口及罐盖的平面坐标；
位姿传递模块：基于标定矩阵将罐口及罐盖的平面坐标转为到机器人坐标系中，得到位姿信息后传递至机器人进行罐车加盖作业。
7.根据权利要求2所述的面向冶金作业的鱼雷罐车视觉识别与定位方法或者根据权利要求5所述的面向冶金作业的鱼雷罐车视觉识别与定位系统，其特征在于，所述设定安装方式中，拍摄设备的光轴l与罐口所在平面的法线lp的夹角θ属于小夹角，且满足以下公式：
8.根据权利要求2所述的面向冶金作业的鱼雷罐车视觉识别与定位方法或者根据权利要求5所述的面向冶金作业的鱼雷罐车视觉识别与定位系统，其特征在于，所述模板匹配通过计算图像f(x,y)在像素(u,v)的非相似度m′(u,v)作为匹配尺度，其中非相似度(u,v)表示为重合部分左上角像素坐标；
通过序贯相似性检测算法，对数据I和样本模板MT获得罐口目标的坐标范围SROI＝[xb_1,yb_1,xb_2,yb_2]，作为目标检测的感兴趣区域；
其中，n×m表示模板的大小；
(k,l)表示像素坐标索引；
t(k,l)表示模板在像素(k,l)的值；
(xb_1,yb_1)表示SROI左上角像素坐标；
(xb_2,yb_2)表示SROI右下角像素坐标。
9.根据权利要求3所述的面向冶金作业的鱼雷罐车视觉识别与定位方法或者根据权利要求6所述的面向冶金作业的鱼雷罐车视觉识别与定位系统，其特征在于，所述目标特征拟合采用椭圆拟合，得到目标特征在平面坐标中的精确定位；
对于罐口及罐盖检测，分别获取目标椭圆中心、长短轴信息以及拟合椭圆偏角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910486497.5A CN110378957B (zh) | 2019-06-05 | 2019-06-05 | 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910486497.5A CN110378957B (zh) | 2019-06-05 | 2019-06-05 | 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110378957A true CN110378957A (zh) | 2019-10-25 |
| CN110378957B CN110378957B (zh) | 2021-08-10 |
Family
ID=68249758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910486497.5A Active CN110378957B (zh) | 2019-06-05 | 2019-06-05 | 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378957B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734750A (zh) * | 2021-01-25 | 2021-04-30 | 上海交通大学 | 罐盖视觉检测与定位方法及系统、介质、装置 |
| CN112782686A (zh) * | 2020-12-15 | 2021-05-11 | 浙江中控技术股份有限公司 | 基于多维识别定位技术的装车自动对位系统及方法 |
| CN113313725A (zh) * | 2021-05-28 | 2021-08-27 | 湖北三江航天江河化工科技有限公司 | 含能材料药桶的桶口识别方法及系统 |
| CN113361303A (zh) * | 2020-03-05 | 2021-09-07 | 百度在线网络技术（北京）有限公司 | 临时交通标志牌识别方法、装置及设备 |
| WO2023241664A1 (zh) * | 2022-06-17 | 2023-12-21 | 宝山钢铁股份有限公司 | 鱼雷罐保温盖和罐口中心定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7781689B2 (en) * | 2007-08-21 | 2010-08-24 | Eaton Corporation | Network protector retrofit handle assembly |
| CN105930858A (zh) * | 2016-04-06 | 2016-09-07 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
| CN107363251A (zh) * | 2017-08-31 | 2017-11-21 | 山东莱钢永锋钢铁有限公司 | 鱼雷罐自动加盖装置 |
| CN107992881A (zh) * | 2017-11-13 | 2018-05-04 | 广州中国科学院先进技术研究所 | 一种机器人动态抓取方法及系统 |
| CN108213008A (zh) * | 2018-01-23 | 2018-06-29 | 安徽工业大学 | 一种轮式油罐车罐底残油清理机器人及清理方法 |
| CN108389179A (zh) * | 2018-01-15 | 2018-08-10 | 湖南大学 | 一种基于机器视觉的罐盖表面缺陷检测方法 |
| CN109018591A (zh) * | 2018-08-09 | 2018-12-18 | 沈阳建筑大学 | 一种基于计算机视觉的自动贴标定位方法 |
-
2019
- 2019-06-05 CN CN201910486497.5A patent/CN110378957B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7781689B2 (en) * | 2007-08-21 | 2010-08-24 | Eaton Corporation | Network protector retrofit handle assembly |
| CN105930858A (zh) * | 2016-04-06 | 2016-09-07 | 吴晓军 | 一种带旋转、缩放的快速高精度几何模板匹配方法 |
| CN107363251A (zh) * | 2017-08-31 | 2017-11-21 | 山东莱钢永锋钢铁有限公司 | 鱼雷罐自动加盖装置 |
| CN107992881A (zh) * | 2017-11-13 | 2018-05-04 | 广州中国科学院先进技术研究所 | 一种机器人动态抓取方法及系统 |
| CN108389179A (zh) * | 2018-01-15 | 2018-08-10 | 湖南大学 | 一种基于机器视觉的罐盖表面缺陷检测方法 |
| CN108213008A (zh) * | 2018-01-23 | 2018-06-29 | 安徽工业大学 | 一种轮式油罐车罐底残油清理机器人及清理方法 |
| CN109018591A (zh) * | 2018-08-09 | 2018-12-18 | 沈阳建筑大学 | 一种基于计算机视觉的自动贴标定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIBAO ZHANG ET AL.: "Saliency-Driven Oil Tank Detection Based on Multidimensional Feature Vector Clustering for SAR Images", 《 IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 * |
| 童磊: "面向机器人抓取的零件识别与定位方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361303A (zh) * | 2020-03-05 | 2021-09-07 | 百度在线网络技术（北京）有限公司 | 临时交通标志牌识别方法、装置及设备 |
| CN112782686A (zh) * | 2020-12-15 | 2021-05-11 | 浙江中控技术股份有限公司 | 基于多维识别定位技术的装车自动对位系统及方法 |
| CN112734750A (zh) * | 2021-01-25 | 2021-04-30 | 上海交通大学 | 罐盖视觉检测与定位方法及系统、介质、装置 |
| CN113313725A (zh) * | 2021-05-28 | 2021-08-27 | 湖北三江航天江河化工科技有限公司 | 含能材料药桶的桶口识别方法及系统 |
| CN113313725B (zh) * | 2021-05-28 | 2022-06-17 | 湖北三江航天江河化工科技有限公司 | 含能材料药桶的桶口识别方法及系统 |
| WO2023241664A1 (zh) * | 2022-06-17 | 2023-12-21 | 宝山钢铁股份有限公司 | 鱼雷罐保温盖和罐口中心定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110378957B (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378957A (zh) | 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 | |
| CN110807355B (zh) | 一种基于移动机器人的指针仪表检测与读数识别方法 | |
| CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
| CN110378376A (zh) | 一种基于机器视觉的加油口目标识别定位方法 | |
| CN109101924A (zh) | 一种基于机器学习的路面交通标志识别方法 | |
| CN109658397A (zh) | 一种轨道巡检方法及系统 | |
| CN105528789B (zh) | 机器人视觉定位方法和装置、视觉标定方法和装置 | |
| Shen et al. | A positioning lockholes of container corner castings method based on image recognition | |
| CN105403147B (zh) | 一种基于嵌入式的瓶胚检测系统和检测方法 | |
| Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
| CN104050446A (zh) | 一种基于指针宽度特征的仪表指针图像识别方法 | |
| CN110414355A (zh) | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 | |
| CN108394814A (zh) | 基于图像识别的岸桥大车引导系统及方法 | |
| CN103324913A (zh) | 一种基于形状特征和轨迹分析的行人事件检测方法 | |
| CN114511014A (zh) | 基于图像深度学习算法的地铁隧道渗漏水检测系统及方法 | |
| CN109911481A (zh) | 面向冶金机器人接插的仓架目标视觉识别定位方法和系统 | |
| CN113666028B (zh) | 一种基于激光雷达和相机融合的垃圾桶检测抓取方法 | |
| CN112734750B (zh) | 罐盖视觉检测与定位方法及系统、介质、装置 | |
| CN111767780A (zh) | 一种ai与视觉结合的智能集卡定位方法和系统 | |
| CN112017249A (zh) | 车载摄像头滚转角获取、安装角度校正方法及设备 | |
| CN108460800A (zh) | 集装箱图像定位方法及系统 | |
| CN113184707A (zh) | 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统 | |
| CN110956180B (zh) | 配重重量的检测方法与系统、获取方法与系统及起重机 | |
| CN107767366B (zh) | 一种输电线路拟合方法及装置 | |
| CN105740827B (zh) | 一种基于快速标记连通的停止线检测与测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |