CN113902996A - 一种集装箱锁销拆卸视觉系统 - Google Patents

一种集装箱锁销拆卸视觉系统 Download PDF

Info

Publication number
CN113902996A
CN113902996A CN202111048732.4A CN202111048732A CN113902996A CN 113902996 A CN113902996 A CN 113902996A CN 202111048732 A CN202111048732 A CN 202111048732A CN 113902996 A CN113902996 A CN 113902996A
Authority
CN
China
Prior art keywords
lock pin
binocular camera
visual
container
v4tiny
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111048732.4A
Other languages
English (en)
Inventor
黄智彬
陈国初
汪兆冉
李保江
王西超
赵永新
张瑜杰
胡军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202111048732.4A priority Critical patent/CN113902996A/zh
Publication of CN113902996A publication Critical patent/CN113902996A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种集装箱锁销拆卸视觉系统，包括视觉识别系统和视觉测距系统，视觉识别系统和视觉测距系统均连接有双目相机模块，视觉识别系统的数据处理过程包括采用预先建立并训练好的Yolo‑V4tiny锁销模型识别锁销的种类，通过通道修剪算法修剪训练后的Yolo‑V4tiny锁销模型中的冗余通道和权重参数；视觉测距系统的数据处理过程包括：双目相机标定步骤和视觉测距步骤，双目相机标定步骤通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数，视觉测距步骤利用矩形顶点特征的Harris算法检测出四个角点得到像素坐标结合优化后的双目相机立体标定参数，实现对待测距点的精确定位。与现有技术相比，本发明提高了对集装箱锁销的识别准确度和测距精度。

Description

一种集装箱锁销拆卸视觉系统
技术领域
本发明涉及集装箱锁销自动拆卸技术领域，尤其是涉及一种集装箱锁销拆卸视觉系统。
背景技术
近年来自动化码头的发展十分火热，机械臂拆卸集装箱锁销对于自动化码头来说不可或缺，视觉识别技术和视觉测距技术应用在机械臂拆卸集装箱锁销的过程中必不可少，由于集装箱锁销的种类十分丰富，每类集装箱锁销对应的拆卸夹具也不一样，所以对于机械臂拆卸集装箱锁销来说，需要两步来完成，第一步，先通过视觉识别技术识别出待拆卸集装箱锁销的类别，接着机械臂装上对应的夹具；第二步，通过视觉测距技术测量出夹具到集装箱锁销的距离，使机械臂能够精准的完成对集装箱锁销的拆卸。
对于视觉识别技术，如果识别集装箱锁销类别的准确度不高，会使得机械臂安装错误的夹具，导致机械臂无法拆卸集装箱锁销；对于视觉测距技术，如果测量夹具到集装箱锁销的距离不够精确，一方面会导致机械臂无法拆卸集装箱锁销，另一方面还可能损坏夹具、集装箱锁销和机械臂自身，因此对于机械臂拆卸集装箱锁销的视觉识别技术和视觉测距技术研究是十分必要的。
目前视觉识别技术和视觉测距技术的运用领域十分广泛，现有的自动识别技术有条形码识别技术、IC卡识别技术、光学字符识别技术和射频技术识别等等，但是应用在机械臂拆卸集装箱锁销中的识别技术比较少；现有的测距技术有超声波测距技术、红外线测距技术、电涡流测距技术、雷达测距技术和激光测距技术等等，但是应用在机械臂拆卸集装箱锁销中的测距技术比较少。
对于识别技术，目前存在的识别技术对于机械臂拆卸集装箱锁销的实用性不高，如条形码识别技术利用光电转换器和光学知识完成对条形码的识别；IC卡识别技术利用电磁波在寻呼器和应答器之间通信完成对IC卡的识别；光学字符识别技术利用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术；射频识别技术利用发射天线发送一定频率的射频信号，射频卡进入工作区域后产生感应电流，获得能量激活，将自身信息发生出去完成射频的识别；图像识别技术利用图像分割、图像特征提取和分类器的识别完成对图像的识别，这项技术被广泛应用于人脸识别、车牌识别、字迹识别等等，但是没有应用于集装箱锁销的图像识别技术。这些识别技术并不适用于对集装箱锁销的识别。
对于测距技术，目前应用的测距技术对于机械臂拆卸集装箱锁销存在各种各样的缺点，如电涡流测距技术容易受环境磁场影响；超声波测距技术不适宜测量较近物体，存在测量盲区；红外线测距技术受环境影响大；激光测距技术难以实现机械臂到达需要拆卸集装箱锁销的位置对该锁销实现拆卸；视觉测距技术单独应用于集装箱锁销的测距来说难以实现，因为集装箱锁销的测距点在待测距图像中不易定位，需要结合相关算法来完成对集装箱测距点的定位以实现对集装箱锁销的测距。使用这些技术无法保证机械臂可以高精度的完成集装箱锁销的拆卸，这样会使得机械臂在拆卸锁销的过程中损坏夹具、集装箱锁销和机械臂自身，影响自动化码头的工作效率，造成难以估量的损失。
发明内容
本发明的目的就是为了克服上述现有技术存在集装箱锁销拆卸系统对集装箱锁销识别准确度和测距不高的缺陷而提供一种集装箱锁销拆卸视觉系统。
本发明的目的可以通过以下技术方案来实现：
一种集装箱锁销拆卸视觉系统，包括视觉识别系统和视觉测距系统，所述视觉识别系统和视觉测距系统均连接有双目相机模块，所述视觉识别系统的数据处理过程包括采用预先建立并训练好的Yolo-V4tiny锁销模型识别锁销的种类；
所述Yolo-V4tiny锁销模型的训练过程包括通过所述双目相机模块采集各类集装箱锁销的视频，并解码为若干图片，作为数据集，通过数据标注软件对数据集中的锁销设置标注框，然后载入Yolo-V4tiny锁销模型中进行训练，并通过通道修剪算法修剪训练后的Yolo-V4tiny锁销模型中的冗余通道和权重参数，选取修建后的权重参数用于Yolo-V4tiny锁销模型中，作为训练好的Yolo-V4tiny锁销模型。
进一步地，所述视觉测距系统的数据处理过程包括：双目相机标定步骤和视觉测距步骤。
进一步地，所述双目相机标定步骤包括：
S101：通过张正友棋盘标定法得到的双目相机立体标定参数，将其作为初代变量，并在双目相机模块输出的左右图像中设置棋盘格；
S102：通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值，求和后取平均作为初代优化函数值；
S103：设置初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数，通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
进一步地，所述视觉测距步骤包括：
S201：通过预先构建并训练好的Yolov4-tiny测距模型，检测实时图像中集装箱锁销的待测距区域矩形框并标注，将该待测距区域矩形框显示为白色；
S202：设置二值化阈值为白色对应的灰度值，对标注有待测距区域矩形框的实时图像进行图像二值化，滤除除白色外的冗余背景；
S203：利用矩形顶点特征的Harris算法检测出四个角点得到像素坐标；
S204：将优化后的双目相机立体标定参数和待测距点的像素坐标结合SGBM立体匹配算法进行测距，得到机器人到集装箱锁销的距离。
进一步地，所述双目平行极线约束用于约束所述双目相机模块的平行程度。
进一步地，所述双目相机模块安装在电动滑轨上，所述采集各类集装箱锁销的视频具体为：在电动滑轨上设定起点和终点，驱动所述双目相机模块在电动滑轨上来回移动，采集各类集装箱锁销的视频。
进一步地，所述数据集分为训练集和测试集，采用所述训练集训练所述Yolo-V4tiny锁销模型，采用所述测试集测试所述Yolo-V4tiny锁销模型的预测精度。
进一步地，所述双目相机模块包括双目摄像头。
进一步地，所述双目相机模块还包括液压阻尼云台，所述双目摄像头安装在该液压阻尼云台上。
进一步地，所述集装箱锁销拆卸视觉系统还包括计算机，所述双目摄像头和液压阻尼云台均通信连接所述计算机，所述计算机用于执行所述视觉识别系统和视觉测距系统的数据处理过程。
与现有技术相比，本发明具有以下优点：
(1)本技术方案使用视觉识别模块和视觉测距模块，视觉识别模块性能更高，可靠性更好，可以实现高精度识别集装箱锁销类型；视觉测距模块性能更高，可靠性更好，可以实现高精度测距，同时在参数优化上选择基于双目平行极线约束的天牛须搜索算法以及在定位测量点时采用矩形顶点特征的Harris算法实现更高精度的定位。
(2)本发明设计了一种集装箱锁销拆卸视觉系统，实现了对待拆卸集装箱锁销的高精度识别、机械臂高精度的拆卸集装箱锁销和其运行状态下距离的可视化显示，并且克服了传统技术对集装箱锁销识别的准确度不高和对机械臂拆卸集装箱锁销的测距精度不高，避免因识别准确度问题导致机械臂无法拆卸集装箱锁销和因测距精度问题导致夹具、集装箱锁销和机械臂自身的损坏。
(3)本发明与传统视觉系统相比，结合了视觉识别模块和视觉测距模块，既可以实现对集装箱锁销类型的识别又可以实现测量夹具上平面到集装箱锁销的距离。对于视觉识别模块，在神经网络的选择上采用了YoloV4网络，该网络训练速度更快，识别准确率更高，可靠性更好。在测距过程中，对于标定参数的优化采用了双目平行极线约束的天牛须搜索算法实现了对测量点更高精确的定位。还加入了该算法与粒子群算法和退火模拟算法进行参数优化结果的比对，进一步地提高了该测距系统的测量精度。
(4)机械臂自动化拆卸集装箱锁销在实现自动化码头的过程中是一个至关重要的环节，而实现视觉系统的高识别准确度和高测距精度对于机械臂拆卸集装箱锁销的精度、效率和实现自动化码头的高效率运作都有着决定性的作用。本发明实现了对机械臂高精度、高效率的拆卸集装箱锁销，避免了因识别准确度问题导致机械臂无法拆卸集装箱锁销和因测距精度低所带来的夹具、集装箱锁销、机械臂自身的损坏和机械臂拆卸集装锁销工作效率低的问题。
附图说明
图1为本发明实施例中提供的一种集装箱锁销拆卸视觉系统的数据处理流程示意图；
图2为本发明实施例中提供的一种机械臂拆卸集装箱锁销的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1和图2所示，本实施例提供一种集装箱锁销拆卸视觉系统，包括视觉识别系统和视觉测距系统，视觉识别系统和视觉测距系统均连接有双目相机模块，视觉识别系统和视觉测距系统硬件部分设计包括双目相机模块和激光发射器；视觉识别系统的软件部分包括程序环境搭建、卷积神经网络搭建程序设计、集装箱锁销图像训练程序设计和集装箱锁销图像识别程序设计；视觉测距系统软件部分包括程序环境搭建、图像分割提取程序设计、双目相机测距程序设计和夹具到抓取位置距离计算程序设计。
下面对视觉识别系统和视觉测距系统进行详细描述。
1、视觉识别系统
视觉识别系统的数据处理过程包括采用预先建立并训练好的Yolo-V4tiny锁销模型识别锁销的种类；
Yolo-V4tiny锁销模型的训练过程为通过双目相机模块采集各类集装箱锁销的视频，并解码为若干图片，作为数据集，通过数据标注软件对数据集中的锁销设置标注框，然后载入Yolo-V4tiny锁销模型中进行训练，并通过通道修剪算法修剪训练后的Yolo-V4tiny锁销模型中的冗余通道和权重参数，选取修建后的权重参数用于Yolo-V4tiny锁销模型中，作为训练好的Yolo-V4tiny锁销模型。
作为一种优选的实施方式，双目相机模块安装在电动滑轨上，采集各类集装箱锁销的视频具体为：在电动滑轨上设定起点和终点，驱动双目相机模块在电动滑轨上来回移动，采集各类集装箱锁销的视频。
对于视觉识别部分，由于锁销种类较多以及现场测量的环境相对复杂使得检测模型的参数数量增加导致检测率下降，故使用通道修剪的Yolo-V4tiny的深度学习算法进行锁销种类的检测。
2、视觉测距系统
视觉测距系统的数据处理过程包括：双目相机标定步骤和视觉测距步骤。
双目相机标定步骤包括：
S101：通过张正友棋盘标定法得到的双目相机立体标定参数，将其作为初代变量，并在双目相机模块输出的左右图像中设置棋盘格；
S102：通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值，求和后取平均作为初代优化函数值；
S103：设置初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数，通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
双目平行极线约束用于约束双目相机模块的平行程度。
视觉测距步骤包括：
S201：通过预先构建并训练好的Yolov4-tiny测距模型，检测实时图像中集装箱锁销的待测距区域矩形框并标注，将该待测距区域矩形框显示为白色；
S202：设置二值化阈值为白色对应的灰度值，对标注有待测距区域矩形框的实时图像进行图像二值化，滤除除白色外的冗余背景；
S203：利用矩形顶点特征的Harris算法检测出四个角点得到像素坐标；
S204：将优化后的双目相机立体标定参数和待测距点的像素坐标结合SGBM立体匹配算法进行测距，得到机器人到集装箱锁销的距离。
相当于，对于视觉测距部分，为了提高双目测距系统精度和可以精确定位到集装箱锁销上的待测距点，使用一种基于双目相机参数优化和角点检测的双目测距系统。同时双目相机的立体标定参数决定了双目相机的平行程度，双目相机越平行，则测距精度越高，所以有必要对双目相机的立体标定参数进行优化，以提高双目相机的平行程度，从而提高测距精度，使用一种基于双目平行极线约束的天牛须搜索算法优化双目相机的立体标定参数以提高双目相机的平行程度。由于本文的双目测距系统是测量机器人到集装箱锁销上待测距点的距离，需要在实时图像中精确定位到待测距点。针对待测距点的定位，采用角点检测算法将待测距点作为角点进行检测并输出对应的像素坐标以实现精确的定位，通过Yolov4-tiny和矩形顶点特征的Harris角点检测算法以实现对待测距点的精确定位，为后续的测距做好准备。
下面对本实施例集装箱锁销拆卸视觉系统的具体实施过程进行描述。
本实施例涉及一种集装箱锁销拆卸视觉系统，该系统包括装有win10操作系统的PC机、视觉识别模块、视觉测距模块，还有氧化铝标定板等工具。
基于视觉识别模块和视觉测距模块的集装箱锁销拆卸视觉系统，视觉识别模块和视觉测距模块共同包括：索尼IMX179镜头、捷洋JY0506H液压阻尼云台、洋葱工厂HOT DOG二代电动滑轨、，视觉识别模块和视觉测距模块所用相机通过USB连接到装有win10操作系统的PC机上，在PC机上安装Matlab和Pycharm并配置好Python、OpenCV和TensoFlow环境，后续的程序设计都用Python代码实现。
视觉识别模块：首先制作识别集装箱锁销半锁状态的数据集，通过放在洋葱工厂HotDog二代巧克力电动滑轨的云台上的双目摄像头，在设置好起点和终点的条件下，来回往复的对挂在集装箱上的各类集装箱锁销拍摄一段视频，将视频通过基于Python的OpenCV代码解码成若干张图片，按照4：1的比例分为集装箱锁销全锁状态的训练集和测试集，其中80％为集装箱锁销半锁状态的训练集和20％为集装箱锁销半锁状态的测试集。
通过数据标注软件LabelImg在数据集上标注待测锁销的矩形框。将数据集利用2080Ti上的GPU在Yolov4-tiny模型上进行训练，通过通道修剪算法修剪训练后的Yolo-V4tiny锁销模型中的冗余通道和权重参数，将上述得到的权重参数应用于Yolov4-tiny模型中用来检测锁销的种类。
视觉测距模块：首先通过张正友棋盘标定法得到的双目相机立体标定参数，将其作为初代变量。通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值和的平均值作为初代优化函数值。设置好初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数后通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
制作视觉测距数据集采用与视觉识别同样的方法，通过数据标注软件LabelImg在数据集上标注待测距区域矩形框。将数据集利用2080Ti上的GPU在Yolov4-tiny模型上进行训练以得到相应的权重参数为后续实时检测待测距区域矩形框做准备。将上述得到的权重参数应用于Yolov4-tiny模型中用来检测实时图像中集装箱锁销的待测距区域矩形框并将框的颜色显示成白色。之后利用图像二值化的特性通过将阈值设置为白色对应的灰度值对数据标注后的实时图像进行图像二值化以保留白色的待测距区域矩形框，滤除除白色外的冗余背景以减少后续检测出冗余的角点，最后利用矩形顶点特征的Harris算法检测出四个角点得到像素坐标。将优化后的立体标定参数和待测距点的像素坐标结合SGBM立体匹配算法进行测距以得到机器人到集装箱锁销的距离。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种集装箱锁销拆卸视觉系统，其特征在于，包括视觉识别系统和视觉测距系统，所述视觉识别系统和视觉测距系统均连接有双目相机模块，所述视觉识别系统的数据处理过程包括采用预先建立并训练好的Yolo-V4tiny锁销模型识别锁销的种类；
所述Yolo-V4tiny锁销模型的训练过程包括通过所述双目相机模块采集各类集装箱锁销的视频，并解码为若干图片，作为数据集，通过数据标注软件对数据集中的锁销设置标注框，然后载入Yolo-V4tiny锁销模型中进行训练，并通过通道修剪算法修剪训练后的Yolo-V4tiny锁销模型中的冗余通道和权重参数，选取修建后的权重参数用于Yolo-V4tiny锁销模型中，作为训练好的Yolo-V4tiny锁销模型。
2.根据权利要求1所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述视觉测距系统的数据处理过程包括：双目相机标定步骤和视觉测距步骤。
3.根据权利要求2所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述双目相机标定步骤包括：
S101：通过张正友棋盘标定法得到的双目相机立体标定参数，将其作为初代变量，并在双目相机模块输出的左右图像中设置棋盘格；
S102：通过Bouguet算法对含有棋盘格的左右图像进行立体校正，检测出左右图像中棋盘格上所有的角点并得到相应的像素纵坐标，计算每个棋盘角点在立体校正后的左右图像中成像点在像素坐标系下纵坐标的差值，求和后取平均作为初代优化函数值；
S103：设置初代变量、初代优化函数值、步长、随机方向向量、迭代次数和变步长系数，通过基于双目平行极线约束的天牛须搜索算法优化双目相机立体标定参数以得到最优参数。
4.根据权利要求3所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述视觉测距步骤包括：
S201：通过预先构建并训练好的Yolov4-tiny测距模型，检测实时图像中集装箱锁销的待测距区域矩形框并标注，将该待测距区域矩形框显示为白色；
S202：设置二值化阈值为白色对应的灰度值，对标注有待测距区域矩形框的实时图像进行图像二值化，滤除除白色外的冗余背景；
S203：利用矩形顶点特征的Harris算法检测出四个角点得到像素坐标；
S204：将优化后的双目相机立体标定参数和待测距点的像素坐标结合SGBM立体匹配算法进行测距，得到机器人到集装箱锁销的距离。
5.根据权利要求3所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述双目平行极线约束用于约束所述双目相机模块的平行程度。
6.根据权利要求1所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述双目相机模块安装在电动滑轨上，所述采集各类集装箱锁销的视频具体为：在电动滑轨上设定起点和终点，驱动所述双目相机模块在电动滑轨上来回移动，采集各类集装箱锁销的视频。
7.根据权利要求1所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述数据集分为训练集和测试集，采用所述训练集训练所述Yolo-V4tiny锁销模型，采用所述测试集测试所述Yolo-V4tiny锁销模型的预测精度。
8.根据权利要求1所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述双目相机模块包括双目摄像头。
9.根据权利要求8所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述双目相机模块还包括液压阻尼云台，所述双目摄像头安装在该液压阻尼云台上。
10.根据权利要求8所述的一种集装箱锁销拆卸视觉系统，其特征在于，所述集装箱锁销拆卸视觉系统还包括计算机，所述双目摄像头和液压阻尼云台均通信连接所述计算机，所述计算机用于执行所述视觉识别系统和视觉测距系统的数据处理过程。
CN202111048732.4A 2021-09-08 2021-09-08 一种集装箱锁销拆卸视觉系统 Withdrawn CN113902996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111048732.4A CN113902996A (zh) 2021-09-08 2021-09-08 一种集装箱锁销拆卸视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111048732.4A CN113902996A (zh) 2021-09-08 2021-09-08 一种集装箱锁销拆卸视觉系统

Publications (1)

Publication Number Publication Date
CN113902996A true CN113902996A (zh) 2022-01-07

Family

ID=79188838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111048732.4A Withdrawn CN113902996A (zh) 2021-09-08 2021-09-08 一种集装箱锁销拆卸视觉系统

Country Status (1)

Country Link
CN (1) CN113902996A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114872591A (zh) * 2022-04-28 2022-08-09 上海电机学院 一种汽车主驾座椅自适应调节系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114872591A (zh) * 2022-04-28 2022-08-09 上海电机学院 一种汽车主驾座椅自适应调节系统

Similar Documents

Publication Publication Date Title
KR101910484B1 (ko) 3차원(3d) 비전 검사를 위한 방법
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN107957246B (zh) 基于双目视觉的传送带上物体几何尺寸测量方法
CN107527368B (zh) 基于二维码的三维空间姿态定位方法与装置
CN111767780B (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN115609591B (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN107092905B (zh) 一种电力巡检机器人的待识别仪器定位方法
CN115937203B (zh) 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN110865077A (zh) 用于rfid天线生产的外观缺陷视觉检测系统
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
CN103824275A (zh) 在图像中搜寻鞍点状结构并测定其信息的系统和方法
CN112683228A (zh) 单目相机测距方法及装置
CN113902996A (zh) 一种集装箱锁销拆卸视觉系统
CN117058063A (zh) 电池缺陷检测方法、装置和电子设备
Li et al. Feature point extraction and tracking based on a local adaptive threshold
CN111336938A (zh) 一种机器人及其物体距离检测方法和装置
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN116823708A (zh) 基于机器视觉的pc构件边模识别与定位研究
CN115164751A (zh) 一种铆接孔径尺寸检测系统及方法
CN111507177B (zh) 一种用于计量周转柜的识别方法及装置
CN113970560A (zh) 一种基于多传感融合的缺陷三维检测方法
CN114166846A (zh) 一种钢铁行业冷轧卷断面条码及缺陷检测装置
Niblock et al. Fast model-based feature matching technique applied to airport lighting
CN116310280A (zh) 一种基于Opencv的铭牌自动定位识别方法
US20240144624A1 (en) Measurement apparatus, measurement system, and measurement method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220107

WW01 Invention patent application withdrawn after publication