CN115108466A - 一种集装箱吊具智能定位的方法 - Google Patents
一种集装箱吊具智能定位的方法 Download PDFInfo
- Publication number
- CN115108466A CN115108466A CN202111572040.XA CN202111572040A CN115108466A CN 115108466 A CN115108466 A CN 115108466A CN 202111572040 A CN202111572040 A CN 202111572040A CN 115108466 A CN115108466 A CN 115108466A
- Authority
- CN
- China
- Prior art keywords
- image
- container
- target
- coordinates
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000013519 translation Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 29
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000007476 Maximum Likelihood Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 8
- 238000002834 transmittance Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000149 argon plasma sintering Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种集装箱吊具智能定位的方法,包括S1获取多组左、右摄像机拍摄的图像角点特征点;S2求取双目摄像机径向畸变参数;S3校正优化后的双目摄像机的平移及旋转矩阵;S4、判断双目摄像机标定计算结果是否位于正常值范围内;S5、拍摄目标区域集装箱并判定清晰度;S6、提取获取视频图像中的暗通道RGB图像;S7、根据暗通道RGB图像数据,估算大气光值和透射率;S8、输出去雾处理后的清晰图像;S9、根据起重机所在区域位置,手动截取确定目标集装箱并实时目标匹配图像;S10、得到预处理后目标集装箱锁孔图像像素坐标;S11、计算得到目标集装箱三维空间坐标;S12、采用RFID识别方法将位置信息传送至起重机运动控制系统,并自动存档起吊过程数据。
Description
技术领域
本发明智能定位的技术领域,具体涉及一种集装箱吊具智能定位的方法。
背景技术
集装箱起重机操作人员凭经验完成吊具与集装箱、集装箱与集装箱的对位作业,工作成本高、劳动力需求量大、强度高且效率低。在对位过程中,操作人员往往要多次调整起重机大车、小车才能使吊具对中集装箱,甚至需要通过导向板碰撞集装箱侧壁才能完成对位,既效率低下,又易造成箱、货损坏,严重时将导致装卸作业安全事故的发生。对位过程中,操作人员视野有限,精神高度集中,易产生疲劳现象,也对安全生产不利。因此,自动定位集装箱技术显得日趋关键。
随着我国对外贸易的进一步发展,集装箱数量不断增加,只有专业人员在对位过程中多次调整才能使吊具定位集装箱,于此同时伴随而来的视觉疲劳也影响工作效率。
发明内容
本发明的目的在于针对现有技术中的上述不足,提供一种集装箱吊具智能定位的方法,以解决或改善上述的问题。
为达到上述目的,本发明采取的技术方案是:
一种集装箱吊具智能定位的方法,其包括以下步骤:
S1、根据黑白棋盘标定板角点检测,获取多组左、右摄像机拍摄的图像角点特征点;
S2、基于获取的多组图像角点特征点,采用线性估计最小乘法求取双目摄像机径向畸变参数;
S3、根据极大似然估计法获取校正优化后的双目摄像机的平移及旋转矩阵;
S4、判断双目摄像机标定计算结果是否位于正常值范围内,若位于,则执行步骤S5,否则,执行步骤S1;
S5、启动双目摄像机连续拍摄目标区域集装箱并判定清晰度,若清晰度满足预设要求,则执行步骤S9,否则,执行步骤S6;
S6、提取获取视频图像中的暗通道RGB图像;
S7、根据暗通道RGB图像数据,估算大气光值和透射率,并进行去雾处理;
S8、输出去雾处理后的清晰图像;
S9、根据起重机所在区域位置,手动截取确定目标集装箱并实时目标匹配图像;
S10、根据遍历图像像素进行中值模糊去噪处理、高斯平滑处理以及二值化阈值自适应,得到预处理后目标集装箱锁孔图像像素坐标;
S11、根据双目摄像机内部参数、平移矩阵、旋转矩阵和目标集装箱锁孔图像像素点坐标计算得到目标集装箱三维空间坐标;
S12、采用RFID识别方法将位置信息传送至起重机运动控制系统,并自动存档起吊过程数据。
进一步地,步骤S1中根据黑白棋盘标定板角点检测,获取多组左、右摄像机拍摄的图像角点特征点,包括:
采用张正友平面摄像机标定法,基于二维平面模板的标定方法,利用黑白棋盘;通过角点检测模板上点和图像上对应点的对应关系计算获取摄像机内参数,并求解出摄像机外参数;
将黑白棋盘放置于集装箱定位的标定区域内,采用OpenCV函数库中函数cvFindchessboardCorners()定位棋盘中的角点。
进一步地,步骤S2中选用32幅图像7*8的棋盘进行摄像机标定。
进一步地,步骤S3中根据极大似然估计法获取校正优化后的双目摄像机的平移及旋转矩阵,包括:
S3.1、制作张氏平面标定板;
S3.2、移动标定板不同角度偏移,拍摄32组平面标定图像;
S3.3、角点检测,检测标定图像中的特征点;
S3.4、基于OpenCV函数库求解摄像机的内部参数和外部参数;
S3.5、采用线性估计最小乘法求解径向畸变参数;
S3.6、基于极大似然估计法求解函数校正优化内外参数和畸变参数。
进一步地,步骤S6中提取获取视频图像中的暗通道RGB图像,包括:
构建大气光散射模型:
I(x)=L∞ρ(x)g-βd(x)+L∞(1-e-βd(x))
其中,I(x)为成像设备获得的图像函数,L∞β(x)e-βd(x)为入射光直接衰减模型数学,L∞为大气光线变量,L∞(1-e-βd(x))为大气光成像模型,ρ(x)为物体表面的反射率,β为大气光衰减系数,d为场景到观测设备之间的距离;
简化大气光散射模型:
I(x)=J(x)t(x)+A(1-t(x))
其中,J(x)=L∞ρ(x)为复原后无雾图像,t(x)=e-βd(x)为传输率或透射率,A=L∞为大气光值。
进一步地,步骤S7中根据暗通道RGB图像数据,估算大气光值和透射率,包括:
基于暗通道提取的图像进行去雾处理:
其中,Jc为图像J其中一个颜色通道,Ω(x)为以x为中心的一个局部子块,暗通道的提取包含R/G/B三个通道中最小像素值求解和一个最小值滤波的过程;
简化为:
基于暗通道图像从有雾的图像中获取全球大气光值A,从暗通道图像中按照亮度的大小取其中前0.1%的像素,并在前0.1%的像素位置中对应找出在原始有雾图像中具有最高亮度的点值,并估计将其作为大气光值A;透射率并不能无限量的小于一定最小值,取t0作为最小值,并作为调整参数引入,得到无雾图像处理的最终表达式为:
其中,J(x)为无雾图像。
进一步地,步骤S9根据起重机所在区域位置,手动截取确定目标集装箱并实时目标匹配图像,包括:根据拍摄图像划定M×N矩阵区域搜寻目标集装箱,并从视野集装箱中截取目标,并与原图像进行模板匹配,保存目标集装箱;
遍历整张图片中的像素坐标查找鼠标所在点的像素坐标同时制订鼠标反馈事件,当单击鼠标左键时启发预定图像的左上角像素的实际坐标,并显示在图像上;鼠标反馈事件此时延迟至选定截取目标图像的右下角坐标,最后图像反应出截取的目标图像,为下一步的目标图像匹配选定模板。
进一步地,步骤S10中根据遍历图像像素进行中值模糊去噪处理、高斯平滑处理以及二值化阈值自适应,得到预处理后目标集装箱锁孔图像像素坐标,包括:
将拍摄的图像进行二值化处理,拍摄到的彩色图像是由图像上的像素点按照灰度值0至255值组成的数组所表达出来的矩阵显示;设图像灰度表示为f(x,y),其中x=1,2,.....,m;y=1,2,.....,n,阀值化过程为:
其中,T表示背景阀值;
采用膨胀与腐蚀相结合的图像处理消除边缘点和由于光线和投影影响而产生的冗余孤立点;
获取拍摄图像中集装箱锁孔像素坐标,使用图像中吊孔位置的黑暗部分的重心坐标来代替其椭圆中心的位置;引用OpenCV函数库中的重心坐标求法,图像二值化后椭圆图像的一阶矩用于计算表达椭圆重心坐标,重心坐标横轴与纵轴坐标为:
采用OpenCV函数cvGetSpatialMoment求解重心方法:
Mpq=sigma(i)sigma(j)ipjqf(i,j)
其中,x,y,i,j为在数字图像中像素坐标点,定义具有两个变化的有界函数f(x,y)的矩集为:
其中,j和k取所有非负整数值,参数j+k称为矩的阶,零阶矩只有一个,表示为:
令Xc,Yc为区域重心的坐标,则:
二值化图像中,M00表示区域面积量,遍历整张图像中的黑色点集,统计累加对应各个连通区域x、y方向点集M10和M01,计算各个单个区域内连成块的黑色区域面积M00,各个连通区域的的重心坐标表示为:
进一步地,步骤S10中根据双目摄像机内部参数、平移矩阵、旋转矩阵和目标集装箱锁孔图像像素点坐标计算得到目标集装箱三维空间坐标,包括:
基线距离是指两台摄像机投影中心连线距离,设为B;两台摄像机在同一时刻观看空间物体的同一特征点P,分别在左摄像机和右摄像机上获取点P图像坐标为Pleft=(Xleft,Yleft),Pright=(Xright,Yright);根据两平行摄像机设置原理,两摄像机在同一平面上则特征点P的图像坐标上的Y坐标相同,即Yleft=Yright=Y,则由三角形相似性原理可得:
根据视差Disparity=Xleft-Xright,则空间三维特征点坐标为:
本发明提供的集装箱吊具智能定位的方法,具有以下有益效果:
本发明基于双目机器视觉的集装箱智能定位方法,对双目机器视觉用于集装箱定位系统的场景构建、图像分析处理等方面完成了全面构建,在实时图像处理、恶劣天气条件下预处理图像方法、集装箱颜色自动识别等方面提出解决方案,可实现集装箱起重机吊具与集装箱的自动对位。
本发明可实现集装箱起重机吊具与集装箱的自动对位,提升集装箱起重机自动化作业水平,提高集装箱起重机的作业效率,减轻操作人员的疲劳强度,减少装卸作业安全事故的发生,具有重要的应用和经济价值。
本发明可实时分析处理装在吊具上的摄像机实时拍摄的目标集装箱图像,实现目标集装箱的自动定位功能,包括摄像机自主标定,集装箱颜色识别,恶劣天气识别集装箱位置等功能,以满足自动反馈集装箱位置信息。
本发明基于机器视觉的图像识别方法:针对集装箱图像目标,对采集到的图像信息进行数字化处理,同时进行图像分割和特征匹配,消除天气、亮度和环境等影响因素,编程实现集装箱的智能识别。
本发明基于机器视觉的位置计算方法:集装箱数字化识别后,应用机器视觉中的双目视觉原理,计算出吊具与集装箱的三维空间相对位置值,编程实现集装箱的位置确定。
附图说明
图1为集装箱吊具智能定位的方法的流程图。
图2为双目标定流程原理进行图。
图3为去雾处理流程图。
图4为集装箱锁孔中心图。
图5为双目机器视觉立体成像原理示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
根据本申请的实施例1,参考图1,本方案的集装箱吊具智能定位的方法,包括以下步骤:
步骤S1、根据黑白棋盘标定板角点检测,获取多组左、右摄像机拍摄的图像角点特征点;
步骤S2、基于获取的多组图像角点特征点,采用线性估计最小乘法求取双目摄像机径向畸变参数;
步骤S3、根据极大似然估计法获取校正优化后的双目摄像机的平移及旋转矩阵;
步骤S4、判断双目摄像机标定计算结果是否位于正常值范围内,若位于,则执行步骤S5,否则,执行步骤S1;
步骤S5、启动双目摄像机连续拍摄目标区域集装箱并判定清晰度,若清晰度满足预设要求,则执行步骤S9,否则,执行步骤S6;
步骤S6、提取获取视频图像中的暗通道RGB图像;
步骤S7、根据暗通道RGB图像数据,估算大气光值和透射率,并进行去雾处理;
步骤S8、输出去雾处理后的清晰图像;
步骤S9、根据起重机所在区域位置,手动截取确定目标集装箱并实时目标匹配图像;
步骤S10、根据遍历图像像素进行中值模糊去噪处理、高斯平滑处理以及二值化阈值自适应,得到预处理后目标集装箱锁孔图像像素坐标;
步骤S11、根据双目摄像机内部参数、平移矩阵、旋转矩阵和目标集装箱锁孔图像像素点坐标计算得到目标集装箱三维空间坐标;
步骤S12、采用RFID识别方法将位置信息传送至起重机运动控制系统,并自动存档起吊过程数据。
本发明可满足集装箱操作人员快速定位目标集装箱,同时引入自动识别和人工干预两种模式实现集装箱的准确定位和安全保护,每次提取信息结束后系统将自动生成操作过程信息说明书,实现每一步自动存档。
根据本申请的实施例2,参考图2-图5,本实施例将对实施例1进行详细描述,具体包括:
步骤S1、根据黑白棋盘标定板角点检测,获取多组左、右摄像机拍摄的图像角点特征点;
本实施例优选获取32组左、右摄像机拍摄的图像角点特征点;
采用张正友平面摄像机标定法,基于二维平面模板的标定方法,利用一个相对精确定位点阵平面模板,平面模板优选为黑白棋盘。
通过角点检测模板上点和图像上对应点的对应关系计算获取摄像机内参数,并求解出摄像机外参数。
给定一个黑白棋盘放置于集装箱定位的标定区域内同时保证棋盘的视场中没有其他任何的背景干扰,使用OpenCV函数库中函数cvFindchessboardCorners()定位棋盘中的角点。
运用OpenCV函数库求解张氏平面摄像机标定有4个参数(fx,fy,Cx,Cy)和5个畸变参数,其中包括三个径向参数(k1,k2,k3)和两个切向参数(p1,p2)。为求解5个畸变参数同时为了增加鲁棒性则需要更多的参数,这其中需要已知模式的三个角点所产生的6组信息才可以解决5个畸变参数。
利用一个棋盘模型调整棋盘的不同位置计算内参数,在每幅图像中棋盘都是运动变化,棋盘模型中6个不同视场图像位置需要定位三个旋转参数(Rx,Ry,Rz)和三个平移参数(Tx,Ty,Tz)。运用多组标定画面分别识别不同角点位置,可对比了解其差异性并判定其标定稳定性。
步骤S2、将获取到的32组角点特征根据线性估计最小乘法求取双目摄像机径向畸变参数;
为了获取高质量的标定参数,考虑到图像噪点影响和数值稳定性客观变化,需要收集更多棋盘标定图像,本实施例标定参数系统模块设计选用32幅图像7×8的棋盘做摄像机标定。
步骤S3、根据极大似然估计法获取校正优化后的双目摄像机的平移及旋转矩阵;
参考图2,具体包括:
步骤S3.1、制作张氏平面标定板;
步骤S3.2、移动标定模板不同角度偏移,拍摄32组平面标定图像;
步骤S3.3、角点检测,即检测标定图像中的特征点;
步骤S3.4、基于OpenCV函数库求解摄像机的内部参数和外部参数;
步骤S3.5、线性估计最小乘法求解径向畸变参数;
步骤S3.6、基于极大似然估计法求解函数校正优化内外参数和畸变参数。
步骤S4、判定双目摄像机标定计算结果是否正常,若正常或者说位于预设的范围值内,则执行步骤S5,否则,执行步骤S1;
步骤S5、启动双目摄像机连续拍摄目标区域集装箱并判定清晰度是否位于预设值范围内,如果位于,则执行步骤S9,否则,执行S6;
步骤S6、此时的图像出现模糊状态,根据获取到的视频图像进行暗通道RGB图像提取;
图像雾天天气条件下的去雾处理模块,利用暗通道提取完成去雾处理流程,提出去雾效果的客观评价标准,实现从极端天气情况下高空拍摄图像中提取集装箱图像特征信息。
将大气散射的物理模型转化为数学模型:
I(x)=L∞ρ(x)e-βd(x)+L∞(1-e-βd(x))
其中,I(x)为成像设备获得的图像函数,L∞β(x)e-βd(x)为入射光直接衰减模型数学定义,L∞为表示大气光线变量,L∞(1-e-βd(x))为大气光成像模型数学,假设它是恒定不变的,ρ(x)是物体表面的反射率,处理中一般假设不同波段的可见光的大气衰减系数保持不变,β为大气光衰减系数,d为场景到观测设备之间的距离。
大气光散射模型作用再加上入射光衰减作用,共同导致了雾天图像的可视化效果退化,把上述公式可简化为:
I(x)=J(x)t(x)+A(1-t(x))
其中,J(x)=L∞ρ(x)为复原后无雾图像,t(x)=e-βd(x)为传输率或称为透射率,A=L∞为大气光值,可称为大气光学成分。图像去雾的最终目标就是从已有的有雾图像I(x)中恢复最初的无雾图像J(x)、图像传输率t(x)以及大气光值A,已知I(x)求J(x)。
步骤S7、根据暗通道RGB图像数据,估计大气光值和透射率,其具体包括:
步骤S7.1、基于暗通道提取的图像去雾处理方法:
其中,Jc为图像J其中一个颜色通道,Ω(x)为以x为中心的一个局部子块;
步骤S7.2、暗通道的提取包含R/G/B三个通道中最小像素值求解和一个最小值滤波的过程,则上式可转化为:
借助暗通道图像从有雾的图像中获取全球大气光值A,从暗通道图像中按照亮度的大小取其中前0.1%的像素,并在这些位置中对应找出在原始有雾图像中具有最高亮度的点值,并估计其作为大气光值A。
步骤S7.4、透射率并不能无限量的小于一定最小值,可以取t0作为最小值作为调整参数引入,可以得出无雾图像处理的最终公式表达为:
步骤S8、参考图3,去雾处理结束,输出去雾处理后的清晰图像;
根据上述J(x)与I(x)之间的相互关系,逆向推导可分别求解出透射率与求解估计大气光值,结合它们之间各自在R/G/B三通道中的表达关系就能够输出去雾后图像。
步骤S9、根据起重机所处区域位置,手动截取确定目标集装箱并实时目标匹配图像,其具体包括:
集装箱识别的过程中由定位于集装箱防摇吊具上的前后摄像头拍摄的集装箱场景视界中会同时拍摄到相同状态的集装箱不止一个;所以在定位到抓取的集装箱时需要截取并定位具体想要抓取的目标集装箱;通过OpenCV函数库中矩形窗口截图可以有效解决这个问题,鼠标回调函数setMouseCallback。
根据整体拍摄图像划定M×N矩阵区域搜寻目标集装箱,并从视野集装箱中截取目标,最后与原图像进行模板匹配使目标集装箱保存。
遍历整张图片中的像素坐标查找鼠标所在点的像素坐标同时制订鼠标反馈事件,当单击鼠标左键时启发预定图像的左上角像素的实际坐标,并显示在图像上。
鼠标反馈事件此时延迟至选定截取目标图像的右下角坐标,最后图像反应出截取的目标图像,为下一步的目标图像匹配选定模板。
步骤S10、根据遍历图像像素进行中值模糊去噪处理、高斯平滑处理以及二值化阈值自适应,得到预处理后目标集装箱锁孔图像像素坐标,其具体包括:
试验系统拍摄图像的预处理包括图像平滑处理模块、去除图像噪点模块以及图像轮廓拾取模块等。
将所拍摄的实际图像做预先分析处理以便于其后的图像二值化和集装箱吊孔的重心坐标识别。高斯模糊处理可取得更好平滑处理效果,处理函数使用cvSmooth()函数。其拥有4个参数:param1,param2,param3和param4。对图像区域进行中心区域为param1×param2基数的高斯卷积计算。为搜寻到吊孔图像平滑处理的先后顺序也是影响最终目标效果的因素。取param1×param2为5×5区间的高斯卷积计算,按照先原图像获取,再提取轮廓,最后进行平滑处理。
图像二值化处理,拍摄到的彩色图像是由图像上的像素点按照灰度值0至255之间的值组成的数组所表达出来的矩阵显示,设图像灰度表示为f(x,y),其中x=1,2,.....,m;y=1,2,.....,n;阀值化过程可为:
图像二值化使图像中数据量大为减少,快速凸显目标轮廓,减少图像处理量,T表示背景阀值。为得到黑色可将图像上像素点灰度值设置为0或为得到白色可将图像上像素点灰度值设置为255,这样可有目的的得到图像黑、白目标。采用OpenCV函数库对图像二值化操作是cvThreshold()。
集装箱吊孔二值化处理后需要去除多余的噪点干扰,使用膨胀与腐蚀相结合的图像处理作用可以消除边缘点由于光线和投影的影响而产生的一定冗余孤立点。
集装箱图像特征信息提取方案,对比集装箱纹理和锁孔特征进行图像分割,发现集装箱锁孔霍夫变换椭圆拟合与二值化重心法相结合求取锁孔中心。
获取拍摄图像中集装箱锁孔像素坐标,使用图像中吊孔位置的黑暗部分的重心坐标来代替其椭圆中心的位置。引用OpenCV函数库中的重心坐标求法,当椭圆在摄像机平面上所成的像比较小,重心法是一种提取椭圆图像中心较好的方法。
图像二值化后椭圆图像的一阶矩可用于计算表达椭圆重心坐标,重心坐标横轴与纵轴坐标为:
采用OpenCV函数cvGetSpatialMoment求解重心方法:
Mpq=sigma(i)sigma(j)ipjqf(i,j)
其中,x,y,i,j为在数字图像中像素坐标点,定义具有两个变化的有界函数f(x,y)的矩集为:
由上式可知,j和k可取所有非负整数值;参数j+k称为矩的阶,零阶矩只有一个,可以表示为如下形式:
可知上式表示该图像的面积,令Xc,Yc表示区域重心的坐标,则:
二值化图像中,M00表示区域面积量,cvMoments函数被用来获取二值图像的矩信息。以此同时,函数cvGetSpatialMoment可以帮助获得所需维度的矩信息结果。由于在对图像进行二值化处理后只有黑白两种颜色状态,遍历整张图像中的黑色点集,统计累加对应各个连通区域x、y方向点集M10和M01,计算各个单个区域内连成块的黑色区域面积M00;最后各个连通区域的的重心坐标就可以表示为:
按照上述方法计算图像目标点重心坐标,最后显示图像如附图4所示,得到目标坐标点并取得预期处理效果。
步骤S11、根据双目摄像机内部参数、平移矩阵、旋转矩阵和目标集装箱锁孔图像像素点坐标,计算得到目标集装箱三维空间坐标,其具体包括:
基于视差原理提出双目立体视觉运用,由两台摄像机的图像平面和被测物体之间构成一个相似三角形模型,如附图5所示。
已知两摄像机之间参数和图像坐标关系便可以计算出两摄像机拍摄图像中物体的空间特征点的三维坐标位置。基线距离是指两台摄像机投影中心连线距离,设为B;
两台摄像机在同一时刻观看空间物体的同一特征点P,分别在左摄像机(“左眼”)和右摄像机(“右眼”)上获取点P图像坐标为Pleft=(Xleft,Yleft),Pright=(Xright,Yright)。根据两平行摄像机设置原理,两摄像机在同一平面上则特征点P的图像坐标上的Y坐标相同,即Yleft=Yright=Y,则由三角形相似性原理得到下式:
根据视差Disparity=Xleft-Xright,则空间三维特征点坐标为:
对于本实施例点对点的运算特点,左摄像机照片上的任意一点只要能在右摄像机照片上找到对应的匹配点,根据空间相似三角形原则就可以确定该特征点在三维空间上的坐标。
步骤S12、通过RFID识别方法将位置信息传送给起重机运动控制系统,并自动存档起吊过程数据。
虽然结合附图对发明的具体实施方式进行了详细地描述,但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内,本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。
Claims (9)
1.一种集装箱吊具智能定位的方法,其特征在于,包括以下步骤:
S1、根据黑白棋盘标定板角点检测,获取多组左、右摄像机拍摄的图像角点特征点;
S2、基于获取的多组图像角点特征点,采用线性估计最小乘法求取双目摄像机径向畸变参数;
S3、根据极大似然估计法获取校正优化后的双目摄像机的平移及旋转矩阵;
S4、判断双目摄像机标定计算结果是否位于正常值范围内,若位于,则执行步骤S5,否则,执行步骤S1;
S5、启动双目摄像机连续拍摄目标区域集装箱并判定清晰度,若清晰度满足预设要求,则执行步骤S9,否则,执行步骤S6;
S6、提取获取视频图像中的暗通道RGB图像;
S7、根据暗通道RGB图像数据,估算大气光值和透射率,并进行去雾处理;
S8、输出去雾处理后的清晰图像;
S9、根据起重机所在区域位置,手动截取确定目标集装箱并实时目标匹配图像;
S10、根据遍历图像像素进行中值模糊去噪处理、高斯平滑处理以及二值化阈值自适应,得到预处理后目标集装箱锁孔图像像素坐标;
S11、根据双目摄像机内部参数、平移矩阵、旋转矩阵和目标集装箱锁孔图像像素点坐标计算得到目标集装箱三维空间坐标;
S12、采用RFID识别方法将位置信息传送至起重机运动控制系统,并自动存档起吊过程数据。
2.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S1中根据黑白棋盘标定板角点检测,获取多组左、右摄像机拍摄的图像角点特征点,包括:
采用张正友平面摄像机标定法,基于二维平面模板的标定方法,利用黑白棋盘;通过角点检测模板上点和图像上对应点的对应关系计算获取摄像机内参数,并求解出摄像机外参数;
将黑白棋盘放置于集装箱定位的标定区域内,采用OpenCV函数库中函数cvFindchessboardCorners()定位棋盘中的角点。
3.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于:所述步骤S2中选用32幅图像7*8的棋盘进行摄像机标定。
4.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S3中根据极大似然估计法获取校正优化后的双目摄像机的平移及旋转矩阵,包括:
S3.1、制作张氏平面标定板;
S3.2、移动标定板不同角度偏移,拍摄32组平面标定图像;
S3.3、角点检测,检测标定图像中的特征点;
S3.4、基于OpenCV函数库求解摄像机的内部参数和外部参数;
S3.5、采用线性估计最小乘法求解径向畸变参数;
S3.6、基于极大似然估计法求解函数校正优化内外参数和畸变参数。
5.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S6中提取获取视频图像中的暗通道RGB图像,包括:
构建大气光散射模型:
I(x)=L∞ρ(x)e-βd(x)+L∞(1-e-βd(x))
其中,I(x)为成像设备获得的图像函数,L∞β(x)e-βd(x)为入射光直接衰减模型数学,L∞为大气光线变量,L∞(1-e-βd(x))为大气光成像模型,ρ(x)为物体表面的反射率,β为大气光衰减系数,d为场景到观测设备之间的距离;
简化大气光散射模型:
I(x)=J(x)t(x)+A(1-t(x))
其中,J(x)=L∞ρ(x)为复原后无雾图像,t(x)=e-βd(x)为传输率或透射率,A=L∞为大气光值。
6.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S7中根据暗通道RGB图像数据,估算大气光值和透射率,包括:
基于暗通道提取的图像进行去雾处理:
其中,Jc为图像J其中一个颜色通道,Ω(x)为以x为中心的一个局部子块,暗通道的提取包含R/G/B三个通道中最小像素值求解和一个最小值滤波的过程;
简化为:
基于暗通道图像从有雾的图像中获取全球大气光值A,从暗通道图像中按照亮度的大小取其中前0.1%的像素,并在前0.1%的像素位置中对应找出在原始有雾图像中具有最高亮度的点值,并估计将其作为大气光值A;透射率并不能无限量的小于一定最小值,取t0作为最小值,并作为调整参数引入,得到无雾图像处理的最终表达式为:
其中,J(x)为无雾图像。
7.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S9根据起重机所在区域位置,手动截取确定目标集装箱并实时目标匹配图像,包括:根据拍摄图像划定M×N矩阵区域搜寻目标集装箱,并从视野集装箱中截取目标,并与原图像进行模板匹配,保存目标集装箱;
遍历整张图片中的像素坐标查找鼠标所在点的像素坐标同时制订鼠标反馈事件,当单击鼠标左键时启发预定图像的左上角像素的实际坐标,并显示在图像上;鼠标反馈事件此时延迟至选定截取目标图像的右下角坐标,最后图像反应出截取的目标图像,为下一步的目标图像匹配选定模板。
8.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S10中根据遍历图像像素进行中值模糊去噪处理、高斯平滑处理以及二值化阈值自适应,得到预处理后目标集装箱锁孔图像像素坐标,包括:
将拍摄的图像进行二值化处理,拍摄到的彩色图像是由图像上的像素点按照灰度值0至255值组成的数组所表达出来的矩阵显示;设图像灰度表示为f(x,y),其中x=1,2,.....,m;y=1,2,.....,n,阀值化过程为:
其中,T表示背景阀值;
采用膨胀与腐蚀相结合的图像处理消除边缘点和由于光线和投影影响而产生的冗余孤立点;
获取拍摄图像中集装箱锁孔像素坐标,使用图像中吊孔位置的黑暗部分的重心坐标来代替其椭圆中心的位置;引用OpenCV函数库中的重心坐标求法,图像二值化后椭圆图像的一阶矩用于计算表达椭圆重心坐标,重心坐标横轴与纵轴坐标为:
采用OpenCV函数cvGetSpatialMoment求解重心方法:
Mpq=sigma(i)sigma(j)ipjqf(i,j)
其中,x,y,i,j为在数字图像中像素坐标点,定义具有两个变化的有界函数f(x,y)的矩集为:
其中,j和k取所有非负整数值,参数j+k称为矩的阶,零阶矩只有一个,表示为:
令Xc,Yc为区域重心的坐标,则:
二值化图像中,M00表示区域面积量,遍历整张图像中的黑色点集,统计累加对应各个连通区域x、y方向点集M10和M01,计算各个单个区域内连成块的黑色区域面积M00,各个连通区域的的重心坐标表示为:
9.根据权利要求1所述的集装箱吊具智能定位的方法,其特征在于,所述步骤S10中根据双目摄像机内部参数、平移矩阵、旋转矩阵和目标集装箱锁孔图像像素点坐标计算得到目标集装箱三维空间坐标,包括:
基线距离是指两台摄像机投影中心连线距离,设为B;两台摄像机在同一时刻观看空间物体的同一特征点P,分别在左摄像机和右摄像机上获取点P图像坐标为Pleft=(Xleft,Yleft),Pright=(Xright,Yright);根据两平行摄像机设置原理,两摄像机在同一平面上则特征点P的图像坐标上的Y坐标相同,即Yleft=Yright=Y,则由三角形相似性原理可得:
根据视差Disparity=Xleft-Xright,则空间三维特征点坐标为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111572040.XA CN115108466B (zh) | 2021-12-21 | 2021-12-21 | 一种集装箱吊具智能定位的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111572040.XA CN115108466B (zh) | 2021-12-21 | 2021-12-21 | 一种集装箱吊具智能定位的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115108466A true CN115108466A (zh) | 2022-09-27 |
CN115108466B CN115108466B (zh) | 2024-10-15 |
Family
ID=83325232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111572040.XA Active CN115108466B (zh) | 2021-12-21 | 2021-12-21 | 一种集装箱吊具智能定位的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115108466B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375044A (zh) * | 2022-10-24 | 2022-11-22 | 成都易速物流有限公司 | 一种冷链运输车辆实时行驶实时优化配送路线的方法 |
CN116243716A (zh) * | 2023-05-08 | 2023-06-09 | 中铁第四勘察设计院集团有限公司 | 一种融合机器视觉的集装箱智能举升控制方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07291582A (ja) * | 1994-04-28 | 1995-11-07 | Hitachi Ltd | 位置決め認識装置付きクレーン |
KR20120021900A (ko) * | 2010-08-20 | 2012-03-09 | 박상원 | 크레인의 제어장치 |
CN110422284A (zh) * | 2019-07-24 | 2019-11-08 | 华中科技大学 | 一种基于舰船运动预报的主动升沉补偿方法及系统 |
CN112837257A (zh) * | 2019-11-06 | 2021-05-25 | 广州达普绅智能设备有限公司 | 一种基于机器视觉的曲面标签拼接检测方法 |
-
2021
- 2021-12-21 CN CN202111572040.XA patent/CN115108466B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07291582A (ja) * | 1994-04-28 | 1995-11-07 | Hitachi Ltd | 位置決め認識装置付きクレーン |
KR20120021900A (ko) * | 2010-08-20 | 2012-03-09 | 박상원 | 크레인의 제어장치 |
CN110422284A (zh) * | 2019-07-24 | 2019-11-08 | 华中科技大学 | 一种基于舰船运动预报的主动升沉补偿方法及系统 |
CN112837257A (zh) * | 2019-11-06 | 2021-05-25 | 广州达普绅智能设备有限公司 | 一种基于机器视觉的曲面标签拼接检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375044A (zh) * | 2022-10-24 | 2022-11-22 | 成都易速物流有限公司 | 一种冷链运输车辆实时行驶实时优化配送路线的方法 |
CN116243716A (zh) * | 2023-05-08 | 2023-06-09 | 中铁第四勘察设计院集团有限公司 | 一种融合机器视觉的集装箱智能举升控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115108466B (zh) | 2024-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN115108466B (zh) | 一种集装箱吊具智能定位的方法 | |
CN105865329B (zh) | 基于视觉的成捆圆钢端面中心坐标的获取系统和方法 | |
CN110706182B (zh) | 一种屏蔽罩平面度检测方法、装置、终端设备及存储介质 | |
CN109426277B (zh) | 移动轨迹规划的方法及装置 | |
CN117764986A (zh) | 基于图像处理的钛板表面缺陷检测方法 | |
CN115131354B (zh) | 一种基于光学手段的实验室用塑料薄膜缺陷检测方法 | |
CN114494045A (zh) | 一种基于机器视觉的大型直齿轮几何参数测量系统及方法 | |
CN115631116B (zh) | 基于双目视觉的飞行器电力巡检系统 | |
CN114252449B (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
CN111739012A (zh) | 基于转盘的摄像头模组白斑检测系统 | |
CN111665199A (zh) | 一种基于机器视觉的电线电缆颜色检测识别方法 | |
CN110807763A (zh) | 一种陶瓦表面鼓包检测方法及系统 | |
CN117764989A (zh) | 一种视觉辅助的显示屏缺陷检测方法 | |
CN117764983A (zh) | 一种用于智能制造产线的双目识别的视觉检测的方法 | |
CN112470189B (zh) | 光场系统的遮挡消除 | |
CN113409334B (zh) | 一种基于质心的结构光角点检测方法 | |
CN111145254B (zh) | 一种基于双目视觉的门阀毛坯定位方法 | |
CN116645418A (zh) | 基于2d和3d相机的屏幕按钮检测方法、装置及其相关介质 | |
CN116883498A (zh) | 基于灰度质心提取算法的视觉合作靶标特征点定位方法 | |
CN113450335B (zh) | 一种路沿检测方法、路沿检测装置及路面施工车辆 | |
CN115471537A (zh) | 一种基于单目摄像头的移动目标距离与高度的测量方法 | |
CN111489329B (zh) | 一种基于互联网果园西红柿成熟度图像分析方法和系统 | |
CN108109172A (zh) | 一种基于新视觉的机器人视觉系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |