CN112233136B - 基于双目识别的集卡对位方法、系统、设备及存储介质 - Google Patents

基于双目识别的集卡对位方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112233136B
CN112233136B CN202011210699.6A CN202011210699A CN112233136B CN 112233136 B CN112233136 B CN 112233136B CN 202011210699 A CN202011210699 A CN 202011210699A CN 112233136 B CN112233136 B CN 112233136B
Authority
CN
China
Prior art keywords
matrix
alignment
point
points
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011210699.6A
Other languages
English (en)
Other versions
CN112233136A (zh
Inventor
谭黎敏
顾荣琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xijing Technology Co ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202011210699.6A priority Critical patent/CN112233136B/zh
Publication of CN112233136A publication Critical patent/CN112233136A/zh
Application granted granted Critical
Publication of CN112233136B publication Critical patent/CN112233136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于双目识别的集卡对位方法、系统、设备及存储介质，该方法包括以下步骤：接收即将对位的集卡的集卡状态信息，集卡状态信息为待装箱状态或者待卸箱状态；根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据视差矩阵获得左图像的每个像素点的深度值，并根据视差矩阵获得集卡的三维点云以及的空间坐标；通过平面拟合获得据对位特征点的空间坐标；通过对位特征点的当前位置与预设位置范围进行判断，获得集卡的对位指令。本发明能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。

Description

基于双目识别的集卡对位方法、系统、设备及存储介质
技术领域
本发明涉及集卡对位领域，具体地说，涉及用于起重机集装箱作业场景下的基于双目识别的集卡对位方法、系统、设备及存储介质。
背景技术
场桥及岸桥的桥吊业务是集装箱码头的核心机械作业，其中吊具从集卡车上装卸集装箱的速度和安全直接影响整个码头的作业效率。传统方法需要集卡车司机通过目测，前后反复移动集卡，才能完成集卡与吊具的对位。但随着经济提升，集装箱码头面积扩大，作业量急剧增加，增加了司机的操作疲劳和疏忽，同时难以完全避免吊具、集装箱和集卡之间的碰撞，设备损坏，带来了诸多安全隐患。同时人为对位降低了集装箱装卸速率，极大地影响了作业效率，急需一种简单有效的不依靠人为判断的适应于全工况作业的集卡自动对位技术。
在已有的技术中，有采用在桥吊下安装云台、激光扫描测距仪、与控制器，利用控制器设定指定的车道，利用云台控制激光扫描仪对指定车道进行扫描，提醒集卡司机对位的偏差；但不能对不带集装箱的集卡进行位置判断，造成了系统功能缺失，且需要多个激光配合完成，增加了外部设备的复杂度。
因此，本发明提供了一种基于双目识别的集卡对位方法、系统、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供基于双目识别的集卡对位方法、系统、设备及存储介质，克服了现有技术的困难，能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
本发明的实施例提供一种基于双目识别的集卡对位方法，采用至少一集成了吊具定位装置和图像采集装置的集装箱识别组件，包括以下步骤：
S110、接收即将对位的集卡的集卡状态信息，所述集卡状态信息为待装箱状态或者待卸箱状态；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据所述视差矩阵获得所述左图像的每个像素点的深度值，并根据所述视差矩阵获得所述集卡的三维点云；
S130、根据所述三维点云获得在相机坐标系中的空间坐标；
S140、根据所述集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据所述对位特征点在相机坐标系中的空间坐标；
S150、通过所述对位特征点的当前位置与预设位置范围进行判断，获得所述集卡的对位指令。
优选地，所述步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据所述匹配代价值以及位置关系建立三维匹配矩阵；
S122、基于三维匹配矩阵沿所述通过方向分行逐列依次生成一维搜寻矩阵，根据所述一维搜寻矩阵的位置关系建立与所述三维匹配矩阵相同尺寸的三维搜索矩阵；
S123、以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵；以及
S124、根据所有行的所述路径矩阵的位置关系获得视差矩阵。
优选地，所述步骤S120包括以下步骤：
通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure GDA0003244555240000021
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
优选地，获得所述三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为所述三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和；
将所述一维矩阵中最小的元素值与所述三维匹配矩阵中对应位置的元素的元素值的总和作为所述三维搜索矩阵中当前元素的元素值。
优选地，获得所述路径矩阵的步骤包括：以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据所述回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
优选地，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(X,Y,Z)：
Figure GDA0003244555240000031
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在X,Y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]。
统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值z。
优选地，所述步骤S120中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
优选地，所述步骤S120中，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d；
Xa＝(Za×(u-cx))/f；
Ya＝(Za×(v-cy))/f；
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为视差值，u，v为像素的横纵坐标，cx，cy为中心点。
优选地，所述步骤S130中包括以下步骤：
S131、使用视差矩阵构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure GDA0003244555240000041
其中k为直线的斜率，xb，yb分别是深度值与图像的行数；
S132、将地面表现为行数与深度值的线性方程：yb＝kxb+b；
S133、双目摄像装置与地面之间的夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))；
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
优选地，所述步骤S140中，当所述集卡状态信息为待卸箱状态，包括以下步骤：
S141、根据每个所述三维点云的深度值对所述三维点云的空间坐标进行阈值分割，保留视差值大于第一预设阈值的空间坐标作为第一类参考点；
S142、判断所述第一类参考点的总数是否大于预设第一数量阈值；若是，则执行步骤S143，若否，则返回步骤S141；
S143、通过对所述第一类参考点进行平面拟合，获得代表集装箱顶面的第一图形；
S144、通过将所述第一图形所包含的坐标投影为俯视图，将所述第一图形中最靠近所述双目摄像装置的边的中心点对应的所述俯视图中的点的坐标，作为第一对位特征点的坐标；
S145、通过所述第一对位特征点的坐标在与第一预设位置范围进行判断，获得所述集卡的对位指令。
优选地，所述步骤S143中，设points为待拟合空间点，iter_max为最大迭代次数，Tn为符合拟合平面包含待拟合点的最小个数，包括以下步骤：
S1431、从points中随机选取三个点M1(x1,y1,z1)、M2(x2,y2,z2)、M3(x3,y3,z3)，构成平面P：
Figure GDA0003244555240000051
Figure GDA0003244555240000052
P的法向量
Figure GDA0003244555240000053
利用点法式得到平面P的方程:a(x-x1)+b(y-y1)+c(z-z1)＝0；
S1432、计算剩余点至该平面P的距离，若小于阈值T，则认为是位于平面P内；统计所有待拟合空间点中属于平面P的个数Pn；
点M0(x0,y0,z0)至平面P的距离：
Figure GDA0003244555240000054
S1433、若Pn>Tn，则停止迭代，P即为所求平面；否则一直重复步骤S1431和S1432，直至获得包含最多待拟合点的平面图形作为第一图形。
优选地，所述步骤S140中包括构建一个和视差矩阵同样长宽尺寸的二值图，并根据三维点云的像素坐标设置二值图中对应位置的值为1，其余为0，对二值图进行区域生长得到多个连通区域，筛选出最大面积的连通区；并对只保留最大连通区域的二值图进行操作，通过选取每行最小列的点，得到集装箱顶面靠近车头的边缘轮廓点的像素坐标，并通过深度图索引得到这些点的在空间坐标，将这些点中位于中心位置的空间坐标作为第一对位特征点的坐标，通过所述第一对位特征点的坐标在与第一预设位置范围进行判断，获得所述集卡的对位指令。
优选地，所述步骤S140中，当所述集卡状态信息为待装箱状态，包括以下步骤：
S146、根据每个所述三维点云的深度值对所述三维点云的空间坐标进行阈值分割，保留视差值大于第二预设阈值的空间坐标作为第二类参考点，所述第二预设阈值小于第一预设阈值；
S147、判断所述第二类参考点的总数是否大于预设第二数量阈值；若是，则执行步骤S148，若否，则返回步骤S146；
S148、通过对所述第二类参考点进行平面拟合，获得代表拖挂前边缘的轮廓点集合而成的第二图形；
S149、通过将所述第二图形所包含的坐标投影为俯视图，将所述第二图形中最靠近所述双目摄像装置的边的中心点对应的所述俯视图中的点的坐标，作为第二对位特征点的坐标，通过所述第二对位特征点的坐标在与第二预设位置范围进行判断，获得所述集卡的对位指令。
优选地，S160、所述集卡收到所述对位指令，并执行所述对位指令；
沿卡车行驶时方向，当所述对位特征点的当前位置未到达所述预设位置范围，则所述对位指令为前进指令；
当所述对位特征点的当前位置未到达所述预设位置范围，则所述对位指令为前进指令；
当所述对位特征点的当前位置位于所述预设位置范围中，则所述对位指令为停止。
本发明的实施例还提供一种基于双目识别的集卡对位系统，用于实现上述的基于双目识别的集卡对位方法，基于双目识别的集卡对位系统包括：
状态模块，接收即将对位的集卡的集卡状态信息，所述集卡状态信息为待装箱状态或者待卸箱状态；
点云模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据所述视差矩阵获得所述左图像的每个像素点的深度值，并根据所述视差矩阵获得所述集卡的三维点云；
坐标模块，根据所述三维点云获得在相机坐标系中的空间坐标；
定位模块，根据所述集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据所述对位特征点在相机坐标系中的空间坐标；
指令模块，通过所述对位特征点的当前位置与预设位置范围进行判断，获得所述集卡的对位指令。
本发明的实施例还提供一种基于双目识别的集卡对位设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述基于双目识别的集卡对位方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于双目识别的集卡对位方法的步骤。
本发明的基于双目识别的集卡对位方法、系统、设备及存储介质，能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的基于双目识别的集卡对位方法的流程图。
图2是本发明的基于双目识别的集卡对位方法中视差矩阵计算深度图的原理图。
图3是本发明的基于双目识别的集卡对位方法中的相机坐标系示意图。
图4至6是本发明的基于双目识别的集卡对位方法的第一种实施过程示意图。
图7至9是本发明的基于双目识别的集卡对位方法的第二种实施过程示意图。
图10是本发明的基于双目识别的集卡对位系统的结构示意图
图11是本发明的基于双目识别的集卡对位设备的结构示意图。以及
图12是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 待卸箱的卡车
11 第一对位特征点
2 双目摄像装置
21 左摄像头
22 右摄像头
3 集装箱
4 待装箱的卡车
41 第二对位特征点
L 对位指令
W1 第一预设位置范围
W2 第二预设位置范围
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的基于双目识别的集卡对位方法的流程图。如图1所示，本发明的实施例提供一种基于双目识别的集卡对位方法，采用至少一集成了吊具定位装置和图像采集装置的集装箱识别组件，包括以下步骤：
S110、接收即将对位的集卡的集卡状态信息，集卡状态信息为待装箱状态或者待卸箱状态。
S120、根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据视差矩阵获得左图像的每个像素点的深度值，并根据视差矩阵获得集卡的三维点云。
S130、根据三维点云获得在相机坐标系中的空间坐标。
S140、根据集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据对位特征点在相机坐标系中的空间坐标。
S150、通过对位特征点的当前位置与预设位置范围进行判断，获得集卡的对位指令。
S160、集卡收到对位指令，并执行对位指令。沿卡车行驶时方向，当对位特征点的当前位置未到达预设位置范围，则对位指令为前进指令。当对位特征点的当前位置未到达预设位置范围，则对位指令为前进指令。当对位特征点的当前位置位于预设位置范围中，则对位指令为停止。
在一个优选方案中，步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据匹配代价值以及位置关系建立三维匹配矩阵。
S122、基于三维匹配矩阵沿通过方向分行逐列依次生成一维搜寻矩阵，根据一维搜寻矩阵的位置关系建立与三维匹配矩阵相同尺寸的三维搜索矩阵。
S123、以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵。以及
S124、根据所有行的路径矩阵的位置关系获得视差矩阵。
在一个优选方案中，步骤S120包括以下步骤：
通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure GDA0003244555240000091
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值。
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值。
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差。
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差。
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差。
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
在一个优选方案中，获得三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和。
将一维矩阵中最小的元素值与三维匹配矩阵中对应位置的元素的元素值的总和作为三维搜索矩阵中当前元素的元素值。
在一个优选方案中，获得路径矩阵的步骤包括：以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
在一个优选方案中，将视差矩阵(u,v,z)通过以下公式投影成三维点云(X,Y,Z)：
Figure GDA0003244555240000101
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在X,Y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]，本实施例中是希望第三位数变成1,所以提取一个乘数s使其变为s*[u,v,1]。
与传统的图像分割相比，传统的图像分割使用RGB三维信息进行分割,而本发明在此基础上新加了一维深度层信息,辅助进行分割使分割边缘更加准确。
统计位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值z。
在一个优选方案中，步骤S120中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
在一个优选方案中，参考图2和3，步骤S120根据视差矩阵计算深度图的过程如下：
图2是本发明的基于双目识别的集卡对位方法中视差矩阵计算深度图的原理图。如图2所示是双目相机模型，Ol,Or是左右相机的光心，以端点为方块的两条长度为L的线段分为为左右相机的像面，左相机空间坐标系中的任意一点P在左右相机的成像点分别为Pl,Pr，成像点到其像面左边缘的物理距离分别为xl,xr，单位为mm。像素距离为ul,ur，单位为像素。dx,dy分别表示每个像素在横轴x和纵轴y上的物理尺寸,单位为：毫米/像素。则xl＝ul*dx,xr＝ur*dy。根据三角形相似原理：
Figure GDA0003244555240000111
其中，fx是相机的内参值，单位为像素。d＝ul-ur是视差。景深Z是指物体离摄像头的物理距离，单位为mm。由上式可知离视像头越远的点视差越小，距离越近视差越大。
图3是本发明的基于双目识别的集卡对位方法中的相机坐标系示意图。如图3所示，Oc～XcYcZc相机坐标系，单位为米m。Oi～xy图像坐标系，以相机光轴与像面的交点作为原点，单位为mm；Op～uv以像面的左上角为原点，单位为像素。假定点Oi在像素坐标系下的坐标为(u0,v0)，则图像坐标系与像素坐标系的转换关系为：
Figure GDA0003244555240000112
公式(4)所求的景深Z就是上图中的zc，根据三角形相似性，由zc求解xc,yc，求解过程如下：
Figure GDA0003244555240000121
其中，(u,v)为空间点P在左相机像面上的像素坐标。fx,fy,u0,v0是相机的内部参数。
在一个优选方案中，通过视差矩阵和双目相机的内部参数对图像上的像素点进行由像素坐标系到相机空间坐标的转换，得到深度图Depth,Depth是个三通道图，每个像素点的三个值代表此像素点在相机坐标系下的空间坐标(X,Y,Z),本实施例中x正方向指向集卡车行驶的反方向，y正方向指向与集卡行驶方向垂直的右下方向，z方向指向集卡高度从高到低的方向。
在一个优选方案中，步骤S120中，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d。
Xa＝(Za×(u-cx))/f。
Ya＝(Za×(v-cy))/f。
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为视差值，u，v为像素的横纵坐标，cx，cy为中心点。
在一个优选方案中，步骤S130中包括以下步骤：
S131、使用视差矩阵构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure GDA0003244555240000122
其中k为直线的斜率，xb，yb分别是深度值与图像的行数。
S132、将地面表现为行数与深度值的线性方程：yb＝kxb+b。
S133、双目摄像装置与地面之间的夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))。
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
在一个优选方案中，步骤S140中，当集卡状态信息为待卸箱状态，包括以下步骤：
S141、根据每个三维点云的深度值对三维点云的空间坐标进行阈值分割，保留视差值大于第一预设阈值的空间坐标作为第一类参考点。
S142、判断第一类参考点的总数是否大于预设第一数量阈值。若是，则执行步骤S143，若否，则返回步骤S141。
S143、通过对第一类参考点进行平面拟合，获得代表集装箱顶面的第一图形。
S144、通过将第一图形所包含的坐标投影为俯视图，将第一图形中最靠近双目摄像装置的边的中心点对应的俯视图中的点的坐标，作为第一对位特征点的坐标。
S145、通过第一对位特征点的坐标在与第一预设位置范围进行判断，获得集卡的对位指令。
在一个优选方案中，步骤S143中，设points为待拟合空间点，iter_max为最大迭代次数，Tn为符合拟合平面包含待拟合点的最小个数，包括以下步骤：
S1431、从points中随机选取三个点M1(x1,y1,z1)、M2(x2,y2,z2)、M3(x3,y3,z3)，构成平面P：
Figure GDA0003244555240000131
Figure GDA0003244555240000132
P的法向量
Figure GDA0003244555240000133
利用点法式得到平面P的方程:a(x-x1)+b(y-y1)+c(z-z1)＝0。
S1432、计算剩余点至该平面P的距离，若小于阈值T，则认为是位于平面P内。统计所有待拟合空间点中属于平面P的个数Pn。
点M0(x0,y0,z0)至平面P的距离：
Figure GDA0003244555240000134
S1433、若Pn>Tn，则停止迭代，P即为所求平面。否则一直重复步骤S1431和S1432，直至获得包含最多待拟合点的平面图形作为第一图形。
在一个优选方案中，步骤S140中包括构建一个和视差矩阵同样长宽尺寸的二值图，并根据三维点云的像素坐标设置二值图中对应位置的值为1，其余为0，对二值图进行区域生长得到多个连通区域，筛选出最大面积的连通区。并对只保留最大连通区域的二值图进行操作，通过选取每行最小列的点，得到集装箱顶面靠近车头的边缘轮廓点的像素坐标，并通过深度图索引得到这些点的在空间坐标，将这些点中位于中心位置的空间坐标作为第一对位特征点的坐标，通过第一对位特征点的坐标在与第一预设位置范围进行判断，获得集卡的对位指令。
本实施例中的区域生长是按照事先定义的生长准则将一个像素或者子区域逐步聚合成一个完整独立的连通区域过程。对于图像感兴趣目标区域R，z为区域R上事先发现的种子点，按照规定的生长准则逐步将与种子点z一定邻域内符合相似性判据的像素合并成一个种子群以备下一阶段的生长，这样不断的进行循环生长直到满足生长停止条件为止，从而完成了对感兴趣区域由一个种子点生长为一个独立连通区域的过程。其中相似性判据可以是像素灰度值、颜色、纹理特征等图像信息，可以包括以下步骤：
(1)创建一个和disparity同样大小空白的全黑图像valid_index，所有值为0。
(2)将步骤S1311得到点集的像素坐标，存入valid_index中，值设为255，作为种子点。
(3)以种子点周围8邻域内像素值相同作为生长规则，按照规定的生长准则逐步将与种子点相似的像素合并成一个种子群以备下一阶段的生长，这样不断的进行循环生长直到满足生长停止条件为止，从而完成了对感兴趣区域由子区域生长为一个独立连通区域的过程。
(4)选取(2)中不同的子区域中任一点作为种子点，进行步骤(3)操作，最终得到多个独立连通区域。
在一个优选方案中，步骤S140中，当集卡状态信息为待装箱状态，包括以下步骤：
S146、根据每个三维点云的深度值对三维点云的空间坐标进行阈值分割，保留视差值大于第二预设阈值的空间坐标作为第二类参考点，第二预设阈值小于第一预设阈值。
S147、判断第二类参考点的总数是否大于预设第二数量阈值。若是，则执行步骤S148，若否，则返回步骤S146。
S148、通过对第二类参考点进行平面拟合，获得代表拖挂前边缘的轮廓点集合而成的第二图形。
S149、通过将第二图形所包含的坐标投影为俯视图，将第二图形中最靠近双目摄像装置的边的中心点对应的俯视图中的点的坐标，作为第二对位特征点的坐标，通过第二对位特征点的坐标在与第二预设位置范围进行判断，获得集卡的对位指令。
本是实施例中，可以通过对位特征点WorkingPoint在相机坐标下的空间位置，进而得到集卡的行驶距离，并通过指示灯对集卡司机进行对位引导，例如：
(1)对位特征点WorkingPoint.x>Xmax,系统发出前进信号，LED红绿灯绿灯亮。
(2)对位特征点WorkingPoint.x>Xmin且WorkingPoint.x<Xmax,系统发出停止信号，LED红绿灯黄灯亮。
(3)对位特征点WorkingPoint.x<Xmin,系统发出后退信号，LED红绿灯红灯亮。
其中，Xmax为预设位置范围中相对于相机坐标原点的最远端位置，Xmin为预设位置范围中相对于相机坐标原点的最近端位置。
本发明通过双目感知进行视差矩阵计算，对带箱或不带箱集卡车身上特定点在相机坐标系下的坐标位置进行实时计算，进而得到集卡的行驶距离，并通过指示灯对集卡司机进行对位引导，实现单一设备完成场桥下集卡全工况的装卸作业，且红绿黄指示灯符合司机作业习惯，能够很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
图4至6是本发明的基于双目识别的集卡对位方法的第一种实施过程示意图。图4至6显示了装载了集装箱3的待卸箱的卡车1驶向对位位置时，执行以下过程：
S110、参见图4，双目摄像装置2接收即将对位的集卡的集卡状态信息，集卡状态信息为待装箱状态或者待卸箱状态。双目摄像装置2包括拍摄左图像的左摄像头21和拍摄右图像的右摄像头22。
S120、参见图5，根据双目摄像装置2基于同一时刻获得的左图像和右图像计算视差矩阵，根据视差矩阵获得左图像的每个像素点的深度值，并根据视差矩阵获得集卡的三维点云，参见图3中的基于卡车得到的三维点云。
获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据匹配代价值以及位置关系建立三维匹配矩阵。基于三维匹配矩阵沿通过方向分行逐列依次生成一维搜寻矩阵，根据一维搜寻矩阵的位置关系建立与三维匹配矩阵相同尺寸的三维搜索矩阵。以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵。根据所有行的路径矩阵的位置关系获得视差矩阵。
其中，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure GDA0003244555240000161
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值。meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值。sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差。sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差。sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差。C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
获得三维搜索矩阵中每一列的每个元素的元素值的步骤包括：建立一维矩阵，矩阵中的每个元素为三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和。将一维矩阵中最小的元素值与三维匹配矩阵中对应位置的元素的元素值的总和作为三维搜索矩阵中当前元素的元素值。获得路径矩阵的步骤包括：以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
将视差矩阵(u,v,z)通过以下公式投影成三维点云(X,Y,Z)：
Figure GDA0003244555240000171
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在X,Y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]，本实施例中是希望第三位数变成1,所以提取一个乘数s使其变为s*[u,v,1]。
统计位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值z。
可以通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d。
Xa＝(Za×(u-cx))/f。
Ya＝(Za×(v-cy))/f。
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为视差值，u，v为像素的横纵坐标，cx，cy为中心点。
S130、根据三维点云获得在相机坐标系中的空间坐标。使用视差矩阵构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure GDA0003244555240000172
其中k为直线的斜率，xb，yb分别是深度值与图像的行数。将地面表现为行数与深度值的线性方程：yb＝kxb+b。双目摄像装置与地面之间的夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))。da为双目摄像装置2与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
S140、根据集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据对位特征点在相机坐标系中的空间坐标。
在步骤S140中，当集卡状态信息为待卸箱的卡车时，其获得预设对位特征点以及相关的预设范围，通过平面拟合获得据对位特征点在相机坐标系中的空间坐标，包括以下步骤：
S141、根据每个三维点云的深度值对三维点云的空间坐标进行阈值分割，保留视差值大于第一预设阈值的空间坐标作为第一类参考点。
S142、判断第一类参考点的总数是否大于预设第一数量阈值。若是，则执行步骤S143，若否，则返回步骤S141。
S143、通过对第一类参考点进行平面拟合，获得代表集装箱3顶面的第一图形。
S144、通过将第一图形所包含的坐标投影为俯视图，将第一图形中最靠近双目摄像装置2的边的中心点对应的俯视图中的点的坐标，作为第一对位特征点11的坐标。
S145、通过第一对位特征点11的坐标在与第一预设位置范围W1进行判断，获得集卡的对位指令。
在步骤S143中，设points为待拟合空间点，iter_max为最大迭代次数，Tn为符合拟合平面包含待拟合点的最小个数，包括以下步骤：
S1431、从points中随机选取三个点M1(x1,y1,z1)、M2(x2,y2,z2)、M3(x3,y3,z3)，构成平面P：
Figure GDA0003244555240000181
Figure GDA0003244555240000182
P的法向量
Figure GDA0003244555240000183
利用点法式得到平面P的方程:a(x-x1)+b(y-y1)+c(z-z1)＝0。
S1432、计算剩余点至该平面P的距离，若小于阈值T，则认为是位于平面P内。统计所有待拟合空间点中属于平面P的个数Pn。
点M0(x0,y0,z0)至平面P的距离：
Figure GDA0003244555240000191
S1433、若Pn>Tn，则停止迭代，P即为所求平面。否则一直重复步骤S1431和S1432，直至获得包含最多待拟合点的平面图形作为第一图形。
在步骤S140中包括构建一个和视差矩阵同样长宽尺寸的二值图，并根据三维点云的像素坐标设置二值图中对应位置的值为1，其余为0，对二值图进行区域生长得到多个连通区域，筛选出最大面积的连通区。并对只保留最大连通区域的二值图进行操作，通过选取每行最小列的点，得到集装箱3顶面靠近车头的边缘轮廓点的像素坐标，并通过深度图索引得到这些点的在空间坐标，将这些点中位于中心位置的空间坐标作为第一对位特征点11的坐标，通过第一对位特征点11的坐标在与第一预设位置范围进行判断，获得集卡的对位指令。
S150、参见图6，通过对位特征点的当前位置与预设位置范围进行判断，获得集卡的对位指令。本实施例中，第一对位特征点11还未进入第一预设位置范围W1，所以对位指令L是指示待卸箱的卡车1继续前进。本实施例中的第一预设位置范围W1是基于预设标准停车位置时，第一对位特征点11(集装箱3顶面靠近车头的边缘的中央点)所处的可以被允许的位置范围。
S160、待装箱的卡车4集卡收到待装箱的卡车4对位指令L，并执行待装箱的卡车4对位指令L。沿卡车行驶时方向，当第一对位特征点11的当前位置未到达第一预设位置范围W1，则待装箱的卡车4对位指令L为继续前进指令.
图7至9是本发明的基于双目识别的集卡对位方法的第二种实施过程示意图。图7至9显示了待装箱的卡车4驶向对位位置时，大部分过程参见图4至6的相关过程介绍，而区别在于：在步骤S140中，当集卡为待装箱的卡车4(空载卡车)，其获得预设对位特征点以及相关的预设范围，通过平面拟合获得据对位特征点在相机坐标系中的空间坐标，包括以下步骤：
S146、根据每个三维点云的深度值对三维点云的空间坐标进行阈值分割，保留视差值大于第二预设阈值的空间坐标作为第二类参考点，第二预设阈值小于第一预设阈值。
S147、判断第二类参考点的总数是否大于预设第二数量阈值。若是，则执行步骤S148，若否，则返回步骤S146。
S148、通过对第二类参考点进行平面拟合，获得代表拖挂前边缘的轮廓点集合而成的第二图形。
S149、通过将第二图形所包含的坐标投影为俯视图，将第二图形中最靠近双目摄像装置2的边的中心点对应的俯视图中的点的坐标，作为第二对位特征点41的坐标，通过第二对位特征点41的坐标在与第二预设位置W2范围进行判断，获得集卡的对位指令。
S150、参见图9，通过对位特征点的当前位置与预设位置范围进行判断，获得集卡的对位指令。本实施例中，第二对位特征点41还未进入第二预设位置范围W2，所以对位指令L是指示待装箱的卡车4继续前进。本实施例中的第二预设位置范围W2是基于预设标准停车位置时，第二对位特征点41(拖挂前边缘的轮廓点)所处的可以被允许的位置范围。
S160、待装箱的卡车4集卡收到待装箱的卡车4对位指令L，并执行待装箱的卡车4对位指令L。沿卡车行驶时方向，当第二对位特征点41的当前位置位于第二预设位置范围W2中，则对位指令L为停止。
图10是本发明的基于双目识别的集卡对位系统的结构示意图。如图10所示，本发明的实施例还提供一种基于双目识别的集卡对位系统5，用于实现上述的基于双目识别的集卡对位方法，基于双目识别的集卡对位系统包括：
状态模块51，接收即将对位的集卡的集卡状态信息，集卡状态信息为待装箱状态或者待卸箱状态；
点云模块52，根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据视差矩阵获得左图像的每个像素点的深度值，并根据视差矩阵获得集卡的三维点云；
坐标模块53，根据三维点云获得在相机坐标系中的空间坐标；
定位模块54，根据集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据对位特征点在相机坐标系中的空间坐标；
指令模块55，通过对位特征点的当前位置与预设位置范围进行判断，获得集卡的对位指令。
行驶模块56，集卡收到对位指令，并执行对位指令。沿卡车行驶时方向，当对位特征点的当前位置未到达预设位置范围，则对位指令为前进指令；当对位特征点的当前位置未到达预设位置范围，则对位指令为前进指令；当对位特征点的当前位置位于预设位置范围中，则对位指令为停止。
本发明的基于双目识别的集卡对位系统，能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
本发明实施例还提供一种基于双目识别的集卡对位设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于双目识别的集卡对位方法的步骤。
如上，本发明的基于双目识别的集卡对位设备能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图11是本发明的基于双目识别的集卡对位设备的结构示意图。下面参照图11来描述根据本发明的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于双目识别的集卡对位方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
图12是本发明的计算机可读存储介质的结构示意图。参考图12所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的基于双目识别的集卡对位方法、系统、设备及存储介质，能够实现单一设备完成场桥下集卡全工况的装卸作业，很好地满足集卡对位功能，极大地提高了集卡集装箱的装卸效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (13)

1.一种基于双目识别的集卡对位方法，其特征在于，包括以下步骤：
S110、接收即将对位的集卡的集卡状态信息，所述集卡状态信息为待装箱状态或者待卸箱状态；
S120、根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据视差矩阵获得所述左图像的每个像素点的深度值，并根据所述视差矩阵获得所述集卡的三维点云；所述步骤S120中，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(X,Y,Z)：
Figure FDA0003250206660000011
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在X,Y方向上的焦距，cx,cy指位于图像中心点的X轴坐标和Y轴坐标，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]；
统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值z；
并且，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d；
Xa＝(Za×(u-cx))/f；
Ya＝(Za×(v-cy))/f；
其中Xa，Ya，Za为三维点云坐标，f为焦距，ba为双目的基线，d为视差值；
S130、根据所述三维点云获得在相机坐标系中的空间坐标，所述步骤S130中包括以下步骤：
S131、使用视差矩阵构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure FDA0003250206660000012
其中k为直线的斜率，xb，yb分别是深度值与图像的行数；
S132、将地面表现为行数与深度值的线性方程：yb＝kxb+b；
S133、双目摄像装置与地面之间的夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))；
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，f是焦距；
S140、根据所述集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据所述对位特征点在相机坐标系中的空间坐标；
所述步骤S140中，当所述集卡状态信息为待卸箱状态，包括以下步骤：
S141、根据每个所述三维点云的深度值对所述三维点云的空间坐标进行阈值分割，保留视差值大于第一预设阈值的空间坐标作为第一类参考点；
S142、判断所述第一类参考点的总数是否大于预设第一数量阈值；若是，则执行步骤S143，若否，则返回步骤S141；
S143、通过对所述第一类参考点进行平面拟合，获得代表集装箱顶面的第一图形；
S144、通过将所述第一图形所包含的坐标投影为俯视图，将所述第一图形中最靠近所述双目摄像装置的边的中心点对应的所述俯视图中的点的坐标，作为第一对位特征点的坐标；
S145、通过所述第一对位特征点的坐标在与第一预设位置范围进行判断，获得所述集卡的对位指令；
S150、通过所述对位特征点的当前位置与预设位置范围进行判断，获得所述集卡的对位指令。
2.根据权利要求1所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据所述匹配代价值以及位置关系建立三维匹配矩阵；
S122、基于三维匹配矩阵沿所述通过方向分行逐列依次生成一维搜寻矩阵，根据所述一维搜寻矩阵的位置关系建立与所述三维匹配矩阵相同尺寸的三维搜索矩阵；
S123、以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵；以及
S124、根据所有行的所述路径矩阵的位置关系获得视差矩阵。
3.根据权利要求2所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S120包括以下步骤：
通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure FDA0003250206660000031
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
4.根据权利要求2所述的基于双目识别的集卡对位方法，其特征在于，获得所述三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为所述三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和；
将所述一维矩阵中最小的元素值与所述三维匹配矩阵中对应位置的元素的元素值的总和作为所述三维搜索矩阵中当前元素的元素值。
5.根据权利要求2所述的基于双目识别的集卡对位方法，其特征在于，获得所述路径矩阵的步骤包括：以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据所述回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
6.根据权利要求2所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S120中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
7.根据权利要求1所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S143中，设points为待拟合空间点，iter_max为最大迭代次数，Tn为符合拟合平面包含待拟合点的最小个数，包括以下步骤：
S1431、从points中随机选取三个点M1(x1,y1,z1)、M2(x2,y2,z2)、M3(x3,y3,z3)，构成平面P：
Figure FDA0003250206660000041
Figure FDA0003250206660000042
P的法向量
Figure FDA0003250206660000043
利用点法式得到平面P的方程:a(x-x1)+b(y-y1)+c(z-z1)＝0；
S1432、计算剩余点至该平面P的距离，若小于阈值T，则认为是位于平面P内；统计所有待拟合空间点中属于平面P的个数Pn；
点M0(x0,y0,z0)至平面P的距离：
Figure FDA0003250206660000044
S1433、若Pn>Tn，则停止迭代，P即为所求平面；否则一直重复步骤S1431和S1432，直至获得包含最多待拟合点的平面图形作为第一图形。
8.根据权利要求7所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S140中包括构建一个和视差矩阵同样长宽尺寸的二值图，并根据三维点云的像素坐标设置二值图中对应位置的值为1，其余为0，对二值图进行区域生长得到多个连通区域，筛选出最大面积的连通区；并对只保留最大连通区域的二值图进行操作，通过选取每行最小列的点，得到集装箱顶面靠近车头的边缘轮廓点的像素坐标，并通过深度图索引得到这些点的在空间坐标，将这些点中位于中心位置的空间坐标作为第一对位特征点的坐标，通过所述第一对位特征点的坐标在与第一预设位置范围进行判断，获得所述集卡的对位指令。
9.根据权利要求1所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S140中，当所述集卡状态信息为待装箱状态，包括以下步骤：
S146、根据每个所述三维点云的深度值对所述三维点云的空间坐标进行阈值分割，保留视差值大于第二预设阈值的空间坐标作为第二类参考点，所述第二预设阈值小于第一预设阈值；
S147、判断所述第二类参考点的总数是否大于预设第二数量阈值；若是，则执行步骤S148，若否，则返回步骤S146；
S148、通过对所述第二类参考点进行平面拟合，获得代表拖挂前边缘的轮廓点集合而成的第二图形；
S149、通过将所述第二图形所包含的坐标投影为俯视图，将所述第二图形中最靠近所述双目摄像装置的边的中心点对应的所述俯视图中的点的坐标，作为第二对位特征点的坐标，通过所述第二对位特征点的坐标在与第二预设位置范围进行判断，获得所述集卡的对位指令。
10.根据权利要求1所述的基于双目识别的集卡对位方法，其特征在于，所述步骤S150之后还包括以下步骤：
S160、所述集卡收到所述对位指令，并执行所述对位指令；
沿卡车行驶时方向，当所述对位特征点的当前位置未到达所述预设位置范围，则所述对位指令为前进指令；
当所述对位特征点的当前位置未到达所述预设位置范围，则所述对位指令为前进指令；
当所述对位特征点的当前位置位于所述预设位置范围中，则所述对位指令为停止。
11.一种基于双目识别的集卡对位系统，其特征在于，用于实现如权利要求1所述的基于双目识别的集卡对位方法，包括：
状态模块，接收即将对位的集卡的集卡状态信息，所述集卡状态信息为待装箱状态或者待卸箱状态；
点云模块，根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵，根据视差矩阵获得所述左图像的每个像素点的深度值，并根据所述视差矩阵获得所述集卡的三维点云；所述步骤S120中，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(X,Y,Z)：
Figure FDA0003250206660000061
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在X,Y方向上的焦距，cx,cy指位于图像中心点的X轴坐标和Y轴坐标，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]；
统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值z；
并且，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d；
Xa＝(Za×(u-cx))/f；
Ya＝(Za×(v-cy))/f；
其中Xa，Ya，Za为三维点云坐标，f为焦距，ba为双目的基线，d为视差值；
坐标模块，根据所述三维点云获得在相机坐标系中的空间坐标，所述坐标模块使用视差矩阵构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure FDA0003250206660000062
其中k为直线的斜率，xb，yb分别是深度值与图像的行数；
将地面表现为行数与深度值的线性方程：yb＝kxb+b；
双目摄像装置与地面之间的夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))；
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，f是焦距；
定位模块，根据所述集卡状态信息获得预设对位特征点以及相关的预设范围，通过平面拟合获得据所述对位特征点在相机坐标系中的空间坐标；所述定位模块中，当所述集卡状态信息为待卸箱状态，根据每个所述三维点云的深度值对所述三维点云的空间坐标进行阈值分割，保留视差值大于第一预设阈值的空间坐标作为第一类参考点；判断所述第一类参考点的总数是否大于预设第一数量阈值；若是，则通过对所述第一类参考点进行平面拟合，获得代表集装箱顶面的第一图形；通过将所述第一图形所包含的坐标投影为俯视图，将所述第一图形中最靠近所述双目摄像装置的边的中心点对应的所述俯视图中的点的坐标，作为第一对位特征点的坐标；通过所述第一对位特征点的坐标在与第一预设位置范围进行判断，获得所述集卡的对位指令；
指令模块，通过所述对位特征点的当前位置与预设位置范围进行判断，获得所述集卡的对位指令。
12.一种基于双目识别的集卡对位设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至10中任意一项所述基于双目识别的集卡对位方法的步骤。
13.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至10中任意一项所述基于双目识别的集卡对位方法的步骤。
CN202011210699.6A 2020-11-03 2020-11-03 基于双目识别的集卡对位方法、系统、设备及存储介质 Active CN112233136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210699.6A CN112233136B (zh) 2020-11-03 2020-11-03 基于双目识别的集卡对位方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210699.6A CN112233136B (zh) 2020-11-03 2020-11-03 基于双目识别的集卡对位方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112233136A CN112233136A (zh) 2021-01-15
CN112233136B true CN112233136B (zh) 2021-10-22

Family

ID=74122573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210699.6A Active CN112233136B (zh) 2020-11-03 2020-11-03 基于双目识别的集卡对位方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112233136B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967283B (zh) * 2021-04-22 2023-08-18 上海西井科技股份有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN113247769B (zh) * 2021-04-28 2023-06-06 三一海洋重工有限公司 一种集卡定位方法及其定位系统、岸桥
CN113296107A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 传感器协同检测拖挂角度的方法、系统、设备及存储介质
CN113979367B (zh) * 2021-10-12 2023-06-23 深圳中集智能科技有限公司 集装箱位置自动识别系统及其识别方法
CN113850815B (zh) * 2021-11-29 2022-03-08 季华实验室 工件点云获取方法、装置、电子设备及存储介质
CN115849195B (zh) * 2022-11-16 2023-12-19 上海西井科技股份有限公司 运输设备的自适应对位校准方法、系统、设备及存储介质
CN117036346B (zh) * 2023-10-08 2024-01-26 山东瑞达硅胶有限公司 基于计算机视觉的硅胶污水处理智能监测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005089282A2 (en) * 2004-03-15 2005-09-29 Embarcadero Systems Corporation Method and apparatus for controlling cameras and performing optical character recognition of container code and chassis code
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
CN105303555A (zh) * 2015-09-18 2016-02-03 浙江工业大学 一种基于双目视觉的集卡定位与引导的方法及其系统
CN107238374A (zh) * 2017-05-04 2017-10-10 华南农业大学 一种不规则平面零件的分类和识别定位方法
CN107316324A (zh) * 2017-05-18 2017-11-03 中山大学 基于cuda实现的实时立体匹配及优化的方法
KR101899993B1 (ko) * 2016-06-03 2018-09-18 성균관대학교산학협력단 시차 맵으로 한정된 영역에 기반한 객체 인식 방법
CN111242847A (zh) * 2020-01-10 2020-06-05 上海西井信息科技有限公司 基于闸道的图像拼接方法、系统、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN107506711B (zh) * 2017-08-15 2020-06-30 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005089282A2 (en) * 2004-03-15 2005-09-29 Embarcadero Systems Corporation Method and apparatus for controlling cameras and performing optical character recognition of container code and chassis code
CN103854008A (zh) * 2012-12-04 2014-06-11 株式会社理光 路面检测方法和装置
CN105303555A (zh) * 2015-09-18 2016-02-03 浙江工业大学 一种基于双目视觉的集卡定位与引导的方法及其系统
KR101899993B1 (ko) * 2016-06-03 2018-09-18 성균관대학교산학협력단 시차 맵으로 한정된 영역에 기반한 객체 인식 방법
CN107238374A (zh) * 2017-05-04 2017-10-10 华南农业大学 一种不规则平面零件的分类和识别定位方法
CN107316324A (zh) * 2017-05-18 2017-11-03 中山大学 基于cuda实现的实时立体匹配及优化的方法
CN111242847A (zh) * 2020-01-10 2020-06-05 上海西井信息科技有限公司 基于闸道的图像拼接方法、系统、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A 3D perception-based robotic manipulation system for automated truck unloading;paul doliotis et al.;《2016 IEEE international conference on automation science and engineering（CASE）》;20161117;第262-267页 *
Real-time container truck speed measurement at container port gates based on the binocular vision technology;jun jiang et al.;《journal of coastal research》;20190901;第93卷(第SI期);第998-1005页 *
基于双目立体视觉的集装箱卡车定位方法研究;孔婷等;《计算机应用与软件》;20100630;第27卷(第6期);第148-152页 *
机器视觉用于集装箱吊具定位系统设计;漆静等;《起重运输机械》;20181112;第15卷;第110-114页 *

Also Published As

Publication number Publication date
CN112233136A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112233136B (zh) 基于双目识别的集卡对位方法、系统、设备及存储介质
US10859684B1 (en) Method and system for camera-lidar calibration
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
Xiao et al. Planar segment based three‐dimensional point cloud registration in outdoor environments
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN110132291B (zh) 用于港口的栅格地图生成方法、系统、设备及存储介质
CN105302151A (zh) 一种飞机入坞引导和机型识别的系统及方法
US20160090281A1 (en) Industrial vehicles with point fix based localization
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
KR102363719B1 (ko) 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
Li et al. Automatic targetless LiDAR–camera calibration: a survey
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
Waqas et al. Deep learning-based obstacle-avoiding autonomous UAVs with fiducial marker-based localization for structural health monitoring
US20210272289A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
Yang et al. Autonomous UAVs landing site selection from point cloud in unknown environments
CN112639822B (zh) 一种数据处理方法及装置
CN116863371A (zh) 一种基于深度学习的agv叉车货物托盘位姿识别方法
Kim et al. Urban localization based on aerial imagery by correcting projection distortion
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
Ishikawa et al. Curb detection and accessibility evaluation from low-density mobile mapping point cloud data
Huang et al. Ground filtering algorithm for mobile LIDAR using order and neighborhood point information
CN113836975A (zh) 基于yolov3的双目视觉无人机避障方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Patentee after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Patentee before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.