CN113860172A - 一种纠偏方法、装置、交通工具及存储介质 - Google Patents

一种纠偏方法、装置、交通工具及存储介质 Download PDF

Info

Publication number
CN113860172A
CN113860172A CN202111168225.4A CN202111168225A CN113860172A CN 113860172 A CN113860172 A CN 113860172A CN 202111168225 A CN202111168225 A CN 202111168225A CN 113860172 A CN113860172 A CN 113860172A
Authority
CN
China
Prior art keywords
line
boundary
image
boundary lines
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111168225.4A
Other languages
English (en)
Inventor
陈世佳
杨庆雄
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202111168225.4A priority Critical patent/CN113860172A/zh
Publication of CN113860172A publication Critical patent/CN113860172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种纠偏方法、装置、交通工具及存储介质，方法包括：获取包含两条第一边界线的图像；把图像输入预设模型，对图像进行边界线检测，获得图像上第一边界线的点集；对第一边界线的点集进行线性拟合，获得第二边界线；根据平行线约束获取两条第二边界线的第一中心线；根据第一中心线和基准中心线的横向位移和夹角进行纠偏操作。通过本发明实施例，使用图像识别获取移动装置所在的中心线，然后根据中心线和基准中心线的偏移进行纠偏操作。能够降低移动装置纠偏的部署成本；同时该方案具有多种部署方案，既能服务于人类司机的控制辅助，也能作为反馈信号用于自动化控制系统。

Description

一种纠偏方法、装置、交通工具及存储介质
技术领域
本发明涉及交通工具技术领域，尤其涉及一种纠偏方法、装置、交通工具及存储介质。
背景技术
轮胎式集装箱门式起重机(RTG,Rubber Tyre Gantry)，是集装箱码头作业的重要机械，其效率和安全对码头作业秩序有着重要影响。传统作业时，由处于起重机上高空控制室的司机控制大车行走，对司机目力和经验有较高要求，不能做到长时间连续作业。一旦发生走偏，需要多次调整校正，降低了作业效率，也增加了安全风险。
随着集装箱码头自动化的发展，RTG远程控制系统被引进。通过不同传感器技术对大车行走偏差进行监测和反馈，由远程操作员进行相应的作业控制。
目前存在两种走行纠偏方法，一种是基于多GNSS系统的差分高精度(全局) 定位，通过布置在大车顶部四角的一组GNSS和INS设备，检测大车行走时两侧路线的三维轨迹，来判断走行偏差和左右沉降等状态(参考CN210236897U)；需要的设备成本不低，且需要结合精确的场地GIS地图才能实现。一种基于地表磁感应装置，通过求取大车在装置区的运动状态参数来进行纠偏控制(参考 CN101691187A)；能够达到较高的检测精度，但需要大规模场地改造，在大车行车区地表浅层安装纵横交错的大磁条，并在大车轮胎附近安装磁感应装置。
发明内容
本发明的主要目的在于提供一种纠偏方法、装置、交通工具及存储介质，旨在解决现有技术中轮胎式集装箱门式起重机通过GNSS和INS设备进行纠偏，成本较高且部署复杂的问题。
为实现上述目的，本发明提供了一种纠偏方法，所述方法包括以下步骤：
获取包含两条第一边界线的图像；
把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
对所述第一边界线的点集进行线性拟合，获得第二边界线；
根据平行线约束获取两条所述第二边界线的第一中心线；
根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
可选地，对所述第一边界线的点集进行线性拟合之前，还包括以下步骤：
获取拍摄装置高度和俯仰角；
根据所述高度和所述俯仰角，将所述第一边界线的点集的坐标系从图像坐标系转换成相机坐标系。
可选地，对所述第一边界线的点集进行线性拟合，通过以下步骤实现：
获取所述第一边界线的点集的相机坐标系的坐标值；
以所述坐标值的横坐标X、相机光轴坐标Z，进行最小二乘线性拟合，形成如下拟合公式：X＝K×Z+B，其中K、B为常数。
可选地，根据平行线约束获取两条所述第二边界线的第一中心线，通过以下步骤实现：
分别获取所述两条第一边界线的点集坐标值对应的拟合公式的常数K1、K2、 B1、B2；
判断所述常数K1、K2的差值是否小于预设差值；
如果所述常数K1、K2的差值小于所述预设差值，对所述两条第一边界线的拟合公式的常数K1、K2、B1、B2求平均值，得到所述两条第二边界线的第一中心线的直线方程：
Figure BDA0003291548170000021
如果所述常数K1、K2的差值大于等于所述预设差值，获取所述两条第二边界线的交叉点和所述两条第二边界线的倾斜角；使用以下公式获得所述第一中心线的倾斜角：
Figure BDA0003291548170000022
其中θ1、θ2为所述两条第二边界线的倾斜角，θ为所述第一中心线的倾斜角；把所述交叉点的坐标值带入所述第一中心线的直线方程：X＝tan(θ)×Z+B，得到对应的截距B。
可选地，所述基准中心线为移动装置在所述两条第一边界线的中间位置移动时获取的所述第一中心线。
可选地，所述方法包括：
在至少1个移动装置上安装摄像装置用于获取所述包含两条第一边界线的图像；
所述摄像装置同一时刻获取所述包含两条第一边界线的图像。
可选地，所述方法还包括：
根据所述第一中心线和所述基准中心线的横向位移和夹角、移动装置航向角进行纠偏操作。
此外，为实现上述目的，本发明还提出一种纠偏装置，所述纠偏装置包括：
获取单元，用于获取包含两条第一边界线的图像；
检测单元，用于把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
拟合单元，用于对所述第一边界线的点集进行线性拟合，获得第二边界线；
计算单元，用于根据平行线约束获取两条所述第二边界线的第一中心线；
纠偏单元，用于根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
此外，为实现上述目的，本发明还提出一种交通工具，所述交通工具包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纠偏程序，所述纠偏程序配置为如上文所述纠偏方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的纠偏方法的步骤。
本发明通过使用图像识别获取移动装置所在的中心线，然后根据中心线和基准中心线的偏移进行纠偏操作。能够降低移动装置纠偏的部署成本；同时该方案具有多种部署方案，既能服务于人类司机的控制辅助，也能作为反馈信号用于自动化控制系统。
附图说明
图1为本发明提供的一种纠偏方法的一个流程示意图。
图2为本发明提供的移动装置4个轮胎位置的示意图。
图3为本发明提供的行车道的示意图。
图4为本发明提供的平行边界线检测的一个示意图。
图5为本发明提供的非平行边界线检测的一个示意图。
图6为本发明提供的获取中心线的一个流程示意图。
图7为本发明纠偏装置实施例的结构框图。
图8是本发明实施例方案涉及的硬件运行环境的交通工具结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在一个实施例中，如图1所示，本发明提供纠偏方法，所述方法包括：
步骤101、获取包含两条第一边界线的图像。
在轮胎式集装箱门式起重机(RTG,Rubber Tyre Gantry)的4个轮胎上方安装摄像机实时获取轮胎行驶的行车道的图像信息。具体在那个轮胎上安装摄像机、在多少个轮胎上安装摄像机，可以根据用户使用情况决定。如在图2所示的轮胎式集装箱门式起重机轮胎位置的示意图中，方框1～4为轮胎式集装箱门式起重机的4个轮胎。如安装2个摄像机时，用户可以选择轮胎1和轮胎3，轮胎1和轮胎4两种安装方式进行安装摄像机。
在轮胎上方安装摄像机后，获取该摄像机的高度和俯仰角，然后保存到数据库或文件中。
摄像机编号 高度 俯仰角
摄像机11 96cm 4度
摄像机12 98cm 2度
摄像机21 96cm 2度
摄像机22 97cm 5度
轮胎式集装箱门式起重机在行驶区域行驶时，会根据起重机的左右轮胎宽度，分别在行驶区域道路两侧分别设置一个行车道。如图3所示，在两条行车道302的两侧分别设置有边界线301。轮胎式集装箱门式起重机行驶时，左右两侧的车轮，在行车道302内行驶。边界线301一般通过有颜色的油漆来标识，如白色或黄色油漆。
安装在轮胎上方的摄像机在行驶过程中，实时获取行车道的图像信息，然后通过网络传输给控制中心(如驾驶室控制台)进行处理。网络可以是有线网络，如以太网；也可以是无线网络，如wifi/4G/5G网络。
如果安装有多个摄像机，则多个摄像机需要进行时间同步。通过NTP协议和控制中心进行时间同步，确保摄像机和控制中心的时间一致。摄像机获取图像后，传输图像给控制中心时，对传输的图像携带时间戳，通过时间戳来标识每帧图像的拍摄时间。如通过RTP协议传输图像内容。
步骤102、把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集。
控制中心接收到摄像机传回的视频图像后，把该图像内容输入训练好的深度学习模型，对输入图像中的边界线进行检测，得到图像上行车道302每条边界线301的第一点集表达。第一点集表达为每个点集在图像坐标的坐标值。
对于多个摄像机获取的同一时刻的一组图像数据，可以打包成一个批量包，利用推理平台进行批量检测，降低流程延时。深度学习模型不限于基于图像分割的方法，也包括图像检测、transformer等也能得到点集表达的模型和方法。
每个行车道的边界线的第一点集表达，分别和对应的边界线301进行关联，然后存储它们之间的对应关系。
Figure BDA0003291548170000061
步骤103、获取拍摄装置高度和俯仰角，根据所述高度和所述俯仰角，将所述第一边界线的点集的坐标系从图像坐标系转换成相机坐标系。
根据安装摄像机时保存的摄像机高度和俯仰角，获得对应摄像机的高度和俯仰角。如下表所示：
Figure BDA0003291548170000062
对每个相机的检测结果，分别采用相同的处理方式。即在地平面假设下，利用测量摄像机高度和俯仰角，将每条边界线第一点集的图像坐标转换成相机坐标系下的第二点集。
本实施例的世界坐标系是原点在相机坐标系原点且前向轴与地面平行的坐标系，与实际相机坐标系只相差一个仅由俯仰角构成的旋转矩阵。世界坐标系与相机坐标系共原点，且绕X轴(水平横向)旋转θ(俯仰角)度至Z轴水平 (向前)所形成的物理坐标系，因此平移矩阵全为0，旋转矩阵仅由俯仰角构成。
其中的第一点集的像素坐标和以摄像机为原点的相机坐标之间的变换关系如下公式所示：
Figure DEST_PATH_IMAGE001
其中，fx，fy，u0，v0均是车载相机的内部参数，可以通过现有标定工具得到。(u，v)为图像数据中的点的像素坐标，(Xc，Yc，Zc)为相机坐标系中的点的坐标。
Figure DEST_PATH_IMAGE002
其中，[Xc/Zc,Yc/Zc,1]是相机坐标系下的齐次坐标。左乘的旋转矩阵是仅由俯仰角构成的，得到前述世界坐标系下的点[Xc",Yc",Zc"]；实际相机坐标系下的地面点[Xc,Yc,Zc]在世界坐标系对应[Xc',Yc',Zc'],其中 Yc'＝h。h为摄像机高度，θ为俯仰角。
步骤104、对所述第一边界线的点集进行线性拟合，获得第二边界线。
获取边界线301的点集在相机坐标系的X、Z坐标值，得到边界线第二点集W'1(Xi,Zi)，由边界线的特征可知道它们之间满足某线性关系X＝K×Z+B，所以使用最小二乘法进行拟合，其中参数K和B为需要确定的参数。找到一组K 和B使得W'1中所有的点都满足Xi＝K×Zi+B，但显然对于并非都同在一条直线上的W'1是找不到一组K和B使得上式左右两边相等的，所以只能尽可能的减小Xi与K×Zi+B的差距。如果用P表示一组K和B，那么f(Zi，P)＝K×Zi+B。则目标就是找到一组P，使公式(1)中的函数S的值最小。当且仅当S取最小时，此时P对应的线性关系X＝K×Z+B是拟合点集的最佳解。
Figure BDA0003291548170000073
将最小二乘法应用于边界线点集，可计算得出拟合结果直线L，即第二边界线。
步骤105、根据平行线约束获取两条所述第二边界线的第一中心线。
根据线性拟合后，行车道302两侧的两条边界线301拟合成2条直线方程：X＝K1×Z+B1、X＝K2×Z+B2。其中K1、K1、B1、B2为常数。如图4所示，边界线301上的点集经过线性拟合后，拟合成直线305。
根据两条直线305，求该两条直线305的中心线。求中心线通过如图6所示流程实现。
步骤201、分别获取所述两条第一边界线的点集坐标值对应的拟合公式的常数K1、K1、B1、B2。
步骤202、判断所述常数K1、K1的差值是否小于预设差值。
获取两条直线305对应直线方程X＝K×Z+B的常数K1、K1、B1、B2。然后判断直线方程的斜率K1、K1的差值是否小于预设差值(如0.5)，则判定这两条直线305近似平行。该预设差值可设置，根据判断两条直线是否近似平行结果进行调整。
步骤203、如果所述常数K1、K1的差值小于所述预设差值，对所述两条第一边界线的拟合公式的常数K1、K2、B1、B2求平均值，得到所述两条第二边界线的第一中心线的直线方程：
Figure BDA0003291548170000081
如果两条拟合直线方程的斜率k1、k2的差值小于预设差值，则表示这两条直线305为平行或近似平行直线，如图4所示。这两条直线305的中心线304 可以通过以下公式获得：
Figure BDA0003291548170000082
其中，K1、K2、B1、B2为拟合直线305的直线方程X＝K×Z+B对应的常数。
步骤204、如果所述常数K1、K1的差值大于等于所述预设差值，获取所述两条第二边界线的交叉点和所述两条第二边界线的倾斜角；使用以下公式获得所述第一中心线的倾斜角：
Figure BDA0003291548170000083
其中θ1、θ2为所述两条第二边界线的倾斜角，θ为所述第一中心线的倾斜角；把所述交叉点的坐标值带入所述第一中心线的直线方程：X＝tan(θ)×Z+B，得到对应的截距B。
如果两条拟合直线方程的斜率K1、K1的差值大于等于预设差值，则表示这两条直线305为不是平行直线，如图5所示。在同一平面不是平行直线，则会交于某交叉点P。通过这两条直线的直线方程，可以求得交叉点P的坐标。如两条直线的直线方程如下：
X＝3Z+2
X＝4Z+8
求得交叉点P的坐标值为(-16，-6)。根据直线方程获得两条拟合直线305 的倾斜角，θ1＝arctan(K1)、θ2＝arctan(K2)。两条拟合直线305的中心线304 的倾斜角为
Figure BDA0003291548170000091
根据上述示例直线方程X＝3Z+2、X＝4Z+8，得到θ1＝arctan(3)＝ 71.56505118度、θ2＝arctan(4)＝75.96375653度。中心线倾斜角
Figure BDA0003291548170000092
中心线304的直线方程为X＝tan(θ)×Z+B，由于中心线304经过交叉点P，把交叉点P的坐标带入方程，得到截距B。如：
-16＝tan(73.764403855)×(-6)+B,B＝4.6。
步骤106、根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
获得中心线304的直线方程后，和轮胎在行车道中间行走时获得的基准中心线进行比较。在行车道设置完成后，通过起重机轮胎在行车道中间行驶时获取的中心线作为基准中心线，保存在控制中心。如果两条中心线重合或偏差 (横向位移，即X轴的值)较少，如x轴值偏差在5％以内，则认为没有偏差，轮胎在行车道的中间行走，不需要进行纠偏；如果两条中心线存在不重合且存在较大偏差(如x轴值偏差大于5％)时，则表示轮胎没有在行车道的中间行走，存在偏差，需要对轮胎式集装箱门式起重机进行纠偏。
中心线304与基准中心线303之间的夹角为β，如果β为0，则表示中心线304与基准中心线303平行，只存在横向位移；如果β不为0，则表示中心线304与基准中心线303之间不平行，需要根据β值及横向位移dx进行纠偏操作。
如中心线304偏左(假定取x轴向右为正)dx<0时，如果夹角β的角度变化量Δβ>0(从天空俯瞰，逆时针为正)，表示此时正朝更加偏左的方向在走，则需要加大控制转向往右走行；如果夹角β的角度变化量Δβ<0，表明此时正朝修正的路线走行，可以维持当前转向控制或逐步减小转向控制至直行。
如果在轮胎式集装箱门式起重机的4个轮胎都安装有摄像机，则得到4个轮胎当前行驶获得的中心线和基准中心线的偏差值。然后根据这4个轮胎的偏差值进行轮胎式集装箱门式起重机的行驶纠偏。纠偏过程中，需要结合当前轮胎式集装箱门式起重机的航向角进行纠偏。
如果轮胎式集装箱门式起重机是通过驾驶员进行人工驾驶，则把4个轮胎当前行驶获得的中心线和基准中心线及两者的偏差值在驾驶室中进行实时显示；如果采用自动驾驶，则把4个轮胎当前行驶获得的中心线和基准中心线的直线方程传输给自动驾驶控制系统，由控制系统根据这两者的直线方程表达式求取偏差值，然后根据偏差值进行行驶纠偏。
在驾驶室显示时，可以实时显示该图像对应的时间信息，在中心线点显示关联的时间信息，该时间为获取该中心线对应图像的时间。也可以把时间信息传给自动驾驶控制系统，自动驾驶系统可以通过时间参数进行纠偏。
在本实施例中，通过使用图像识别获取移动装置所在的中心线，然后根据中心线和基准中心线的偏移进行纠偏操作。能够降低移动装置纠偏的部署成本；同时该方案具有多种部署方案，既能服务于人类司机的控制辅助，也能作为反馈信号用于自动化控制系统。
此外，本发明实施例还提出一种纠偏装置，参照图7，所述纠偏装置包括：
获取单元，用于获取包含两条第一边界线的图像；
检测单元，用于把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
拟合单元，用于对所述第一边界线的点集进行线性拟合，获得第二边界线；
计算单元，用于根据平行线约束获取两条所述第二边界线的第一中心线；
纠偏单元，用于根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
在本实施例中，通过使用图像识别获取移动装置所在的中心线，然后根据中心线和基准中心线的偏移进行纠偏操作。能够降低移动装置纠偏的部署成本；同时该方案具有多种部署方案，既能服务于人类司机的控制辅助，也能作为反馈信号用于自动化控制系统。
需要说明的是，上述装置中的各单元可用于实现上述方法中的各个步骤，同时达到相应的技术效果，本实施例在此不再赘述。
参照图8，图8为本发明实施例方案涉及的硬件运行环境的交通工具的结构示意图。
如图8所示，该交通工具可以包括：处理器1001，例如CPU，通信总线 1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如 WI-FI、4G、5G接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图8中示出的结构并不构成对交通工具的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及纠偏程序。
在图8所示的交通工具中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；交通工具通过处理器 1001调用存储器1005中存储的纠偏程序，并执行以下操作：
获取包含两条第一边界线的图像；
把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
对所述第一边界线的点集进行线性拟合，获得第二边界线；
根据平行线约束获取两条所述第二边界线的第一中心线；
根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
可选地，对所述第一边界线的点集进行线性拟合之前，还包括以下步骤：
获取拍摄装置高度和俯仰角；
根据所述高度和所述俯仰角，将所述第一边界线的点集的坐标系从图像坐标系转换成相机坐标系。
可选地，对所述第一边界线的点集进行线性拟合，通过以下步骤实现：
获取所述第一边界线的点集的相机坐标系的坐标值；
以所述坐标值的横坐标X、相机光轴坐标Z，进行最小二乘线性拟合，形成如下拟合公式：X＝K×Z+B，其中K、B为常数。
可选地，根据平行线约束获取两条所述第二边界线的第一中心线，通过以下步骤实现：
分别获取所述两条第一边界线的点集坐标值对应的拟合公式的常数K1、K2、 B1、B2；
判断所述常数K1、K2的差值是否小于预设差值；
如果所述常数K1、K2的差值小于所述预设差值，对所述两条第一边界线的拟合公式的常数K1、K2、B1、B2求平均值，得到所述两条第二边界线的第一中心线的直线方程：
Figure BDA0003291548170000121
如果所述常数K1、K2的差值大于等于所述预设差值，获取所述两条第二边界线的交叉点和所述两条第二边界线的倾斜角；使用以下公式获得所述第一中心线的倾斜角：
Figure BDA0003291548170000122
其中θ1、θ2为所述两条第二边界线的倾斜角，θ为所述第一中心线的倾斜角；把所述交叉点的坐标值带入所述第一中心线的直线方程：X＝tan(θ)×Z+B，得到对应的截距B。
可选地，所述基准中心线为移动装置在所述两条第一边界线的中间位置移动时获取的所述第一中心线。
可选地，所述方法包括：
在至少1个移动装置上安装摄像装置用于获取所述包含两条第一边界线的图像；
所述摄像装置同一时刻获取所述包含两条第一边界线的图像。
可选地，所述方法还包括：
根据所述第一中心线和所述基准中心线的横向位移和夹角、移动装置航向角进行纠偏操作。
在本实施例中，通过使用图像识别获取移动装置所在的中心线，然后根据中心线和基准中心线的偏移进行纠偏操作。能够降低移动装置纠偏的部署成本；同时该方案具有多种部署方案，既能服务于人类司机的控制辅助，也能作为反馈信号用于自动化控制系统。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质上存储有纠偏程序，纠偏程序被处理器执行时实现如下操作：
获取包含两条第一边界线的图像；
把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
对所述第一边界线的点集进行线性拟合，获得第二边界线；
根据平行线约束获取两条所述第二边界线的第一中心线；
根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
可选地，对所述第一边界线的点集进行线性拟合之前，还包括以下步骤：
获取拍摄装置高度和俯仰角；
根据所述高度和所述俯仰角，将所述第一边界线的点集的坐标系从图像坐标系转换成相机坐标系。
可选地，对所述第一边界线的点集进行线性拟合，通过以下步骤实现：
获取所述第一边界线的点集的相机坐标系的坐标值；
以所述坐标值的横坐标X、相机光轴坐标Z，进行最小二乘线性拟合，形成如下拟合公式：X＝K×Z+B，其中K、B为常数。
可选地，根据平行线约束获取两条所述第二边界线的第一中心线，通过以下步骤实现：
分别获取所述两条第一边界线的点集坐标值对应的拟合公式的常数K1、K2、 B1、B2；
判断所述常数K1、K2的差值是否小于预设差值；
如果所述常数K1、K2的差值小于所述预设差值，对所述两条第一边界线的拟合公式的常数K1、K2、B1、B2求平均值，得到所述两条第二边界线的第一中心线的直线方程：
Figure BDA0003291548170000131
如果所述常数K1、K2的差值大于等于所述预设差值，获取所述两条第二边界线的交叉点和所述两条第二边界线的倾斜角；使用以下公式获得所述第一中心线的倾斜角：
Figure BDA0003291548170000132
其中θ1、θ2为所述两条第二边界线的倾斜角，θ为所述第一中心线的倾斜角；把所述交叉点的坐标值带入所述第一中心线的直线方程：X＝tan(θ)×Z+B，得到对应的截距B。
可选地，所述基准中心线为移动装置在所述两条第一边界线的中间位置移动时获取的所述第一中心线。
可选地，所述方法包括：
在至少1个移动装置上安装摄像装置用于获取所述包含两条第一边界线的图像；
所述摄像装置同一时刻获取所述包含两条第一边界线的图像。
可选地，所述方法还包括：
根据所述第一中心线和所述基准中心线的横向位移和夹角、移动装置航向角进行纠偏操作。
在本实施例中，通过使用图像识别获取移动装置所在的中心线，然后根据中心线和基准中心线的偏移进行纠偏操作。能够降低移动装置纠偏的部署成本；同时该方案具有多种部署方案，既能服务于人类司机的控制辅助，也能作为反馈信号用于自动化控制系统。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘) 中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，控制器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种纠偏方法，其特征在于，所述方法包括以下步骤：
获取包含两条第一边界线的图像；
把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
对所述第一边界线的点集进行线性拟合，获得第二边界线；
根据平行线约束获取两条所述第二边界线的第一中心线；
根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
2.根据权利要求1所述方法，其特征在于，对所述第一边界线的点集进行线性拟合之前，还包括以下步骤：
获取拍摄装置高度和俯仰角；
根据所述高度和所述俯仰角，将所述第一边界线的点集的坐标系从图像坐标系转换成相机坐标系。
3.根据权利要求2所述方法，其特征在于，对所述第一边界线的点集进行线性拟合，通过以下步骤实现：
获取所述第一边界线的点集的相机坐标系的坐标值；
以所述坐标值的横坐标X、相机光轴坐标Z，进行最小二乘线性拟合，形成如下拟合公式：X＝K×Z+B，其中K、B为常数。
4.根据权利要求3所述方法，其特征在于，根据平行线约束获取两条所述第二边界线的第一中心线，通过以下步骤实现：
分别获取所述两条第一边界线的点集坐标值对应的拟合公式的常数K1、K2、B1、B2；
判断所述常数K1、K2的差值是否小于预设差值；
如果所述常数K1、K2的差值小于所述预设差值，对所述两条第一边界线的拟合公式的常数K1、K2、B1、B2求平均值，得到所述两条第二边界线的第一中心线的直线方程：
Figure FDA0003291548160000011
如果所述常数K1、K2的差值大于等于所述预设差值，获取所述两条第二边界线的交叉点和所述两条第二边界线的倾斜角；使用以下公式获得所述第一中心线的倾斜角：
Figure FDA0003291548160000021
其中θ1、θ2为所述两条第二边界线的倾斜角，θ为所述第一中心线的倾斜角；把所述交叉点的坐标值带入所述第一中心线的直线方程：X＝tan(θ)×Z+B，得到对应的截距B。
5.根据权利要求1所述方法，其特征在于，所述基准中心线为移动装置在所述两条第一边界线的中间位置移动时获取的所述第一中心线。
6.根据权利要求1所述方法，其特征在于，所述方法包括：
在至少1个移动装置上安装摄像装置用于获取所述包含两条第一边界线的图像；
所述摄像装置同一时刻获取所述包含两条第一边界线的图像。
7.根据权利要求1所述方法，其特征在于，所述方法还包括：
根据所述第一中心线和所述基准中心线的横向位移和夹角、移动装置航向角进行纠偏操作。
8.一种纠偏装置，其特征在于，所述纠偏装置包括：
获取单元，用于获取包含两条第一边界线的图像；
检测单元，用于把所述图像输入预设模型，对所述图像进行边界线检测，获得所述图像上所述第一边界线的点集；
拟合单元，用于对所述第一边界线的点集进行线性拟合，获得第二边界线；
计算单元，用于根据平行线约束获取两条所述第二边界线的第一中心线；
纠偏单元，用于根据所述第一中心线和基准中心线的横向位移和夹角进行纠偏操作。
9.一种交通工具，其特征在于，所述交通工具包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纠偏程序，所述纠偏程序配置为实现根据权利要求1至7中任一项所述纠偏方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的纠偏方法的步骤。
CN202111168225.4A 2021-09-30 2021-09-30 一种纠偏方法、装置、交通工具及存储介质 Pending CN113860172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111168225.4A CN113860172A (zh) 2021-09-30 2021-09-30 一种纠偏方法、装置、交通工具及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111168225.4A CN113860172A (zh) 2021-09-30 2021-09-30 一种纠偏方法、装置、交通工具及存储介质

Publications (1)

Publication Number Publication Date
CN113860172A true CN113860172A (zh) 2021-12-31

Family

ID=79001587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111168225.4A Pending CN113860172A (zh) 2021-09-30 2021-09-30 一种纠偏方法、装置、交通工具及存储介质

Country Status (1)

Country Link
CN (1) CN113860172A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168034A (zh) * 2023-04-25 2023-05-26 深圳思谋信息科技有限公司 编织物的缺陷检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101891119A (zh) * 2010-07-19 2010-11-24 青岛港（集团）有限公司 一种轮胎式集装箱门式起重机的自动纠偏方法
US20110013021A1 (en) * 2008-03-19 2011-01-20 Sanyo Electric Co., Ltd. Image processing device and method, driving support system, and vehicle
CN106292653A (zh) * 2015-05-21 2017-01-04 中国科学院沈阳自动化研究所 基于视觉传感器系统的管道车辆纠偏方法
CN106892356A (zh) * 2017-02-09 2017-06-27 江苏大学 一种基于机器视觉的轮胎吊行走系统自动纠偏方法
CN110054089A (zh) * 2019-04-29 2019-07-26 北京航天自动控制研究所 一种轮胎吊机器视觉自动纠偏系统及纠偏方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110013021A1 (en) * 2008-03-19 2011-01-20 Sanyo Electric Co., Ltd. Image processing device and method, driving support system, and vehicle
CN101891119A (zh) * 2010-07-19 2010-11-24 青岛港（集团）有限公司 一种轮胎式集装箱门式起重机的自动纠偏方法
CN106292653A (zh) * 2015-05-21 2017-01-04 中国科学院沈阳自动化研究所 基于视觉传感器系统的管道车辆纠偏方法
CN106892356A (zh) * 2017-02-09 2017-06-27 江苏大学 一种基于机器视觉的轮胎吊行走系统自动纠偏方法
CN110054089A (zh) * 2019-04-29 2019-07-26 北京航天自动控制研究所 一种轮胎吊机器视觉自动纠偏系统及纠偏方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168034A (zh) * 2023-04-25 2023-05-26 深圳思谋信息科技有限公司 编织物的缺陷检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10659677B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
US11270131B2 (en) Map points-of-change detection device
EP3306267B1 (en) Arithmetic logic device, camera device, vehicle and calibration method
US11143512B2 (en) Image data generation device for vehicle, travel trajectory data generation system, and storage medium
US9967526B2 (en) Image processing device and storage medium
US8036424B2 (en) Field recognition apparatus, method for field recognition and program for the same
US20160275683A1 (en) Camera Calibration Device
EP3436879A1 (en) An autonomous vehicle with improved visual detection ability
CA3067955A1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
US20230143687A1 (en) Method of estimating three-dimensional coordinate value for each pixel of two-dimensional image, and method of estimating autonomous driving information using the same
EP2535883A1 (en) Train-of-vehicle travel support device
CN111582079A (zh) 基于计算机视觉的车道定位方法及装置
CN111856491A (zh) 用于确定车辆的地理位置和朝向的方法和设备
CN103843035B (zh) 用于几何校准借助车辆的传感器系统形成的传感器数据的设备和方法
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
CN112964260A (zh) 自动驾驶定位方法、装置、设备及存储介质
CN110203193B (zh) 车辆控制方法、装置、汽车及存储介质
CN113860172A (zh) 一种纠偏方法、装置、交通工具及存储介质
DE112021003371T5 (de) Fahrzeugpositionsschätzvorrichtung und Fahrpositionsschätzverfahren
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
CN115641385A (zh) 车载环视相机标定方法、装置、设备及介质
CN109949356A (zh) 等距线单目视觉行人距离估计方法
US11403770B2 (en) Road surface area detection device
EP3924866A1 (en) Systems and methods for image normalization
JP2024038527A (ja) 信号処理装置、信号処理方法及び信号処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211231