CN111598950A - 一种基于机器视觉的客车列车自动铰接方法及系统 - Google Patents

一种基于机器视觉的客车列车自动铰接方法及系统 Download PDF

Info

Publication number
CN111598950A
CN111598950A CN202010326009.7A CN202010326009A CN111598950A CN 111598950 A CN111598950 A CN 111598950A CN 202010326009 A CN202010326009 A CN 202010326009A CN 111598950 A CN111598950 A CN 111598950A
Authority
CN
China
Prior art keywords
camera
train
automatic
matrix
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010326009.7A
Other languages
English (en)
Inventor
邹应全
管有文
黄凯
陈希翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Blue Structure Industrial Product Design Co ltd
Chengdu Test Art Technology Co ltd
Sichuan Carriage Manufacturing Co ltd
Chengdu Technology Co Ltd
Original Assignee
Chengdu Blue Structure Industrial Product Design Co ltd
Chengdu Test Art Technology Co ltd
Sichuan Carriage Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Blue Structure Industrial Product Design Co ltd, Chengdu Test Art Technology Co ltd, Sichuan Carriage Manufacturing Co ltd filed Critical Chengdu Blue Structure Industrial Product Design Co ltd
Priority to CN202010326009.7A priority Critical patent/CN111598950A/zh
Publication of CN111598950A publication Critical patent/CN111598950A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的客车列车自动铰接方法及系统，摄像头自动对焦并实时获取无畸变的视频流；开发板对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息；客车编组控制器根据处理得到的信息，控制从车调整车辆直至前后车对齐，完成自动铰接。本发明提高客车列车在编组过程中的易操作性，通过便于安装和使用的机器视觉系统进行铰接，能够降低扩展列车过程中设备安装的难度；本发明能够降低运行场景要求的限制，也无需人工参与即可自动完成对接工作，针对高峰和平峰的切换效率和便易度都得到了提高；采用本发明能够以较低的功耗完成多辆列车的编组运行，摆脱了其扩展运力有限的缺点。

Description

一种基于机器视觉的客车列车自动铰接方法及系统
技术领域
本发明涉及客车列车领域，尤其涉及一种基于机器视觉的客车列车自动铰接方法及系统。
背景技术
城市交通中，早晚高峰及平峰对运力需求矛盾突出。公交企业为了解决运力不平衡只能在高峰时段增派车辆和驾驶员，或者更换大运力车辆，造成车辆和人员的浪费。能自由编组和分散独立运行的客车列车在高峰期间进行编组运行，编组列车运行只需要一个驾驶员。在平峰期间，进行分散独立运行，一个驾驶员驾驶一辆分散独立运行车辆。
客车列车区别于传统铰接公交车，铰接公交车大多是两节车厢，运力有限，且不能自由编组，第二节车厢也无动力系统。客车列车可实现多个车辆的自由编组。编组后，车厢打通，乘客可自由穿过每节车厢。客车列车非常适用于快速公交系统(BRT)，可作为介于轨道交通与常规公交之间的新型公共客运系统，解决早晚高峰和平峰运力需求极不平衡的问题，同时大大降低人力成本、车辆运行成本等，体现绿色公交的理念。
当前现有的列车对接技术主要通过人工对接安装、固定轨道对齐接口再进行电气或机械手段固定等方法，存在装卸不便、运作场景限制高等缺点。对于装卸灵活性便易性要求极高的公路客车的铰接，传统的方法无法满足其需求。
当前机器视觉和图像处理技术蓬勃发展，具有数据信息丰富、处理手段多、设备安装简单、性能稳定等优点，能够支撑客车列车自动铰接的功能需求。
发明内容
为了解决以上问题，本发明的目的是提供一种基于机器视觉的客车列车自动铰接方法及系统，前车和后车连接灵活便易，以满足客车列车自由编组的需求。
为了实现以上目的，本发明采用的技术方案：
一种基于机器视觉的客车列车自动铰接方法，包括以下步骤，
自动对焦并实时获取无畸变的视频流；
对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息；
根据处理得到的信息，控制从车调整车辆直至前后车对齐，完成自动铰接。
进一步的是，所述对视频流的图像进行处理包括以下步骤：
S21、使用摄像头标定，获得摄像头内参矩阵、外参矩阵、畸变系数；
S22、创建标记，并安装设备与标记；
S23、对标记进行检测；
S24、进行姿势估计，得到旋转矩阵和平移矩阵；
S25、根据旋转矩阵和平移矩阵求出前后车相对方向角、距离、坐标信息。
进一步的是，所述S21包括以下步骤：
S211、在不同位置和角度拍摄打印好的棋盘标定板15-20张；
S212、对拍摄的标定图片进行灰度化；
S213、对灰度化后的每张标定图片提取内角点信息；
S214、对灰度化后的每张标定图片提取亚像素角点信息；
S215、进行摄像头标定，得到内参数矩阵、外参矩阵、畸变系数；
S216、对摄像头的标定结果进行评价，若偏差在合理范围之内则进行下一步骤。
进一步的是，所述S22包括以下步骤：
S221、创建ArUco标记；
S222、将摄像头固定在车辆前方挡风玻璃的上方中心位置，调试摄像头直至光轴平行于地平线；
S223、将创建的ArUco标记打印，并使ArUco标记图片的中心对准摄像头光轴垂直通过的高度。
进一步的是，所述S23包括以下步骤：
S231、检测候选标记：
从自适应阈值分割标记开始，并从阈值图像中提取轮廓，丢弃非凸形或不近似于正方形的轮廓；
S232、分析候选标记内部编码以确认摄像头获取到的是否为正确ArUco标记：
应用透视变换以获得规范形式的标记；使用Otsu对规范图像进行阈值处理以分离白色和黑色位；根据标记大小和边框大小将图像划分为不同的单元，并对每个单元上的黑色或白色像素进行计数，以确定其是白色位还是黑色位；分析这些位以确定标记是否属于特定词典，并采用纠错技术。
进一步的是，所述S24包括以下步骤：
S241、将世界坐标系标记的四个角点按照顺时针使用points.push_back函数压入points中，左上角为第一个点；
S242、使用OpenCV中的PNP求解函数solvePnP；
S243、使用Rodrigues函数将旋转向量变换成旋转矩阵，将平移向量转换成平移矩阵。
进一步的是，所述S25包括以下步骤：
S251、根据旋转矩阵求出前车和后车的相对方向角；
S252、根据旋转矩阵和平移矩阵求出前后车的距离信息；
S253、设摄像头焦点为原点，以光轴所在直线为y轴，以通过原点且与y轴垂直的直线为x轴，构建水平面上的位置坐标系。
进一步的是，所述前后车的距离信息采用如下公式计算：
Pcam＝RPworld+t
式中，Pcam代表物体在摄像头坐标系下的坐标，Pworld代表物体在世界坐标系下的坐标，R和t分别为旋转矩阵和平移矩阵，当Pcam＝0时，Pworld的z轴坐标即为前后车的距离信息。
进一步的是，所述对标记进行检测采用cv::aruco::detectMarkers函数进行；所述姿势估计使用PnP算法进行。
基于上述铰接方法，本发明还提供了一种基于机器视觉的客车列车自动铰接系统，包括摄像头、开发板和客车编组控制器；
所述摄像头用于自动对焦并获取无畸变的视频流；
所述开发板用于接收摄像头的视频流信息，对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息；
所述客车编组控制器用于接收开发板处理得到的信息，控制从车调整车辆直至前后车对齐，完成自动铰接。
本发明的有益效果：
相较传统列车铰接设备，本发明提高客车列车在编组过程中的易操作性，通过便于安装和使用的机器视觉系统进行铰接，能够降低扩展列车过程中设备安装的难度。
相较传统列车铰接技术，本发明能够降低运行场景要求的限制，也无需人工参与即可自动完成对接工作，针对高峰和平峰的切换效率和便易度都得到了提高。
相较传统铰接公交车，采用本发明能够以较低的功耗完成多辆列车的编组运行，摆脱了其扩展运力有限的缺点。
附图说明
图1为本发明方法的示意图；
图2为本发明对视频流的图像进行处理的示意图；
图3为本发明系统的示意图；
图4为摄像头坐标系；
图5为本发明标定板的示意图；
图6为灰度化后的图片；
图7为提取内角点信息的图片；
图8为提取亚像素角点信息的图片；
图9为生成的ArUco标记；
图10为带标记的原图像；
图11为检测到的标记图像；
图12为识别步骤中被拒绝的标记图像；
图13为截取其中的一帧图像；
图14为本发明客车列车的铰接机构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
实施例1
一种基于机器视觉的客车列车自动铰接方法，包括以下步骤：
S1、使用自动对焦无畸变USB摄像头自动对焦并实时获取无畸变的视频流。
摄像头安装在后车车头上方获取视频流。自动对焦无畸变USB摄像头能够实时获取无畸变的视频流。其自动对焦功能能够保证在铰接过程中标记图像的清晰成像；其无畸变特性降低了摄像头成像时由于畸变而造成的测量误差；USB接口支持热插拔安装调试方便。摄像头安装在车辆前方防风玻璃的正上方，其视角对准前车后方水平位置固定的ArUco标记，俯仰角为0°(水平方向)。摄像头通过USB接口连接树莓派开发板传输实时视频流。
S2、使用树莓派4B开发板对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息。
树莓派4B开发板具有高性能64位四核处理器，4GB的RAM，双频2.4/5.0GHz无线局域网，千兆以太网接口，USB 3.0。具有处理器速度高、低功耗、多媒体性能强、接口丰富等优点，能够完成自动铰接过程中的图像处理需求。树莓派将图像处理后得到的前后列车距离、相对方向角、坐标信息按照通信协议通过TTL串口发送，并通过TTL转CAN模块转换为CAN扩展帧广播至CAN总线，最后传输至客车编组控制器。
其中图像处理具体实施步骤如下，本实施例具体结合一个现场铰接进行说明：
S21、使用摄像头标定，获得摄像头内参矩阵、外参矩阵、畸变系数。
由图4所示各坐标系的对应关系，世界坐标系和图像坐标系的转换关系式如下所示：
Figure BDA0002463248730000051
内参矩阵是用来描述摄像头的内部参数如焦距、主点、偏斜系数、畸变，对应上式中的
Figure BDA0002463248730000052
外参矩阵用来描述摄像头在世界坐标系里的位置和方向，主要包括旋转矩阵R的9个参数和平移矩阵的3个参数，对应上式中的
Figure BDA0002463248730000053
畸变系数是用于描述摄像头进行径向或切向畸变的数值，在需要进行畸变矫正时会使用。
S211、使用自动对焦无畸变USB摄像头在不同位置和角度拍摄打印好的棋盘标定板15-20张，标定板如图5所示。
S212、使用cvtColor(img,imgGray,CV_BGR2GRAY)对拍摄的标定图片进行灰度化，灰度化后的图片如图6所示。
S213、使用findChessboardCorners函数对灰度化后的每张标定图片提取内角点信息，内角点信息如图7所示。
S214、使用cornerSubPix函数对灰度化后的每张标定图片提取亚像素角点信息，亚像素角点信息如图8所示。
S215、使用calibrateCamera函数进行摄像头标定，得到内参数矩阵、外参矩阵、畸变系数分别如下：
内参数矩阵：
[1102.423162881137,0,473.8716881280563；
0,1112.084770214302,372.5677805128268；
0,0,1]
外参矩阵-旋转矩阵(R)：
[-0.9947013675354569,0.007835191225115268,0.1025075568022071；
-0.002232612515607279,0.9952100968028962,-0.09773371303150398；
-0.1027823178588954,-0.09744471766101585,-0.9899193513289443]
外参矩阵-平移向量(t)：
[26.75289524184065；
-12.82044886051323；
113.1670923813448]
畸变系数：
[1.119937460660222,-27.4933634106506,0.001119811020145347,0.008732807386729536,205.54914408402]。
S216、使用projectPoints函数对摄像头的标定结果进行评价，若偏差在合理范围之内则进行下一步骤，不再合理范围内则重新进行摄像头标定。本实施例使用projectPoints函数对摄像头的标定结果如下：
以图8为例，平均误差：0.170037像素；总体平均误差：0.170037像素，偏差在合理范围内。
S22、创建标记，并安装设备与标记。
S221、创建ArUco标记。ArUco标记是一种合成的正方形标记，由宽的黑色边框和确定其标识符(id)的内部二进制矩阵组成。使用cv::drawMarker可以生成设定ID和图像大小的标记图像，例如生成的图像如图9。
S222、将摄像头固定在后车前方挡风玻璃的上方中心位置，调试摄像头直至光轴平行于地平线。之前对于摄像头的相关操作是对摄像头进行摄像头标定，用于获取摄像头的参数，以便在后续操作中使用。
S223、将创建的ArUco标记打印，并使ArUco标记图片的中心对准摄像头光轴垂直通过的高度，保证前后辆车在正确铰接时ArUCo标记和摄像头成像平行对齐。
S23、使用cv::aruco::detectMarkers函数对标记进行检测。
首先通过标记检测信息确认标记的ID，即当前自动铰接的是否为系统指定的前车ID号，若确认再继续进行自动铰接。其次能够得到图像中四个角的位置，对于每个标记，其四个角均按其原始顺序返回(从左上角开始顺时针旋转)。因此，第一个角是左上角，然后是右上角，右下角和左下角。
标记检测过程主要包括两个主要步骤。
S231、检测候选标记：
对摄像头获取的图像进行分析，以找到可以用作标记的正方形。首先从自适应阈值分割标记开始，然后从阈值图像中提取轮廓，其次丢弃那些非凸形或不近似于正方形的轮廓。还应用了一些额外的过滤(删除太小或太大的轮廓，删除彼此太近的轮廓，等等)。
S232、分析候选标记内部编码以确认摄像头获取到的是否为正确ArUco标记：
在候选者检测之后，有必要通过分析其内部编码来确定它们是否实际上是标记。此步骤开始于提取每个标记的标记位。为此，首先，应用透视变换以获得规范形式的标记。然后，使用Otsu对规范图像进行阈值处理以分离白色和黑色位。根据标记大小和边框大小将图像划分为不同的单元，并对每个单元上的黑色或白色像素进行计数，以确定它是白色位还是黑色位。最后，分析这些位以确定标记是否属于特定词典，并在必要时采用纠错技术，降低误检率。
以生成的多个ArUco标记打印在一张纸上的检测效果为例，带标记的原图像如图10所示。检测到的标记(绿色)如图11所示，请注意，某些标记是旋转的，标记的左上角为红色小方块。在识别步骤中被拒绝的标记候选项如图12所示(粉红色)。
S24、使用PnP算法进行姿势估计，得到旋转矩阵和平移矩阵；
依据世界坐标系与图像坐标系如图4，得到世界坐标系与图像坐标系的映射关系：
Figure BDA0002463248730000071
PnP(Perspective-n-Point)是求解3D到2D点对运动的方法。它描述了当我们知道n个3D空间点以及它们的投影位置时，如何估计摄像头所在的位姿。当3D空间点的坐标为四个及以上时可以求得旋转矩阵和平移矩阵的唯一解。
S241、将世界坐标系标记的四个角点按照顺时针使用points.push_back函数压入points中，左上角为第一个点；
S242、使用OpenCV中的PNP求解函数solvePnP；
该函数参数包括：
objectPoints-世界坐标系下的控制点的坐标(生成图标时已知)；
imagePoints-在图像坐标系下对应的控制点的坐标(第S243步中获得)；
cameraMatrix-摄像头的内参矩阵(第S241步获得)；
distCoeffs-摄像头的畸变系数(第S241步获得)；
rvec-输出的旋转向量，使坐标点从世界坐标系旋转到摄像头坐标系；
tvec-输出的平移向量，使坐标点从世界坐标系平移到摄像头坐标系；
flags-默认使用CV_ITERATIV迭代法。
S243、使用Rodrigues函数将旋转向量变换成旋转矩阵，将平移向量转换成平移矩阵。
本实施例具体具体如下：
Rodrigues函数在opencv中的函数原型为：
voidcv::Rodrigues(InputArraysrc,OutputArraydst,OutputArrayjacobian＝noArray())；
调用此函数实现矩阵和向量互换，以旋转矩阵为例结果如下：
旋转矩阵：
[-0.9947013675354569,0.007835191225115268,0.1025075568022071；
-0.002232612515607279,0.9952100968028962,-0.09773371303150398；
-0.1027823178588954,-0.09744471766101585,-0.9899193513289443]
对应的旋转向量：
[0.004272488458516211；
3.034991940038078；
-0.148841745153872]。
S25、根据旋转矩阵和平移矩阵求出前后车相对方向角、距离、坐标信息。
S251、根据旋转矩阵求出坐标旋转角，即前车和后车的相对方向角；
S252、根据旋转矩阵和平移矩阵求出深度信息，即前后车的距离信息；
Pcam＝RPworld+t
式中，Pcam代表物体在摄像头坐标系下的坐标，Pworld代表物体在世界坐标系下的坐标，R和t分别为旋转矩阵和平移矩阵，当Pcam＝0时，Pworld的z轴坐标即为前后车的距离信息。
S253、设摄像头焦点为原点，以光轴所在直线为y轴，以通过原点且与y轴垂直的直线为x轴，根据S251和S252所得方向角和距离信息可计算出前车标记所在的中心坐标，即可构建水平面上的位置坐标系。
本实施例具体为：
使用经过上述标定后的摄像头对ArUco标记进行视频监控，截取其中一帧图像(如图13所示)进行处理，由Pnp算法得到的旋转矩阵R和平移矩阵t，设Pcam＝0，根据S251和S252所述公式，可以得到Pworld的z轴坐标为76.898mm；根据旋转矩阵得到的旋转向量的长度(模)表示本帧图像在世界坐标系下各轴绕轴逆时针旋转的角度(弧度)，即可得到本帧方向角为：x轴0.13°，y轴0.06°，z轴-2,24°(顺时针为正)。
坐标信息的获取方法如下:规定后车启动自动铰接的状态为初始化原点(0,0)，以平行于水平面所在的平面作为坐标平面。根据得到的距离和旋转矩阵即可计算得出映射在坐标平面上的对应(X，Y)坐标。
S3、客车编组控制器根据处理得到的信息(即前后车相对方向角、距离、坐标信息)，控制从车调整车辆直至前后车对齐，前后车间的铰接机构连接，完成自动铰接。
本实施例中的铰接结果数据如下：
以distance表示车辆距离，x、y、z分别表示在世界坐标系下x、y、z轴的旋转角，(X,Y)表示后车的平面坐标信息(起点设为(0,0)单位为mm)。在一次自动铰接过程中的结果数据如下：
distance:3500mm,x:45.34°,y:-3.55°,z:3.02°(0，0)
distance:3456mm,x:43.68°,y:-3.45°,z:3.99°(23，65)
distance:3245mm,x:43.37°,y:-4.02°,z:3.89°(45，76)
distance:3234mm,x:39.34°,y:-3.12°,z:3.62°(58，84)
distance:3215mm,x:39.06°,y:-2.95°,z:4.02°(78，105)
distance:3209mm,x:38.99°,y:-2.85°,z:3.40°(75，122)
distance:3159mm,x:33.03°,y:-2.52°,z:3.06°(98，143)
distance:3072mm,x:29.63°,y:-2.52°,z:3.06°(105，139)
distance:2892mm,x:26.63°,y:-2.56°,z:3.13°(132，144)
distance:2834mm,x:25.45°,y:-2.34°,z:2.34°(223，178)
distance:2772mm,x:21.38°,y:-1.79°,z:2.03°(256，211)
distance:2682mm,x:20.22°,y:-1.69°,z:1.03°(278，239)
distance:2532mm,x:19.47°,y:-1.22°,z:1.03°(297，260)
distance:2426mm,x:17.95°,y:-1.30°,z:0.83°(380，329)
distance:2269mm,x:16.47°,y:-1.20°,z:1.05°(419，388)
distance:2156mm,x:15.65°,y:-1.02°,z:1.03°(587，486)
distance:2003mm,x:13.45°,y:-1.00°,z:0.89°(692，529)
distance:1935mm,x:13.05°,y:-1.02°,z:0.83°(798，635)
distance:1778mm,x:12.07°,y:-0.95°,z:0.81°(833，768)
distance:1530mm,x:10.35°,y:-0.92°,z:0.79°(987，923)
distance:1507mm,x:10.05°,y:-1.02°,z:0.72°(1043，1109)
distance:1345mm,x:9.35°,y:-0.96°,z:0.62°(1223，1234)
distance:1267mm,x:8.67°,y:-0.95,z:0.69°(1323，1414)
distance:1132mm,x:8.07°,y:-0.85,z:0.72°(1526，1678)
distance:1026mm,x:7.47°,y:-0.86,z:0.77°(1696，1728)
distance:926mm,x:5.86°,y:-0.85,z:0.79°(1823，1935)
distance:856mm,x:4.76°,y:-0.88,z:0.82°(2004，2103)
distance:766mm,x:5.32°,y:-0.84,z:0.88°(2224，2284)
distance:664mm,x:4.25°,y:-0.87,z:0.89°(2312，2377)
distance:588mm,x:3.75°,y:-0.81,z:0.84°(2410，2423)
distance:418mm,x:2.34°,y:-0.88,z:0.87°(2435，2450)
distance:327mm,x:1.54°,y:-0.83,z:0.85°(2471，2472)
distance:201mm,x:0.99°,y:-0.87,z:0.86°(2475，2483)
distance:200mm,x:0.89°,y:-0.83,z:0.85°(2479，2488)
客车编组控制器根据上述的结果数据，控制从车调整车辆直至前后车对齐，前后车间的铰接机构连接，如图12所示，完成自动铰接。
根据上面的数据表明，使用机器视觉加图像处理的技术能够满足铰接过程中对所需信息，如前后车距离、方位角、坐标信息的获取，并且一定程度上满足铰接过程中的所需精度。随着车辆控制器根据接收到视觉处理模块上传的信息控制车辆进行对接位姿矫正，获取的视觉检测数据也在逐渐向正确对接的位置收敛，最终到达正确的对接位姿实现前后车的对接。
实施例2
一种基于机器视觉的客车列车自动铰接系统，如图3所示，包括摄像头、开发板和客车编组控制器；所述摄像头用于自动对焦并获取无畸变的视频流；所述开发板用于接收摄像头的视频流信息，对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息；所述客车编组控制器用于接收开发板处理得到的信息，控制从车调整车辆直至前后车对齐，完成自动铰接。本实施例中的摄像头、开发板和客车编组控制器的具体使用说明，已在实施例1中详细阐述，在此不再累述。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于机器视觉的客车列车自动铰接方法，其特征在于，包括以下步骤，
自动对焦并实时获取无畸变的视频流；
对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息；
根据处理得到的信息，控制从车调整车辆直至前后车对齐，完成自动铰接。
2.如权利要求1所述的自动铰接方法，其特征在于，所述对视频流的图像进行处理包括以下步骤：
S21、使用摄像头标定，获得摄像头内参矩阵、外参矩阵、畸变系数；
S22、创建标记，并安装设备与标记；
S23、对标记进行检测；
S24、进行姿势估计，得到旋转矩阵和平移矩阵；
S25、根据旋转矩阵和平移矩阵求出前后车相对方向角、距离、坐标信息。
3.如权利要求2所述的自动铰接方法，其特征在于，所述S21包括以下步骤：
S211、在不同位置和角度拍摄打印好的棋盘标定板15-20张；
S212、对拍摄的标定图片进行灰度化；
S213、对灰度化后的每张标定图片提取内角点信息；
S214、对灰度化后的每张标定图片提取亚像素角点信息；
S215、进行摄像头标定，得到内参数矩阵、外参矩阵、畸变系数；
S216、对摄像头的标定结果进行评价，若偏差在合理范围之内则进行下一步骤。
4.如权利要求2所述的自动铰接方法，其特征在于，所述S22包括以下步骤：
S221、创建ArUco标记；
S222、将摄像头固定在车辆前方挡风玻璃的上方中心位置，调试摄像头直至光轴平行于地平线；
S223、将创建的ArUco标记打印，并使ArUco标记图片的中心对准摄像头光轴垂直通过的高度。
5.如权利要求2所述的自动铰接方法，其特征在于，所述S23包括以下步骤：
S231、检测候选标记：
从自适应阈值分割标记开始，并从阈值图像中提取轮廓，丢弃非凸形或不近似于正方形的轮廓；
S232、分析候选标记内部编码以确认摄像头获取到的是否为正确ArUco标记：
应用透视变换以获得规范形式的标记；使用Otsu对规范图像进行阈值处理以分离白色和黑色位；根据标记大小和边框大小将图像划分为不同的单元，并对每个单元上的黑色或白色像素进行计数，以确定其是白色位还是黑色位；分析这些位以确定标记是否属于特定词典，并纠错。
6.如权利要求2所述的自动铰接方法，其特征在于，所述S24包括以下步骤：
S241、将世界坐标系标记的四个角点按照顺时针使用points.push_back函数压入points中，左上角为第一个点；
S242、使用OpenCV中的PNP求解函数solvePnP；
S243、使用Rodrigues函数将旋转向量变换成旋转矩阵，将平移向量转换成平移矩阵。
7.如权利要求2所述的自动铰接方法，其特征在于，所述S25包括以下步骤：
S251、根据旋转矩阵求出前车和后车的相对方向角；
S252、根据旋转矩阵和平移矩阵求出前后车的距离信息；
S253、设摄像头焦点为原点，以光轴所在直线为y轴，以通过原点且与y轴垂直的直线为x轴，构建水平面上的位置坐标系。
8.如权利要求7所述的自动铰接方法，其特征在于，所述前后车的距离信息采用如下公式计算：
Pcam＝RPworld+t
式中，Pcam代表物体在摄像头坐标系下的坐标，Pworld代表物体在世界坐标系下的坐标，R和t分别为旋转矩阵和平移矩阵。
9.如权利要求2所述的自动铰接方法，其特征在于，所述对标记进行检测采用cv::aruco::detectMarkers函数进行；所述姿势估计使用PnP算法进行。
10.一种基于机器视觉的客车列车自动铰接系统，其特征在于，包括摄像头、开发板和客车编组控制器；
所述摄像头用于自动对焦并获取无畸变的视频流；
所述开发板用于接收摄像头的视频流信息，对视频流的图像进行处理，得到前后客车的距离、相对方向角和坐标信息；
所述客车编组控制器用于接收开发板处理得到的信息，控制从车调整车辆直至前后车对齐，完成自动铰接。
CN202010326009.7A 2020-04-23 2020-04-23 一种基于机器视觉的客车列车自动铰接方法及系统 Pending CN111598950A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326009.7A CN111598950A (zh) 2020-04-23 2020-04-23 一种基于机器视觉的客车列车自动铰接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326009.7A CN111598950A (zh) 2020-04-23 2020-04-23 一种基于机器视觉的客车列车自动铰接方法及系统

Publications (1)

Publication Number Publication Date
CN111598950A true CN111598950A (zh) 2020-08-28

Family

ID=72190348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326009.7A Pending CN111598950A (zh) 2020-04-23 2020-04-23 一种基于机器视觉的客车列车自动铰接方法及系统

Country Status (1)

Country Link
CN (1) CN111598950A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363510A (zh) * 2020-11-23 2021-02-12 西南交通大学 一种自动驾驶编组车自动对接方法
CN114789440A (zh) * 2022-04-22 2022-07-26 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039541A1 (en) * 2014-08-06 2016-02-11 Disney Enterprises, Inc. Robust and autonomous docking and recharging of quadrotors
CN105843166A (zh) * 2016-05-23 2016-08-10 北京理工大学 一种特型多自由度自动对接装置及其工作方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN108036791A (zh) * 2017-12-08 2018-05-15 中国人民解放军火箭军工程设计研究院 一种部件间高精度自动对接的位姿检测方法
CN109081147A (zh) * 2018-09-07 2018-12-25 中铁第四勘察设计院集团有限公司 一种公铁联运冷链平移对接装置及系统
CN110047111A (zh) * 2019-04-18 2019-07-23 中国民航大学 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN110162042A (zh) * 2019-05-14 2019-08-23 中国舰船研究设计中心 一种用于无人艇回收的视觉引导装置及方法
CN110647156A (zh) * 2019-09-17 2020-01-03 中国科学院自动化研究所 基于目标物对接环的对接设备位姿调整方法、系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160039541A1 (en) * 2014-08-06 2016-02-11 Disney Enterprises, Inc. Robust and autonomous docking and recharging of quadrotors
CN105843166A (zh) * 2016-05-23 2016-08-10 北京理工大学 一种特型多自由度自动对接装置及其工作方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN108036791A (zh) * 2017-12-08 2018-05-15 中国人民解放军火箭军工程设计研究院 一种部件间高精度自动对接的位姿检测方法
CN109081147A (zh) * 2018-09-07 2018-12-25 中铁第四勘察设计院集团有限公司 一种公铁联运冷链平移对接装置及系统
CN110047111A (zh) * 2019-04-18 2019-07-23 中国民航大学 一种基于立体视觉的停机坪廊桥对接误差测量方法
CN110162042A (zh) * 2019-05-14 2019-08-23 中国舰船研究设计中心 一种用于无人艇回收的视觉引导装置及方法
CN110647156A (zh) * 2019-09-17 2020-01-03 中国科学院自动化研究所 基于目标物对接环的对接设备位姿调整方法、系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DELIN LUO等: "Docking navigation method for UAV autonomous aerial refueling", 《SCIENCE CHINA INFORMATION SCIENCES》 *
任梦晴: "自动对接检测定位技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
刘哲等: "导弹总装自动对接装配机构的设计与研究", 《组合机床与自动化加工技术》 *
吴正华: "基于视觉的近距离航天器相对位姿测量技术的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
李秀智等: "基于视觉测量的智能轮椅床自动对接", 《仪器仪表学报》 *
韩冲等: "基于OpenCV的水下机器人单目定位技术研究与仿真", 《计算机测量与控制》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363510A (zh) * 2020-11-23 2021-02-12 西南交通大学 一种自动驾驶编组车自动对接方法
CN114789440A (zh) * 2022-04-22 2022-07-26 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质
CN114789440B (zh) * 2022-04-22 2024-02-20 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质

Similar Documents

Publication Publication Date Title
CN110363820B (zh) 一种基于激光雷达、图像前融合的目标检测方法
US10885398B2 (en) Joint 3D object detection and orientation estimation via multimodal fusion
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
CN108921151B (zh) 一种基于深度学习的普通摄像头全车牌识别系统
WO2021226891A1 (zh) 基于多轴联动控制和机器视觉反馈测量的3d打印装置及方法
TWI517670B (zh) 車用鏡頭之自動化校正與應用其之影像轉換方法與裝置
CN103148837B (zh) 一种车距测量方法、装置及汽车
CN111598950A (zh) 一种基于机器视觉的客车列车自动铰接方法及系统
CN108288386A (zh) 基于视频的路内停车跟踪方法
CN110334625A (zh) 一种面向自动泊车的停车位视觉识别系统及其识别方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN111161446A (zh) 一种巡检机器人的图像采集方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN111832410B (zh) 一种基于视觉与激光雷达融合的前向列车检测方法
CN108281008A (zh) 一种检测装置及监控设备
CN106980837A (zh) 一种基于车辆特征信息分析的车型识别方法及系统
CN113989766A (zh) 道路边缘检测方法、应用于车辆的道路边缘检测设备
CN205890910U (zh) 可见光与红外光结合的轨道异物侵限探测装置
CN108830861A (zh) 一种混合光学运动捕捉方法及系统
CN113788051A (zh) 列车在站运行状态监测分析系统
CN116402891A (zh) 新能源汽车充电接口自动定位方法和充电枪自动插拔定位方法
CN109509368A (zh) 一种基于车顶模型的停车行为算法
CN202976114U (zh) 一种带特殊对焦图形的条码识读器
CN109948618A (zh) 一种远距离车牌识别的终端、系统和方法
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828