CN113296516A - 一种自动托举汽车的机器人控制方法 - Google Patents

一种自动托举汽车的机器人控制方法 Download PDF

Info

Publication number
CN113296516A
CN113296516A CN202110569862.6A CN202110569862A CN113296516A CN 113296516 A CN113296516 A CN 113296516A CN 202110569862 A CN202110569862 A CN 202110569862A CN 113296516 A CN113296516 A CN 113296516A
Authority
CN
China
Prior art keywords
robot
tire
automobile
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110569862.6A
Other languages
English (en)
Other versions
CN113296516B (zh
Inventor
葛嘉庆
杨潇
郭新年
王梓栋
曹成龙
彭赛杰
仇宏扬
蒋青松
季仁东
陈祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202110569862.6A priority Critical patent/CN113296516B/zh
Publication of CN113296516A publication Critical patent/CN113296516A/zh
Application granted granted Critical
Publication of CN113296516B publication Critical patent/CN113296516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自动托举汽车的机器人控制方法,包括用于泊车的可自动托举汽车的机器人;机器人在抓取汽车时,依靠自身的识别系统对车轮胎进行自动识别,然后矫正车身状态,最后采用夹持机构抓取汽车的轮胎,对其完成托举的动作;具体的方法包括:(1)车牌识别、(2)矫正机器人车身、(3)抓取汽车轮胎三个步骤。本发明对现代开发智慧停车自动泊车具有重要的作用和意义,运用本方法的泊车机器人相对于传统泊车机器人更具灵活性,抓取汽车依靠自身自动识别,不再依赖外部设备和条件,更有利于解决现代社会人车矛盾,提高泊车效率。

Description

一种自动托举汽车的机器人控制方法
技术领域
本发明涉及机器视觉领域,具体涉及一种自动托举汽车的机器人控制方法。
背景技术
当代人们的生活水平逐渐提高,小汽车数量也随之增多,停车设施供给不足,城市空间也越来越小。停车位和小汽车数量的比例日渐失调,人们对于便捷停车服务的需求越来越急迫,解决城市交通堵塞和停车困难的问题,已成为影响和制约城市建设和经济发展的一个重要因素。
发明内容
针对上述的技术问题,本技术方案提供了一种自动托举汽车的机器人控制方法,能有效的解决上述问题。
本发明通过以下技术方案实现:
一种自动托举汽车的机器人控制方法,包括用于泊车的可自动托举汽车的机器人;机器人在抓取汽车时,依靠自身的识别系统对车轮胎进行自动识别,然后矫正机器人的车身状态,最后采用夹持机构抓取汽车的轮胎,对其完成托举的动作;具体的方法如下:
步骤一:车牌识别是运用计算机仿真及FPGA集成开发环境实现车牌识别功能,确认车辆为所需托起的车辆;
步骤二:矫正机器人的车身状态是采用双目导航系统模型,将双目相机安装于托举机器人的前端,采用棋盘格标定双目系统,系统标定完成后,使用双目导航进入待泊车底部;
步骤三:抓取汽车轮胎是采用夹持单目结构光系统模型系统建模,激光线打在被测物体表面,形成特定条纹,通过相机采集后,并依据系统数学模型,获得激光点的三维坐标;步骤如下:
首先是建立相机模型,其次是建立光平面方程模型,两个模型建立两个方程、三个未知数,模型中的系数运用棋盘法进行标定。
进一步的,步骤一所述的实现车牌识别功能的具体方式如下:
步骤1.1:采集彩色图片并输入到系统中;
步骤1.2:在系统中将接收到的彩色图片转化为256色灰度级的dib位图灰度图像,灰度化图像可根据以下公式进行:v=r*0.3+g*0.6+b*0.1,式中r、g、b分别是读取的红、绿、蓝的分量值,v是计算出的每个像素的灰度值;然后,将像素r,g,b三分量的值都设为v重新写回内存,实现彩色向灰度图像的转换;
步骤1.3:用基于空间分布的二值化将灰度图像二值化,图像的二值化就是把灰度图像变成黑白图像;灰度图像的二值化就是选取一个阈值,当灰度值大于该阈值时令其为白点,否则为黑点;采用双峰法的自适应阈值选择方法;根据图像由前景和背景组成,而前后二景都形成高峰,在双峰之间的最低谷就是图像的阈值所在;但是,自适应阈值可能会产生许多噪声点;
步骤1.4:对二值化图像进行中值滤波处理,采用中值滤波法进行滤波;
步骤1.5:采用边缘检测来实现车牌区域和背景的分离;采用水平差分算法得到边缘图像;为此设计了一个水平模板算子,即tm=[1,1,1,1,1,1,1],是一个7X1向量,使用该算子与图像进行卷积,取平均值然后再与原图像进行差分运算,当差分值大于某一门限值就认为它是边缘目标,否则是背景;
步骤1.6:对处理后的图像进行逐行逐列扫描,确定车牌的上下左右边界。
进一步的,步骤二所述的矫正机器人的车身状态的具体步骤如下所示:
步骤2.1:采集双目系统视野范围内的棋盘格图像,棋盘格图像的数量大于等于3幅;
步骤2.2:使用标定软件,如matlab中的立体相机标定APP,分别提取角点、计算左右摄像机的内、外参数;
步骤2.3:根据对应图像的内、外参数,计算两摄像机坐标系的外参数;标定出的双目系统两相机内参数分别为
Figure BDA0003080464720000031
Figure BDA0003080464720000032
两相机间的外参数为R、t,其中R为两相机坐标系间的旋转矩阵,t为两相机间的平移向量,如果两相机平行放置,则R=E=[1,0,0;0,1,0;0,0,1;]。
进一步的,在得到所述的标定参数后,再进入如下工作流程:
步骤S1:双目系统分别采集工作空间图像,图像采集,识别特征点:左右轮胎,使用立体匹配算法,计算特征点的三维坐标;
步骤S2:测量待泊车辆后方左右轮胎的三维坐标;通过图像识别系统采集两个左右轮胎的三维坐标,分别为Wl(xl,yl,zl)和Wr(xr,yr,zr),以Wl和Wr构建空间直线,求解空间直线中点W0和法向量,调整机器人的位姿并规划轨迹,对Xl和Xr取绝对值,比较大小,进行平行于两大灯方向左右移动,直到两绝对值相等,使托举车在到达待泊车左右大灯连线中点位置时的行车方向与直线法向量重合;
步骤S3:进入待泊车底部后,以法向量方向行进L0距离后,停泊与待泊车底部。
进一步的,步骤S2中所述的调整机器人的位姿并规划轨迹,具体的方式如下:对Xl和Xr取绝对值,得到机器人距离待泊车辆左右轮胎的远近,以此判断机器人旋转大体方向,假设y1>y2,即左胎远于右胎,机器人测出所需角度时机器人顺时针旋转;反之,逆时针旋转;
机器人根据指示朝汽车方向前进,在达到限定的安全距离时,停止前进;以左右轮胎进行坐标系转换,以x1和xr连线中点作为原点平行地面且垂直于中点连线为y方向,在经过原点作垂直于机器人横向车身的直线,直线与y轴夹角利用自生麦克纳姆轮进行车身旋转,已经测出角度为O;假设麦克纳姆轮左上角为1号轮顺时针为2、3、4号轮,此时以2号轮为原点进行顺时针旋转,各个麦克纳姆轮旋转角度的旋转公式如下:V为各轮胎线速度,W为角速度,控制角速度旋转相同,小车速度分解公式如下:
V1=W*r1
V2=W*r2
V3=W*r3
此时机器人继续前进直至于轮胎较近位置,此时利用双目视觉测量机器人与汽车两轮之间中点与双目视觉点x轴相差距离进行平移;待机器人双目视觉点与中点重合时前进,于托举指定位置停止;托举指定位置为单目视觉光结构点于汽车前轮胎特征值中点重合。
进一步的,步骤三所述的建立相机模型的具体步骤如下:
设空间上任意一点P在相机坐标系的坐标为XP=(xc,yc,zc)T经相机成像后,图像平面上的投影点为P,其坐标为P=(u,v,)-T,将Xp和P增加一维单位坐标变成其次形式为:
Figure BDA0003080464720000041
Figure BDA0003080464720000051
在小孔成像模型中
Figure BDA0003080464720000052
其中:
Figure BDA0003080464720000053
式中,K为相机内参数,fu、fv为图像u、v方向的尺度因字,s为u、v两轴向的夹角因子,u0、v0为相机镜头光轴与CCD/CMOS平面的交点坐标。
进一步的,步骤三所述的建立光平面方程模型的具体步骤如下:
激光平面在相机坐标系可表示为π=(a,b,c,1);在系统工作时,激光条打在轮胎上,在轮胎上留有系列特征点,设特征点在相机坐标系的齐次坐标为
Figure BDA0003080464720000054
该系列特征点在激光平面上,所以满足:
Figure BDA0003080464720000055
将公式(1)和公式(2)联立可得到三维坐标:
Figure BDA0003080464720000056
将结构光系统安装与每个夹具的上方,系统标定仍采用棋盘格标定方法,步骤为:
(1)集系统视野范围内的棋盘格图像,同一位姿分别采集不带激光条和带激光条的图像,采集不少于10个位姿下的图像;
(2)使用不带激光条的棋盘格图片标定摄像机内参数,并获得每个位姿下的摄像机外参数;
(3)使用这些为参数标定激光平面方程;
(4)控制夹具末端点触碰棋盘格上的角点,距离控制夹具的三维坐标,根据夹具三维坐标和摄像机坐标系下测量的该点坐标,获得夹具坐标系与摄像机坐标系的原点偏差,假设夹具有3自由度;标定完成后,根据结构光测得的轮胎尺寸及两侧极值点,控制夹具夹持待泊车轮胎。
(三)有益效果
本发明提出的一种自动托举汽车的机器人控制方法,与现有技术相比较,其具有以下有益效果:
(1)本技术方案通过安装在机器人前端的双目摄像头,采用了车前视觉导航系统,可精准控制机器人车从待泊车正下方进入,使用技术模型为双目摄像机模型,能够自动校准自身与汽车中轴线对齐其优点在于适用于各种场景,无论托举机器人位于汽车后方何种角度,均能够完成车身修正,停于汽车轴中心下方,且适用性更加广阔,所需调整的地域更加狭窄,此发明实用于各类大型停车场,狭隘地域停车场,立体升降式停车场等。相较于传统先矫正机器人车身与待托举平行的行进办法,此发明需要的直行前进方向更加短,步骤更加简明,适用范围更加广阔,机器人停车托举精度更加准确,避免伤害车身与机器人。
(2)本技术方案通过获取轮胎的三维坐标,使用技术模型为单目摄像机线结构光模型,实现夹具精准夹持轮胎并托举,能够自动准确精准加持轮胎,较于传统夹持式汽车托举车,采用该力度传感器或以汽车夹持离地为标准,利用此发明能够更加精准识别所需夹取的坐标点位置,且无伤车体,对轮胎损伤程度更低。
(3)本技术方案对现代开发智慧停车自动泊车具有重要的作用和意义,运用本方法的泊车机器人相对于传统泊车机器人更具灵活性,抓取汽车依靠自身自动识别,不再依赖外部设备和条件,更有利于解决现代社会人车矛盾,提高泊车效率。
附图说明
图1是本发明完成自动托举的流程示意图。
图2是本发明中狭窄地域时待托举车辆示意图。
图3是本发明中以轮胎2为基准点做顺时针旋转分解示意图。
图4是本发明中结构光系统示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。在不脱离本发明设计构思的前提下,本领域普通人员对本发明的技术方案做出的各种变型和改进,均应落入到本发明的保护范围。
实施例1:
如图1-4所示,一种自动托举汽车的机器人控制方法,包括用于泊车的可自动托举汽车的机器人;机器人在抓取汽车时,依靠自身的识别系统对车轮胎进行自动识别,然后矫正机器人的车身状态,最后采用夹持机构抓取汽车的轮胎,对其完成托举的动作;具体的方法如下:
步骤一:车牌识别是运用计算机仿真及FPGA集成开发环境实现车牌识别功能,确认车辆为所需托起的车辆;
实现车牌识别功能的具体方式如下:
步骤1.1:采集彩色图片并输入到系统中;
步骤1.2:在系统中将接收到的彩色图片转化为256色灰度级的dib位图灰度图像,灰度化图像可根据以下公式进行:v=r*0.3+g*0.6+b*0.1,式中r、g、b分别是读取的红、绿、蓝的分量值,v是计算出的每个像素的灰度值;然后,将像素r,g,b三分量的值都设为v重新写回内存,实现彩色向灰度图像的转换;
步骤1.3:用基于空间分布的二值化将灰度图像二值化,图像的二值化就是把灰度图像变成黑白图像;灰度图像的二值化就是选取一个阈值,当灰度值大于该阈值时令其为白点,否则为黑点;采用双峰法的自适应阈值选择方法;根据图像由前景和背景组成,而前后二景都形成高峰,在双峰之间的最低谷就是图像的阈值所在;但是,自适应阈值可能会产生许多噪声点;
步骤1.4:对二值化图像进行中值滤波处理,采用中值滤波法进行滤波;
步骤1.5:采用边缘检测来实现车牌区域和背景的分离;采用水平差分算法得到边缘图像;为此设计了一个水平模板算子,即tm=[1,1,1,1,1,1,1],是一个7X1向量,使用该算子与图像进行卷积,取平均值然后再与原图像进行差分运算,当差分值大于某一门限值就认为它是边缘目标,否则是背景;
步骤1.6:对处理后的图像进行逐行逐列扫描,确定车牌的上下左右边界。
步骤二:矫正机器人的车身状态是采用双目导航系统模型,将双目相机安装于托举机器人的前端,采用棋盘格标定双目系统,系统标定完成后,使用双目导航进入待泊车底部;
步骤2.1:采集双目系统视野范围内的棋盘格图像,棋盘格图像的数量大于等于3幅;
步骤2.2:使用标定软件,如matlab中的立体相机标定APP,分别提取角点、计算左右摄像机的内、外参数;
步骤2.3:根据对应图像的内、外参数,计算两摄像机坐标系的外参数;标定出的双目系统两相机内参数分别为
Figure BDA0003080464720000091
Figure BDA0003080464720000092
两相机间的外参数为R、t,其中R为两相机坐标系间的旋转矩阵,t为两相机间的平移向量,如果两相机平行放置,则R=E=[1,0,0;0,1,0;0,0,1;]。
在得到所述的标定参数后,再进入如下工作流程:
步骤S1:双目系统分别采集工作空间图像,图像采集,识别特征点:左右轮胎,使用立体匹配算法,计算特征点的三维坐标;
步骤S2:测量待泊车辆后方左右轮胎的三维坐标;通过图像识别系统采集两个左右轮胎的三维坐标,分别为Wl(xl,yl,zl)和Wr(xr,yr,zr),以Wl和Wr构建空间直线,求解空间直线中点W0和法向量,调整机器人的位姿并规划轨迹,对Xl和Xr取绝对值,比较大小,进行平行于两大灯方向左右移动,直到两绝对值相等,使托举车在到达待泊车左右大灯连线中点位置时的行车方向与直线法向量重合;
所述的调整机器人的位姿并规划轨迹,具体的方式如下:对Xl和Xr取绝对值,得到机器人距离待泊车辆左右轮胎的远近,以此判断机器人旋转大体方向,假设y1>y2,即左胎远于右胎,机器人测出所需角度时机器人顺时针旋转;反之,逆时针旋转;
机器人根据指示朝汽车方向前进,在达到限定的安全距离时,停止前进;以左右轮胎进行坐标系转换,以x1和xr连线中点作为原点平行地面且垂直于中点连线为y方向,在经过原点作垂直于机器人横向车身的直线,直线与y轴夹角利用自生麦克纳姆轮进行车身旋转,已经测出角度为O;假设麦克纳姆轮左上角为1号轮顺时针为2、3、4号轮,此时以2号轮为原点进行顺时针旋转,各个麦克纳姆轮旋转角度的旋转公式如下:V为各轮胎线速度,W为角速度,控制角速度旋转相同,小车速度分解公式如下:
V1=W*r1
V2=W*r2
V3=W*r3
此时机器人继续前进直至于轮胎较近位置,此时利用双目视觉测量机器人与汽车两轮之间中点与双目视觉点x轴相差距离进行平移;待机器人双目视觉点与中点重合时前进,于托举指定位置停止;托举指定位置为单目视觉光结构点于汽车前轮胎特征值中点重合。
步骤S3:进入待泊车底部后,以法向量方向行进L0距离后,停泊与待泊车底部。
步骤三:采用夹持单目结构光系统模型系统建模如图4所示,抓取汽车轮胎是采用夹持单目结构光系统模型系统建模,激光线打在被测物体表面,形成特定条纹,通过相机采集后,并依据系统数学模型,获得激光点的三维坐标;步骤如下:
首先是建立相机模型,其次是建立光平面方程模型,两个模型建立两个方程、三个未知数,模型中的系数运用棋盘法进行标定;
建立相机模型的具体步骤如下:
设空间上任意一点P在相机坐标系的坐标为XP=(xc,yc,zc)T经相机成像后,图像平面上的投影点为P,其坐标为P=(u,v,)-T,将Xp和P增加一维单位坐标变成其次形式为:
Figure BDA0003080464720000101
Figure BDA0003080464720000111
在小孔成像模型中
Figure BDA0003080464720000112
其中:
Figure BDA0003080464720000113
式中,K为相机内参数,fu、fv为图像u、v方向的尺度因字,s为u、v两轴向的夹角因子,u0、v0为相机镜头光轴与CCD/CMOS平面的交点坐标。
建立光平面方程模型的具体步骤如下:
激光平面在相机坐标系可表示为π=(a,b,c,1);在系统工作时,激光条打在轮胎上,在轮胎上留有系列特征点,设特征点在相机坐标系的齐次坐标为
Figure BDA0003080464720000114
该系列特征点在激光平面上,所以满足:
Figure BDA0003080464720000115
将公式(1)和公式(2)联立可得到三维坐标:
Figure BDA0003080464720000116
将结构光系统安装与每个夹具的上方,系统标定仍采用棋盘格标定方法,步骤为:
(1)集系统视野范围内的棋盘格图像,同一位姿分别采集不带激光条和带激光条的图像,采集不少于10个位姿下的图像;
(2)使用不带激光条的棋盘格图片标定摄像机内参数,并获得每个位姿下的摄像机外参数;
(3)使用这些为参数标定激光平面方程;
(4)控制夹具末端点触碰棋盘格上的角点,距离控制夹具的三维坐标,根据夹具三维坐标和摄像机坐标系下测量的该点坐标,获得夹具坐标系与摄像机坐标系的原点偏差,假设夹具有3自由度;标定完成后,根据结构光测得的轮胎尺寸及两侧极值点,控制夹具夹持待泊车轮胎。

Claims (7)

1.一种自动托举汽车的机器人控制方法,包括用于泊车的可自动托举汽车的机器人;机器人在抓取汽车时,依靠自身的识别系统对车轮胎进行自动识别,然后矫正机器人的车身状态,最后采用夹持机构抓取汽车的轮胎,对其完成托举的动作;具体的方法如下:
步骤一:车牌识别是运用计算机仿真及FPGA集成开发环境实现车牌识别功能,确认车辆为所需托起的车辆;
步骤二:矫正机器人的车身状态是采用双目导航系统模型,将双目相机安装于托举机器人的前端,采用棋盘格标定双目系统,系统标定完成后,使用双目导航进入待泊车底部;
步骤三:抓取汽车轮胎是采用夹持单目结构光系统模型系统建模,激光线打在被测物体表面,形成特定条纹,通过相机采集后,并依据系统数学模型,获得激光点的三维坐标;步骤如下:
首先是建立相机模型,其次是建立光平面方程模型,两个模型建立两个方程、三个未知数,模型中的系数运用棋盘法进行标定。
2.根据权利要求1所述的一种自动托举汽车的机器人控制方法,其特征在于:步骤一所述的实现车牌识别功能的具体方式如下:
步骤1.1:采集彩色图片并输入到系统中;
步骤1.2:在系统中将接收到的彩色图片转化为256色灰度级的dib位图灰度图像,灰度化图像可根据以下公式进行:v=r*0.3+g*0.6+b*0.1,式中r、g、b分别是读取的红、绿、蓝的分量值,v是计算出的每个像素的灰度值;然后,将像素r,g,b三分量的值都设为v重新写回内存,实现彩色向灰度图像的转换;
步骤1.3:用基于空间分布的二值化将灰度图像二值化,图像的二值化就是把灰度图像变成黑白图像;灰度图像的二值化就是选取一个阈值,当灰度值大于该阈值时令其为白点,否则为黑点;采用双峰法的自适应阈值选择方法;根据图像由前景和背景组成,而前后二景都形成高峰,在双峰之间的最低谷就是图像的阈值所在;但是,自适应阈值可能会产生许多噪声点;
步骤1.4:对二值化图像进行中值滤波处理,采用中值滤波法进行滤波;
步骤1.5:采用边缘检测来实现车牌区域和背景的分离;采用水平差分算法得到边缘图像;为此设计了一个水平模板算子,即tm=[1,1,1,1,1,1,1],是一个7X1向量,使用该算子与图像进行卷积,取平均值然后再与原图像进行差分运算,当差分值大于某一门限值就认为它是边缘目标,否则是背景;
步骤1.6:对处理后的图像进行逐行逐列扫描,确定车牌的上下左右边界。
3.根据权利要求1所述的一种自动托举汽车的机器人控制方法,其特征在于:步骤二所述的矫正机器人的车身状态的具体步骤如下所示:
步骤2.1:采集双目系统视野范围内的棋盘格图像,棋盘格图像的数量大于等于3幅;
步骤2.2:使用标定软件,如matlab中的立体相机标定APP,分别提取角点、计算左右摄像机的内、外参数;
步骤2.3:根据对应图像的内、外参数,计算两摄像机坐标系的外参数;标定出的双目系统两相机内参数分别为
Figure FDA0003080464710000021
Figure FDA0003080464710000022
两相机间的外参数为R、t,其中R为两相机坐标系间的旋转矩阵,t为两相机间的平移向量,如果两相机平行放置,则R=E=[1,0,0;0,1,0;0,0,1;]。
4.根据权利要求3所述的一种自动托举汽车的机器人控制方法,其特征在于:在得到所述的标定参数后,再进入如下工作流程:
步骤S1:双目系统分别采集工作空间图像,图像采集,识别特征点:左右轮胎,使用立体匹配算法,计算特征点的三维坐标;
步骤S2:测量待泊车辆后方左右轮胎的三维坐标;通过图像识别系统采集两个左右轮胎的三维坐标,分别为Wl(xl,yl,zl)和Wr(xr,yr,zr),以Wl和Wr构建空间直线,求解空间直线中点W0和法向量,调整机器人的位姿并规划轨迹,对Xl和Xr取绝对值,比较大小,进行平行于两大灯方向左右移动,直到两绝对值相等,使托举车在到达待泊车左右大灯连线中点位置时的行车方向与直线法向量重合;
步骤S3:进入待泊车底部后,以法向量方向行进L0距离后,停泊与待泊车底部。
5.根据权利要求4所述的一种自动托举汽车的机器人控制方法,其特征在于:步骤S2中所述的调整机器人的位姿并规划轨迹,具体的方式如下:对Xl和Xr取绝对值,得到机器人距离待泊车辆左右轮胎的远近,以此判断机器人旋转大体方向,假设y1>y2,即左胎远于右胎,机器人测出所需角度时机器人顺时针旋转;反之,逆时针旋转;
机器人根据指示朝汽车方向前进,在达到限定的安全距离时,停止前进;以左右轮胎进行坐标系转换,以x1和xr连线中点作为原点平行地面且垂直于中点连线为y方向,在经过原点作垂直于机器人横向车身的直线,直线与y轴夹角利用自生麦克纳姆轮进行车身旋转,已经测出角度为O;假设麦克纳姆轮左上角为1号轮顺时针为2、3、4号轮,此时以2号轮为原点进行顺时针旋转,各个麦克纳姆轮旋转角度的旋转公式如下:V为各轮胎线速度,W为角速度,控制角速度旋转相同,小车速度分解公式如下:
V1=W*r1
V2=W*r2
V3=W*r3
此时机器人继续前进直至于轮胎较近位置,此时利用双目视觉测量机器人与汽车两轮之间中点与双目视觉点x轴相差距离进行平移;待机器人双目视觉点与中点重合时前进,于托举指定位置停止;托举指定位置为单目视觉光结构点于汽车前轮胎特征值中点重合。
6.根据权利要求1所述的一种自动托举汽车的机器人控制方法,其特征在于:步骤三所述的建立相机模型的具体步骤如下:
设空间上任意一点P在相机坐标系的坐标为XP=(xc,yc,zc)T经相机成像后,图像平面上的投影点为P,其坐标为P=(u,v,)-T,将Xp和P增加一维单位坐标变成其次形式为:
Figure FDA0003080464710000041
Figure FDA0003080464710000042
在小孔成像模型中
Figure FDA0003080464710000043
其中:
Figure FDA0003080464710000044
式中,K为相机内参数,fu、fv为图像u、v方向的尺度因字,s为u、v两轴向的夹角因子,u0、v0为相机镜头光轴与CCD/CMOS平面的交点坐标。
7.根据权利要求6所述的一种自动托举汽车的机器人控制方法,其特征在于:步骤三所述的建立光平面方程模型的具体步骤如下:
激光平面在相机坐标系可表示为Z=(a,b,c,1);在系统工作时,激光条打在轮胎上,在轮胎上留有系列特征点,设特征点在相机坐标系的齐次坐标为
Figure FDA0003080464710000051
该系列特征点在激光平面上,所以满足:
Figure FDA0003080464710000052
将公式(1)和公式(2)联立可得到三维坐标:
Figure FDA0003080464710000053
将结构光系统安装与每个夹具的上方,系统标定仍采用棋盘格标定方法,步骤为:
(1)集系统视野范围内的棋盘格图像,同一位姿分别采集不带激光条和带激光条的图像,采集不少于10个位姿下的图像;
(2)使用不带激光条的棋盘格图片标定摄像机内参数,并获得每个位姿下的摄像机外参数;
(3)使用这些为参数标定激光平面方程;
(4)控制夹具末端点触碰棋盘格上的角点,距离控制夹具的三维坐标,根据夹具三维坐标和摄像机坐标系下测量的该点坐标,获得夹具坐标系与摄像机坐标系的原点偏差,假设夹具具有3自由度;标定完成后,根据结构光测得的轮胎尺寸及两侧极值点,控制夹具夹持待泊车轮胎。
CN202110569862.6A 2021-05-24 2021-05-24 一种自动托举汽车的机器人控制方法 Active CN113296516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110569862.6A CN113296516B (zh) 2021-05-24 2021-05-24 一种自动托举汽车的机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110569862.6A CN113296516B (zh) 2021-05-24 2021-05-24 一种自动托举汽车的机器人控制方法

Publications (2)

Publication Number Publication Date
CN113296516A true CN113296516A (zh) 2021-08-24
CN113296516B CN113296516B (zh) 2022-07-12

Family

ID=77324698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110569862.6A Active CN113296516B (zh) 2021-05-24 2021-05-24 一种自动托举汽车的机器人控制方法

Country Status (1)

Country Link
CN (1) CN113296516B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114179092A (zh) * 2021-12-30 2022-03-15 杭州海康机器人技术有限公司 一种车辆搬运控制方法、装置、设备及系统
CN117260003A (zh) * 2023-11-21 2023-12-22 北京北汽李尔汽车系统有限公司 一种汽车座椅骨架自动摆件打钢刻码方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN105863351A (zh) * 2016-05-26 2016-08-17 山东建筑大学 一种基于智能汽车搬运机的自主泊车系统及方法
CN108868253A (zh) * 2018-08-06 2018-11-23 上海义嘉工业技术有限公司 一种基于全向移动agv的智能泊车系统
CN109025439A (zh) * 2018-09-11 2018-12-18 杭州极木科技有限公司 一种搬运汽车的智能机器人
CN109403690A (zh) * 2018-09-20 2019-03-01 同济大学 自动车辆搬运与转移的方法、系统及应用
CN109800752A (zh) * 2018-08-09 2019-05-24 辽宁工业大学 一种基于机器视觉的汽车车牌字符分割识别算法
CN110725590A (zh) * 2019-09-25 2020-01-24 刘昌顺 一种地下停车场自动停车机器人
CN111927170A (zh) * 2020-08-20 2020-11-13 大洋泊车股份有限公司 一种立体车库及车辆存取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取系统及方法
CN105863351A (zh) * 2016-05-26 2016-08-17 山东建筑大学 一种基于智能汽车搬运机的自主泊车系统及方法
CN108868253A (zh) * 2018-08-06 2018-11-23 上海义嘉工业技术有限公司 一种基于全向移动agv的智能泊车系统
CN109800752A (zh) * 2018-08-09 2019-05-24 辽宁工业大学 一种基于机器视觉的汽车车牌字符分割识别算法
CN109025439A (zh) * 2018-09-11 2018-12-18 杭州极木科技有限公司 一种搬运汽车的智能机器人
CN109403690A (zh) * 2018-09-20 2019-03-01 同济大学 自动车辆搬运与转移的方法、系统及应用
CN110725590A (zh) * 2019-09-25 2020-01-24 刘昌顺 一种地下停车场自动停车机器人
CN111927170A (zh) * 2020-08-20 2020-11-13 大洋泊车股份有限公司 一种立体车库及车辆存取方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114179092A (zh) * 2021-12-30 2022-03-15 杭州海康机器人技术有限公司 一种车辆搬运控制方法、装置、设备及系统
CN114179092B (zh) * 2021-12-30 2023-12-26 杭州海康机器人股份有限公司 一种车辆搬运控制方法、装置、设备及系统
CN117260003A (zh) * 2023-11-21 2023-12-22 北京北汽李尔汽车系统有限公司 一种汽车座椅骨架自动摆件打钢刻码方法及系统
CN117260003B (zh) * 2023-11-21 2024-03-19 北京北汽李尔汽车系统有限公司 一种汽车座椅骨架自动摆件打钢刻码方法及系统

Also Published As

Publication number Publication date
CN113296516B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
CN107133985B (zh) 一种基于车道线消逝点的车载摄像机自动标定方法
JP5944687B2 (ja) 外因パラメータのみのサラウンドビューカメラ自動較正
JP3895238B2 (ja) 障害物検出装置及びその方法
CN113296516B (zh) 一种自动托举汽车的机器人控制方法
US20180285660A1 (en) Image processing apparatus, stereo camera apparatus, vehicle, and image processing method
US20180165833A1 (en) Calculation device, camera device, vehicle, and calibration method
KR101286096B1 (ko) 타원 시각 특성에 기반한 자동차의 휠 정렬 검사방법
CN107792179A (zh) 一种基于车载环视系统的泊车引导方法
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN112529966A (zh) 一种车载环视系统的在线标定方法及其车载环视系统
JP5811327B2 (ja) カメラキャリブレーション装置
CN106802144A (zh) 一种基于单目视觉和车牌的车距测量方法
JP7481810B2 (ja) 車両の三次元画像再構成方法
CN107643049B (zh) 基于单目结构光的地磅上车辆位置检测系统及方法
Beck et al. Generalized B-spline camera model
CN115482295A (zh) 一种车载全景环视系统的摄像头外参标定方法
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
CN111862210B (zh) 一种基于环视相机的目标物检测定位方法及装置
CN110543612B (zh) 一种基于单目视觉测量的集卡定位方法
CN111881878A (zh) 一种环视复用的车道线识别方法
CA3186448A1 (en) Image processing device of person detection system
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
CN116091603A (zh) 一种基于点特征的箱体工件位姿测量方法
CN112560606B (zh) 挂车角度识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210824

Assignee: Shanghai Houfei Energy Technology Co.,Ltd.

Assignor: HUAIYIN INSTITUTE OF TECHNOLOGY

Contract record no.: X2022320000360

Denomination of invention: A robot control method for auto lifting vehicle

Granted publication date: 20220712

License type: Common License

Record date: 20221210