CN113459841A - 基于无标定双目视觉的自动充电控制方法和装置 - Google Patents

基于无标定双目视觉的自动充电控制方法和装置 Download PDF

Info

Publication number
CN113459841A
CN113459841A CN202111016159.9A CN202111016159A CN113459841A CN 113459841 A CN113459841 A CN 113459841A CN 202111016159 A CN202111016159 A CN 202111016159A CN 113459841 A CN113459841 A CN 113459841A
Authority
CN
China
Prior art keywords
image
image characteristic
error
mechanical arm
movement control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111016159.9A
Other languages
English (en)
Other versions
CN113459841B (zh
Inventor
高楠楠
王文伟
刘前飞
郑群锋
黄文艺
宋士佳
王博
孙超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Automotive Research Institute of Beijing University of Technology
Original Assignee
Shenzhen Automotive Research Institute of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Automotive Research Institute of Beijing University of Technology filed Critical Shenzhen Automotive Research Institute of Beijing University of Technology
Priority to CN202111016159.9A priority Critical patent/CN113459841B/zh
Publication of CN113459841A publication Critical patent/CN113459841A/zh
Application granted granted Critical
Publication of CN113459841B publication Critical patent/CN113459841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/10—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles characterised by the energy transfer between the charging station and the vehicle
    • B60L53/14—Conductive energy transfer
    • B60L53/16—Connectors, e.g. plugs or sockets, specially adapted for charging electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30—Constructional details of charging stations
    • B60L53/35—Means for automatic or assisted adjustment of the relative position of charging devices and vehicles
    • B60L53/37—Means for automatic or assisted adjustment of the relative position of charging devices and vehicles using optical position determination, e.g. using cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/14—Plug-in electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及汽车自动充电技术领域，具体涉及一种基于无标定双目视觉的自动充电控制方法和装置。其包括：首先系统从相机采集到的图像中，分别提取第一图像特征，再与设定的期望图像特征进行比较，得到第一图像特征误差。接着视觉控制器利用第一图像特征误差和机械当前位姿计算出控制量，驱动机械臂末端向目标运动。系统不断的接收相机采集的图像，从图像中提取特征点，并由视觉控制器计算出下一步所需要的机械臂控制量，获得位姿增量执行。然后系统再采集此时的图像特征，判断图像特征误差是否在允许的误差范围内，如果是，则认为任务完成，工作结束，如果不是，则进入下一轮循环。

Description

基于无标定双目视觉的自动充电控制方法和装置
技术领域
本发明涉及汽车自动充电技术领域，具体涉及一种基于无标定双目视觉的自动充电控制方法和装置。
背景技术
基于视觉的自动充电控制方法主要通过相机采集的图像信息，主动引导充电手臂完成充电过程。传统的视觉充电控制系统大多是基于系统模型标定的，标定内容包含相机的内外参、充电手臂的运动学模型以及车辆目标的几何模型等。
视觉控制器通常可以分为基于位置和基于图像两大类。其中基于位置的视觉控制器输出的信息在3维空间中，首先根据图像特征、相机模型和目标模型，估算目标的当前位姿，然后通过计算与目标理想位姿的差值，得到手臂的控制量，最后驱动手臂向期望位姿运动。该方法不仅要实时的获取目标物体的3维信息，还需要对相机和充电手臂进行标定。
基于图像的视觉控制器输出的信息在图像中。该方法首先将相机采集的图像特征与目标图像特征比较得到图像特征偏差，然后由控制器直接计算得到手臂的控制量，最后驱动充电手臂向期望点运动。该方法不仅需要通过标定确定相机的内外参数、目标的深度，得到图像雅可比矩阵，还需要计算手臂的运动学模型。
无论是基于位置的视觉控制法，还是基于图像的视觉控制法，都需要对摄像头进行标定，因此控制器的精度严重依赖于标定的精度，导致自动充电系统对标定的误差容忍度低。在实际工业生产中，标定工作不仅非常的繁琐，而且很难保证对系统进行精准的标定。此外，摄像头任何微小的挪动都会导致先前的标定结果的失效，从而需要对摄像头进行重新标定，这样就造成计算量大且控制精度低。
在视觉传感器的选择上，传统的方法通常是选用单个摄像头，这有利于压缩成本、减少标定的繁琐工序。但是单目相机存在一个问题：在探测深度上的误差较大，无法准确判断物体的大小。
发明内容
本发明主要解决的技术问题是现有技术中的自动充电方法控制精度低。
一种基于无标定双目视觉的自动充电控制方法，包括：
步骤101：采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对所述第一图像信息进行特征提取得到第一图像特征；
步骤102：将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差；
步骤103：根据所述第一图像特征误差以及当前位置计算出对应的移动控制量；
步骤104：根据所述移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对所述第二图像信息进行特征提取得到第二图像特征；
步骤105：将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差；
步骤106：判断所述第二图像特征误差是否满足预设的误差范围，若是则结束，表示机械臂运动到目标位置；若否则返回步骤101。
在一种实施例中，所述根据所述第一图像特征误差以及当前位置计算出对应的移动控制量包括：
建立用于表示在图像平面内图像特征变化和机械臂运动的关系的图像雅可比矩阵矩；
采用动态拟牛顿算法根据所述图像雅可比矩阵矩以及第一图像特征误差计算出对应的移动控制量。
一种基于无标定双目视觉的自动充电控制装置，包括：
第一图像特征采集模块，用于采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对所述第一图像信息进行特征提取得到第一图像特征；
第一图像特征误差获取模块，用于将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差；
移动控制量计算模块，用于根据所述第一图像特征误差以及当前位置计算出对应的移动控制量；
第二图像特征计算模块，用于根据所述移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对所述第二图像信息进行特征提取得到第二图像特征；
第二图像特征误差计算模块，用于将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差；
判断模块，用于判断所述第二图像特征误差是否满足预设的误差范围，满足则结束，表示机械臂运动到目标位置；否则返反馈给所述第一图像特征采集模块。
在一种实施例中，所述根据所述第一图像特征误差以及当前位置计算出对应的移动控制量包括：
建立用于表示在图像平面内图像特征变化和机械臂运动的关系的图像雅可比矩阵矩；
采用动态拟牛顿算法根据所述图像雅可比矩阵矩以及第一图像特征误差计算出对应的移动控制量。
一种计算机可读存储介质，所述介质中存储有程序，所述程序能够被处理器执行以实现如上所述的方法。
依据上述实施例的基于无标定双目视觉的自动充电控制方法，其包括：采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对第一图像信息进行特征提取得到第一图像特征；将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差；根据所述第一图像特征误差以及当前位置计算出对应的移动控制量；根据移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对第二图像信息进行特征提取得到第二图像特征；将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差；判断第二图像特征误差是否满足预设的误差范围，满足则结束，表示机械臂运动到目标位置；否则返初始步骤，重新采集图像信息，重复上述步骤，直到满足则结束。本实施例提供的控制机械臂的方法，无需对相机和机械臂进行标定，提高了计算效率和控制精度。
附图说明
图1为本申请实施例的自动充电控制方法流程图；
图2为本申请实施例的自动充电控制方法流程框图；
图3为本申请实施例的自动充电控制装置结构框图；
图4为本申请实施例的图像中特征点示意图；
图5为本申请实施例的相机获取的特征点示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
本发明中的无标定双目视觉控制法的控制过程简述如下：首先系统从相机采集到的图像中，分别提取第一图像特征，再与设定的期望图像特征进行比较，得到第一图像特征误差。接着视觉控制器利用第一图像特征误差和机械当前位姿计算出控制量，驱动机械臂末端向目标运动。系统不断的接收相机采集的图像，从图像中提取特征点，并由视觉控制器计算出下一步所需要的机械臂控制量，获得位姿增量执行。然后系统再采集此时的图像特征，判断图像特征误差是否在允许的误差范围内，如果是，则认为任务完成，工作结束，如果不是，则进入下一轮循环。
其中，根据机械臂的自由度选择图像特征数目的选择，图像特征数目应大于等于机械臂的自由度。由于本发明中的视觉传感器含有2个相机，因此图像特征分别由两个相机采集到的特征组成。此外，最重要的视觉控制器是图像-机械臂雅克比矩阵估计，采用了动态拟牛顿算法，模拟逼近图像-机械臂雅克比矩阵，进行视觉反馈，通过不断估算图像-机械臂雅可比矩阵，来获取机械臂下一刻移动的方向。本发明中的视觉控制方法采用了2个摄像头，不仅在探测深度信息上更精准，无需担心特征点数目不够的问题，同时本发明还免除了复杂繁琐的标定过程，使得自动充电能够适应各种复杂的环境。本发明不仅具有很高的理论价值，也有重大的应用前景。
实施例一：
请参考图1和图2，本实施例提供一种基于无标定双目视觉的自动充电控制方法，其包括：
步骤101：采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对第一图像信息进行特征提取得到第一图像特征。
步骤102：将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差。
步骤103：根据第一图像特征误差以及当前位置计算出对应的移动控制量。
步骤104：根据移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对第二图像信息进行特征提取得到第二图像特征。
步骤105：将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差。其中，在图4中展示了期待图像以及此刻图像中的特征，图中一种有九个特征点，特征点在图像中用圆环将特征点标注了出来，如相机1对应的图像中的特征点分别是特征点1、特征点2、特征点3、特征点4、特征点5、特征点6、特征点7、特征点8、特征点9，相机2中拍摄的九个特征点的位置与相机1拍摄的位置对应，图4中就不一一标注。当充电枪到达期望目标点的时候，两个相机分别拍摄充电口得到了各自的图像。此时的图中的充电口特征的像素坐标即为预设的期望图像特征。图5中展示了某一个时刻（未到达目标点前）两个相机拍摄的图片，以及图像中的特征点，图5中的两个相机图片中的九个特征点的位置与图4中相机1拍摄的位置对应，因此图5中就不一一标注。
步骤106：判断第二图像特征误差是否满足预设的误差范围，误差范围是根据实验结果人为设定的。通过对当前图像中的特征点像素坐标（如图5所示），和期望图像特征点的像素坐标（如图4所示）进行比较得到的，计算方法如公式（7）所示。比如，误差设定是所有的特征点的像素误差平均值在±0.5像素范围内。则说明在此误差范围内，充电枪能够顺利插入充电口，若大于此误差范围充电枪无法插入充电口。若是则结束，表示机械臂运动到目标位置；若否则返回步骤101。
其中，根据第一图像特征误差以及当前位置计算出对应的移动控制量包括：建立用于表示在图像平面内图像特征变化和机械臂运动的关系的图像雅可比矩阵矩；采用动态拟牛顿算法根据所述图像雅可比矩阵矩以及第一图像特征误差计算出对应的移动控制量。
其中，根据机械臂的自由度选择图像特征数目的选择，图像特征数目应大于等于机械臂的自由度。由于本发明中的视觉传感器含有2个相机，因此图像特征分别由两个相机采集到的特征组成。此外，最重要的视觉控制器是图像-机械臂雅克比矩阵估计，采用了动态拟牛顿算法根据图像特征的变化，估计机械臂的移动控制量，模拟逼近图像-机械臂雅克比矩阵，进行视觉反馈，通过不断估算图像-机械臂雅可比矩阵，来获取机械臂下一刻移动的方向。
以下对雅克比矩阵的推导过程进行详细的说明。
在系统当中，摄像机作为系统的信号输入端，采集了对于周围环境感知信息（即图像信息），摄像机成像变换关系是整个系统的控制算法中非线性关系的重要一环。在“眼在手”系统中根据摄像机针孔模型，可以推导得到图像雅可比矩阵。
图像雅可比矩阵矩描述了图像平面内特征运动和摄像头运动的关系，公式如下公式（1）所示。其中，摄像头的平移速度是（X，Y，Z），旋转速度是（W x ，W y ，W z ），目标点在图像坐标下的坐标是（u，v），变化率为
Figure DEST_PATH_IMAGE001
，摄像头的焦距是λ，目标点的深度是Z。
Figure DEST_PATH_IMAGE002
（1）
由于摄像机固定于机械臂的末端，摄像机的位姿和机械臂的位姿存在坐标转换关系。因此可以将图像雅可比矩阵公式，扩展为图像-机械臂雅可比矩阵，如下公式（2）所示。其中，
Figure DEST_PATH_IMAGE003
、
Figure DEST_PATH_IMAGE004
为机械臂的平移旋转速度。
Figure DEST_PATH_IMAGE005
组成图像-机械臂雅可比矩阵。
Figure DEST_PATH_IMAGE006
（2）
如果有3个特征点，进行上下叠加可以得到新的公式，如公式（3）所示。在本发明中，我们有2个相机，其中前两个特征点的图像坐标值由第一个相机提供，剩下的一个特征点的图像坐标值由第二个相机提供。这样的方式可以保证即使图中的非线性的特征点数量小于3个，也可以满足以下公式（3）所需的3组特征变量：
Figure DEST_PATH_IMAGE007
（3）
在非常短的时间内，可以认为该时间内的图像-机械臂雅可比矩阵是近似于不变的。因此可以将公式（3）进行离散，得到以下3个公式，如图5所示。其中F是图像像素坐标，F (n+1)指的是运动周期第n+1次的图像像素坐标，F (n) 是第n次的图像像素坐标，ΔF是指图像像素坐标在运动周期间的变化量；J是图像-机械臂雅可比矩阵，J (n) 是第n次的图像-机械臂雅可比矩阵，
Figure DEST_PATH_IMAGE008
是第n次的图像-机械臂雅可比矩阵的求逆；P是机械臂末端的位姿，ΔP (n) 是运动周期第n次时，机械臂的这个周期运动的位姿变化量，即
Figure DEST_PATH_IMAGE009
，
Figure DEST_PATH_IMAGE010
是机械臂运动位姿的变化量，进行求逆后的值。如果已知物体下一时刻的图像像素，则可以通过公式计算得到机械臂的位姿的相应的变化量，根据此变化量机械臂进行下一步的运动。
Figure DEST_PATH_IMAGE011
（4）
Figure DEST_PATH_IMAGE012
（5）
Figure DEST_PATH_IMAGE013
（6）
其中，雅克矩阵的信息不能直接求解，需要使用最优化理论通过方差最小化逼近。若在摄像机像素平面内的特征坐标为y n ，而期望的特征坐标为y*，则控制系统反馈回来的特征偏差为目标点与期望点之间的偏差函数，f表示误差；
f = y n - y* （7）
对该函数的值最小化处理，从而能使在图像平面内特征的投影接近并到达期望坐标。对误差取平方能使误差始终为正，因此可以得到方差最小化目标函数：
Figure DEST_PATH_IMAGE014
（8）
在公式5的基础上进行泰勒级数展开，并进行离散处理，最终可以得到如下公式（9）。该公式（9）即机械臂末端位姿的更新公式。其中γ为更新频率。
Figure DEST_PATH_IMAGE015
（9）
上述式（9）中，P表示机械臂的位姿，P n 表示当前时刻的机械臂位姿，P n+1表示下一时刻的机械臂位姿，J表示雅克比矩阵，J n 表示当前时刻的雅克比矩阵，f k 表示公式7中的图像特征和期望特征的误差。根据公式9，即可根据当前位置以及图像特征误差更新机械臂当前的位置。
本实施例，初始时候采用试探法获取初始雅克比矩阵，即将机械臂朝着六个自由度的任意方向运动，以获取对应的图像特征，从而根据运动的移动量和图像特征得到初始雅克比矩阵。在获得初始雅可比矩阵后，后续的雅可比矩阵可以不通过每次都引入适当的试探动作得到（这会严重增大运动量时间），而是估计雅可比矩阵的增量，即Broyden更新法。J.A. Piepmeier等在此方法的基础上做了很多工作，得到了可以应用于眼在手、眼固定两种操作模式的方法-动态拟牛顿更新法（Dynamic Quasi-Newton Method）。该方法可以跟踪静止的目标和运动的目标，具有较好的实时性。在实际实验中存在系统噪声和测量噪声等，为了提高系统的稳定性，J.A. Piepmeier在雅可比矩阵更新过程使用了之前运动的若干次迭代信息，而非仅前一次的迭代信息，并用带权值的指数递归最小二乘算法实现—即带遗忘因子的动态拟牛顿更新法。
在公式（4）、（5）、（6）的基础上进行泰勒级数展开，可以得到另一个公式-雅克比矩阵的更新公式。
Figure DEST_PATH_IMAGE016
是一个周期的时间间隔量；
Figure DEST_PATH_IMAGE017
是机械臂的运动的位姿变化量，即
Figure DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
是对
Figure DEST_PATH_IMAGE020
进行矩阵的转置运算；
Figure DEST_PATH_IMAGE021
是第n-1次的图像-机械臂雅可比矩阵的近似值；
Figure DEST_PATH_IMAGE022
是控制系统反馈回来的特征偏差为目标点与期望点之间的偏差的变化量（参考公式7为
Figure DEST_PATH_IMAGE023
的计算公式），
Figure DEST_PATH_IMAGE024
是雅可比矩阵的增量；
Figure DEST_PATH_IMAGE025
是期待特征偏差对时间的导数，即目标物体的期待特征的运动速度，如果目标静止，该项可以忽略不计：
Figure DEST_PATH_IMAGE026
（10）
根据公式10即可根据当前位置以及图像特征误差更新机械臂当前的位置。
本实施例采用双目相机或者两个以上相机获取图像信息，因此图像特征分别由两个相机采集到的特征组成。此外，最重要的视觉控制器是无需提取获取标定参数的，其基于雅克比矩阵估计，采用了动态拟牛顿算法，模拟逼近图像-机械臂雅克比矩阵，进行视觉反馈，通过不断估算图像-机械臂雅可比矩阵，来获取机械臂下一刻移动的方向。在其他实施例中，也可以采用一个相机完成全部图像特征的提取，这就需要目标的图像特征数目足够多。
实施例二：
本实施例提供一种基于无标定双目视觉的自动充电控制装置,其包括：第一图像特征采集模块201、第一图像特征误差获取模块202、移动控制量计算模块203、第二图像特征计算模块204、第二图像特征误差计算模块205、判断模块206。其中，第一图像特征采集模块201用于采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对所述第一图像信息进行特征提取得到第一图像特征；第一图像特征误差获取模块202用于将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差；移动控制量计算模块203用于根据第一图像特征误差以及当前位置计算出对应的移动控制量；第二图像特征计算模块204用于根据所述移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对所述第二图像信息进行特征提取得到第二图像特征；第二图像特征误差计算模块205用于将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差；判断模块206用于判断第二图像特征误差是否满足预设的误差范围，满足则结束，表示机械臂运动到目标位置；否则返反馈给所述第一图像特征采集模块。
其中，根据第一图像特征误差以及当前位置计算出对应的移动控制量包括：建立用于表示在图像平面内特征运行和摄像头运动的关系的图像雅可比矩阵矩；通过不断的估算所述图像雅可比矩阵矩计算出对应的移动控制量。
本实施例中各模块的具体实现方法和实施例一中相同，此处不再赘述。
实施例三：
本实施例提供一种计算机可读存储介质，其包括存储介质，介质中存储有程序，所述程序能够被处理器执行以实现如实施例一提供的方法。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (5)

1.一种基于无标定双目视觉的自动充电控制方法，其特征在于，包括：
步骤101：采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对所述第一图像信息进行特征提取得到第一图像特征；
步骤102：将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差；
步骤103：根据所述第一图像特征误差以及当前位置计算出对应的移动控制量；
步骤104：根据所述移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对所述第二图像信息进行特征提取得到第二图像特征；
步骤105：将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差；
步骤106：判断所述第二图像特征误差是否满足预设的误差范围，若是则结束，表示机械臂运动到目标位置；若否则返回步骤101。
2.如权利要求1所述的基于无标定双目视觉的自动充电控制方法，其特征在于，所述根据所述第一图像特征误差以及当前位置计算出对应的移动控制量包括：
建立用于表示在图像平面内图像特征变化和机械臂运动的关系的图像雅可比矩阵矩；
采用动态拟牛顿算法根据所述图像雅可比矩阵矩以及第一图像特征误差计算出对应的移动控制量。
3.一种基于无标定双目视觉的自动充电控制装置，其特征在于，包括：
第一图像特征采集模块，用于采用设置在机械臂末端的双目相机获取当前位置的第一图像信息，对所述第一图像信息进行特征提取得到第一图像特征；
第一图像特征误差获取模块，用于将提取的第一图像特征与预设的期望图像特征进行比较，得到第一图像特征误差；
移动控制量计算模块，用于根据所述第一图像特征误差以及当前位置计算出对应的移动控制量；
第二图像特征计算模块，用于根据所述移动控制量控制机械臂运动到新的位置处，并获取新的位置处的第二图像信息，对所述第二图像信息进行特征提取得到第二图像特征；
第二图像特征误差计算模块，用于将提取的第二图像特征与预设的期望图像特征进行比较，得到第二图像特征误差；
判断模块，用于判断所述第二图像特征误差是否满足预设的误差范围，满足则结束，表示机械臂运动到目标位置；否则返反馈给所述第一图像特征采集模块。
4.如权利要求3所述的基于无标定双目视觉的自动充电控制装置，其特征在于，所述根据所述第一图像特征误差以及当前位置计算出对应的移动控制量包括：
建立用于表示在图像平面内图像特征变化和机械臂运动的关系的图像雅可比矩阵矩；
采用动态拟牛顿算法根据所述图像雅可比矩阵矩以及第一图像特征误差计算出对应的移动控制量。
5.一种计算机可读存储介质，其特征在于，所述介质中存储有程序，所述程序能够被处理器执行以实现如权利要求1-2中任一项所述的方法。
CN202111016159.9A 2021-09-01 2021-09-01 基于无标定双目视觉的自动充电控制方法和装置 Active CN113459841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016159.9A CN113459841B (zh) 2021-09-01 2021-09-01 基于无标定双目视觉的自动充电控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016159.9A CN113459841B (zh) 2021-09-01 2021-09-01 基于无标定双目视觉的自动充电控制方法和装置

Publications (2)

Publication Number Publication Date
CN113459841A true CN113459841A (zh) 2021-10-01
CN113459841B CN113459841B (zh) 2021-12-07

Family

ID=77867058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016159.9A Active CN113459841B (zh) 2021-09-01 2021-09-01 基于无标定双目视觉的自动充电控制方法和装置

Country Status (1)

Country Link
CN (1) CN113459841B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114013307A (zh) * 2021-11-09 2022-02-08 青岛特来电新能源科技有限公司 车辆充电方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107160402A (zh) * 2017-06-27 2017-09-15 华北电力大学（保定） 一种机械臂移动路径规划系统及方法
CN107745648A (zh) * 2017-10-19 2018-03-02 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN109664317A (zh) * 2019-01-24 2019-04-23 深圳勇艺达机器人有限公司 机器人的物体抓取系统及方法
CN111968132A (zh) * 2020-07-28 2020-11-20 哈尔滨工业大学 一种基于全景视觉的无线充电对位的相对位姿解算方法
CN112821519A (zh) * 2020-12-22 2021-05-18 广州赛特智能科技有限公司 一种机器人自动对桩充电系统及方法
CN113313701A (zh) * 2021-06-10 2021-08-27 兰州智悦信息科技有限公司 基于形状先验的电动汽车充电口两阶段视觉检测定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107160402A (zh) * 2017-06-27 2017-09-15 华北电力大学（保定） 一种机械臂移动路径规划系统及方法
CN107745648A (zh) * 2017-10-19 2018-03-02 环球车享汽车租赁有限公司 充电接口识别和定位方法及系统
CN109664317A (zh) * 2019-01-24 2019-04-23 深圳勇艺达机器人有限公司 机器人的物体抓取系统及方法
CN111968132A (zh) * 2020-07-28 2020-11-20 哈尔滨工业大学 一种基于全景视觉的无线充电对位的相对位姿解算方法
CN112821519A (zh) * 2020-12-22 2021-05-18 广州赛特智能科技有限公司 一种机器人自动对桩充电系统及方法
CN113313701A (zh) * 2021-06-10 2021-08-27 兰州智悦信息科技有限公司 基于形状先验的电动汽车充电口两阶段视觉检测定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114013307A (zh) * 2021-11-09 2022-02-08 青岛特来电新能源科技有限公司 车辆充电方法、装置和电子设备
CN114013307B (zh) * 2021-11-09 2024-02-09 青岛特来电新能源科技有限公司 车辆充电方法、装置和电子设备

Also Published As

Publication number Publication date
CN113459841B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
JP7326911B2 (ja) 制御システムおよび制御方法
CN108235725B (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
CN110118556A (zh) 一种基于协方差交叉融合slam的机器人定位方法及装置
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
JP2016525842A (ja) カメラ動き予測及び修正のための方法
CN105196292B (zh) 一种基于迭代变时长视觉伺服控制方法
JP2012208789A (ja) 強化学習装置、制御装置、および強化学習方法
CN113459841B (zh) 基于无标定双目视觉的自动充电控制方法和装置
Borum et al. State estimation and tracking of deforming planar elastic rods
CN106595601B (zh) 一种无需手眼标定的相机六自由度位姿精确重定位方法
CN114347008B (zh) 基于工业机器人的无序抓取工件方法、装置及智能终端
CN112347205A (zh) 一种车辆误差状态的更新方法和装置
CN113570662B (zh) 3d定位来自真实世界图像中地标的系统和方法
CN111624875A (zh) 视觉伺服控制方法、装置和无人设备
CN114310901A (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN109764876B (zh) 无人平台的多模态融合定位方法
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN111459176B (zh) 车自动充电定位控制方法、标定方法及车辆姿态计算方法
CN114812601A (zh) 视觉惯性里程计的状态估计方法、装置、电子设备
CN115446836B (zh) 一种基于多种图像特征信息混合的视觉伺服方法
Konoplin et al. System for identifying target objects to perform manipulative operations by unmanned underwater vehicles
CN111179359B (zh) 一种拍照系统的外参数的确定方法及装置
Pankert et al. Learning Contact-Based State Estimation for Assembly Tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant