CN117132598A - 电动汽车充电接口的异物检测方法、异物检测装置 - Google Patents

电动汽车充电接口的异物检测方法、异物检测装置 Download PDF

Info

Publication number
CN117132598A
CN117132598A CN202311397016.6A CN202311397016A CN117132598A CN 117132598 A CN117132598 A CN 117132598A CN 202311397016 A CN202311397016 A CN 202311397016A CN 117132598 A CN117132598 A CN 117132598A
Authority
CN
China
Prior art keywords
charging interface
point cloud
area
preset
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311397016.6A
Other languages
English (en)
Other versions
CN117132598B (zh
Inventor
许永健
蔡宪逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guochuang Mobile Energy Innovation Center Jiangsu Co Ltd
Original Assignee
Guochuang Mobile Energy Innovation Center Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guochuang Mobile Energy Innovation Center Jiangsu Co Ltd filed Critical Guochuang Mobile Energy Innovation Center Jiangsu Co Ltd
Priority to CN202311397016.6A priority Critical patent/CN117132598B/zh
Publication of CN117132598A publication Critical patent/CN117132598A/zh
Application granted granted Critical
Publication of CN117132598B publication Critical patent/CN117132598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00—Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/14—Plug-in electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本发明提供一种电动汽车充电接口的异物检测方法、异物检测装置，所述方法包括：通过结构光相机采集充电接口的目标深度图像信息；根据目标深度图像信息和目标预设模板深度图像得到实际充电接口点云；根据实际充电接口点云分割出表面点云区域和内部点云区域；根据表面点云区域判断充电接口表面是否存在异物；根据内部点云区域的点云数量、最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物。本发明利用结构光相机可以在不同外界光照下较好地采集充电接口表面和内部的深度信息，不但可以识别出充电接口的表面异物，还可以有效识别出充电接口中内部异物。

Description

电动汽车充电接口的异物检测方法、异物检测装置
技术领域
本发明涉及检测技术领域，具体涉及一种电动汽车充电接口的异物检测方法、电动汽车充电接口的异物检测装置。
背景技术
随着电动汽车市场占有量逐步增高，人们对电动汽车自动充电需求也在日益增加。在自动充电进行自动插枪动作时，如果电动汽车充电接口表面或内部存在异物，充电机器人持续插入会导致电动汽车充电接口损坏，甚至导致电动汽车内部短路、自燃等严重情况。因此，在插枪前，需要对充电接口进行异物检测。
目前，电动汽车自动充电进行自动插枪时，一般采用2D（二维）相机采集电动汽车充电接口表面图像，提取充电接口表面特征后通过PNP（Perspective-n-Point，一种求解3D到2D点的对应方法）等位姿估计算法得到充电接口信息后，充电控制板控制充电机器人插入充电接口中完成自动插枪动作。
上述方式仅能够实现部分条件下的充电接口的表面异物检测，外界光照对提取充电接口表面特征提取影响较大，外界光照过强、过弱都会导致视觉识别误判，从而导致大部分情况下无法准确实现充电接口表面的异物检测。并且，国标充电接口内部较深，2D相机无法识别充电口内部深度信息，当相机和充电接口之间存在角度偏差时，充电接口内部光线反射回相机内较少，导致提取到的充电接口内部特征较不明显，从而无法检测出充电接口的内部异物。
发明内容
本发明为解决上述技术问题，本发明第一方面实施例提供了一种电动汽车充电接口的异物检测方法。
本发明第二方面实施例提供了一种电动汽车充电接口的异物检测装置。
本发明采用的技术方案如下：
本发明的第一方面实施例提出了一种电动汽车充电接口的异物检测方法，包括以下步骤：通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的目标深度图像信息；根据所述目标深度图像信息和目标预设模板深度图像计算目标空间仿射变换矩阵；根据预设充电接口外轮廓ROI（Region of Interest，感兴趣区域）和所述目标空间仿射变换矩阵计算当前电动汽车充电接口外轮廓ROI；根据所述当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云；根据所述实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域；根据所述表面点云区域判断充电接口表面是否存在异物；如果判断所述充电接口表面不存在异物，进一步根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针（连接器端子）方向角度差判断充电接口内部是否存在异物。
本发明上述的电动汽车充电接口的异物检测方法还具有如下附加技术特征：
根据本发明的一个实施例，在采集所述充电接口的目标深度图像信息之前，还包括：控制充电机器人移动至第一预设位置；通过设所述结构光相机采集所述充电接口的粗略深度图像信息；计算所述充电接口的粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵；根据所述粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵和所述第一预设位置计算第一目标位置；控制所述充电机器人移动至第一目标位置。
根据本发明的一个实施例，根据所述当前电动汽车充电接口外轮廓ROI、当前电动汽车充电接口模型和目标深度图像信息得到实际充电接口点云，具体包括：将预设充电接口模型和目标空间仿射变换矩阵通过仿射变换得到当前电动汽车充电接口模型；将所述当前电动汽车充电接口外轮廓ROI与所述当前电动汽车充电接口模型做差；将做差结果与所述目标深度图像信息取交集得到实际充电接口点云。
根据本发明的一个实施例，根据所述实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域，具体包括：通过最小区域距离的方式将所述实际充电接口点云分割为不同点云区域；将分割后的点云区域分别拟合点云中心点位姿；根据所述点云中心点位姿计算每个点云区域的点云中心点到充电座插针表面点云平面的距离；根据各距离的方向性所述点云区域分为表面点云区域和内部点云区域。
根据本发明的一个实施例，根据所述表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物，具体包括：将表面点云区域进行拟合边缘外轮廓、外轮廓平面膨胀处理后，与所述当前充电接口模型取交集；若交集区域的点云数量大于预设交集区域点云数量阈值，则判断充电接口表面存在异物；若交集区域的点云数量小于或者等于所述预设交集区域点云数量阈值，则判断充电接口表面不存在异物。
根据本发明的一个实施例，根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物，具体包括：获取所述内部点云区域的点云数量和点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差；如果所述内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值，则判断充电接口内部无异物；如果所述内部点云区域的点云数量大于或者等于预设点云数量阈值，或者所述点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差大于或者等于预设角度偏差阈值，则判断充电接口内部存在异物。
本发明的第二方面实施例提出了一种电动汽车充电接口的异物检测装置，包括：第一获取模块，所述第一获取模块用于通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的目标深度图像信息；第一计算模块，所述第一计算模块用于根据所述目标深度图像信息和目标预设模板深度图像计算目标空间仿射变换矩阵；第二计算模块，所述第二计算模块用于根据预设充电接口外轮廓ROI和所述目标空间仿射变换矩阵计算当前电动汽车充电接口外轮廓ROI；第二获取模块，所述第二获取模块用于根据所述当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云；分割模块，所述分割模块用于根据所述实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域；判断模块，所述判断模块用于根据所述表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物，以及在判断所述充电接口表面不存在异物时，进一步根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物。
本发明上述的电动汽车充电接口的异物检测装置还具有如下附加技术特征：
根据本发明的一个实施例，所述第二获取模块具体用于：将预设充电接口模型和目标空间仿射变换矩阵通过仿射变换得到当前电动汽车充电接口模型；将所述当前电动汽车充电接口外轮廓ROI与所述当前电动汽车充电接口模型做差；将做差结果与所述目标深度图像信息取交集得到实际充电接口点云。
根据本发明的一个实施例，所述分割模块具体用于：通过最小区域距离的方式将所述实际充电接口点云分割为不同点云区域；将分割后的点云区域分别拟合点云中心点位姿；根据所述点云中心点位姿计算每个点云区域的点云中心点到充电座插针表面点云平面的距离；根据各距离的方向性所述点云区域分为表面点云区域和内部点云区域。
根据本发明的一个实施例，所述判断模块具体用于：将表面点云区域进行拟合边缘外轮廓、外轮廓平面膨胀处理后，与所述当前充电接口模型取交集；若交集区域的点云数量大于预设交集区域点云数量阈值，则判断充电接口表面存在异物；若交集区域的点云数量小于或者等于所述预设交集区域点云数量阈值，则判断充电接口表面不存在异物；在判断所述充电接口表面不存在异物时，获取所述内部点云区域的点云数量和点云区域最小外接长方体长轴方向与充电接口Pin针（连接器中用来完成电的导电的一种金属物质）方向角度差；如果所述内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值，则判断充电接口内部无异物；如果所述内部点云区域的点云数量大于或者等于预设点云数量阈值，或者所述点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差大于或者等于预设角度偏差阈值，则判断充电接口内部存在异物。
本发明的第三方面实施例提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本发明第一方面实施例所述的电动汽车充电接口的异物检测方法。
本发明的有益效果：
本发明利用结构光相机对外界光照强度不敏感地特性，在不同外界光照下均可较好地采集充电接口表面和内部的深度信息，根据采集的深度图像信息分割出充电接口的表面点云区域和内部点云区域，根据分割后的深度图像不但可以识别出充电接口的表面异物，还可以有效识别层充电接口中内部异物。
附图说明
图1是根据本发明第一个实施例的电动汽车充电接口的异物检测方法的流程图；
图2是根据本发明第二个实施例的电动汽车充电接口的异物检测方法的流程图；
图3是根据本发明第三个实施例的电动汽车充电接口的异物检测方法的流程图；
图4是根据本发明一个实施例的电动汽车充电接口的异物检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明第一个实施例的电动汽车充电接口的异物检测方法的流程图。如图1所示，该方法包括以下步骤：
S1，通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的目标深度图像信息。
具体地，充电机器人可包括：机械臂、充电控制柜和结构光相机，其中，机械臂设置在充电控制柜的上方，机械臂的末端设置有充电枪头，结构光相机设置在机械臂的末端法兰基准面上。充电控制柜通过对充电机器人进行相应的控制以实现充电枪头与待充电车辆的充电接口进行准确对接，从而对待充电车辆进行自动充电。通过结构光相机可以采集充电接口的深度图像信息。
S2，根据目标深度图像信息和目标预设模板深度图像计算目标空间仿射变换矩阵。
具体地，可先通过相应的图像识别装置对目标深度图像进行预处理（例如去噪）以获取点云边缘图像，再将点云边缘图像与目标预设模板图像进行匹配，以获取定位匹配分数，判断定位匹配分数是否大于预设匹配分数；如果定位匹配分数大于预设匹配分，则计算点云边缘图像与目标预设模板图像之间的空间仿射变换矩阵作为目标空间仿射变换矩阵。如果定位匹配分数小于或等于预设匹配分数，则判断当前没有充电接口，可控制充电机器人回归至预设原点。
可以理解的是，对于空间仿射变换矩阵，可以通过计深度图像信息的中心点和预设模板深度图像的中心点，以根据两个中心点即可获取相应的空间仿射变换矩阵。
S3，根据预设充电接口外轮廓ROI和目标空间仿射变换矩阵计算当前电动汽车充电接口外轮廓ROI。
具体地，根据预设充电接口外轮廓ROI和目标空间仿射变换矩阵通过仿射变换得到当前电动汽车充电接口外轮廓ROI。预设充电接口外轮廓ROI提前存储。
S4，根据当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云。
根据本发明的一个实施例，根据当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云，具体包括：将预设充电接口模型和目标空间仿射变换矩阵通过仿射变换得到当前电动汽车充电接口模型；将当前电动汽车充电接口外轮廓ROI与当前电动汽车充电接口模型做差；将做差结果与目标深度图像信息取交集得到实际充电接口点云。
具体地，将当前电动汽车充电接口外轮廓ROI与当前电动汽车充电接口模型做差后，与目标深度图像信息对应的点云取交集得到实际充电接口点云。
S5，根据实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域。
根据本发明的一个实施例，根据实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域，具体包括：通过最小区域距离的方式（最小区域法）将实际充电接口点云分割为不同点云区域；将分割后的点云区域分别拟合点云中心点位姿；根据点云中心点位姿计算每个点云区域的点云中心点到充电座插针表面点云平面的距离；根据各距离的方向性将点云区域分为表面点云区域和内部点云区域。
具体地，每个点云区域的点云中心点到充电座插针表面点云平面的距离，包括距离的大小和方向，根据距离的方向性即可区分表面点云区域和内部点云区域，举例而言，如果方向为正，则对应的点云区域为表面点云区域，如果方向为负，则对应的点云区域为内部点云区域。
S6，根据表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物。
根据本发明的一个实施例，如图2所示，根据表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物，具体包括：
S61，将表面点云区域进行拟合边缘外轮廓、外轮廓平面膨胀处理后，与当前充电接口模型取交集。
S62，判断交集区域的点云数量是否大于预设交集区域点云数量阈值。
S63，若交集区域的点云数量大于预设交集区域点云数量阈值，则判断充电接口表面存在异物。
S64，若交集区域的点云数量小于或者等于预设交集区域点云数量阈值，则判断充电接口表面不存在异物。
如果判断充电接口表面存在异物，则结束充电流程。
S7，如果判断充电接口表面不存在异物，进一步根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物。
根据本发明的一个实施例，如图2所示，根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物，具体包括：
S71，获取内部点云区域的点云数量和点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差。
S72，判断是否存在内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值。
S73，如果内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值，则判断充电接口内部无异物。
S74，如果内部点云区域的点云数量大于或者等于预设点云数量阈值，或者点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差大于或者等于预设角度偏差阈值，则判断充电接口内部存在异物。
如果判断充电接口内部存在异物，则结束充电流程。如果判断充电接口内部不存在异物，则控制充电机器人执行正常充电流程。
具体地，在判断充电接口表面不存在异物后，再根据上述步骤S71-S73判断充电接口内部不存在异物后，则控制充电机器人执行后续正常的充电流程即可。例如可以根据目标深度图像信息和目标空间仿射变换矩阵计算第二目标位置以进行充电接口的精确定位，控制充电机器人移动至第二目标位置后执行自动插枪动作，根据相关的充电流程控制充电机器人对电动汽车进行充电即可。
为了提高充电机器人对充电接口的深度图像信息采集的息准确性，在进行异物检测之前，即在执行步骤S1之前，可以先对充电接口进行粗略定位，根据本发明的一个实施例，如图3所示，在采集充电接口的目标深度图像信息之前，还包括：
S101，控制充电机器人移动至第一预设位置。
S102，通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的粗略深度图像信息。
S103，计算充电接口的粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵。
S104，根据粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵和第一预设位置计算第一目标位置。
S105，控制充电机器人移动至第一目标位置。
具体地，在控制充电机器人移动至第一预设位置后，开始粗略定位。首先，可通过结构光相机采集得到充电接口的粗略深度图像信息，根据该粗略深度图像信息计算一个目标位置（第一目标位置）。可以理解的是，如果直接将该深度图像与预设模板图像进行匹配，获取空间仿射变换矩阵，那么准确性较低。因此，可先通过相应的图像识别装置对粗略深度图像进行预处理（例如去噪）以获取对应点云边缘图像，再将该点云边缘图像与粗略预设模板图像进行匹配，以获取对应定位匹配分数，判断该定位匹配分数是否大于预设定位匹配分数；如果该定位匹配分数大于预设定位匹配分数，则根据点云边缘图像与粗略预设模板图像获取粗略空间仿射变换矩阵，根据粗略空间仿射变换矩阵对第一预设位置进行变换，即可获取第一目标位置，控制充电机器人移动至第一目标位置即可对机器人进行粗略定位，使后续拍摄的充电接口的深度图像信息更为准确。如果定位匹配分数小于或等于第一预设值，则判断当前没有充电接口，可控制充电机器人回归至预设原点。
综上所述，根据本发明实施例的电动汽车充电接口的异物检测方法，利用结构光相机对外界光照强度不敏感地特性，在不同外界光照下均可较好地采集充电接口表面和内部的深度信息，根据采集的深度图像信息分割出充电接口的表面点云区域和内部点云区域，根据分割后的深度图像不但可以识别出充电接口的表面异物，还可以有效识别出充电接口中内部异物。
与上述的电动汽车充电接口的异物检测方法相对应，本发明还提出一种电动汽车充电接口的异物检测装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节，请参照上述的方法实施例，本发明中不再进行赘述
图4是根据本发明一个实施例的电动汽车充电接口的异物检测装置的方框示意图，如图4所示，该装置包括：第一获取模块1、第一计算模块2、第二计算模块3、第二获取模块4、分割模块5和判断模块6。
第一获取模块1用于通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的目标深度图像信息；第一计算模块2用于根据目标深度图像信息和目标预设模板深度图像计算目标空间仿射变换矩阵；第二计算模块3用于根据预设充电接口外轮廓ROI和目标空间仿射变换矩阵计算当前电动汽车充电接口外轮廓ROI；第二获取模块4用于根据当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云；分割模块5用于根据实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域；判断模块6用于根据表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物，以及在判断充电接口表面不存在异物时，进一步根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物。
根据本发明的一个实施例，第一获取模块1还用于：在采集充电接口的目标深度图像信息之前，控制充电机器人移动至第一预设位置；通过设结构光相机采集充电接口的粗略深度图像信息；计算充电接口的粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵；根据粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵和第一预设位置计算第一目标位置；控制充电机器人移动至第一目标位置。
根据本发明的一个实施例，第二获取模块4具体用于：将当前电动汽车充电接口外轮廓ROI与当前电动汽车充电接口模型做差；将做差结果与目标深度图像信息取交集得到实际充电接口点云。
根据本发明的一个实施例，分割模块5具体用于：通过最小区域距离的方式将实际充电接口点云分割为不同点云区域；将分割后的点云区域分别拟合点云中心点位姿；根据点云中心点位姿计算每个点云区域的点云中心点到充电座插针表面点云平面的距离；根据各距离的方向性点云区域分为表面点云区域和内部点云区域。
根据本发明的一个实施例，判断模块6具体用于：将表面点云区域进行拟合边缘外轮廓、外轮廓平面膨胀处理后，与当前充电接口模型取交集；若交集区域的点云数量大于预设交集区域点云数量阈值，则判断充电接口表面存在异物；若交集区域的点云数量小于或者等于预设交集区域点云数量阈值，则判断充电接口表面不存在异物；在判断充电接口表面不存在异物时，获取内部点云区域的点云数量和点云区域最小外接长方体长轴方向与充电接口Pin针（连接器中用来完成电的导电的一种金属物质）方向角度差；如果内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值，则判断充电接口内部无异物；如果内部点云区域的点云数量大于或者等于预设点云数量阈值，或者点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差大于或者等于预设角度偏差阈值，则判断充电接口内部存在异物。
根据本发明实施例的电动汽车充电接口的异物检测装置，利用结构光相机对外界光照强度不敏感地特性，在不同外界光照下均可较好地采集充电接口表面和内部的深度信息，根据采集的深度图像信息分割出充电接口的表面点云区域和内部点云区域，根据分割后的深度图像不但可以识别出充电接口的表面异物，还可以有效识别出充电接口中内部异物。
此外，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本发明上述的电动汽车充电接口的异物检测方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，可以利用结构光相机对外界光照强度不敏感地特性，在不同外界光照下均可较好地采集充电接口表面和内部的深度信息，根据采集的深度图像信息分割出充电接口的表面点云区域和内部点云区域，根据分割后的深度图像不但可以识别出充电接口的表面异物，还可以有效识别出充电接口中内部异物。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中所示出的各个步骤的执行顺序为优选实现方式，在本发明的其他实施例中，也可以根据各步骤所涉及的功能进行调整，例如可以同时执行或按相反的顺序执行。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

Claims (10)

1.一种电动汽车充电接口的异物检测方法，其特征在于，包括以下步骤：
通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的目标深度图像信息；
根据所述目标深度图像信息和目标预设模板深度图像计算目标空间仿射变换矩阵；
根据预设充电接口外轮廓ROI和所述目标空间仿射变换矩阵计算当前电动汽车充电接口外轮廓ROI；
根据所述当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云；
根据所述实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域；
根据所述表面点云区域判断充电接口表面是否存在异物；
如果判断所述充电接口表面不存在异物，进一步根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物。
2.根据权利要求1所述的电动汽车充电接口的异物检测方法，其特征在于，在采集所述充电接口的目标深度图像信息之前，还包括：
控制充电机器人移动至第一预设位置；
通过设所述结构光相机采集所述充电接口的粗略深度图像信息；
计算所述充电接口的粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵；
根据所述粗略深度图像信息和粗略预设模板深度图像之间的空间仿射变换矩阵和所述第一预设位置计算第一目标位置；
控制所述充电机器人移动至第一目标位置。
3.根据权利要求1所述的电动汽车充电接口的异物检测方法，其特征在于，根据所述当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云，具体包括：
将预设充电接口模型和目标空间仿射变换矩阵通过仿射变换得到当前电动汽车充电接口模型；
将所述当前电动汽车充电接口外轮廓ROI与所述当前电动汽车充电接口模型做差；
将做差结果与所述目标深度图像信息取交集得到实际充电接口点云。
4.根据权利要求1所述的电动汽车充电接口的异物检测方法，其特征在于，根据所述实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域，具体包括：
通过最小区域距离的方式将所述实际充电接口点云分割为不同点云区域；
将分割后的点云区域分别拟合点云中心点位姿；
根据所述点云中心点位姿计算每个点云区域的点云中心点到充电座插针表面点云平面的距离；
根据各距离的方向性将所述点云区域分为表面点云区域和内部点云区域。
5.根据权利要求1所述的电动汽车充电接口的异物检测方法，其特征在于，根据所述表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物，具体包括：
将表面点云区域进行拟合边缘外轮廓、外轮廓平面膨胀处理后，与所述当前充电接口模型取交集；
若交集区域的点云数量大于预设交集区域点云数量阈值，则判断充电接口表面存在异物；
若交集区域的点云数量小于或者等于所述预设交集区域点云数量阈值，则判断充电接口表面不存在异物。
6.根据权利要求1所述的电动汽车充电接口的异物检测方法，其特征在于，根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物，具体包括：
获取所述内部点云区域的点云数量和点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差；
如果所述内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值，则判断充电接口内部无异物；
如果所述内部点云区域的点云数量大于或者等于预设点云数量阈值，或者所述点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差大于或者等于预设角度偏差阈值，则判断充电接口内部存在异物。
7.一种电动汽车充电接口的异物检测装置，其特征在于，包括：
第一获取模块，所述第一获取模块用于通过设置在充电机器人末端法兰基准面上的结构光相机采集充电接口的目标深度图像信息；
第一计算模块，所述第一计算模块用于根据所述目标深度图像信息和目标预设模板深度图像计算目标空间仿射变换矩阵；
第二计算模块，所述第二计算模块用于根据预设充电接口外轮廓ROI和所述目标空间仿射变换矩阵计算当前电动汽车充电接口外轮廓ROI；
第二获取模块，所述第二获取模块用于根据所述当前电动汽车充电接口外轮廓ROI、预设充电接口模型和目标深度图像信息得到实际充电接口点云；
分割模块，所述分割模块用于根据所述实际充电接口点云的中心点深度分割出表面点云区域和内部点云区域；
判断模块，所述判断模块用于根据所述表面点云区域与当前充电接口模型的交集区域点云数量判断充电接口表面是否存在异物，以及在判断所述充电接口表面不存在异物时，进一步根据内部点云区域的点云数量、内部点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差判断充电接口内部是否存在异物。
8.根据权利要求7所述的电动汽车充电接口的异物检测装置，其特征在于，所述第二获取模块具体用于：
将预设充电接口模型和目标空间仿射变换矩阵通过仿射变换得到当前电动汽车充电接口模型；
将所述当前电动汽车充电接口外轮廓ROI与所述当前电动汽车充电接口模型做差；
将做差结果与所述目标深度图像信息取交集得到实际充电接口点云。
9.根据权利要求7所述的电动汽车充电接口的异物检测装置，其特征在于，所述分割模块具体用于：
通过最小区域距离的方式将所述实际充电接口点云分割为不同点云区域；
将分割后的点云区域分别拟合点云中心点位姿；
根据所述点云中心点位姿计算每个点云区域的点云中心点到充电座插针表面点云平面的距离；
根据各距离的方向性所述点云区域分为表面点云区域和内部点云区域。
10.根据权利要求7所述的电动汽车充电接口的异物检测装置，其特征在于，所述判断模块具体用于：
将表面点云区域进行拟合边缘外轮廓、外轮廓平面膨胀处理后，与所述当前充电接口模型取交集；
若交集区域的点云数量大于预设交集区域点云数量阈值，则判断充电接口表面存在异物；
若交集区域的点云数量小于或者等于所述预设交集区域点云数量阈值，则判断充电接口表面不存在异物；
在判断所述充电接口表面不存在异物时，获取所述内部点云区域的点云数量和点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差；
如果所述内部点云区域的点云数量小于预设点云数量阈值，且点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差小于预设角度偏差阈值，则判断充电接口内部无异物；
如果所述内部点云区域的点云数量大于或者等于预设点云数量阈值，或者所述点云区域最小外接长方体长轴方向与充电接口Pin针方向角度差大于或者等于预设角度偏差阈值，则判断充电接口内部存在异物。
CN202311397016.6A 2023-10-26 2023-10-26 电动汽车充电接口的异物检测方法、异物检测装置 Active CN117132598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311397016.6A CN117132598B (zh) 2023-10-26 2023-10-26 电动汽车充电接口的异物检测方法、异物检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311397016.6A CN117132598B (zh) 2023-10-26 2023-10-26 电动汽车充电接口的异物检测方法、异物检测装置

Publications (2)

Publication Number Publication Date
CN117132598A true CN117132598A (zh) 2023-11-28
CN117132598B CN117132598B (zh) 2024-03-22

Family

ID=88858607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311397016.6A Active CN117132598B (zh) 2023-10-26 2023-10-26 电动汽车充电接口的异物检测方法、异物检测装置

Country Status (1)

Country Link
CN (1) CN117132598B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137489A (zh) * 2014-06-09 2015-12-09 中兴通讯股份有限公司 异物检测方法及装置、无线充电控制方法及装置
US20220103020A1 (en) * 2020-09-29 2022-03-31 Electronics And Telecommunications Research Institute Wireless charging system for removing foreign object and foreign object removing method of wireless charging system
US20220148205A1 (en) * 2019-03-28 2022-05-12 Nec Corporation Foreign matter detection device, foreign matter detection method, and program
US20220404495A1 (en) * 2021-06-18 2022-12-22 Kabushiki Kaisha Toshiba Detection system, processing apparatus, movement object, detection method, and non-transitory computer-readable storage medium
CN115771425A (zh) * 2022-12-23 2023-03-10 华人运通(山东)科技有限公司 一种无线充电异物检测方法、车辆及存储介质
CN115972955A (zh) * 2022-12-13 2023-04-18 国创移动能源创新中心(江苏)有限公司 基于充电机器人的车辆自动充电方法和装置
CN116256749A (zh) * 2023-01-09 2023-06-13 深圳威迈斯新能源股份有限公司 汽车无线充电活物检测系统及其检测方法
CN116339326A (zh) * 2023-03-07 2023-06-27 江苏天策机器人科技有限公司 一种基于立体相机的自主充电定位方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105137489A (zh) * 2014-06-09 2015-12-09 中兴通讯股份有限公司 异物检测方法及装置、无线充电控制方法及装置
US20220148205A1 (en) * 2019-03-28 2022-05-12 Nec Corporation Foreign matter detection device, foreign matter detection method, and program
US20220103020A1 (en) * 2020-09-29 2022-03-31 Electronics And Telecommunications Research Institute Wireless charging system for removing foreign object and foreign object removing method of wireless charging system
US20220404495A1 (en) * 2021-06-18 2022-12-22 Kabushiki Kaisha Toshiba Detection system, processing apparatus, movement object, detection method, and non-transitory computer-readable storage medium
CN115972955A (zh) * 2022-12-13 2023-04-18 国创移动能源创新中心(江苏)有限公司 基于充电机器人的车辆自动充电方法和装置
CN115771425A (zh) * 2022-12-23 2023-03-10 华人运通(山东)科技有限公司 一种无线充电异物检测方法、车辆及存储介质
CN116256749A (zh) * 2023-01-09 2023-06-13 深圳威迈斯新能源股份有限公司 汽车无线充电活物检测系统及其检测方法
CN116339326A (zh) * 2023-03-07 2023-06-27 江苏天策机器人科技有限公司 一种基于立体相机的自主充电定位方法及系统

Also Published As

Publication number Publication date
CN117132598B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN108932475B (zh) 一种基于激光雷达和单目视觉的三维目标识别系统及方法
Suhr et al. Automatic parking space detection and tracking for underground and indoor environments
CN109977954B (zh) 电动汽车充电接口的识别及定位方法及系统
CN103745452B (zh) 相机外参评估方法、装置、相机外参标定方法和装置
US20030099377A1 (en) Vehicle surroundings monitoring apparatus
CN110889974B (zh) 一种智能泊车车位识别方法及装置、汽车
CN112346453A (zh) 机器人自动回充方法、装置、机器人和存储介质
CN111192326B (zh) 一种用于视觉识别电动汽车直流充电插口的方法及系统
Quan et al. Research on fast identification and location of contour features of electric vehicle charging port in complex scenes
JP2000207693A (ja) 車載用障害物検出装置
CN115972955A (zh) 基于充电机器人的车辆自动充电方法和装置
CN117132598B (zh) 电动汽车充电接口的异物检测方法、异物检测装置
JP2007253699A (ja) 光軸ずれ検出装置
CN110514140B (zh) 一种三维成像方法、装置、设备以及存储介质
CN116721156A (zh) 工件位置定位方法、装置、计算机设备及存储介质
CN116643252A (zh) 一种车辆充电接口的定位方法、装置和存储介质
CN111462243A (zh) 车载流媒体后视镜标定方法、系统及装置
CN115359083A (zh) 障碍物的轮廓获取方法、系统、介质及电子设备
CN113065483A (zh) 一种定位方法、装置、电子设备、介质及机器人
CN110488320B (zh) 一种利用立体视觉检测车辆距离的方法
JP2001116545A (ja) 距離画像算出装置
CN114179669B (zh) 一种电动汽车充电口位姿确定系统及方法
CN116309883B (zh) 一种3D目标6DoF精确定位方法及系统
CN113799769B (zh) 车位识别精度的检测方法、装置及自动驾驶车辆
CN112129262B (zh) 一种多摄像头组的视觉测距方法及视觉导航芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant