CN112598744B - 一种发动机气门抓取点定位方法 - Google Patents

一种发动机气门抓取点定位方法 Download PDF

Info

Publication number
CN112598744B
CN112598744B CN202110227668.XA CN202110227668A CN112598744B CN 112598744 B CN112598744 B CN 112598744B CN 202110227668 A CN202110227668 A CN 202110227668A CN 112598744 B CN112598744 B CN 112598744B
Authority
CN
China
Prior art keywords
point
engine valve
automobile engine
vector
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110227668.XA
Other languages
English (en)
Other versions
CN112598744A (zh
Inventor
权稳稳
李诗
杨庆研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jushi Technology Jiangsu Co ltd
Original Assignee
Jushi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Jiangsu Co ltd filed Critical Jushi Technology Jiangsu Co ltd
Priority to CN202110227668.XA priority Critical patent/CN112598744B/zh
Publication of CN112598744A publication Critical patent/CN112598744A/zh
Application granted granted Critical
Publication of CN112598744B publication Critical patent/CN112598744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种发动机气门抓取点的定位方法，获取3D点云以及对应的2D图像；通过3D点云以及整体斜框用斜框滤波来获取整体3D点云，对整体3D点云进行区域生长聚类，通过对区域生长聚类平滑度参数的调整将汽车发动机气门分割开；对杆部的3D点云进行图像PCA处理获得抓取点的位置和姿态；根据整体斜框以及顶部斜框确定对应的顶部斜框，通过斜框滤波得到顶部的3D点云计算顶部3D点云的重心获得汽车发动机气门的顶部重心点；将获取顶部重心点投影到初始的抓取点姿态的x向量上获得顶部重心的投影点，确定初始的抓取点姿态的x向量的方向；根据初始的抓取点姿态的x向量以及z轴计算初始的抓取点姿态的y向量；利用x向量和y向量确定初始的抓取点姿态的z向量。

Description

一种发动机气门抓取点定位方法
技术领域
本发明涉及抓取点定位技术领域，尤其涉及一种发动机气门抓取点定位方法的方法。
背景技术
随着工业自动化技术的提高，汽车自动化生产的发展越来越快，对汽车发动机气门零件的自动抓取也提出了需求。为了方便抓取，发动机气门的抓取点一般要求在气门杆部，且抓取姿态相对于气门顶部保持一致。
在三维视觉中，发动机气门由于其自身金属材料的反光特性，由摄像机硬件采集的点云往往不够完整，尤其是气门顶部不仅受反光影响，而且受3D摄像机点云成像特性影响，气门顶部的点云质量常常严重缺失，这样就给抓取点定位带来了极大困难。
传统的发动机气门抓取点定位往往采用点云欧式聚类的方法去分割气门点云，再对分割后的点云做主成分分析（Principal Components Analysis，PCA）等处理来获取抓取点位姿，这种方法在零件放置得比较分散时可以取得较好的效果，但是当零件放置得比较紧凑，零件与零件之间点云连接在一起时点云难以分割开，而且当气门顶部点云不完整时，计算的抓取点位置和姿态会有一定偏差，造成抓取点定位错误。
鉴于以上所述，实有必要提供一种新型的发动机气门抓取点定位方法以克服上述缺陷。
发明内容
本发明的目的是提供一种发动机气门抓取点的定位方法，利用区域生长聚类分割出气门杆部，保证了气门抓取点位置的准确性；借助深度学习来识别气门整体以及气门顶部，保证了气门抓取点姿态相对于气门顶部方向的一致性。
为了实现上述目的，本发明提供一种发动机气门抓取点的定位方法，包括如下步骤，
S1：采用3D摄像机获取汽车发动机气门的3D点云以及对应的2D图像，其中2D图像用训练好的深度学习模型去识别汽车发动机气门整体斜框以及汽车发动机气门顶部斜框；
S2：通过S1获得的汽车发动机气门的3D点云以及汽车发动机气门整体斜框用斜框滤波来获取汽车发动机气门的整体3D点云，对汽车发动机气门整体3D点云进行区域生长聚类，通过对区域生长聚类平滑度参数的调整，将连接在一起的汽车发动机气门分割开，同时分割掉汽车发动机气门的顶部，即分割出单个汽车发动机气门的杆部；
S3：对分割出的气门杆部的3D点云进行图像PCA处理，获得汽车发动机气门抓取点的位置和姿态；
S4：根据S1识别到的汽车发动机气门的整体斜框以及汽车发动机气门的顶部斜框，确定S3中定位的汽车发动机气门对应的汽车发动机气门的顶部斜框，通过斜框滤波得到汽车发动机气门顶部的3D点云计算汽车发动机气门的顶部3D点云的重心获得汽车发动机气门的顶部重心点；
S5：将获取的汽车发动机气门的顶部重心点投影到S3中获得的初始的抓取点姿态的x向量上，获得汽车发动机气门的顶部重心的投影点，计算该投影点到S3中获得的抓取点的向量与S3中获得的初始的抓取点的姿态的x向量方向的关系，确定抓取点的初始的抓取点姿态的x向量的方向；
S6：根据确定的初始的抓取点姿态的x向量以及摄像机坐标系的z轴，用右手坐标系定则，计算初始的抓取点姿态的y向量；
S7：利用确定的初始的抓取点姿态的x向量和y向量，确定初始的抓取点姿态的z向量，则汽车发动机气门抓取点的位置和姿态可以全部确定。
优选的，若汽车发动机气门的初始的抓取点姿态的x向量指向汽车发动机气门的 顶部时为正方向，则向量
Figure 332150DEST_PATH_IMAGE001
与x轴的内积大于0时，x轴即为初始的抓取点姿态的x向量，小 于0时x轴的负方向为初始的抓取点姿态的x向量。
与现有技术相比，本发明提供的一种发动机气门抓取点的定位方法，有益效果在于：1）利用区域生长聚类分割出气门杆部，规避了气门连接在一起难以分割以及气门顶部点云不稳定等问题，保证了气门抓取点位置的准确性；
2）借助深度学习来识别气门整体以及气门顶部，保证了气门抓取点姿态相对于气门顶部方向的一致性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的发动机气门抓取点的定位方法的流程图。
图2为本发明提供的发动机气门抓取点的定位方法的汽车发动机气门的抓取点的姿态的计算示意图。
图3为本发明提供的发动机气门抓取点的定位方法的用深度学习模型识别后的汽车发动机气门的2D图。
图4为本发明提供的发动机气门抓取点的定位方法的斜框滤波后汽车发动机气门的3D点云图。
图5为本发明提供的发动机气门抓取点的定位方法的区域生长聚类后的汽车发动机气门的点云图。
图6为本发明提供的发动机气门抓取点的定位方法的确定的汽车发动机气门抓取点的位置和姿态的示意图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
需要理解的是，术语 “上”、 “下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
还需要说明的是，除非另有明确的规定和限定，“安装”、“相连”、“连接”、“固定”、“设置”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况上述术语在本发明中的具体含义。
此外，术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征。此外，“多个”、“若干”的含义是指两个或两个以上，除非另有明确具体的限定。
请参阅图1，本发明提供一种发动机气门抓取点的定位方法，包括如下步骤，
S1：采用3D摄像机获取汽车发动机气门的3D点云以及对应的2D图像，其中2D图像用训练好的深度学习模型去识别汽车发动机气门整体斜框以及汽车发动机气门顶部斜框（如图3所示）；
S2：通过S1获得的汽车发动机气门的3D点云以及汽车发动机气门整体斜框用斜框滤波来获取汽车发动机气门的整体3D点云（如图4所示），对汽车发动机气门整体3D点云进行区域生长聚类，通过对区域生长聚类平滑度参数的调整，将连接在一起的汽车发动机气门分割开，同时分割掉汽车发动机气门的顶部，即分割出单个汽车发动机气门的杆部（如图5所示）；由于汽车发动机气门属于T型工件，其顶部表面以及杆部表面点云点法线角度变化明显，而区域生长聚类算法正是基于点法线之间角度的比较，来将不满足平滑度约束的相邻点分割开；
S3：对分割出的气门杆部的3D点云进行图像PCA处理，获得汽车发动机气门抓取点的位置（如图2所示OG为气门抓取点位置）和姿态（如图2所示的x轴、y轴、z轴为初始的抓取点姿态）；
S4：根据S1识别到的汽车发动机气门的整体斜框以及汽车发动机气门的顶部斜框，确定S3中定位的汽车发动机气门对应的汽车发动机气门的顶部斜框，通过斜框滤波得到汽车发动机气门顶部的3D点云计算汽车发动机气门的顶部3D点云的重心获得汽车发动机气门的顶部重心点（如图2所示气门顶部重心点为OH）；
S5：将获取的汽车发动机气门的顶部重心点投影到S3中获得的初始的抓取点姿态 的x向量上，获得汽车发动机气门的顶部重心的投影点（即图2 所示的点HP），计算该投影点 到S3中获得的抓取点的向量与S3中获得的初始的抓取点的姿态的x向量方向的关系，确定 抓取点的初始的抓取点姿态的x向量的方向；若汽车发动机气门的初始的抓取点姿态的x向 量指向汽车发动机气门的顶部时为正方向，则图2的向量
Figure 225151DEST_PATH_IMAGE001
与x轴的内积大于0时，x轴即 为初始的抓取点姿态的x向量，小于0时x轴的负方向为初始的抓取点姿态的x向量；
S6：根据确定的初始的抓取点姿态的x向量以及摄像机坐标系的z轴，用右手坐标系定则，计算初始的抓取点姿态的y向量；
S7：利用确定的初始的抓取点姿态的x向量和y向量，确定初始的抓取点姿态的z向量，则汽车发动机气门抓取点的位置和姿态可以全部确定，可保证抓取点姿态相对于汽车发动机气门的顶部一致性。
实施例：
采用3D摄像机采集汽车发动机气门3D点云以及2D图像，其中2D图像用600张汽车发动机气门的2D图像训练的模型识别，获得汽车发动机气门的整体斜框和汽车发动机气门的顶部斜框（如图3所示），3D点云结合汽车发动机气门的整体斜框用斜框滤波获取气门整体3D点云（如图4所示），用区域生长聚类进行分割，其中平滑度阈值设为4°，分割出的汽车发动机气门的杆部（如图5所示），可以看到区域生长聚类分割得汽车发动机气门的杆部比较完整，分割掉了其他干扰汽车发动机气门的3D点云以及该汽车发动机气门顶部的3D点云。
用主成分分析求得汽车发动机气门的杆部重心位置为(-0.1313,-0.1087,0.7606)，汽车发动机气门的杆部初始的抓取姿态的x轴为(-0.3546,0.9154,-0.1907)；3D点云结合汽车发动机气门的顶部斜框用斜框滤波获取汽车发动机气门顶部的3D点云，计算汽车发动机气门的顶部重心为(-0.0246,0.0502,0.004)；
将获取的汽车发动机气门的顶部重心点投影到S3中获得的初始的抓取点姿态的x向量上，获得汽车发动机气门的顶部重心的投影点，计算该投影点到抓取点的向量与获得的初始的抓取点姿态的x向量的这两个向量方向的关系（该投影点到抓取点的向量与获得的初始的抓取点姿态的x向量的x轴做内积为0.0539）；
若获得的初始的抓取点姿态的x向量指向汽车发动机气门的顶部时为正方向，由于内积大于0，因此获得的初始的投影姿态的x轴为最终要求的x轴，用最终要求的x轴与摄像机z轴(0，0，1)通过右手坐标系定则，求得初始的抓取点姿态的y轴为(-0.9324,-0.3612,0)，根据x轴与y轴求得初始的抓取点姿态的z轴为(-0.0689,0.1778,0.9816)，初始的抓取点的位置和姿态（如图6所示），图中坐标系原点为抓取点位置，可以看到抓取点位置准确且姿态的x轴准确指向汽车发动机气门的顶部。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的示例。

Claims (2)

1.一种发动机气门抓取点的定位方法，其特征在于，包括如下步骤，
S1：采用3D摄像机获取汽车发动机气门的3D点云以及对应的2D图像，其中2D图像用训练好的深度学习模型去识别汽车发动机气门整体斜框以及汽车发动机气门顶部斜框；
S2：通过S1获得的汽车发动机气门的3D点云以及汽车发动机气门整体斜框用斜框滤波来获取汽车发动机气门的整体3D点云，对汽车发动机气门整体3D点云进行区域生长聚类，通过对区域生长聚类平滑度参数的调整，将汽车发动机气门分割开，同时分割掉汽车发动机气门的顶部；
S3：对分割出的气门杆部的3D点云进行图像PCA处理，获得汽车发动机气门抓取点的位置和姿态；
S4：根据S1识别到的汽车发动机气门的整体斜框以及汽车发动机气门的顶部斜框，确定S3中定位的汽车发动机气门对应的汽车发动机气门的顶部斜框，通过斜框滤波得到汽车发动机气门顶部的3D点云计算汽车发动机气门的顶部3D点云的重心获得汽车发动机气门的顶部重心点；
S5：将获取的汽车发动机气门的顶部重心点投影到S3中获得的初始的抓取点姿态的x向量上，获得汽车发动机气门的顶部重心的投影点，计算该投影点到S3中获得的抓取点的向量与S3中获得的初始的抓取点的姿态的x向量方向的关系，确定抓取点的初始的抓取点姿态的x向量的方向；
S6：根据确定的初始的抓取点姿态的x向量以及摄像机坐标系的z轴，用右手坐标系定则，计算初始的抓取点姿态的y向量；
S7：利用确定的初始的抓取点姿态的x向量和y向量，确定初始的抓取点姿态的z向量，则汽车发动机气门抓取点的位置和姿态全部确定。
2.如权利要求1所述的发动机气门抓取点的定位方法，其特征在于，若汽车发动机气门 的初始的抓取点姿态的x向量指向汽车发动机气门的顶部时为正方向，则向量
Figure 932533DEST_PATH_IMAGE001
与x轴的 内积大于0时，x轴即为初始的抓取点姿态的x向量，小于0时x轴的负方向为初始的抓取点姿 态的x向量，其中OG为气门抓取点位置， HP为汽车发动机气门的顶部重心的投影点。
CN202110227668.XA 2021-03-02 2021-03-02 一种发动机气门抓取点定位方法 Active CN112598744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227668.XA CN112598744B (zh) 2021-03-02 2021-03-02 一种发动机气门抓取点定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227668.XA CN112598744B (zh) 2021-03-02 2021-03-02 一种发动机气门抓取点定位方法

Publications (2)

Publication Number Publication Date
CN112598744A CN112598744A (zh) 2021-04-02
CN112598744B true CN112598744B (zh) 2021-07-30

Family

ID=75207656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227668.XA Active CN112598744B (zh) 2021-03-02 2021-03-02 一种发动机气门抓取点定位方法

Country Status (1)

Country Link
CN (1) CN112598744B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105250035A (zh) * 2015-10-22 2016-01-20 同方鼎欣信息技术有限公司 一种支持多种立体定向仪的靶部位定位方法和系统
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
CN108555908B (zh) * 2018-04-12 2020-07-28 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111145254B (zh) * 2019-12-13 2023-08-11 上海新时达机器人有限公司 一种基于双目视觉的门阀毛坯定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105250035A (zh) * 2015-10-22 2016-01-20 同方鼎欣信息技术有限公司 一种支持多种立体定向仪的靶部位定位方法和系统
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法

Also Published As

Publication number Publication date
CN112598744A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
JP7072759B2 (ja) マルチセンサによる複合キャリブレーション装置及び方法
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN110014426B (zh) 一种利用低精度深度相机高精度抓取形状对称工件的方法
JP6004809B2 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
CN111775152A (zh) 基于三维测量引导机械臂抓取散乱堆叠工件的方法及系统
CN110455187B (zh) 一种基于三维视觉的盒体工件焊缝的检测方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN110097021B (zh) 基于mtcnn的人脸姿态估计方法
CN114140439A (zh) 基于深度学习的激光焊接焊缝特征点识别方法及装置
CN112658643B (zh) 接插件装配方法
US20230041378A1 (en) Systems and methods for object detection
CN108900775B (zh) 一种水下机器人实时电子稳像方法
CN117274167A (zh) 一种基于三维信息的成形焊缝外观缺陷提取方法
CN112598744B (zh) 一种发动机气门抓取点定位方法
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN112588621B (zh) 一种基于视觉伺服的农产品分拣方法及系统
CN113554713A (zh) 飞机蒙皮移动机器人制孔视觉定位及检测方法
CN113362358A (zh) 一种动态场景下基于实例分割的鲁棒性位姿估计方法
CN116749198A (zh) 一种基于双目立体视觉引导机械臂抓取方法
CN112767481B (zh) 一种基于视觉边缘特征的高精度定位及建图方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
KR101622659B1 (ko) 로봇과 레이저 비전 시스템 간의 캘리브레이션 방법
CN114939891A (zh) 一种基于物体平面特征的复合机器人3d抓取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant