CN115131619A - 基于点云和图像融合的特高压零件分拣方法和系统 - Google Patents

基于点云和图像融合的特高压零件分拣方法和系统 Download PDF

Info

Publication number
CN115131619A
CN115131619A CN202211029761.0A CN202211029761A CN115131619A CN 115131619 A CN115131619 A CN 115131619A CN 202211029761 A CN202211029761 A CN 202211029761A CN 115131619 A CN115131619 A CN 115131619A
Authority
CN
China
Prior art keywords
point cloud
image
high voltage
extra
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211029761.0A
Other languages
English (en)
Other versions
CN115131619B (zh
Inventor
刘新
黄纯豪
戚国辉
刘青
张灿
闫立财
余蔚青
李璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing River Huiyuan Science And Technology Co ltd
Original Assignee
Beijing River Huiyuan Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing River Huiyuan Science And Technology Co ltd filed Critical Beijing River Huiyuan Science And Technology Co ltd
Priority to CN202211029761.0A priority Critical patent/CN115131619B/zh
Publication of CN115131619A publication Critical patent/CN115131619A/zh
Application granted granted Critical
Publication of CN115131619B publication Critical patent/CN115131619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于点云和图像融合的特高压零件分拣方法和系统，包括：步骤A，训练基于点云和图像融合的检测器；步骤B，获取零件的点云数据和图像数据；步骤C，利用训练的检测器对点云数据和图像数据进行处理，从而识别零件；以及步骤D，根据识别结果自动分拣零件。本发明的方法和系统可应用于复杂零件的分拣作业，有利于提高识别精度，提高特高压零件仓库管理中形态各异的、不规则的复杂零件的分拣速度和分拣准确率，从而提高管理水平。

Description

基于点云和图像融合的特高压零件分拣方法和系统
技术领域
本发明涉及自动分拣应用领域，特别是涉及基于点云和图像融合的特高压零件分拣方法和系统。
背景技术
目前，在特高压零件仓库管理的过程中，零件的分拣作业基本上采用的是人工分拣方式和基于图像识别技术的分拣方式。传统的人工分拣方式存在人工成本高、效率低且无法保证长时间工作后的分拣效率和准确率等问题；传统的基于机器视觉的零件分拣主要依赖于人工设计的特征，利用特征点、最小外接矩形和模板匹配等方法来识别零件。由于一部分特高压零件姿态各异、形状较复杂，应用上述分拣方式进行分拣时往往无法达到令人满意的效果。随着特高压输变电工程的建设，仓库管理效率有必要进一步提高，因此针对特高压零件的分拣作业必然需要进入自动化操作阶段。
在零件的自动分拣过程中，零件的识别与精确定位是自动分拣流程是否能够完成的首要条件。由于特高压零件的特殊性，零件识别与精确定位面临着以下问题：1)零件种类繁多、大小不一、外形多样；2)部分零件形状较复杂、差别细微，一般的识别算法难以区分；3)零件摆放位置不确定。传统的机器视觉技术通常采集的是平面纹理特征，在单一特征下，上述问题难以得到解决，通常无法做到高精度识别。
本背景技术所公开的上述信息仅仅用于增加对本申请背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。
发明内容
本发明的一个目的是要克服现有技术中的至少一个技术缺陷，提供一种基于点云和图像融合的特高压零件分拣方法和系统。
本发明的一个进一步的目的是要同时利用点云三维特征和图像纹理特征进行特高压零件的分拣作业，针对特高压零件仓库管理中形态各异的、不规则的复杂零件，提高分拣速度和分拣准确率，从而提高管理水平。
特别地，根据本发明的一方面，提供了一种基于点云和图像融合的三维目标检测的特高压零件分拣方法，包括：
步骤A，训练基于点云和图像融合的检测器；
步骤B，获取零件的点云数据和图像数据；
步骤C，利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件；以及
步骤D，根据识别结果自动分拣所述零件。
可选地，在步骤A中，得到基于PointNet改进的三维目标检测框架模型，且步骤A包括：
对样本数据进行采集和扩充；
对样本数据进行标注：使用标注软件对所述样本数据进行标注，框选出各图中的零件并标记各零件的名称，形成训练样本库；
基于PointNet改进三维目标检测框架模型，作为训练的检测器。
可选地，基于PointNet改进三维目标检测框架模型的步骤包括：
获取各个样本的点云数据和RGB图像，利用所述点云数据生成鸟瞰图；
将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框；
利用PointNet提取点云池化特征；
提取所述候选框方位特征，融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征；
将所述多模态融合特征输入检测器中计算所述候选框和真实框之间的差距，得到最终的检测结果。
可选地，将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框的步骤包括：
利用特征金字塔网络提取所述鸟瞰图的图像特征和所述RGB图像的图像特征；
利用锚框映射得到相应的区域特征；
使用1 × 1卷积，得到区域融合特征；
将所述区域融合特征输入分类器和回归器，得到所述候选框。
可选地，融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征的步骤包括：
将所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征输入到自适应融合网络中计算它们参加候选框修正任务的权重，再通过加权求和操作进行融合，得到新的特征；
基于上述新的特征，进一步融入所述候选框的方位特征，得到所述多模态融合特征。
可选地，利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件的步骤中，识别结果包括：零件种类、零件坐标和零件个数。
可选地，根据识别结果自动分拣所述零件的步骤包括：
根据所述零件坐标求取所述点云数据中各个点云的重心坐标；
将所述重心坐标转换为世界坐标系下的世界坐标；以及
根据所述世界坐标和所述零件个数抓取所述零件，并根据所述零件种类自动对抓取的零件归类。
可选地，在根据所述零件坐标求取所述点云数据中各个点云的重心坐标的步骤中，使用求取XYZ点云均值的方式获取所述重心坐标：
Figure 100002_DEST_PATH_IMAGE001
式中，
Figure 499829DEST_PATH_IMAGE002
表示点云的重心坐标，
Figure 100002_DEST_PATH_IMAGE003
表示各个点云的坐标，n 表示点云的个数。
可选地，在将所述重心坐标转换为世界坐标系下的世界坐标的步骤中，采用如下方式进行转换：
Figure 143562DEST_PATH_IMAGE004
其中，
Figure 497183DEST_PATH_IMAGE002
表示点云的重心坐标，
Figure 100002_DEST_PATH_IMAGE005
表示点云的世界坐标， R为旋转正交变换矩阵，T为平移变化矩阵。
根据本发明的另一方面，还提供了一种基于点云和图像融合的三维目标检测的特高压零件分拣系统，包括：
处理器以及存储器，所述存储器内存储有机器可执行程序，所述机器可执行程序被所述处理器执行时，用于实现根据以上任一项所述的方法。
本发明的基于点云和图像融合的特高压零件分拣方法和系统，通过训练基于点云和图像融合的检测器，然后利用训练的检测器对零件的点云数据和图像数据进行处理，从而识别零件并根据识别结果自动分拣零件。采用上述方法，由于同时利用点云三维特征和图像纹理特征进行特高压零件的分拣作业，因此，本发明的方法和系统可应用于复杂零件的分拣作业，有利于提高识别精度，提高特高压零件仓库管理中形态各异的、不规则的复杂零件的分拣速度和分拣准确率，从而提高管理水平。
进一步地，本发明的基于点云和图像融合的三维目标检测的特高压零件分拣方法和系统，基于PointNet改进的三维目标检测框架模型，对所获取的零件的点云数据和图像数据进行处理，从而识别零件，由于改进的三维目标检测框架模型具备较高的检测精度，能够同时反映多个零件的种类和位置以及相同零件的个数，因此，利用本发明所训练的检测器可以快速地全方面地识别零件，效果显著。
与现有技术相比，本发明具有以下有益效果：
(1)基于点云和图像特征，零件识别准确率更高，识别速度更快；
(2)通过模型智能预测，可以得到零件的精确坐标位置；
(3)通过点云计算零件的重心，使零件的抓取更加准确。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性流程图；
图2是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性流程图；
图3是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性具体流程图；
图4是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣系统的示意性框图。
具体实施方式
现将详细参考本发明的实施例，其一个或多个示例在附图中示出。提供的各个实施例旨在解释本发明，而非限制本发明。事实上，在不脱离本发明的范围或精神的情况下对本发明进行各种修改和变化对于本领域的技术人员来说是显而易见的。例如，图示或描述为一个实施例的一部分的特征可以与另一个实施例一起使用以产生再另外的实施例。因此，本发明旨在涵盖所附权利要求书及其等同物范围内的此类修改和变化。
下面参照图1至图4来描述本发明实施例的基于点云和图像融合的特高压零件分拣方法和系统10。
在本实施例的描述中，当某个特征“包括或者包含”某个或某些其涵盖的特征时，除非另外特别地描述，这指示不排除其它特征和可以进一步包括其它特征。在本实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“一个示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本发明实施例首先提供了一种基于点云和图像融合的特高压零件分拣方法。图1是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性流程图。该分拣方法一般性地可包括如下步骤：
步骤A，训练基于点云和图像融合的检测器。
步骤B，获取零件的点云数据和图像数据。
步骤C，利用训练的检测器对点云数据和图像数据进行处理，从而识别零件。
步骤D，根据识别结果自动分拣零件，以实现零件的自动抓取和归类。
使用上述方法，训练基于点云和图像融合的检测器，然后利用训练的检测器对零件的点云数据和图像数据进行处理，从而识别零件并根据识别结果自动分拣零件。由于本实施例同时利用点云三维特征和图像纹理特征进行特高压零件的分拣作业，因此，该方法可应用于复杂零件的分拣作业，特别适用于具有复杂三维结构的特高压零件的分拣作业，有利于提高识别精度，提高特高压零件仓库管理中形态各异的、不规则的复杂零件的分拣速度和分拣准确率，从而提高管理水平。当然，本发明的方法和系统也可以适用于其他类型或结构的三维目标检测。
在一个示例中，训练基于点云和图像融合的检测器时，可以得到基于点云和图像融合的三维目标检测模型，作为训练的检测器。
在一个进一步的示例中，在步骤A中，可得到基于PointNet改进的三维目标检测框架模型，作为训练的检测器。
图2是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性流程图。如图2所示，在分拣过程中，通过获取特高压零件的点云数据和图像数据，利用训练好的PointNet改进的三维目标检测框架模型对特高压零件的点云数据和图像数据进行识别，实现特高压零件的种类识别、个数识别和坐标获取，并输出识别结果，通过求取零件的重心坐标，转换为世界坐标，确定抓取点并传输给机械臂，从而利用机械臂自动抓取特高压零件并归类。
点云数据可以采用激光点云扫描得到。图像数据可以通过图像采集技术得到。在一个示例中，图像数据为RGB图像。
当然，在另一些示例中，也可以采用其他类型的图像数据。下面本公开将以图像数据为RGB图像为例，针对特高压零件的分拣方法和系统作进一步介绍。本领域技术人员在了解本公开各个实施例的基础上，应当完全有能力将图像数据变换或拓展为其他类型，在不脱离本发明的精神和范围的情况下，这些变换和拓展均应落入本发明的保护范围。
图3是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣方法的示意性具体流程图。下面将结合图3，针对分拣方法作进一步介绍。
在一些可选的实施例中，在步骤A中，得到基于PointNet改进的三维目标检测框架模型，且步骤A包括：
步骤1.1，对样本数据进行采集和扩充；
步骤1.2，对样本数据进行标注：使用标注软件对样本数据进行标注，框选出各图中的零件并标记各零件的名称，形成训练样本库；
步骤1.3，基于PointNet改进三维目标检测框架模型，作为训练的检测器。
使用上述方法，基于PointNet改进的三维目标检测框架模型，对所获取的零件的点云数据和图像数据进行处理，从而识别零件，由于改进的三维目标检测框架模型具备较高的检测精度，能够同时反映多个零件的种类和位置以及相同零件的个数，因此，利用本实施例所训练的检测器可以快速地全方面地识别零件，效果显著。
需要进一步强调的是，由于传统方法中没有引用PointNet改进三维目标检测框架模型，因此只能根据平面结构来判断零件的类型，当传统的方法应用于识别外观只有某些细微差异的各种特高压零件时，识别精度很低，传统的基于平面纹理的识别方法很难识别特高压零件。本发明通过引入点云数据，并基于三维结构来识别零件，特别地，通过基于PointNet改进的三维目标检测框架模型来识别零件，识别精度显著提高。
在对样本数据进行采集和扩充的步骤中，一方面可以分别调整采集图像的亮度、对比度、色度、饱和度，并随机加入噪声，另一方面可以对采集的图像进行随机缩放、裁剪、翻转和旋转，从而提高所训练检测器的精度和灵敏度。
在对样本进行标注的步骤中，可以使用图像标注软件labeling对样本图片中的零件进行ROI（Region of Interest，感兴趣区域）的标注，框选出图中的零件，并标注相应的类别。标注完所有图片后，保存标注信息。之后划分训练集和测试集，形成训练样本库。
在一些可选的实施例中，基于PointNet改进三维目标检测框架模型的步骤包括：
获取各个样本的点云数据和RGB图像，利用点云数据生成鸟瞰图；
将鸟瞰图和RGB图像输入传统的三维目标检测框架，获得候选框；
利用PointNet提取点云池化特征；
提取候选框方位特征，融合鸟瞰图的图像特征、RGB图像的图像特征及点云池化特征，获得多模态融合特征；
将多模态融合特征输入检测器中计算候选框和真实框之间的差距，得到最终的检测结果。
以上步骤中，如图3所示，在对鸟瞰图和RGB图像进行特征提取时，可以利用特征金字塔网络提取鸟瞰图的图像特征和RGB图像的图像特征。
在一些可选的实施例中，将鸟瞰图和RGB图像输入传统的三维目标检测框架，获得候选框的步骤包括：
利用特征金字塔网络提取鸟瞰图的图像特征和RGB图像的图像特征；
利用锚框映射得到相应的区域特征；
使用1 × 1卷积，得到区域融合特征；
将区域融合特征输入分类器和回归器，得到候选框。
使用上述方法，与传统方法相比，在获取初步的候选框时，由于本实施例结合利用了鸟瞰图和RGB图像，在网络中，选取鸟瞰图提取的图像特征和RGB图像提取的图像特征的重叠部分进行处理，获得候选框，有利于提高提取精度。
在一些可选的实施例中，融合鸟瞰图的图像特征、RGB图像的图像特征及点云池化特征，获得多模态融合特征的步骤包括：
将鸟瞰图的图像特征、RGB图像的图像特征及点云池化特征输入到自适应融合网络中计算它们参加候选框修正任务的权重，再通过加权求和操作进行融合，得到新的特征；
基于上述新的特征，进一步融入候选框的方位特征，得到多模态融合特征。
在一个示例中，如图3所示，自适应融合网络以自适应融合器的形式呈现。
在一个示例中，在对鸟瞰图和RGB图像进行特征提取时，同时对点云数据进行区域池化。在对点云数据进行区域池化时，使用点云特征提取器计算点云池化特征。可以采用点云编码器，对点云池化特征进行处理，得到感兴趣区域池化特征。
在一些示例中，检测器的训练，具体如下：检测器的基本框架为三维目标检测框架，在基于RGB图像和鸟瞰图识别初始结果的基础上，结合PointNet网络对点云数据进行处理，将PointNet嵌入候选框回归阶段，通过多种特征高效融合，从粗略的候选框中生成更准确的三维检测结果。其中，PointNet网络用数学表达式如下：
Figure 357691DEST_PATH_IMAGE006
式中，f表示对称函数，简单的对称函数有加法、乘法以及最大值计算等函数；
Figure DEST_PATH_IMAGE007
表示当前排列下的第n个点的特征；
Figure 383023DEST_PATH_IMAGE008
表示每个点都对应一个D维的特征向量，其中D 维特征可以为三维坐标、反射强度等特征。h为共享函数，g为对称函数，γ为多层感知机。
在一个具体的示例中，在形成训练样本库之后，检测器的训练过程如下：
步骤1.3.1、获取各个样本的点云数据和RGB图像，利用点云数据生成鸟瞰图，利用特征金字塔网络提取鸟瞰图的图像特征和RGB图像的图像特征，同时，利用PointNet对点云数据进行区域池化，提取计算点云池化特征。
步骤1.3.2、融合鸟瞰图的图像特征和RGB图像的图像特征，实现初步候选框的生成，即，基于鸟瞰图的图像特征和RGB图像的图像特征，利用锚框映射得到相应的区域特征，使用1 × 1卷积，得到区域融合特征，将区域融合特征输入分类器和回归器，得到候选框。在得到候选框时，可以提取候选框的方位特征。
步骤1.3.3、将鸟瞰图的图像特征、RGB图像的图像特征及点云池化特征输入到自适应融合网络中计算它们参加候选框修正任务的权重，再通过加权求和操作进行融合，得到新的特征；
步骤1.3.4、基于上述新的特征，进一步融入候选框的方位特征，得到多模态融合特征。
步骤1.3.5、将多模态融合特征输入检测器中计算候选框和真实框之间的差距，得到最终的检测结果，基于检测结果得到改进的三维目标检测框架模型。
在一些可选的实施例中，利用训练的检测器对点云数据和图像数据进行处理，从而识别零件的步骤中，识别结果包括：零件种类、零件坐标和零件个数。
在一些可选的实施例中，根据识别结果自动分拣零件的步骤包括：
步骤4.1，根据零件坐标求取点云数据中各个点云的重心坐标；
步骤4.2，将重心坐标转换为世界坐标系下的世界坐标；
步骤4.3，根据世界坐标和零件个数抓取零件，并根据零件种类自动对抓取的零件归类。
在根据零件坐标求取点云数据中各个点云的重心坐标的步骤中，考虑到点云的重心可能在云外，因此本实施例可以使用求取XYZ点云均值的方式获取重心坐标：
Figure 583060DEST_PATH_IMAGE009
式中，
Figure 373161DEST_PATH_IMAGE002
表示点云的重心坐标，
Figure 658649DEST_PATH_IMAGE003
表示各个点云的坐标，n 表示点云的个数。
在一个示例中，在将重心坐标转换为世界坐标系下的世界坐标的步骤中，可以采用如下方式进行转换：
Figure DEST_PATH_IMAGE010
其中，
Figure 723557DEST_PATH_IMAGE002
表示点云的重心坐标，
Figure 545145DEST_PATH_IMAGE011
表示点云的世界坐标， R为旋转正交变换矩阵，T为平移变化矩阵。
本发明实施例还提供了一种基于点云和图像融合的特高压零件分拣系统10。图4是根据本发明一个实施例的基于点云和图像融合的特高压零件分拣系统10的示意性框图。该系统10一般性地可包括处理器110和存储器120。
存储器120内存储有机器可执行程序121，机器可执行程序121被处理器110执行时用于实现以上任一实施例的的方法。处理器110可以是一个中央处理单元(CPU)，或者为数字处理单元（DSP）等等。存储器120用于存储处理器110执行的程序。存储器120可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何介质，但不限于此。存储器120也可以是各种存储器的组合。由于机器可执行程序121被处理器110执行时实现下述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明的基于点云和图像融合的特高压零件分拣方法和系统10，通过训练基于点云和图像融合的检测器，然后利用训练的检测器对零件的点云数据和图像数据进行处理，从而识别零件并根据识别结果自动分拣零件。采用上述方法，由于同时利用点云三维特征和图像纹理特征进行特高压零件的分拣作业，因此，本发明的方法和系统10可应用于复杂零件的分拣作业，有利于提高识别精度，提高特高压零件仓库管理中形态各异的、不规则的复杂零件的分拣速度和分拣准确率，提高分拣效率，从而提高管理水平。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于点云和图像融合的特高压零件分拣方法，包括：
步骤A，训练基于点云和图像融合的检测器；
步骤B，获取零件的点云数据和图像数据；
步骤C，利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件；以及
步骤D，根据识别结果自动分拣所述零件。
2.根据权利要求1所述的基于点云和图像融合的特高压零件分拣方法，其中，
在步骤A中，得到基于PointNet改进的三维目标检测框架模型，且步骤A包括：
对样本数据进行采集和扩充；
对样本数据进行标注：使用标注软件对所述样本数据进行标注，框选出各图中的零件并标记各零件的名称，形成训练样本库；
基于PointNet改进三维目标检测框架模型，作为训练的检测器。
3.根据权利要求2所述的基于点云和图像融合的特高压零件分拣方法，其中，
基于PointNet改进三维目标检测框架模型的步骤包括：
获取各个样本的点云数据和RGB图像，利用所述点云数据生成鸟瞰图；
将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框；
利用PointNet提取点云池化特征；
提取所述候选框方位特征，融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征；
将所述多模态融合特征输入检测器中计算所述候选框和真实框之间的差距，得到最终的检测结果。
4.根据权利要求3所述的基于点云和图像融合的特高压零件分拣方法，其中，
将所述鸟瞰图和所述RGB图像输入传统的三维目标检测框架，获得候选框的步骤包括：
利用特征金字塔网络提取所述鸟瞰图的图像特征和所述RGB图像的图像特征；
利用锚框映射得到相应的区域特征；
使用1 × 1卷积，得到区域融合特征；
将所述区域融合特征输入分类器和回归器，得到所述候选框。
5.根据权利要求3所述的基于点云和图像融合的特高压零件分拣方法，其中，
融合所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征，获得多模态融合特征的步骤包括：
将所述鸟瞰图的图像特征、所述RGB图像的图像特征及所述点云池化特征输入到自适应融合网络中计算它们参加候选框修正任务的权重，再通过加权求和操作进行融合，得到新的特征；
基于上述新的特征，进一步融入所述候选框的方位特征，得到所述多模态融合特征。
6.根据权利要求1所述的基于点云和图像融合的特高压零件分拣方法，其中，
利用训练的检测器对所述点云数据和所述图像数据进行处理，从而识别所述零件的步骤中，识别结果包括：零件种类、零件坐标和零件个数。
7.根据权利要求6所述的基于点云和图像融合的特高压零件分拣方法，其中，
根据识别结果自动分拣所述零件的步骤包括：
根据所述零件坐标求取所述点云数据中各个点云的重心坐标；
将所述重心坐标转换为世界坐标系下的世界坐标；以及
根据所述世界坐标和所述零件个数抓取所述零件，并根据所述零件种类自动对抓取的零件归类。
8.根据权利要求7所述的基于点云和图像融合的特高压零件分拣方法，其中，
在根据所述零件坐标求取所述点云数据中各个点云的重心坐标的步骤中，使用求取XYZ点云均值的方式获取所述重心坐标：
Figure DEST_PATH_IMAGE001
式中，
Figure 53356DEST_PATH_IMAGE002
表示点云的重心坐标，
Figure DEST_PATH_IMAGE003
表示各个点云的坐标，n表示 点云的个数。
9.根据权利要求7所述的基于点云和图像融合的特高压零件分拣方法，其中，
在将所述重心坐标转换为世界坐标系下的世界坐标的步骤中，采用如下方式进行转换：
Figure 563972DEST_PATH_IMAGE004
其中，
Figure 874868DEST_PATH_IMAGE002
表示点云的重心坐标，
Figure DEST_PATH_IMAGE005
表示点云的世界坐标，R为 旋转正交变换矩阵，T为平移变化矩阵。
10.一种基于点云和图像融合的特高压零件分拣系统，包括：
处理器以及存储器，所述存储器内存储有机器可执行程序，所述机器可执行程序被所述处理器执行时，用于实现根据权利要求1-9中任一项所述的方法。
CN202211029761.0A 2022-08-26 2022-08-26 基于点云和图像融合的特高压零件分拣方法和系统 Active CN115131619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211029761.0A CN115131619B (zh) 2022-08-26 2022-08-26 基于点云和图像融合的特高压零件分拣方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211029761.0A CN115131619B (zh) 2022-08-26 2022-08-26 基于点云和图像融合的特高压零件分拣方法和系统

Publications (2)

Publication Number Publication Date
CN115131619A true CN115131619A (zh) 2022-09-30
CN115131619B CN115131619B (zh) 2022-11-22

Family

ID=83387121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211029761.0A Active CN115131619B (zh) 2022-08-26 2022-08-26 基于点云和图像融合的特高压零件分拣方法和系统

Country Status (1)

Country Link
CN (1) CN115131619B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111160214A (zh) * 2019-12-25 2020-05-15 电子科技大学 一种基于数据融合的3d目标检测方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN113011317A (zh) * 2021-03-16 2021-06-22 青岛科技大学 三维目标检测方法及检测装置
CN113343863A (zh) * 2021-06-11 2021-09-03 北京邮电大学 融合表征网络模型训练方法、指纹表征方法及其设备
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置
CN113762154A (zh) * 2021-09-07 2021-12-07 西安理工大学 一种基于点云数据集的零件特征识别方法
CN113920101A (zh) * 2021-10-22 2022-01-11 中国联合网络通信集团有限公司 目标检测方法、装置、设备及存储介质
CN114708475A (zh) * 2022-03-30 2022-07-05 南京大学 一种用于3d场景理解的点云多模态特征融合网络方法
US11397242B1 (en) * 2021-02-23 2022-07-26 Tsinghua University 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111160214A (zh) * 2019-12-25 2020-05-15 电子科技大学 一种基于数据融合的3d目标检测方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
US11397242B1 (en) * 2021-02-23 2022-07-26 Tsinghua University 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds
CN113011317A (zh) * 2021-03-16 2021-06-22 青岛科技大学 三维目标检测方法及检测装置
CN113343863A (zh) * 2021-06-11 2021-09-03 北京邮电大学 融合表征网络模型训练方法、指纹表征方法及其设备
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置
CN113762154A (zh) * 2021-09-07 2021-12-07 西安理工大学 一种基于点云数据集的零件特征识别方法
CN113920101A (zh) * 2021-10-22 2022-01-11 中国联合网络通信集团有限公司 目标检测方法、装置、设备及存储介质
CN114708475A (zh) * 2022-03-30 2022-07-05 南京大学 一种用于3d场景理解的点云多模态特征融合网络方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑少武 等: "基于激光点云与图像信息融合的交通环境车辆检测", 《仪器仪表学报》 *

Also Published As

Publication number Publication date
CN115131619B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
JP6305171B2 (ja) シーン内の物体を検出する方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN108596102B (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN111862201A (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN110472081B (zh) 一种基于度量学习的鞋图片跨域检索方法
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111626241B (zh) 一种人脸检测方法及装置
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
JP2009163682A (ja) 画像識別装置及びプログラム
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN113033385A (zh) 一种基于深度学习的违章建筑遥感识别方法及系统
CN111325184A (zh) 一种遥感影像智能解译与变化信息检测方法
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN115131619B (zh) 基于点云和图像融合的特高压零件分拣方法和系统
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A sorting method and system for ultra-high voltage parts based on point cloud and image fusion

Effective date of registration: 20230512

Granted publication date: 20221122

Pledgee: Haidian Beijing science and technology enterprise financing Company limited by guarantee

Pledgor: Beijing River Huiyuan science and Technology Co.,Ltd.

Registration number: Y2023110000189

PE01 Entry into force of the registration of the contract for pledge of patent right