CN116912195A - 旋转目标检测方法、系统、电子设备及存储介质 - Google Patents

旋转目标检测方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116912195A
CN116912195A CN202310856517.XA CN202310856517A CN116912195A CN 116912195 A CN116912195 A CN 116912195A CN 202310856517 A CN202310856517 A CN 202310856517A CN 116912195 A CN116912195 A CN 116912195A
Authority
CN
China
Prior art keywords
sample
target detection
sasm
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310856517.XA
Other languages
English (en)
Inventor
杜百岗
郭经纬
郭钧
彭兆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202310856517.XA priority Critical patent/CN116912195A/zh
Publication of CN116912195A publication Critical patent/CN116912195A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种旋转目标检测方法、系统、电子设备及存储介质，该方法通过构建SASM旋转目标检测网络模型，实现仅由三维虚拟模型的二维平面图像便能够获取到下一步需要装配的虚拟装配件的类别、旋转定位框以及旋转角度，以便于AR装配信息设计人员精准地获取待装配工件；另外，由于SASM旋转目标检测网络模型的处理对象是二维平面图像，能够极大地降低数据处理的复杂程度，较好地保证输出标准数据集的速度，因此，能够保证实现快速指导AR装配信息设计人员的作业。

Description

旋转目标检测方法、系统、电子设备及存储介质
技术领域
本发明涉及增强现实辅助装配技术领域，尤其涉及一种旋转目标检测方法、系统、电子设备及存储介质。
背景技术
在机械加工中，装配是机械生产中必不可少的工序，而个性化的复杂产品由于需要较高的灵巧性和适应性，大部分仍然依赖人工操作。对于手动装配任务，操作人员通常会一步一步地执行包含大量指令的程序，这些装配指令通常以2D格式在纸上呈现，这意味着额外的时间或认知负荷对于获取下一个手动操作所呈现的信息至关重要。
增强现实技术作为一种直观的引导方法，已经在现代制造业中广泛应用。在增强现实辅助装配中，虚拟模型利用三维跟踪注册实现与现实世界的融合，经人工手动平移、旋转等操作调整至相应位置。然而，在复杂装配场景下，AR装配信息设计人员在大量虚拟模型中检索并手动调整至相应位置的难度较大。
因此，现有技术中在通过增强现实技术辅助装配操作的过程中，存在由于装配场景复杂导致难以实现精准、快速地指导AR装配信息设计的问题。
发明内容
有鉴于此，有必要提供一种旋转目标检测方法、系统、电子设备及存储介质，用以解决现有技术中在通过增强现实技术辅助装配操作的过程中，存在的由于装配场景复杂导致难以实现精准、快速地指导AR装配信息设计的问题。
为了解决上述问题，本发明提供一种旋转目标检测方法，应用于AR虚拟装配件辅助安装技术领域，该方法包括：
获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；
其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
进一步地，初始SASM旋转目标检测网络模型包括主干网络和RepPoints检测头网络；
其中，主干网络包括多个BottleNeck层、通道分割与梯度分流网络结构、卷积层和最大池化下采样层；
每个BottleNeck层均由两个1×1卷积层和一个PConv部分卷积层构成；
通道分割与梯度分流网络结构包括通道扩充层、通道分割层以及多个Resblock残差网络层；
通道扩充层包括一个1×1卷积层；
每个Resblock残差网络均由两个3×3卷积层和一个捷径分支构成。
进一步地，构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型，包括：
将二维平面图像样本输入至主干网络，得到特征层样本；
通过RepPoints检测头网络对特征层样本进行检测，输出对应的虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本；
其中，基于通道分割与梯度分流网络结构对初始SASM旋转目标检测网络模型进行轻量化处理。
进一步地，基于通道分割与梯度分流网络结构对初始SASM旋转目标检测网络模型进行轻量化处理，包括：
将通道分割与梯度分流网络结构的输入特征层通道经过卷积层扩充处理变为隐藏通道；
通过通道分割，将隐藏通道的数量减半，得到多层级的减半隐藏通道；
通过函数拼接，对多层级的减半隐藏通道进行拼接，得到拼接隐藏通道；
拼接隐藏通道通过卷积层，确定输出通道。
进一步地，将二维平面图像样本输入至主干网络，得到特征层样本，包括：
将二维平面图像样本经过卷积层和最大池化下采样层的数据处理，压缩二维平面图像样本的空间特征，并扩充特征通道，得到多个新特征层样本；
将多个新特征层样本依次经过通道分割与梯度分流网络层和多个BottleNeck层交替处理，得到特征层样本。
进一步地，获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本，包括：
构建三维虚拟模型样本的三维虚拟模型；
基于AR引擎，将三维虚拟模型经渲染叠加在装配场景中，并采集AR场景下的三维虚拟模型的二维平面图像样本，以及二维平面图像样本对应的虚拟装配件样本；
基于标注软件对虚拟装配件样本进行标注，得到对应的标准数据集样本。
进一步地，基于AR引擎，将三维虚拟模型经渲染叠加在装配场景中，还包括：
标定工业相机以确定单应性矩阵，并获取工业相机的内参矩阵；
基于Aruco标志物的角点坐标值，通过函数计算确定三维虚拟模型与装配场景之间的单应性矩阵；
根据内参矩阵和单应性矩阵，确定三维虚拟模型与装配场景之间的投影矩阵；
获取三维虚拟模型样本的顶点坐标，根据顶点坐标和投影矩阵对三维虚拟模型与装配场景进行无缝融合。
为了解决上述问题，本发明提供一种旋转目标检测系统，应用于交互式AR辅助装配技术领域，包括：
样本获取模块，用于获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
SASM旋转目标检测网络模型构建模块，用于构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
指引安装模块，用于实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；
其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
为了解决上述问题，本发明提供一种电子设备，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上述任一技术方案所述的旋转目标检测方法。
为了解决上述问题，本发明提供一种存储介质，存储介质存储有计算机程序指令，当计算机程序指令被计算机执行时，使计算机执行如上述任一技术方案所述的旋转目标检测方法。
采用上述实施例的有益效果是：本发明提供一种旋转目标检测方法、系统、电子设备及存储介质，该方法通过构建SASM旋转目标检测网络模型，实现仅由三维虚拟模型的二维平面图像便能够获取到下一步需要装配的虚拟装配件的类别、旋转定位框以及旋转角度，以便于AR装配信息设计人员精准地获取待装配工件；另外，由于SASM旋转目标检测网络模型的处理对象是二维平面图像，能够极大地降低数据处理的复杂程度，较好地保证输出标准数据集的速度，因此，能够保证实现快速指导AR装配信息设计人员的作业。
附图说明
图1为本发明提供的旋转目标检测方法一实施例的流程示意图；
图2为本发明提供的获取训练样本一实施例的流程示意图；
图3为本发明提供的将三维虚拟模型经渲染叠加至装配场景一实施例的流程示意图；
图4为本发明提供的得到训练完备的SASM旋转目标检测网络模型一实施例的流程示意图；
图5为本发明提供的得到特征层样本一实施例的流程示意图；
图6为本发明提供的对初始SASM旋转目标检测网络模型进行轻量化处理一实施例的流程示意图；
图7为本发明提供的旋转目标检测系统一实施例的结构框图；
图8为本发明提供的电子设备一实施例的结构框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在机械加工中，装配是机械生产中必不可少的工序，而个性化的复杂产品由于需要较高的灵巧性和适应性，大部分仍然依赖人工操作。对于手动装配任务，操作人员通常会一步一步地执行包含大量指令的程序，这些装配指令通常以2D格式在纸上呈现，这意味着额外的时间或认知负荷对于获取下一个手动操作所呈现的信息至关重要。
增强现实技术作为一种直观的引导方法，已经在现代制造业中广泛应用。目前主流的方法是，基于标识物实现虚拟模型的三维跟踪注册，通过渲染引擎将三维虚拟模型叠加在真实场景中，从而指导工人装配。在增强现实辅助装配中，虚拟模型利用三维跟踪注册实现与现实世界的融合，经人工手动平移、旋转等操作调整至相应位置。然而，随着当前产品装配向定制和多样化发展，主要依靠位置测量的静态增强现实装配指令很难满足复杂装配案例的需求，例如复杂的装配场景中，杂乱无序、角度各异的三维虚拟装配零件给AR装配信息设计者执行虚拟装配件安装任务带来了巨大的认知负担。现有的基于目标检测的AR指令大多是水平目标检测，忽略了虚拟模型的形状信息，而基于三维目标检测的AR指令处理三维点云数据需消耗较大的算力，运行速度慢，限制了辅助装配效率的提升。
因此，现有技术中在通过增强现实技术辅助装配操作的过程中，存在由于装配场景复杂导致难以实现精准、快速地指导AR装配信息设计的问题。
为了解决上述问题，本发明提供了一种旋转目标检测方法、系统、电子设备及存储介质，以下分别进行详细说明。
图1为本发明提供的旋转目标检测方法一实施例的流程示意图，如图1所示，旋转目标检测方法包括：
步骤S101：获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
步骤S102：构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
步骤S103：实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；
其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
本实施例中，首先，获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本；然后，构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；最后，实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
本实施例中，通过构建SASM旋转目标检测网络模型，实现仅由三维虚拟模型的二维平面图像便能够获取到下一步需要装配的虚拟装配件的类别、旋转定位框以及旋转角度，以便于AR装配信息设计人员精准地获取待装配工件；另外，由于SASM旋转目标检测网络模型的处理对象是二维平面图像，能够极大地降低数据处理的复杂程度，较好地保证输出标准数据集的速度，因此，能够保证实现快速指导AR装配信息设计人员的装配作业。
需要说明的是，本实施中，三维虚拟模型是指已经处于安装状态中的半成品的器件的三维图像模型；二维平面图像是指三维图像模型在装配工作台的指示屏上显示的二维图像；在正确的装配情况下，虚拟装配件是以虚拟图像存在于指示屏上的待装配工件，也就是说，AR装配信息设计人员是根据指示屏上的虚拟装配件的类别、旋转定位框以及旋转角度，来实现查找以实物形式存在的待装配工件，并且按照旋转角度提示对待装配工件进行安装的。
作为优选的实施例，在步骤S101中，为了获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本，如图2所示，图2为本发明提供的获取训练样本一实施例的流程示意图，包括：
步骤S111：构建三维虚拟模型样本的三维虚拟模型；
步骤S112：基于AR引擎，将三维虚拟模型经渲染叠加在装配场景中，并采集AR场景下的三维虚拟模型的二维平面图像样本，以及二维平面图像样本对应的虚拟装配件样本；
步骤S113：基于标注软件对虚拟装配件样本进行标注，得到对应的标准数据集样本。
本实施例中，通过将三维虚拟模型经渲染叠加在装配场景中，能够提高采集到的二维平面图像样本的复杂度，以更好地适应后续的装配场景的需要，避免背景对预测结果的影响；通过对虚拟装配件样本进行标注，能够较好地实现统一后续的角度统一标准，避免出现指代不清的问题。
在一具体实施例中，在步骤S111中，通过SolidWorks等三维建模软件，构建装配目标的三维模型并渲染，生成目标产品的三维虚拟模型。三维虚拟模型可以直观反映目标的外观结构，同时对每个三维模型添加相应的装配工艺说明，包括但不限于装配件的规格、材料、颜色和使用说明等信息。
作为优选的实施例，在步骤S112中，为了将三维虚拟模型经渲染叠加在装配场景中，如图3所示，图3为本发明提供的将三维虚拟模型经渲染叠加至装配场景一实施例的流程示意图，包括：
步骤S1121：标定工业相机以确定单应性矩阵，并获取工业相机的内参矩阵；
步骤S1122：基于Aruco标志物的角点坐标值，通过函数计算确定三维虚拟模型与装配场景之间的单应性矩阵；
步骤S1123：根据内参矩阵和单应性矩阵，确定三维虚拟模型与装配场景之间的投影矩阵；
步骤S1124：获取三维虚拟模型样本的顶点坐标，根据顶点坐标和投影矩阵对三维虚拟模型与装配场景进行无缝融合。
本实施例中，工业相机与装配工作台的指示屏连接，能够实时获取到装配工作台上的装配状态，通过对三维虚拟模型与装配场景进行无缝融合，能够提高三维虚拟模型与背景之间的适配度，避免AR装配信息设计人员在进行虚拟装配件安装的过程中，出现由于指示屏的图像与实际装配场景不匹配导致的装配难度过大的问题。
在一具体实施例中，应用张正友相机标定法，调用OpenCV第三方库，获取10×8的黑白棋盘格并打印在A4纸上，将其贴在平板上作为相机标定板；然后，用工业相机从不同视角、不同的视野对标定板拍摄20张图片，经findChessboardCorners角点检测算法定位棋盘格角点，根据图像中的角点位置信息，求解单应性矩阵并通过解析估算法计算5个内参以及6个外参，最后根据极大似然估计策略设计优化目标，获取相机的内参矩阵。
首先，调用第三方OpenCV库中的cv2.aruco.Dictionary_get函数加载包含250个标记的字典，再调用cv2.aruco.drawMarker函数生成标志图像；接着，将该标志图像置于装配场景中，再次调用cv2.aruco.Dictionary_get函数加载字典，同时使用默认值初始化检测器参数，通过cv.aruco.detectMarkers函数按从左上、右上、右下和左下的顺序检测标志物的四个角点，并存储为Numpy数组。
计算三维虚拟模型转换至真实场景中的投影矩阵。首先进行虚拟模型中标准标识物与装配场景中的标识物的单应性估计，经上述步骤S202检测，获取八对角点坐标值，利用cv2.findHomography函数计算虚拟模型与真实场景之间的单应性矩阵；接着，根据上述S201获取的内参矩阵与所述单应性矩阵计算三维虚拟模型转换至真实场景中的投影矩阵。
将三维虚拟模型渲染叠加在真实场景中。读取CAD模型的OBJ格式文件，利用np.array([[p[0]+h_move*h，p[1]+w_move*w，p[2]]for p in points])读取三维模型的顶点坐标points并进行reshape(-1，1，3)，再结合步骤S203计算的投影矩阵projection，利用cv2.perspectiveTransfor m(points.reshape(-1，1，3)，projection)生成多边形，进而使用cv2.fillCon vexPoly函数进行填充，将三维虚拟模型叠加在真实场景中，实现三维虚拟模型与真实场景的无缝融合。
进一步地，在步骤S113中，对于任意的虚拟装配件样本，为了得到较为准确的数据，以满足训练过程中的数据需要，还需要对虚拟装配件样本进行标注。
在一具体实施例中，采集AR场景下三维虚拟模型的二维平面可视图像数据，收集不同旋转角度、不同尺度、不同投影角度的三维虚拟模型的二维RGB图片，图片大小为1024×768，利用标注软件对图片进行标注，根据标注信息将其转换为标注数据集格式。
通过标注软件，利用一个任意形状的四边形将三维模型包围，标注顺序为顺时针依次选中四个点，从而获得四个点的坐标值，分别是x1，y1，x2，y2，x3，y3，x4，y4，保存在json文件中。
特别地，应用json.load函数读取json文件中的键值对，将坐标信息转而以txt格式存储，生成标准格式数据集，从而得到对应的标准数据集样本。
作为优选的实施例，在步骤S102中，SASM旋转目标检测网络模型包括主干网络和RepPoints检测头网络；
其中，主干网络包括多个BottleNeck层、通道分割与梯度分流网络结构、卷积层和最大池化下采样层；
每个BottleNeck层均由两个1×1卷积层和一个PConv部分卷积层构成；
通道分割与梯度分流网络结构包括通道扩充层、通道分割层以及多个Resblock残差网络层；
通道扩充层包括一个1×1卷积层；
通道分割层不增添额外参数；
每个Resblock残差网络均由两个3×3卷积层和一个捷径分支构成。
进一步地，为了对初始SASM旋转目标检测网络模型进行训练，得到训练完备的SASM旋转目标检测网络模型，如图4所示，图4为本发明提供的得到训练完备的SASM旋转目标检测网络模型一实施例的流程示意图，包括：
步骤S121：将二维平面图像样本输入至主干网络，得到特征层样本；
步骤S122：通过RepPoints检测头网络对特征层样本进行检测，输出对应的虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本；
其中，基于通道分割与梯度分流网络结构对初始SASM旋转目标检测网络模型进行轻量化处理。
本实施例中，通过主干网络对二维平面图像样本进行特征识别，得到特征层样本，能够较好地保证识别到二维平面图像样本的特征；通过RepPoints检测头网络对特征层样本进行检测，以分别得到虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本，能够实现重点关注虚拟装配件样本的特定特征，以便于后续指导装配信息设计工作。
作为优选的实施例，在步骤S121中，为了得到特征层样本，如图5所示，图5为本发明提供的得到特征层样本一实施例的流程示意图，包括：
步骤S1211：将二维平面图像样本经过卷积层和最大池化下采样层的数据处理，压缩二维平面图像样本的空间特征，并扩充特征通道，得到多个新特征层样本；
步骤S1212：将多个新特征层样本依次经过通道分割与梯度分流网络层和多个BottleNeck层交替处理，得到特征层样本。
本实施例中，通过卷积层和最大池化下采样层对二维平面图像样本进行数据处理和特征识别，能够得到二维平面图像样本的多个特征；通过通道分割与梯度分流网络层和多个BottleNeck层依次对多个新特征层样本交替处理，能够精准地获取到二维平面图像样本的特征层样本，进而提高数据的可靠度，保证预测结果的精准度。
作为优选的实施例，在步骤S122中，为了基于通道分割与梯度分流网络结构对初始SASM旋转目标检测网络模型进行轻量化处理，如图6所示，图6为本发明提供的对初始SASM旋转目标检测网络模型进行轻量化处理一实施例的流程示意图，包括：
步骤S1221：将通道分割与梯度分流网络结构的输入特征层通道经过卷积层扩充处理变为隐藏通道；
步骤S1222：通过通道分割，将隐藏通道的数量减半，得到多层级的减半隐藏通道；
步骤S1223：通过函数拼接，对多层级的减半隐藏通道进行拼接，得到拼接隐藏通道；
步骤S1224：拼接隐藏通道通过卷积层，确定输出通道。
本实施例中，通过设置通道分割与梯度分流网络结构对SASM旋转目标检测网络模型中的通道进行分割，大大减少了数据处理量；通过梯度分流，能够在减少通道数量的同时，较好地保证结果的精度。
在一具体实施例中，在原始的SASM网络中采用改进的ResNet50作为backbone，提出一种通道分割与梯度分流网络结构(C2F)，细化三维虚拟模型的特征提取，其中包含n个由两个3×3卷积层和一个捷径分支构成Resblock残差网络，输入残差网络的特征通道数相对于最外层输入通道数减半。
C2F网络的输入特征层通道数为channel_1，首先经1×1的卷积层将通道数变为hide_channel，经split通道分割后，进入残差网络的特征通道数为hide_channel/2，倒数第二层特征层经concat拼接，通道数变为(n+2)*hide_channel/2，再经3×3的卷积层将输出通道数变为channel_2，从而细化特征提取。此外，从反向传播的角度看，丰富的梯度流更有利于反向传播过程中保留损失的特征信息，提高检测精度。
需要说明的是，ResNet50网络结构中主要使用了残差网络模块，由一个1×1卷积层、一个3×3卷积层、一个1×1卷积层以及一个捷径分支连接，最终经concat拼接而成的残差网络模块BottleNeck。整体由一个7×7卷积层、一个3×3最大池化下采样层、3个BottleNeck_1层、4个BottleNeck_2层、6个BottleNeck_3层和3个BottleNeck_4层组成。
而本申请中，将3个BottleNeck_1层替换为n＝2的C2F模块，4个BottleNeck_2层中的后三个替换为n＝2的C2F模块，6个BottleNeck_3层的后5个替换为n＝4的C2F模块，3个BottleNeck_4层的后2个替换为n＝2的C2F模块。同时，将原始ResNet50的网络宽度减小至一半，压缩特征通道数，从而大幅度减少网络的计算量，提升了网络的运行速度，构成新的轻量级C2F-ResNet网络，并作为新的backbone。在上述四个C2F网络模块后分别输出X1_1，X1_2，X1_3，X1_4，为后续不同特征层融合特征做铺垫。
在一具体实施例中，SASM旋转目标检测网络模型采用FPN网络融合不同特征层的特征，将四组预测特征层自上而下融合，每个特征层经一个1×1的卷积层和一个2倍上采样层扩充网络通道数后拼接成一个新的特征层，将低层级的丰富的语义特征与高层级的语义特征相融合，低层级的网络感受野较小，从而提升对小的三维虚拟模型的检测能力。接着，分别输出五个特征层，输出分别为X2_1，X2_2，X2_3，X2_4，X2_5。
进一步地，在确定特征层后，还需要通过RepPoints检测头网络对特征层样本进行检测，以输出对应的虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本。
在一具体实施例中，将每个特征层的输出作为输入，均使用RepPoints网络作为检测头。对于每一个检测头，网络分为两个分支a、b进行学习，分支a用作定位，分支b用作分类。分支a、b分别经3个3×3卷积层学习特征并保持通道数为c1，分支a又分为分支a1与a2，分支a1经一个3×3卷积层及1×1卷积层后通道数压缩至c2，生成点集偏移offsets，其通道数c2＝2N，N代表卷积核采样点的个数，乘以2代表每一个采样点的偏移量对应x方向偏移和y方向偏移，因此处采用3×3的卷积核，因此该卷积核对应9个采样点。偏移量加上特征图中点的位置得到采样点的位置，9个点按照scale的倍率映射回原图中的坐标，则得到了一组点集9个点的坐标，再通过转换函数Convert即可以生成pseudo box，生成第一阶段的锚框。
另外，还需要分配正负样本，根据三维虚拟模型的形状动态调整每个目标的IoU阈值，对于第i个真实样本，用于分配正样本的IoU阈值计算公式为：
其中，
J是候选样本的数量，Ii,j指第i个目标与第j个预测值之间的IoU值，γi指目标的长边与短边的比例。w是权重参数，根据目标的长宽比调整合适的w值，最终选取IoU值大于或等于TIoU的样本作为正样本，用于后续的细化阶段及损失计算。
进一步地，为了对分配的正样本进行质量评估并筛选，还专门提出了一种评价函数，使用所选正样本到相应目标真实中心的距离以及目标的形状信息来计算归一化形状距离，以该指标评价正样本质量。具体来说，每一个真实目标框用进行描述，其中(x,y)、w、h和θ分别代表真实目标框的中心点坐标、宽度、高度以及旋转角度，从第j个采样点到第i个真实目标框中心的形状距离计算公式为：
在获得形状距离之后，计算正样本质量：消除了选择正样本质量不适的影响。
分支a1经正负样本的选择与质量评估，选取高质量正样本，经过BCConvexGIOULoss损失函数学习，调整第一阶段模型的权重参数。将分支a1输入至分支a2进一步细化，重复生成pseudo box的操作，以及正负样本的分配，将所选正样本做反向传播，经过ConvexGIOULoss损失函数学习，调整第二阶段模型的权重参数。最后，输出特征层经过转换函数MinAeraRect，将卷积核点集转换为(x,y,w,h,θ)的形式，即x，y，w，h，ag＝bbox[:5]，经几何关系转换，wx，wy＝w/2*np.cos(ag)，w/2*np.sin(ag)，hx，hy＝-h/2*np.sin(ag)，h/2*np.cos(ag)，生成四个顶点坐标，即p1＝(xc-wx-hx，yc-wy-hy)、p2＝(xc+wx-hx，yc+wy-hy)、p3＝(xc+wx+hx，yc+wy+hy)、p4＝(xc-wx+hx，yc-wy+hy)，根据顶点坐标绘制旋转矩形框显示在三维虚拟模型上，同时输出角度信息theta＝ag/π*180。
分支a1经一系列学习提取的pseudobox在正负样本分配后输入至分支b进行分类学习。特征数据首先经一个3×3卷积层和一个1×1卷积层将特征通道数变为num_class+1，经反向传播，优化损失函数focalloss，调整分类模型的权重参数，从而在输出特征层预测分类结果。
作为优选的实施例，在步骤S103中，为了实现实时指引安装待装配工件，设计人员启动AR装配系统，将叠加在真实场景中的三维虚拟模型的二维图像信息输入到SASM旋转目标检测网络模型中，以得到确定对应的虚拟装配件的标准数据集。
在一具体实施例中，AR装配信息设计人员启动装有AR装配系统的计算机，打开应用程序；通过鼠标选取装配任务，同时勾选装配物料清单并核对是否齐全；扫描装配场景中的标志物码，初始状态下三维虚拟模型被叠加在场景中任意某个位置；将该场景中三维虚拟模型的二维图像数据输入训练好的改进的SASM网络中，输出预测结果，包括三维虚拟模型的类别class、旋转角度theta以及旋转定位框。
输出的当前画面中三维虚拟模型检测的类别class和旋转定位框为设计人员提供三维虚拟模型安装所需的位置指引，旋转定位框直观地显示在三维虚拟模型显示区中对应的三维模型处；输出的三维模型的旋转角度theta为设计人员提供方向指引，在右侧的装配信息展示区显示。
设计人员根据右上角的装配工艺说明区的装配配准操作指引，以及直观的旋转定位框的位置指引，快速准确地搜索到第一个目标模型，设计人员通过鼠标点击选中三维模型移动至需要配准的大致位置，再利用右侧装配信息展示栏中的旋转角度信息通过鼠标微调三维模型的角度，从而完成第一个模型的配准任务，重复上述操作，依次完成三维模型的配准任务。
正式执行装配任务，装配过程中可随时按照实际装配需要调整三维模型的位置，在所述方法的指引下，可快速准确的完成该操作，直至完成整个装配任务。
需要说明的是，基于SASM旋转目标检测网络模型能够实现实时预测到虚拟装配件的类别、旋转定位框以及旋转角度，从而能够实现实时提醒AR装配信息设计人员待装配件的名称、位置及方向等信息，并基于获取到的信息为待装配工件提供实时的安装指引，以完成AR装配系统动态指令的设计。
通过上述方法，通过构建SASM旋转目标检测网络模型，实现仅由三维虚拟模型的二维平面图像便能够获取到下一步需要装配的虚拟装配件的类别、旋转定位框以及旋转角度，以便于AR装配信息设计人员精准地获取待装配工件；另外，由于SASM旋转目标检测网络模型的处理对象是二维平面图像，能够极大地降低数据处理的复杂程度，较好地保证输出标准数据集的速度，因此，能够保证实现快速指导AR装配信息设计人员的作业。
本申请还提供了一种旋转目标检测系统，应用于交互式AR辅助装配技术领域，如图7所示，图7为本发明提供的旋转目标检测系统一实施例的结构框图，旋转目标检测系统700包括：
样本获取模块701，用于获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
SASM旋转目标检测网络模型构建模块702，用于构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
指引安装模块703，用于实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；
其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
本发明还相应提供了一种电子设备，如图8所示，图8为本发明提供的电子设备一实施例的结构框图。电子设备800可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。电子设备800包括处理器801以及存储器802，其中，存储器802上存储有旋转目标检测程序803。
存储器802在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器802在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器802还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器802用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器802还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，旋转目标检测程序803可被处理器801所执行，从而实现本发明各实施例的旋转目标检测方法。
处理器801在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行存储器802中存储的程序代码或处理数据，例如执行旋转目标检测程序等。
本实施例还提供了一种计算机可读存储介质，其上存储有旋转目标检测程序，计算机该程序被处理器执行时，实现如上述任一技术方案所述的旋转目标检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)，以及存储器总线动态RAM(RDRAM)等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种旋转目标检测方法，应用于AR虚拟装配件辅助安装技术领域，其特征在于，包括：
获取三维虚拟模型样本的二维平面图像样本，及所述二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
构建初始SASM旋转目标检测网络模型，将所述二维平面图像样本作为所述初始SASM旋转目标检测网络模型的训练样本，并以对应的所述标准数据集样本作为样本标签，训练所述初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
实时获取待装配工件的三维虚拟模型的二维平面图像，基于所述SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据所述标准数据集指引安装所述待装配工件；
其中，所述标准数据集包括所述虚拟装配件的类别、旋转定位框以及旋转角度。
2.根据权利要求1所述的旋转目标检测方法，其特征在于，所述初始SASM旋转目标检测网络模型包括主干网络和RepPoints检测头网络；
其中，所述主干网络包括多个BottleNeck层、通道分割与梯度分流网络结构、卷积层和最大池化下采样层；
每个所述BottleNeck层均由两个1×1卷积层和一个PConv部分卷积层构成；
所述通道分割与梯度分流网络结构包括通道扩充层、通道分割层以及多个Resblock残差网络层；
所述通道扩充层包括一个1×1卷积层；
每个所述Resblock残差网络均由两个3×3卷积层和一个捷径分支构成。
3.根据权利要求2所述的旋转目标检测方法，其特征在于，所述构建初始SASM旋转目标检测网络模型，将所述二维平面图像样本作为所述初始SASM旋转目标检测网络模型的训练样本，并以对应的所述标准数据集样本作为样本标签，训练所述初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型，包括：
将所述二维平面图像样本输入至所述主干网络，得到特征层样本；
通过所述RepPoints检测头网络对所述特征层样本进行检测，输出对应的所述虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本；
其中，基于所述通道分割与梯度分流网络结构对所述初始SASM旋转目标检测网络模型进行轻量化处理。
4.根据权利要求3所述的旋转目标检测方法，其特征在于，所述基于所述通道分割与梯度分流网络结构对所述初始SASM旋转目标检测网络模型进行轻量化处理，包括：
将所述通道分割与梯度分流网络结构的输入特征层通道经过卷积层扩充处理变为隐藏通道；
通过通道分割，将所述隐藏通道的数量减半，得到多层级的减半隐藏通道；
通过函数拼接，对所述多层级的减半隐藏通道进行拼接，得到拼接隐藏通道；
所述拼接隐藏通道通过卷积层，确定输出通道。
5.根据权利要求3所述的旋转目标检测方法，其特征在于，所述将所述二维平面图像样本输入至所述主干网络，得到特征层样本，包括：
将所述二维平面图像样本经过所述卷积层和所述最大池化下采样层的数据处理，压缩所述二维平面图像样本的空间特征，并扩充特征通道，得到多个新特征层样本；
将所述多个新特征层样本依次经过所述通道分割与梯度分流网络层和多个所述BottleNeck层交替处理，得到所述特征层样本。
6.根据权利要求1所述的旋转目标检测方法，其特征在于，所述获取三维虚拟模型样本的二维平面图像样本，及所述二维平面图像样本对应的虚拟装配件样本的标准数据集样本，包括：
构建所述三维虚拟模型样本的三维虚拟模型；
基于AR引擎，将所述三维虚拟模型经渲染叠加在装配场景中，并采集AR场景下的所述三维虚拟模型的所述二维平面图像样本，以及所述二维平面图像样本对应的所述虚拟装配件样本；
基于标注软件对所述虚拟装配件样本进行标注，得到对应的所述标准数据集样本。
7.根据权利要求6所述的旋转目标检测方法，其特征在于，所述基于AR引擎，将所述三维虚拟模型经渲染叠加在装配场景中，还包括：
标定工业相机以确定单应性矩阵，并获取所述工业相机的内参矩阵；
基于Aruco标志物的角点坐标值，通过函数计算确定所述三维虚拟模型与所述装配场景之间的单应性矩阵；
根据所述内参矩阵和所述单应性矩阵，确定所述三维虚拟模型与所述装配场景之间的投影矩阵；
获取所述三维虚拟模型样本的顶点坐标，根据所述顶点坐标和所述投影矩阵对所述三维虚拟模型与所述装配场景进行无缝融合。
8.一种旋转目标检测系统，应用于交互式AR辅助装配技术领域，其特征在于，包括：
样本获取模块，用于获取三维虚拟模型样本的二维平面图像样本，及所述二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
SASM旋转目标检测网络模型构建模块，用于构建初始SASM旋转目标检测网络模型，将所述二维平面图像样本作为所述初始SASM旋转目标检测网络模型的训练样本，并以对应的所述标准数据集样本作为样本标签，训练所述初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
指引安装模块，用于实时获取待装配工件的三维虚拟模型的二维平面图像，基于所述SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据所述标准数据集指引安装所述待装配工件；
其中，所述标准数据集包括所述虚拟装配件的类别、旋转定位框以及旋转角度。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-7任一所述的旋转目标检测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一所述的旋转目标检测方法。
CN202310856517.XA 2023-07-12 2023-07-12 旋转目标检测方法、系统、电子设备及存储介质 Pending CN116912195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310856517.XA CN116912195A (zh) 2023-07-12 2023-07-12 旋转目标检测方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310856517.XA CN116912195A (zh) 2023-07-12 2023-07-12 旋转目标检测方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116912195A true CN116912195A (zh) 2023-10-20

Family

ID=88355783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310856517.XA Pending CN116912195A (zh) 2023-07-12 2023-07-12 旋转目标检测方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116912195A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173240A (zh) * 2023-11-03 2023-12-05 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173240A (zh) * 2023-11-03 2023-12-05 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质
CN117173240B (zh) * 2023-11-03 2024-02-06 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11164001B2 (en) Method, apparatus, and system for automatically annotating a target object in images
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN106530218B (zh) 一种坐标转换方法及装置
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
CN110827202A (zh) 目标检测方法、装置、计算机设备和存储介质
CN115311618A (zh) 一种基于深度学习和对象匹配的装配质量检查方法
CN116912195A (zh) 旋转目标检测方法、系统、电子设备及存储介质
US20220301222A1 (en) Indoor positioning system and indoor positioning method
CN107077739A (zh) 使用单目相机的三维标记模型构建和实时跟踪
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
JP4649559B2 (ja) ３次元物体認識装置、並びに３次元物体認識プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体
CN114387199A (zh) 图像标注方法及装置
CN115830135A (zh) 一种图像处理方法、装置及电子设备
US20220084291A1 (en) Augmented reality display method and device for chip structure, and readable storage medium
CN111325106B (zh) 生成训练数据的方法及装置
CN112861867A (zh) 指针式仪表盘识别方法、系统及存储介质
CN117253022A (zh) 一种对象识别方法、装置及查验设备
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法系统、设备
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN115035032A (zh) 神经网络训练方法、相关方法、设备、终端及存储介质
CN110148205A (zh) 一种基于众包影像的三维重建的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination