CN117620147A - 一种机器人浇注的控制方法、装置、电子设备及存储介质 - Google Patents

一种机器人浇注的控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117620147A
CN117620147A CN202311606775.9A CN202311606775A CN117620147A CN 117620147 A CN117620147 A CN 117620147A CN 202311606775 A CN202311606775 A CN 202311606775A CN 117620147 A CN117620147 A CN 117620147A
Authority
CN
China
Prior art keywords
image
layer
inputting
characteristic
hole site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311606775.9A
Other languages
English (en)
Inventor
苗新刚
赵康辉
黄超
谢彪雄
夏建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Hengli Additive Manufacturing Technology Co ltd
Beijing University of Civil Engineering and Architecture
Original Assignee
Anhui Hengli Additive Manufacturing Technology Co ltd
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Hengli Additive Manufacturing Technology Co ltd, Beijing University of Civil Engineering and Architecture filed Critical Anhui Hengli Additive Manufacturing Technology Co ltd
Priority to CN202311606775.9A priority Critical patent/CN117620147A/zh
Publication of CN117620147A publication Critical patent/CN117620147A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D37/00—Controlling or regulating the pouring of molten metal from a casting melt-holding vessel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B22—CASTING; POWDER METALLURGY
    • B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
    • B22D2/00—Arrangement of indicating or measuring devices, e.g. for temperature or viscosity of the fused mass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种机器人浇注的控制方法、装置、电子设备及存储介质，所述控制方法包括：通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。采用本申请提供的技术方案不仅节省了人力，提高了浇注效率，还保证了浇注过程的安全性和准确性。

Description

一种机器人浇注的控制方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种机器人浇注的控制方法、装置、电子设备及存储介质。
背景技术
浇注是指把熔融金属、混凝土等注入模具，进行金属部件的铸造或水泥板及混凝土建筑的成型。作为铸造过程中的关键步骤，浇注任务的出色完成能够提升铸件的质量，减少废料的产生，降低对资源的浪费，从而符合可持续发展的要求。
目前，在进行浇注任务时，主要是通过人工进行浇注，具有一定的危险性而且浇注效率较低，并且在进行浇注过程中，若出现人为失误，还会影响铸件的质量；因此，如何实现自动浇注，成为了亟待解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种机器人浇注的控制方法、装置、电子设备及存储介质，能够通过识别模型确定机器人拍摄到的图像中浇注孔位所在的位置，并控制机器人自动将液态金属注入浇注孔位处完成浇注任务，不仅节省了人力，提高了浇注效率，还保证了浇注过程的安全性和准确性。
本申请主要包括以下几个方面：
第一方面，本申请实施例提供了一种机器人浇注的控制方法，所述控制方法包括：
通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；
将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；
基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
进一步的，所述识别模型包括输入网络、骨干网络、特征融合网络以及头部网络；所述将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像的步骤，包括：
将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像；
将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像；
将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像；
将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像。
进一步的，所述将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像的步骤，包括：
将所述拍摄图像输入至所述输入网络中，采用Mosaic对所述拍摄图像进行数据增强，得到增强图像；
将所述增强图像进行自适应锚框计算，得到锚框图像；
将所述锚框图像按照预设像素进行规范处理，得到规范图像。
进一步的，所述骨干网络包括多个提取层，每个提取层为卷积提取层、融合了FasterNet网络的C3模块层、空间金字塔池化模块层以及多尺度信息融合模块层中的任意一项；
所述将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像的步骤，包括：
将所述规范图像输入至所述卷积提取层进行卷积处理以及二倍下采样处理，得到第一特征图像；
将所述第一特征图像输入至所述融合了FasterNet网络的C3模块层，得到第二特征图像；
将所述第二特征图像依次经过卷积提取层、融合了FasterNet网络的C3模块层的多次处理后，得到第三特征图像；
将所述第三特征图像输入至所述空间金字塔池化模块层，得到第四特征图像；
将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像。
进一步的，所述将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像的步骤，包括：
将所述第四特征图像输入至所述多尺度信息融合模块层中进行复制，得到三个第四特征图像；
将第一个第四特征图像进行深度可分离卷积处理，得到第五特征图像，将第二个第四特征图像进行扩张卷积处理，得到第六特征图像，同时，将第三个第四特征图像进行卷积处理，得到第七特征图像；
将所述第五特征图像的通道数的三分之一、所述第六特征图像的通道数的三分之一以及所述第七特征图像的通道数的三分之一进行合并，得到第八特征图像；
将所述第八特征图像进行卷积处理，得到第九特征图像；
将所述第九特征图像输入至所述多尺度信息融合模块层中的SE通道注意力模块，得到特征图像。
进一步的，所述特征融合网络包括多个处理层，每个处理层为卷积处理层、上采样层、拼接层以及C3模块层中的任意一项；
所述将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像的步骤，包括：
将所述特征图像输入至所述卷积处理层，得到第一处理图像；
将所述第一处理图像输入至所述上采样层进行上采样处理，得到第二处理图像；
将所述第二处理图像输入至所述拼接层与所述拼接层对应的第一预设层的输出进行通道维度的拼接，得到第三处理图像；
将所述第三处理图像输入至所述C3模块层进行特征融合，得到第四处理图像；
将所述第四处理图像依次经过卷积处理层、上采样层、拼接层以及C3模块层的多次处理后，得到融合图像。
进一步的，所述头部网络包括GSConv模块层以及识别输出层；
所述将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像的步骤，包括：
将所述融合图像以及第二预设层的输出一起输入至所述GSConv模块层进行对应的卷积处理，得到多个第一操作图像；
将所述多个第一操作图像进行通道维度的重组，得到第二操作图像；
将所述第二操作图像输入至所述识别输出层，解码所述第二操作图像中的预测目标的坐标，生成具有多个预测边界框的第三操作图像；
采用非极大值抑制算法在所述第三操作图像的多个预测边界框中确定出置信度最高的预测边界框作为浇注孔位的识别框，并将所述多个预测边界框中除了所述识别框的其余所有预测边界框删除，得到标注有浇注孔位的识别框的目标图像。
第二方面，本申请实施例还提供了一种机器人浇注的控制装置，所述控制装置包括：
获取模块，用于通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；
标注模块，用于将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；
控制模块，用于基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的机器人浇注的控制方法的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的机器人浇注的控制方法的步骤。
本申请实施例提供的一种机器人浇注的控制方法、装置、电子设备及存储介质，所述控制方法包括：通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
这样，采用本申请提供的技术方案能够通过识别模型确定机器人拍摄到的图像中浇注孔位所在的位置，并控制机器人自动将液态金属注入浇注孔位处完成浇注任务，不仅节省了人力，提高了浇注效率，还保证了浇注过程的安全性和准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种机器人浇注的控制方法的流程图；
图2示出了本申请实施例所提供的另一种机器人浇注的控制方法的流程图；
图3示出了本申请实施例所提供的一种机器人浇注的控制装置的结构示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“机器人浇注的控制”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要控制机器人进行浇注的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的一种机器人浇注的控制方法、装置、电子设备及存储介质的方案均在本申请保护范围内。
基于此，本申请提出了一种机器人浇注的控制方法、装置、电子设备及存储介质，所述控制方法包括：通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
这样，采用本申请提供的技术方案能够通过识别模型确定机器人拍摄到的图像中浇注孔位所在的位置，并控制机器人自动将液态金属注入浇注孔位处完成浇注任务，不仅节省了人力，提高了浇注效率，还保证了浇注过程的安全性和准确性。
为便于对本申请实施例进行理解，首先对本申请实施例所公开的一种机器人浇注的控制方法进行详细介绍。
请参阅图1，图1为本申请实施例所提供的一种机器人浇注的控制方法的流程图，如图1中所示，控制方法包括：
S101、通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；
该步骤中，在机器人上安装摄像头，实时采集浇注车间内进行液态金属浇注任务的拍摄图像。
S102、将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；
该步骤中，识别模型是对YOLOv5s算法改进后的模型，使其能够轻松的部署在嵌入式设备上，解决模型规模过大抢占其他外设资源的问题。
需要说明的是，通过以下步骤训练识别模型：
一、获取样本图像；其中，每个样本图像均标注有浇注孔位所在区域的矩形框；
二、将所述样本图像输入至识别模型中，得到所述识别模型输出的标注有浇注孔位的预测框的样本图像；
三、基于所述样本图像的预测框和所述样本图像的矩形框，确定所述识别模型的损失函数是否收敛；
四、若不收敛，则更新所述识别模型中的模型参数，继续训练所述识别模型；
五、若收敛，则得到训练好的识别模型。
在上述步骤一至步骤五中，采用标注有浇注孔位的样本图像进行识别模型的训练，通过预测框与矩形框确定损失函数，在损失函数不收敛的情况下，通过更新识别模型的参数以训练识别模型可以标注出更加接近矩形框的预测框，提高识别浇注孔位的准确性，直至损失函数收敛，得到训练好的识别模型。
需要说明的是，识别模型包括输入网络、骨干网络、特征融合网络以及头部网络。请参阅图2，图2为本申请实施例所提供的另一种机器人浇注的控制方法的流程图，如图2中所示，将拍摄图像输入至预先训练好的识别模型中，得到识别模型输出的标注有浇注孔位的识别框的目标图像的步骤，包括：
S201、将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像；
需要说明的是，将拍摄图像输入至输入网络中进行数据增强以及数据处理，得到规范图像的步骤，包括：
S2011、将所述拍摄图像输入至所述输入网络中，采用Mosaic对所述拍摄图像进行数据增强，得到增强图像；
S2012、将所述增强图像进行自适应锚框计算，得到锚框图像；
S2013、将所述锚框图像按照预设像素进行规范处理，得到规范图像。
在上述步骤S2011至步骤S2013中，在输入网络中使用Mosaic的方式进行数据增强，丰富数据集。接着对处理完的数据进行自适应的锚框计算，最后再把这些图片规范为例如640×640(预设像素)的像素大小，得到规范图像，然后将规范图像送入识别模型的骨干网络部分进行特征提取。
S202、将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像；
该步骤中，骨干网络包括多个提取层，每个提取层为卷积提取层、融合了FasterNet网络的C3模块层、空间金字塔池化模块层以及多尺度信息融合模块层中的任意一项。
需要说明的是，将规范图像输入至骨干网络中进行浇注孔位特征信息的提取，得到特征图像的步骤，包括：
S2021、将所述规范图像输入至所述卷积提取层进行卷积处理以及二倍下采样处理，得到第一特征图像；
S2022、将所述第一特征图像输入至所述融合了FasterNet网络的C3模块层，得到第二特征图像；
S2023、将所述第二特征图像依次经过卷积提取层、融合了FasterNet网络的C3模块层的多次处理后，得到第三特征图像；
S2024、将所述第三特征图像输入至所述空间金字塔池化模块层，得到第四特征图像；
S2025、将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像。
在上述步骤S2021至步骤S2025中，是骨干网络的特征提取部分，用于提取浇注孔的边缘、线条等信息。骨干网络的信息流动方式是每一层的输入都是前一层的输出。本实施例在原始的YOLOv5的C3模块中，融入了FasterNet网络中的FasterNet Block，得到融合了FasterNet网络的C3模块层，命名为C3_F模块层，这样可以减少模型的参数和计算量，提高模型的推理速度，实现模型的轻量化。
这里，FasterNet Block是一个PConv和两个逐点卷积的结构。PConv更好的利用了设备的计算能力，仅在一部分输入通道上应用常规卷积(Conv)，其余通道用于提取空间特征保持不变。PConv与逐点卷积相结合，形成了一个T形的感受野，更关注于中心位置，比起普通卷积的计算量和参数量更小，速度更快，适合于浇注孔的检测。
示例性的，骨干网络可以包括10个提取层，例如第0-9层是骨干网络部分，其中，第0、1、3、5、7层可以是卷积提取层，进行普通卷积处理，并且在第0、1、3、5、7层都分别做了一次二倍下采样操作，把特征图进行了缩放。第2、4、6、8层可以是C3_F模块层，用于实现模型轻量化。第9层可以为SPPF模块层，即空间金字塔池化模块层，能够将全局信息和局部信息的特征图进行融合。在骨干网络的最后，设计了一种即插即用的多尺度信息融合模块层，作为整个识别模型的第10层，输出特征图像。
需要说明的是，将第四特征图像输入至多尺度信息融合模块层，得到特征图像的步骤，包括：
S20251、将所述第四特征图像输入至所述多尺度信息融合模块层中进行复制，得到三个第四特征图像；
S20252、将第一个第四特征图像进行深度可分离卷积处理，得到第五特征图像，将第二个第四特征图像进行扩张卷积处理，得到第六特征图像，同时，将第三个第四特征图像进行卷积处理，得到第七特征图像；
S20253、将所述第五特征图像的通道数的三分之一、所述第六特征图像的通道数的三分之一以及所述第七特征图像的通道数的三分之一进行合并，得到第八特征图像；
S20254、将所述第八特征图像进行卷积处理，得到第九特征图像；
S20255、将所述第九特征图像输入至所述多尺度信息融合模块层中的SE通道注意力模块，得到特征图像。
在上述步骤S20251至步骤S20255中，多尺度信息融合模块层主要可以由三个步骤组成。首先是一个并行的多尺度模块，可以将得到的特征图复制三份(得到三个第四特征图像)，让其同时经过例如卷积核为3×3的深度可分离卷积、例如扩张卷积率为3的扩张卷积以及例如卷积核为3×3的普通卷积(即第一个第四特征图像经过深度可分离卷积，第二个第四特征图像经过扩张卷积以及第三个第四特征图像经过普通卷积)，然后将每部分输出的特征图像(第五特征图像、第六特征图像以及第七特征图像)的通道数的三分之一进行合并，得到第八特征图像，再将第八特征图像通过一个例如1×1的普通卷积将通道数恢复为第四特征图像的通道数，得到第九特征图像，最后，再将第九特征图像经过一个SE通道注意力模块，得到特征图像，这样可以增强模型的表达能力。
这里，本实施例采用扩张卷积处理以及深度可分离卷积处理，通过使用不同的扩张卷积率，使得多尺度信息融合模块层能够获得多个层次的感受野，以丰富上下文的特征信息，有效的进行特征提取。
S203、将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像；
该步骤中，特征融合网络将骨干网络提取到浇注孔的特征信息进行融合。特征融合网络包括多个处理层，每个处理层为卷积处理层、上采样层、拼接层以及C3模块层中的任意一项。
需要说明的是，将特征图像输入至特征融合网络中进行浇注孔位特征信息的融合，得到融合图像的步骤，包括：
S2031、将所述特征图像输入至所述卷积处理层，得到第一处理图像；
S2032、将所述第一处理图像输入至所述上采样层进行上采样处理，得到第二处理图像；
S2033、将所述第二处理图像输入至所述拼接层与所述拼接层对应的第一预设层的输出进行通道维度的拼接，得到第三处理图像；
S2034、将所述第三处理图像输入至所述C3模块层进行特征融合，得到第四处理图像；
S2035、将所述第四处理图像依次经过卷积处理层、上采样层、拼接层以及C3模块层的多次处理后，得到融合图像。
在上述步骤S2031至步骤S2035中，是特征融合网络部分，主要将骨干网络提取到浇注孔的特征信息进行融合。作为示例，特征融合网络可以有14个处理层，分为11-24层。第11层为卷积处理层进行普通卷积操作，接收第10层的输出，并将本层的输出送入12层。第12层为上采样层，采用了最近邻插值上采样算子，最近邻上采样是一种非常简单的操作，对于每个要上采样的像素，只需要从原图像中找到最近的像素值来填充，因此计算代价较低，最近邻上采样在实时应用和嵌入式系统中具有优势。第13层为拼接层，在通道维度拼接第12层和第6层(第13层对应的第一预设层)的特征，并将本层的输出作为14层的输入。14层是C3模块层，C3模块组合不同层级的特征图，可以增强模型的感知能力。第15和16层类似11和12层，都是一个卷积处理层进行普通卷积加上上采样层进行最近邻插值上采样算子操作。第17层为拼接层在通道维度拼接16层和第4层(第17层对应的第一预设层)的特征，并将本层的输出送入第18层。第18层为C3模块层，作用类似14层。第19层为卷积处理层进行普通卷积。第20层为拼接层，在通道维度拼接第19层和第15层(第20层对应的第一预设层)的特征，并将本层的输出送入21层。第21层为C3模块层，第22层为卷积处理层进行普通卷积处理，第23层为拼接层，接收第22层和第11层的输入，并将本层的输出送入24层，第24层仍然为C3模块层，并将本层输出的融合图像送入头部网络。
S204、将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像。
该步骤中，头部网络包括GSConv模块层以及识别输出层。
需要说明的是，将融合图像输入至头部网络中进行浇注孔位的识别，得到头部网络输出的标注有浇注孔位的识别框的目标图像的步骤，包括：
S2041、将所述融合图像以及第二预设层的输出一起输入至所述GSConv模块层进行对应的卷积处理，得到多个第一操作图像；
S2042、将所述多个第一操作图像进行通道维度的重组，得到第二操作图像；
S2043、将所述第二操作图像输入至所述识别输出层，解码所述第二操作图像中的预测目标的坐标，生成具有多个预测边界框的第三操作图像；
S2044、采用非极大值抑制算法在所述第三操作图像的多个预测边界框中确定出置信度最高的预测边界框作为浇注孔位的识别框，并将所述多个预测边界框中除了所述识别框的其余所有预测边界框删除，得到标注有浇注孔位的识别框的目标图像。
在上述步骤S2041至步骤S2044中，为头部网络进行最终结果的预测；作为示例，第25层为头部网络，可以接收融合图像和第二预设层的输出，例如第二预设层为第18层和第21层，第18层的输出用于预测小目标，第21层的输出用于预测中目标，接收的第24层的输出即融合图像用于预测大目标。对于每个检测层的特征图(第18层的输出、第21层的输出以及第24层的输出)，都要先经过一个卷积层，得到对应的第一操作图像，然后将这多个第一操作图像进行通道维度的重新组织，得到第二操作图像，以便提取预测目标的坐标、置信度分数和类别概率分数。可以通过类别概率分数筛选出属于浇注孔位的预测目标，接着检测头会解码筛选出的预测目标的坐标和尺寸，生成一些预测目标的预测边界框，得到第三操作图像，最后通过非极大值抑制(NMS)算法在第三操作图像中的多个预测边界框中确定出具有高置信度分数的边界框，可以同时消除与它们重叠度较高的边界框，以得到最终的检测结果，即标注有浇注孔位的识别框的目标图像。在这个过程中采用了GSConv来代替原始检测头中的卷积模块，这样可以减少识别模型的计算量和参数量的同时保证了精确度，实现了很好的平衡。
S103、基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
本申请实施例提供的一种机器人浇注的控制方法，所述控制方法包括：通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
这样，采用本申请提供的技术方案能够通过识别模型确定机器人拍摄到的图像中浇注孔位所在的位置，并控制机器人自动将液态金属注入浇注孔位处完成浇注任务，不仅节省了人力，提高了浇注效率，还保证了浇注过程的安全性和准确性。
基于同一发明构思，本申请实施例还提供了与上述一种机器人浇注的控制方法对应的一种机器人浇注的控制装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图3，图3为本申请实施例所提供的一种机器人浇注的控制装置的结构示意图，如图3中所示，控制装置310包括：
获取模块311，用于通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；
标注模块312，用于将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；
控制模块313，用于基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
可选的，所述识别模型包括输入网络、骨干网络、特征融合网络以及头部网络；所述标注模块具体用于：
将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像；
将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像；
将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像；
将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像。
可选的，所述标注模块312在用于将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像时，所述标注模块312具体用于：
将所述拍摄图像输入至所述输入网络中，采用Mosaic对所述拍摄图像进行数据增强，得到增强图像；
将所述增强图像进行自适应锚框计算，得到锚框图像；
将所述锚框图像按照预设像素进行规范处理，得到规范图像。
可选的，所述骨干网络包括多个提取层，每个提取层为卷积提取层、融合了FasterNet网络的C3模块层、空间金字塔池化模块层以及多尺度信息融合模块层中的任意一项；所述标注模块312在用于将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像时，所述标注模块312具体用于：
将所述规范图像输入至所述卷积提取层进行卷积处理以及二倍下采样处理，得到第一特征图像；
将所述第一特征图像输入至所述融合了FasterNet网络的C3模块层，得到第二特征图像；
将所述第二特征图像依次经过卷积提取层、融合了FasterNet网络的C3模块层的多次处理后，得到第三特征图像；
将所述第三特征图像输入至所述空间金字塔池化模块层，得到第四特征图像；
将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像。
可选的，所述标注模块312在用于将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像时，所述标注模块312具体用于：
将所述第四特征图像输入至所述多尺度信息融合模块层中进行复制，得到三个第四特征图像；
将第一个第四特征图像进行深度可分离卷积处理，得到第五特征图像，将第二个第四特征图像进行扩张卷积处理，得到第六特征图像，同时，将第三个第四特征图像进行卷积处理，得到第七特征图像；
将所述第五特征图像的通道数的三分之一、所述第六特征图像的通道数的三分之一以及所述第七特征图像的通道数的三分之一进行合并，得到第八特征图像；
将所述第八特征图像进行卷积处理，得到第九特征图像；
将所述第九特征图像输入至所述多尺度信息融合模块层中的SE通道注意力模块，得到特征图像。
可选的，所述特征融合网络包括多个处理层，每个处理层为卷积处理层、上采样层、拼接层以及C3模块层中的任意一项；所述标注模块312在用于将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像时，所述标注模块312具体用于：
将所述特征图像输入至所述卷积处理层，得到第一处理图像；
将所述第一处理图像输入至所述上采样层进行上采样处理，得到第二处理图像；
将所述第二处理图像输入至所述拼接层与所述拼接层对应的第一预设层的输出进行通道维度的拼接，得到第三处理图像；
将所述第三处理图像输入至所述C3模块层进行特征融合，得到第四处理图像；
将所述第四处理图像依次经过卷积处理层、上采样层、拼接层以及C3模块层的多次处理后，得到融合图像。
可选的，所述头部网络包括GSConv模块层以及识别输出层；所述标注模块312在用于将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像时，所述标注模块312具体用于：
将所述融合图像以及第二预设层的输出一起输入至所述GSConv模块层进行对应的卷积处理，得到多个第一操作图像；
将所述多个第一操作图像进行通道维度的重组，得到第二操作图像；
将所述第二操作图像输入至所述识别输出层，解码所述第二操作图像中的预测目标的坐标，生成具有多个预测边界框的第三操作图像；
采用非极大值抑制算法在所述第三操作图像的多个预测边界框中确定出置信度最高的预测边界框作为浇注孔位的识别框，并将所述多个预测边界框中除了所述识别框的其余所有预测边界框删除，得到标注有浇注孔位的识别框的目标图像。
本申请实施例提供的一种机器人浇注的控制装置，所述控制装置包括：获取模块，用于通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；标注模块，用于将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；控制模块，用于基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
这样，采用本申请提供的技术方案能够通过识别模型确定机器人拍摄到的图像中浇注孔位所在的位置，并控制机器人自动将液态金属注入浇注孔位处完成浇注任务，不仅节省了人力，提高了浇注效率，还保证了浇注过程的安全性和准确性。
请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1至图2所示方法实施例中的机器人浇注的控制方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1至图2所示方法实施例中的机器人浇注的控制方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种机器人浇注的控制方法，其特征在于，所述控制方法包括：
通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；
将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；
基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
2.根据权利要求1所述的控制方法，其特征在于，所述识别模型包括输入网络、骨干网络、特征融合网络以及头部网络；所述将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像的步骤，包括：
将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像；
将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像；
将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像；
将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像。
3.根据权利要求2所述的控制方法，其特征在于，所述将所述拍摄图像输入至所述输入网络中进行数据增强以及数据处理，得到规范图像的步骤，包括：
将所述拍摄图像输入至所述输入网络中，采用Mosaic对所述拍摄图像进行数据增强，得到增强图像；
将所述增强图像进行自适应锚框计算，得到锚框图像；
将所述锚框图像按照预设像素进行规范处理，得到规范图像。
4.根据权利要求2所述的控制方法，其特征在于，所述骨干网络包括多个提取层，每个提取层为卷积提取层、融合了FasterNet网络的C3模块层、空间金字塔池化模块层以及多尺度信息融合模块层中的任意一项；
所述将所述规范图像输入至所述骨干网络中进行浇注孔位特征信息的提取，得到特征图像的步骤，包括：
将所述规范图像输入至所述卷积提取层进行卷积处理以及二倍下采样处理，得到第一特征图像；
将所述第一特征图像输入至所述融合了FasterNet网络的C3模块层，得到第二特征图像；
将所述第二特征图像依次经过卷积提取层、融合了FasterNet网络的C3模块层的多次处理后，得到第三特征图像；
将所述第三特征图像输入至所述空间金字塔池化模块层，得到第四特征图像；
将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像。
5.根据权利要求4所述的控制方法，其特征在于，所述将所述第四特征图像输入至所述多尺度信息融合模块层，得到特征图像的步骤，包括：
将所述第四特征图像输入至所述多尺度信息融合模块层中进行复制，得到三个第四特征图像；
将第一个第四特征图像进行深度可分离卷积处理，得到第五特征图像，将第二个第四特征图像进行扩张卷积处理，得到第六特征图像，同时，将第三个第四特征图像进行卷积处理，得到第七特征图像；
将所述第五特征图像的通道数的三分之一、所述第六特征图像的通道数的三分之一以及所述第七特征图像的通道数的三分之一进行合并，得到第八特征图像；
将所述第八特征图像进行卷积处理，得到第九特征图像；
将所述第九特征图像输入至所述多尺度信息融合模块层中的SE通道注意力模块，得到特征图像。
6.根据权利要求2所述的控制方法，其特征在于，所述特征融合网络包括多个处理层，每个处理层为卷积处理层、上采样层、拼接层以及C3模块层中的任意一项；
所述将所述特征图像输入至所述特征融合网络中进行浇注孔位特征信息的融合，得到融合图像的步骤，包括：
将所述特征图像输入至所述卷积处理层，得到第一处理图像；
将所述第一处理图像输入至所述上采样层进行上采样处理，得到第二处理图像；
将所述第二处理图像输入至所述拼接层与所述拼接层对应的第一预设层的输出进行通道维度的拼接，得到第三处理图像；
将所述第三处理图像输入至所述C3模块层进行特征融合，得到第四处理图像；
将所述第四处理图像依次经过卷积处理层、上采样层、拼接层以及C3模块层的多次处理后，得到融合图像。
7.根据权利要求2所述的控制方法，其特征在于，所述头部网络包括GSConv模块层以及识别输出层；
所述将所述融合图像输入至所述头部网络中进行浇注孔位的识别，得到所述头部网络输出的标注有浇注孔位的识别框的目标图像的步骤，包括：
将所述融合图像以及第二预设层的输出一起输入至所述GSConv模块层进行对应的卷积处理，得到多个第一操作图像；
将所述多个第一操作图像进行通道维度的重组，得到第二操作图像；
将所述第二操作图像输入至所述识别输出层，解码所述第二操作图像中的预测目标的坐标，生成具有多个预测边界框的第三操作图像；
采用非极大值抑制算法在所述第三操作图像的多个预测边界框中确定出置信度最高的预测边界框作为浇注孔位的识别框，并将所述多个预测边界框中除了所述识别框的其余所有预测边界框删除，得到标注有浇注孔位的识别框的目标图像。
8.一种机器人浇注的控制装置，其特征在于，所述控制装置包括：
获取模块，用于通过机器人上安装的摄像头，获取所述摄像头的拍摄图像；
标注模块，用于将所述拍摄图像输入至预先训练好的识别模型中，得到所述识别模型输出的标注有浇注孔位的识别框的目标图像；
控制模块，用于基于所述目标图像中的识别框所在区域，确定所述浇注孔位的位置，并控制所述机器人将液态金属倒入所述浇注孔位的位置处完成浇注任务。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的机器人浇注的控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的机器人浇注的控制方法的步骤。
CN202311606775.9A 2023-11-28 2023-11-28 一种机器人浇注的控制方法、装置、电子设备及存储介质 Pending CN117620147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311606775.9A CN117620147A (zh) 2023-11-28 2023-11-28 一种机器人浇注的控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311606775.9A CN117620147A (zh) 2023-11-28 2023-11-28 一种机器人浇注的控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117620147A true CN117620147A (zh) 2024-03-01

Family

ID=90017570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311606775.9A Pending CN117620147A (zh) 2023-11-28 2023-11-28 一种机器人浇注的控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117620147A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117920986A (zh) * 2024-03-22 2024-04-26 山东正祥工矿设备股份有限公司 一种用于铜铸件生产上料装置的监控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117920986A (zh) * 2024-03-22 2024-04-26 山东正祥工矿设备股份有限公司 一种用于铜铸件生产上料装置的监控系统

Similar Documents

Publication Publication Date Title
CN113179368B (zh) 一种车辆定损的数据处理方法、装置、处理设备及客户端
CN112889108B (zh) 使用视听数据进行说话分类
CN110516665A (zh) 识别图像叠加文字区域的神经网络模型构建方法与系统
CN117620147A (zh) 一种机器人浇注的控制方法、装置、电子设备及存储介质
CN111507468B (zh) 使用人工智能来警告驾驶员危险的方法和装置
CN112418195B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN113095346A (zh) 数据标注的方法以及数据标注的装置
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
JP6779491B1 (ja) 文字認識装置、撮影装置、文字認識方法、および、文字認識プログラム
CN108682010A (zh) 车辆损伤识别的处理方法、处理设备、客户端及服务器
JP7307266B2 (ja) ウォーターマークを挿入するための画像合成装置および方法
CN111798124B (zh) 基于图像识别的任务管理方法、装置、电子设备及介质
CN110766077A (zh) 证据链图像中特写图筛选方法、装置和设备
CN110188627A (zh) 一种人脸图像过滤方法及装置
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN115496895A (zh) 目标识别方法及其模型、电子设备、存储介质
CN115810215A (zh) 面部图像生成方法、装置、设备及存储介质
Chang et al. Deep learning for predictive analytics in reversible steganography
CN111539435A (zh) 语义分割模型构建方法及图像分割方法、设备、存储介质
CN117173002A (zh) 模型训练、图像生成、信息提取方法、装置及电子设备
CN116797500B (zh) 图像处理方法、装置、存储介质、电子设备及产品
KR20210030573A (ko) 신경망 기반 해상 영상 내 기상효과 조절 방법 및 장치
CN113284074B (zh) 全景图像的目标对象去除方法、装置、服务器及存储介质
KR102640653B1 (ko) 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination