CN115972198A - 一种非完全信息条件下的机械臂视觉抓取方法与装置 - Google Patents

一种非完全信息条件下的机械臂视觉抓取方法与装置 Download PDF

Info

Publication number
CN115972198A
CN115972198A CN202211547694.1A CN202211547694A CN115972198A CN 115972198 A CN115972198 A CN 115972198A CN 202211547694 A CN202211547694 A CN 202211547694A CN 115972198 A CN115972198 A CN 115972198A
Authority
CN
China
Prior art keywords
image
reasoning
missing information
network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211547694.1A
Other languages
English (en)
Other versions
CN115972198B (zh
Inventor
王振宇
马季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Yuhui Information Technology Co ltd
Original Assignee
Wuxi Yuhui Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Yuhui Information Technology Co ltd filed Critical Wuxi Yuhui Information Technology Co ltd
Priority to CN202211547694.1A priority Critical patent/CN115972198B/zh
Publication of CN115972198A publication Critical patent/CN115972198A/zh
Application granted granted Critical
Publication of CN115972198B publication Critical patent/CN115972198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及机械臂控制的技术领域，公开了一种非完全信息条件下的机械臂视觉抓取方法与装置，方法包括：构建目标缺失信息推理模型并进行优化；获取并判断环境图像是否缺失信息；将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，并控制机械臂进行目标抓取。本发明基于统计特征实现缺失信息环境图像的判断，并构建目标缺失信息推理模型对缺失信息进行补全，在模型优化阶段利用结合随机参数更新模型的双点集均衡优化方法对模型参数进行鲁棒优化，提高机械臂抓取鲁棒性达到增强机械臂在非完全信息条件下抓取效果。

Description

一种非完全信息条件下的机械臂视觉抓取方法与装置
技术领域
本发明涉及机械臂控制的技术领域，尤其涉及一种非完全信息条件下的机械臂视觉抓取方法与装置。
背景技术
视觉系统被广泛应用到工业制造领域。利用视觉信息跟踪运动目标并实施抓取是机械臂在现实工业制造中的一个重要任务。然而，由于遮挡等原因，常常会导致目标信息采样缺失，影响机械臂抓取效果。
发明内容
有鉴于此，本发明提供一种非完全信息条件下的机械臂视觉抓取方法与装置，引入随机模型提高机械臂抓取鲁棒性，增强机械臂在非完全信息条件下的抓取效果，目的在于：1)基于粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络构建目标缺失信息推理模型，粗粒度推理网络在编码阶段首先使用下采样操作获取输入图像的缩略图，并利用空洞残差卷积层进行多层次特征融合以及获得更宽广的感受野，实现基于多层次特征融合以及感受野的初步图像推理补全，进而利用解码结构将编码后的结果恢复到原始尺寸，细粒度推理网络通过引入self-attention自注意力感知层，计算卷积特征图中任意两个像素点之间的相似性，获取整个图像的相似特征信息，同时也保留了原有的特征信息，然后综合两种特征信息补全缺失的信息，并分别利用全局评估网络以及局部评估网络对补全结果进行评估，若评估通过则表示补全成功，并在模型优化阶段利用结合随机参数更新模型的双点集均衡优化方法对模型参数进行鲁棒优化，提高机械臂抓取鲁棒性达到增强机械臂在非完全信息条件下抓取效果；2)基于环境图像的统计特征，计算图像灰度累积分布函数与恒等分布函数的相似度，其中图像累积分布函数与恒等分布函数的相似度越小，则图像经过类似均衡化处理的可能性越低，对应的导致缺失信息可能性越低，表示环境图像不存在缺失信息，实现图像是否缺失信息的判断。
实现上述目的，本发明提供的一种非完全信息条件下的机械臂视觉抓取方法，包括以下步骤：
S1：构建目标缺失信息推理模型，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，模型的输入为存在缺失信息的图像，输出为推理补全后的图像；
S2：对构建的目标缺失信息推理模型进行优化求解，得到优化后的目标缺失信息推理模型，其中轻量级均衡优化为所述优化求解方法的主要实施方式；
S3：利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息，其中基于统计特征的信息缺失检测为所述图像信息缺失判断的实施方法；
S4：若环境图像中存在缺失信息，将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；
S5：检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取。
作为本发明的进一步改进方法：
可选地，所述S1步骤中构建目标缺失信息推理模型，包括：
构建目标缺失信息推理模型，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，目标缺失信息模型的输入为存在缺失信息的图像，依次利用粗粒度推理网络以及细粒度推理网络对存在缺失信息的图像进行推理补全，并利用局部评估网络以及全局评估网络对推理补全效果进行评估，若评估结果高于阈值则输出推理补全后的图像，否则返回粗粒度推理网络以及细粒度推理网络进行推理补全；
所述粗粒度推理网络的结构为编码-解码结构，其中编码结构包括4层普通卷积层以及两层空洞残差卷积层，4层普通卷积层的卷积核尺寸为3×3像素，步长均为2，所述空洞残差卷积层包括残差单元以及空洞卷积层，空洞卷积层的卷积核尺寸为3×3像素，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；所述粗粒度推理网络在编码阶段首先使用下采样操作获取输入图像的缩略图，并利用空洞残差卷积层进行多层次特征融合以及获得更宽广的感受野，实现基于多层次特征融合以及感受野的初步图像推理补全，进而利用解码结构将编码后的结果恢复到原始尺寸；
所述细粒度推理网络的结构为编码-解码结构，细粒度推理网络的输入问为粗粒度推理网络的，其中编码结构包括4层普通卷积层，普通卷积层的卷积核尺寸为3×3像素，
步长均为2，且每层普通卷积层前添加self-attention自注意力感知层，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；所述细粒度推理网络通过引入self-attention自注意力感知层，计算卷积特征图中任意两个像素点之间的相似性，获取整个图像的相似特征信息，同时也保留了原有的特征信息，然后综合两种特征信息补全缺失的信息；
所述全局评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2，全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，通过4个级联的卷积层将卷积特征图分辨率进行压缩，同时对卷积特征图的通道数进行扩充，在全连接层输出一维向量作为全局评估结果；
所述局部评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2；将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果。在本发明实施例中，全局评估结果与局部评估结果的取值范围为[0,1]，评估结果越高表示推理补全效果越好。
可选地，所述S2步骤中对构建的目标缺失信息推理模型进行优化求解，包括：
获取N幅图像，并对每幅图像添加缺失信息，其中缺失信息包括图像模糊处理，得到模型优化求解的训练集
Figure BDA0003980007010000021
其中yn表示第n幅图像，
Figure BDA0003980007010000022
表示对yn添加缺失信息后的结果；
构建目标缺失信息推理模型的训练损失函数Loss(θ)：
Figure BDA0003980007010000023
Figure BDA0003980007010000024
其中：
θ＝[θ1,θ2,θ3,θ4]表示目标缺失信息推理模型的模型参数，包括卷积核权重以及全连接层权重，θ1,θ2,θ3,θ4依次为粗粒度推理网络、细粒度推理网络、全局评估网络以及局部评估网络的参数；
Figure BDA0003980007010000025
表示依次利用粗粒度推理网络D以及细粒度推理网络G对
Figure BDA0003980007010000026
进行推理补全，SIFT(·)表示SIFT特征提取，sim(·)表示余弦相似度计算；在本发明实施例中，所述SIFT特征为在不同的尺度空间上的关键点以及关键点的方向，SIFT所查找到的关键点是一些十分突出、不会因光照、仿射变换和噪音等因素而变化的点；
Figure BDA0003980007010000027
表示利用全局评估网络对细粒度推理网络输出结果进行评估，
Figure BDA0003980007010000028
表示利用局部评估网络对细粒度推理网络输出结果进行评估；
基于目标缺失信息推理模型的训练损失函数进行模型优化求解，所述模型优化求解流程为：
S21：初始化两个点集，每个点集中包含M个参数结果，并初始化每个点集的搜索半径，其中M表示目标缺失信息推理模型中的待优化求解参数总数，并将两个点集中的参数结果依次作为模型参数；
S22计算两个点集的对应训练损失函数结果，并保存训练损失函数结果最小的点集，更新当前算法迭代次数；
S23：对两个点集中的任意第m个参数结果进行随机优化：
Figure BDA0003980007010000031
Figure BDA0003980007010000032
δ1(k)＝δ1(k-1)-[δ1(k-1)/a]
δ2(k)＝δ2(k-1)+[δ2(k-1)/a]
其中：
s1,m(k)表示保存点集中第m个参数结果在第k次优化的结果，rand(0,1)表示0-1之间的随机数，m∈[1,M]
s2,m(k)表示另一个点集中第m个参数结果在第k次优化的结果，rand(0,1)表示0-1之间的随机数；
δ1(k)表示保存点集第k次优化的搜索半径，δ2(k)表示另一个点集第k次优化的搜索半径，a表示扩张因子，将其设置为2；
S24：若达到最大迭代次数，则计算此时两个点集的对应训练损失函数结果，将训练损失函数结果最小的点集作为优化求解结果，并基于优化求解结果构建得到优化后的目标缺失信息推理模型，否则返回步骤S22。
可选地，所述S3步骤中利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息，包括：
利用机械臂的视觉系统获取环境图像，所述机械臂的视觉系统为摄像头，环境图像为机械臂周围区域的环境图像，基于环境图像中的统计特征对环境图像是否缺失信息进行判断，其中基于统计特征的信息缺失检测流程为：
S31：对环境图像进行灰度化处理，得到环境图像的灰度直方图，其中灰度直方图的横坐标表示灰度级范围，纵坐标表示对应灰度级的像素数，所述灰度直方图的累积分布函数为：
Figure BDA0003980007010000033
其中：
C表示环境图像的像素总数，ci表示灰度级i的像素总数，f(i)表示灰度级i的累积分布，i∈[Lmin,Lmax]，Lmin表示环境图像灰度直方图的最小灰度级，Lmax表示环境图像灰度直方图的最大灰度级；
S32：计算环境图像的累积分布函数与恒等分布函数的相似度p：
Figure BDA0003980007010000034
Figure BDA0003980007010000035
其中：
g(i)表示恒等分布函数；
S33：若p小于预设定的检测阈值，表示图像累积分布函数与恒等分布函数的相似度越小，则图像经过类似均衡化处理的可能性越低，对应的导致缺失信息可能性越低，表示环境图像不存在缺失信息，否则表示环境图像缺失信息。
可选地，所述S4步骤中将缺失信息的图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像，包括：
若检测到环境图像中存在缺失信息，则将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中，得到推理补全后的环境图像，所述基于目标缺失信息推理模型的图像缺失信息推理补全流程为：
S41：优化后的目标缺失信息推理模型中的粗粒度推理网络接收缺失信息的环境图像，将环境图像输入到4层普通卷积层进行卷积操作，其中第一层普通卷积层的输入为缺失信息的环境图像，其余普通卷积层的输入结果为上层普通卷积层输出的卷积特征图；
S42：粗粒度推理网络中的空洞残差卷积层对第4层普通卷积层输出的卷积特征图进行空洞残差卷积处理，所述空洞残差卷积处理公式为：
F1＝f+Conv1(f)
F2＝F1+Conv2(F1)
其中：
f表示第4层普通卷积层输出的卷积特征图；
Conv1(f)表示将f输入到第一层空洞卷积层中；
F1表示第一层空洞残差卷积层的输出结果，利用残差单元将f和Conv1(f)进行融合处理；
F2表示第二层空洞残差卷积层的输出结果，Conv2(F1)表示将F1输入到第二层空洞卷积层中；
相邻两层空洞残差卷积层中空洞卷积层的空洞卷积率只能有相同的公约数，且第二层空洞残差卷积层中空洞卷积层的空洞卷积率r2为：
r2＝max[r2-2r1,r1,r2-2(r2-r1)],r2≤空洞卷积核尺寸
其中：
r1表示第一层空洞残差卷积层中空洞卷积层的空洞卷积率；
在本发明实施例中，空洞卷积层用于在普通卷积核中添加空洞，在保持卷积核大小不变的情况下扩大感受野范围；
S43：将空洞残差卷积层的输出结果依次输入到4层反卷积层得到与原始尺寸相同的初步图像推理补全结果；
S44：将初步图像推理补全结果输入到细粒度推理网络中，利用编码结构中的不同卷积层以及self-attention自注意力感知层进行图像局部特征感知补全，并利用解码结构中的反卷积层进行解码处理，得到细粒度推理网络的推理补全结果；
S45：全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，在全连接层输出一维向量作为全局评估结果，若全局评估结果高于评估阈值则表示全局补全结束，否则将细粒度推理网络的推理补全结果输入到粗粒度推理网络中重新进行推理补全；
S46：将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果，若局部评估结果高于评估阈值则表示局部补全结束，并输出细粒度推理网络的推理补全结果作为推理补全后的环境图像，否则将细粒度推理网络的推理补全结果输入到细粒度推理网络中进行推理补全。
可选地，所述S5步骤中检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，包括：
检测机械臂中视觉系统所实时获取的不存在缺失信息以及推理补全后的环境图像是否存在抓取目标，所述抓取目标的检测流程为：
获取待抓取目标图像并进行灰度化处理，利用Ostu二值化方法将待抓取目标图像进行二值化处理，得到待抓取目标图像中的前景区域，在本发明实施例中，所述Ostu二值化方法通过设置合适的分割阈值，将图像分割为前景区域和背景区域，并使得两区域的灰度值类间方差达到最大；
对视觉系统所实时获取的不存在缺失信息以及推理补全后的环境图像进行灰度化处理，利用Ostu二值化方法对环境图像进行二值化处理，得到环境图像的前景区域；
分别提取待抓取目标图像中的前景区域以及环境图像的前景区域的SIFT特征，并计算两者的余弦相似度，将余弦相似度大于预设定相似阈值的环境图像中前景区域作为检测到的抓取目标。
可选地，所述S5步骤中若检测到抓取目标，则控制机械臂进行目标抓取，包括：
若检测到抓取目标，则将抓取目标所对应前景区域图像中的所有像素坐标映射到世界坐标系下，得到抓取目标的三维坐标，所述像素坐标(x,y)的映射公式为：
Figure BDA0003980007010000051
其中：
d1,d2表示视觉系统所拍摄图像中单位像素分别在水平方向以及竖直方向的长度；
x0,y0表示视觉系统所拍摄图像的中心像素坐标和图像原点像素坐标之间相差的水平方向和竖直方向像素数；
u表示机械臂视觉系统的焦距；
K1,K2表示视觉系统的外部参数，分别包括视觉系统的位置以及旋转方向参数；
Z表示坐标(x,y)在相机坐标系中Z轴的坐标值；
(X*,Y*,Z*)表示像素坐标(x,y)的映射结果；
控制机械臂到达前景区域的三维坐标位置区域，进行目标抓取。
为了解决上述问题，本发明提供一种非完全信息条件下的机械臂视觉抓取装置，所述装置包括：
缺失信息判断装置，用于利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息；
缺失信息补全模块，用于将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；
机械臂控制模块，用于检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的非完全信息条件下的机械臂视觉抓取方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的非完全信息条件下的机械臂视觉抓取方法。
相对于现有技术，本发明提出一种非完全信息条件下的机械臂视觉抓取方法，该技术具有以下优势：
首先，本方案提出一种目标缺失信息推理模型对图像进行推理补全处理，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，目标缺失信息模型的输入为存在缺失信息的图像，依次利用粗粒度推理网络以及细粒度推理网络对存在缺失信息的图像进行推理补全，并利用局部评估网络以及全局评估网络对推理补全效果进行评估，若评估结果高于阈值则输出推理补全后的图像，否则返回粗粒度推理网络以及细粒度推理网络进行推理补全；所述粗粒度推理网络的结构为编码-解码结构，其中编码结构包括4层普通卷积层以及两层空洞残差卷积层，4层普通卷积层的卷积核尺寸为3×3像素，步长均为2，所述空洞残差卷积层包括残差单元以及空洞卷积层，空洞卷积层的卷积核尺寸为3×3像素，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；所述细粒度推理网络的结构为编码-解码结构，细粒度推理网络的输入问为粗粒度推理网络的，其中编码结构包括4层普通卷积层，普通卷积层的卷积核尺寸为3×3像素，步长均为2，且每层普通卷积层前添加self-attention自注意力感知层，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；所述全局评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2，全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，通过4个级联的卷积层将卷积特征图分辨率进行压缩，同时对卷积特征图的通道数进行扩充，在全连接层输出一维向量作为全局评估结果；所述局部评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2；将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果。本方案基于粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络构建目标缺失信息推理模型，粗粒度推理网络在编码阶段首先使用下采样操作获取输入图像的缩略图，并利用空洞残差卷积层进行多层次特征融合以及获得更宽广的感受野，实现基于多层次特征融合以及感受野的初步图像推理补全，进而利用解码结构将编码后的结果恢复到原始尺寸，细粒度推理网络通过引入self-attention自注意力感知层，计算卷积特征图中任意两个像素点之间的相似性，获取整个图像的相似特征信息，同时也保留了原有的特征信息，然后综合两种特征信息补全缺失的信息，并分别利用全局评估网络以及局部评估网络对补全结果进行评估，若评估通过则表示补全成功，并在模型优化阶段利用结合随机参数更新模型的双点集均衡优化方法对模型参数进行鲁棒优化，提高机械臂抓取鲁棒性达到增强机械臂在非完全信息条件下抓取效果。
同时，本方案提出一种图像是否缺失信息的判断方法，利用机械臂的视觉系统获取环境图像，环境图像为机械臂周围区域的环境图像，基于环境图像中的统计特征对环境图像是否缺失信息进行判断，其中基于统计特征的信息缺失检测流程为：对环境图像进行灰度化处理，得到环境图像的灰度直方图，其中灰度直方图的横坐标表示灰度级范围，纵坐标表示对应灰度级的像素数，所述灰度直方图的累积分布函数为：
Figure BDA0003980007010000061
其中：C表示环境图像的像素总数，ci表示灰度级i的像素总数，f(i)表示灰度级i的累积分布，i∈[Lmin,Lmax]，Lmin表示环境图像灰度直方图的最小灰度级，Lmax表示环境图像灰度直方图的最大灰度级；计算环境图像的累积分布函数与恒等分布函数的相似度p：
Figure BDA0003980007010000071
Figure BDA0003980007010000072
其中：g(i)表示恒等分布函数；若p小于预设定的检测阈值，表示环境图像不存在缺失信息，否则表示环境图像缺失信息，本方案基于环境图像的统计特征，计算图像灰度累积分布函数与恒等分布函数的相似度，其中图像累积分布函数与恒等分布函数的相似度越小，则图像经过类似均衡化处理的可能性越低，对应的导致缺失信息可能性越低，表示环境图像不存在缺失信息，实现图像是否缺失信息的判断。
附图说明
图1为本发明一实施例提供的一种非完全信息条件下的机械臂视觉抓取方法的流程示意图；
图2为本发明一实施例提供的非完全信息条件下的机械臂视觉抓取装置的功能模块图；
图3为本发明一实施例提供的实现非完全信息条件下的机械臂视觉抓取方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种非完全信息条件下的机械臂视觉抓取方法。所述非完全信息条件下的机械臂视觉抓取方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述非完全信息条件下的机械臂视觉抓取方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1：
S1：构建目标缺失信息推理模型，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，模型的输入为存在缺失信息的图像，输出为推理补全后的图像。
所述S1步骤中构建目标缺失信息推理模型，包括：
构建目标缺失信息推理模型，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，目标缺失信息模型的输入为存在缺失信息的图像，依次利用粗粒度推理网络以及细粒度推理网络对存在缺失信息的图像进行推理补全，并利用局部评估网络以及全局评估网络对推理补全效果进行评估，若评估结果高于阈值则输出推理补全后的图像，否则返回粗粒度推理网络以及细粒度推理网络进行推理补全；
所述粗粒度推理网络的结构为编码-解码结构，其中编码结构包括4层普通卷积层以及两层空洞残差卷积层，4层普通卷积层的卷积核尺寸为3×3像素，步长均为2，所述空洞残差卷积层包括残差单元以及空洞卷积层，空洞卷积层的卷积核尺寸为3×3像素，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；所述粗粒度推理网络在编码阶段首先使用下采样操作获取输入图像的缩略图，并利用空洞残差卷积层进行多层次特征融合以及获得更宽广的感受野，实现基于多层次特征融合以及感受野的初步图像推理补全，进而利用解码结构将编码后的结果恢复到原始尺寸；
所述细粒度推理网络的结构为编码-解码结构，细粒度推理网络的输入问为粗粒度推理网络的，其中编码结构包括4层普通卷积层，普通卷积层的卷积核尺寸为3×3像素，
步长均为2，且每层普通卷积层前添加self-attention自注意力感知层，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；所述细粒度推理网络通过引入self-attention自注意力感知层，计算卷积特征图中任意两个像素点之间的相似性，获取整个图像的相似特征信息，同时也保留了原有的特征信息，然后综合两种特征信息补全缺失的信息；
所述全局评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2，全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，通过4个级联的卷积层将卷积特征图分辨率进行压缩，同时对卷积特征图的通道数进行扩充，在全连接层输出一维向量作为全局评估结果；
所述局部评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2；将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果。
S2：对构建的目标缺失信息推理模型进行优化求解，得到优化后的目标缺失信息推理模型，其中轻量级均衡优化为所述优化求解方法的主要实施方式。
所述S2步骤中对构建的目标缺失信息推理模型进行优化求解，包括：
获取N幅图像，并对每幅图像添加缺失信息，其中缺失信息包括图像模糊处理，得到模型优化求解的训练集
Figure BDA0003980007010000081
其中yn表示第n幅图像，
Figure BDA0003980007010000082
表示对yn添加缺失信息后的结果；
构建目标缺失信息推理模型的训练损失函数Loss(θ)：
Figure BDA0003980007010000083
Figure BDA0003980007010000084
其中：
θ＝[θ1,θ2,θ3,θ4]表示目标缺失信息推理模型的模型参数，包括卷积核权重以及全连接层权重，θ1,θ2,θ3,θ4依次为粗粒度推理网络、细粒度推理网络、全局评估网络以及局部评估网络的参数；
Figure BDA0003980007010000085
表示依次利用粗粒度推理网络D以及细粒度推理网络G对
Figure BDA0003980007010000086
进行推理补全，SIFT(·)表示SIFT特征提取，sim(·)表示余弦相似度计算；
Figure BDA0003980007010000087
表示利用全局评估网络对细粒度推理网络输出结果进行评估，
Figure BDA0003980007010000088
表示利用局部评估网络对细粒度推理网络输出结果进行评估；
基于目标缺失信息推理模型的训练损失函数进行模型优化求解，所述模型优化求解流程为：
S21：初始化两个点集，每个点集中包含M个参数结果，并初始化每个点集的搜索半径，其中M表示目标缺失信息推理模型中的待优化求解参数总数，并将两个点集中的参数结果依次作为模型参数；
S22计算两个点集的对应训练损失函数结果，并保存训练损失函数结果最小的点集，更新当前算法迭代次数；
S23：对两个点集中的任意第m个参数结果进行随机优化：
Figure BDA0003980007010000089
Figure BDA00039800070100000810
δ1(k)＝δ1(k-1)-[δ1(k-1)/a]
δ2(k)＝δ2(k-1)+[δ2(k-1)/a]
其中：
s1,m(k)表示保存点集中第m个参数结果在第k次优化的结果，rand(0,1)表示0-1之间的随机数，m∈[1,M]
s2,m(k)表示另一个点集中第m个参数结果在第k次优化的结果，rand(0,1)表示0-1之间的随机数；
δ1(k)表示保存点集第k次优化的搜索半径，δ2(k)表示另一个点集第k次优化的搜索半径，a表示扩张因子，将其设置为2；
S24：若达到最大迭代次数，则计算此时两个点集的对应训练损失函数结果，将训练损失函数结果最小的点集作为优化求解结果，并基于优化求解结果构建得到优化后的目标缺失信息推理模型，否则返回步骤S22。
S3：利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息，其中基于统计特征的信息缺失检测为所述图像信息缺失判断的实施方法。
所述S3步骤中利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息，包括：
利用机械臂的视觉系统获取环境图像，所述机械臂的视觉系统为摄像头，环境图像为机械臂周围区域的环境图像，基于环境图像中的统计特征对环境图像是否缺失信息进行判断，其中基于统计特征的信息缺失检测流程为：
S31：对环境图像进行灰度化处理，得到环境图像的灰度直方图，其中灰度直方图的横坐标表示灰度级范围，纵坐标表示对应灰度级的像素数，所述灰度直方图的累积分布函数为：
Figure BDA0003980007010000091
其中：
C表示环境图像的像素总数，ci表示灰度级i的像素总数，f(i)表示灰度级i的累积分布，i∈[Lmin,Lmax]，Lmin表示环境图像灰度直方图的最小灰度级，Lmax表示环境图像灰度直方图的最大灰度级；
S32：计算环境图像的累积分布函数与恒等分布函数的相似度p：
Figure BDA0003980007010000092
Figure BDA0003980007010000093
其中：
g(i)表示恒等分布函数；
S33：若p小于预设定的检测阈值，表示图像累积分布函数与恒等分布函数的相似度越小，则图像经过类似均衡化处理的可能性越低，对应的导致缺失信息可能性越低，表示环境图像不存在缺失信息，否则表示环境图像缺失信息。
S4：若环境图像中存在缺失信息，将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像。
所述S4步骤中将缺失信息的图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像，包括：
若检测到环境图像中存在缺失信息，则将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中，得到推理补全后的环境图像，所述基于目标缺失信息推理模型的图像缺失信息推理补全流程为：
S41：优化后的目标缺失信息推理模型中的粗粒度推理网络接收缺失信息的环境图像，将环境图像输入到4层普通卷积层进行卷积操作，其中第一层普通卷积层的输入为缺失信息的环境图像，其余普通卷积层的输入结果为上层普通卷积层输出的卷积特征图；
S42：粗粒度推理网络中的空洞残差卷积层对第4层普通卷积层输出的卷积特征图进行空洞残差卷积处理，所述空洞残差卷积处理公式为：
F1＝f+Conv1(f)
F2＝F1+Conv2(F1)
其中：
f表示第4层普通卷积层输出的卷积特征图；
Conv1(f)表示将f输入到第一层空洞卷积层中；
F1表示第一层空洞残差卷积层的输出结果，利用残差单元将f和Conv1(f)进行融合处理；
F2表示第二层空洞残差卷积层的输出结果，Conv2(F1)表示将r1输入到第二层空洞卷积层中；
相邻两层空洞残差卷积层中空洞卷积层的空洞卷积率只能有相同的公约数，且第二层空洞残差卷积层中空洞卷积层的空洞卷积率r2为：
r2＝max[r2-2r1,r1,r2-2(r2-r1)],r2≤空洞卷积核尺寸
其中：
r1表示第一层空洞残差卷积层中空洞卷积层的空洞卷积率；
S43：将空洞残差卷积层的输出结果依次输入到4层反卷积层得到与原始尺寸相同的初步图像推理补全结果；
S44：将初步图像推理补全结果输入到细粒度推理网络中，利用编码结构中的不同卷积层以及self-attention自注意力感知层进行图像局部特征感知补全，并利用解码结构中的反卷积层进行解码处理，得到细粒度推理网络的推理补全结果；
S45：全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，在全连接层输出一维向量作为全局评估结果，若全局评估结果高于评估阈值则表示全局补全结束，否则将细粒度推理网络的推理补全结果输入到粗粒度推理网络中重新进行推理补全；
S46：将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果，若局部评估结果高于评估阈值则表示局部补全结束，并输出细粒度推理网络的推理补全结果作为推理补全后的环境图像，否则将细粒度推理网络的推理补全结果输入到细粒度推理网络中进行推理补全。
S5：检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取。
所述S5步骤中检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，包括：
检测机械臂中视觉系统所实时获取的不存在缺失信息以及推理补全后的环境图像是否存在抓取目标，所述抓取目标的检测流程为：
获取待抓取目标图像并进行灰度化处理，利用Ostu二值化方法将待抓取目标图像进行二值化处理，得到待抓取目标图像中的前景区域，在本发明实施例中，所述Ostu二值化方法通过设置合适的分割阈值，将图像分割为前景区域和背景区域，并使得两区域的灰度值类间方差达到最大；
对视觉系统所实时获取的不存在缺失信息以及推理补全后的环境图像进行灰度化处理，利用Ostu二值化方法对环境图像进行二值化处理，得到环境图像的前景区域；
分别提取待抓取目标图像中的前景区域以及环境图像的前景区域的SIFT特征，并计算两者的余弦相似度，将余弦相似度大于预设定相似阈值的环境图像中前景区域作为检测到的抓取目标。在本发明实施例中，所述SIFT特征为在不同的尺度空间上的关键点以及关键点的方向，SIFT所查找到的关键点是一些十分突出、不会因光照、仿射变换和噪音等因素而变化的点。
所述S5步骤中若检测到抓取目标，则控制机械臂进行目标抓取，包括：
若检测到抓取目标，则将抓取目标所对应前景区域图像中的所有像素坐标映射到世界坐标系下，得到抓取目标的三维坐标，所述像素坐标(x,y)的映射公式为：
Figure BDA0003980007010000111
其中：
d1,d2表示视觉系统所拍摄图像中单位像素分别在水平方向以及竖直方向的长度；
x0,y0表示视觉系统所拍摄图像的中心像素坐标和图像原点像素坐标之间相差的水平方向和竖直方向像素数；
u表示机械臂视觉系统的焦距；
K1,K2表示视觉系统的外部参数，分别包括视觉系统的位置以及旋转方向参数；
Z表示坐标(x,y)在相机坐标系中Z轴的坐标值；
(X*,Y*,Z*)表示像素坐标(x,y)的映射结果；
控制机械臂到达前景区域的三维坐标位置区域，进行目标抓取。
实施例2：
如图2所示，是本发明一实施例提供的非完全信息条件下的机械臂视觉抓取装置的功能模块图，其可以实现实施例1中的非完全信息条件下的机械臂视觉抓取方法。
本发明所述非完全信息条件下的机械臂视觉抓取装置100可以安装于电子设备中。根据实现的功能，所述非完全信息条件下的机械臂视觉抓取装置可以包括缺失信息判断装置101、缺失信息补全模块102及机械臂控制模块103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
缺失信息判断装置101，用于利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息；
缺失信息补全模块102，用于将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；
机械臂控制模块103，用于检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取。
详细地，本发明实施例中所述非完全信息条件下的机械臂视觉抓取装置100中的所述各模块在使用时采用与上述的图1中所述的非完全信息条件下的机械臂视觉抓取方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3：
如图3所示，是本发明一实施例提供的实现非完全信息条件下的机械臂视觉抓取方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(用于实现机械臂视觉抓取的程序12等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
构建目标缺失信息推理模型；
对构建的目标缺失信息推理模型进行优化求解，得到优化后的目标缺失信息推理模型；
利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息；
若环境图像中存在缺失信息，将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；
检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种非完全信息条件下的机械臂视觉抓取方法与装置，其特征在于，所述方法包括：
S1：构建目标缺失信息推理模型，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，模型的输入为存在缺失信息的图像，输出为推理补全后的图像；
S2：对构建的目标缺失信息推理模型进行优化求解，得到优化后的目标缺失信息推理模型；
S3：利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息；
S4：若环境图像中存在缺失信息，将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；
S5：检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取。
2.如权利要求1所述的一种非完全信息条件下的机械臂视觉抓取方法，其特征在于，所述S1步骤中构建目标缺失信息推理模型，包括：
构建目标缺失信息推理模型，其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络，目标缺失信息模型的输入为存在缺失信息的图像，依次利用粗粒度推理网络以及细粒度推理网络对存在缺失信息的图像进行推理补全，并利用局部评估网络以及全局评估网络对推理补全效果进行评估，若评估结果高于阈值则输出推理补全后的图像，否则返回粗粒度推理网络以及细粒度推理网络进行推理补全；
所述粗粒度推理网络的结构为编码-解码结构，其中编码结构包括4层普通卷积层以及两层空洞残差卷积层，4层普通卷积层的卷积核尺寸为3×3像素，步长均为2，所述空洞残差卷积层包括残差单元以及空洞卷积层，空洞卷积层的卷积核尺寸为3×3像素，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；
所述细粒度推理网络的结构为编码-解码结构，细粒度推理网络的输入问为粗粒度推理网络的，其中编码结构包括4层普通卷积层，普通卷积层的卷积核尺寸为3×3像素，步长均为2，且每层普通卷积层前添加self-attention自注意力感知层，解码结构包括4层反卷积层，其中反卷积层的卷积核尺寸为3×3像素，步长均为1/2；
所述全局评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2，全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，通过4个级联的卷积层将卷积特征图分辨率进行压缩，同时对卷积特征图的通道数进行扩充，在全连接层输出一维向量作为全局评估结果；
所述局部评估网络由4个卷积层和1个全连接层组成，每个卷积层的卷积核尺寸均为5×5像素，且步长均为2；将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果。
3.如权利要求2所述的一种非完全信息条件下的机械臂视觉抓取方法，其特征在于，所述S2步骤中对构建的目标缺失信息推理模型进行优化求解，包括：
获取N幅图像，并对每幅图像添加缺失信息，其中缺失信息包括图像模糊处理，得到模型优化求解的训练集
Figure FDA0003980004000000011
其中yn表示第n幅图像，
Figure FDA0003980004000000012
表示对yn添加缺失信息后的结果；
构建目标缺失信息推理模型的训练损失函数Loss(θ)：
Figure FDA0003980004000000021
Figure FDA0003980004000000022
其中：
θ＝[θ1,θ2,θ3,θ4]表示目标缺失信息推理模型的模型参数，包括卷积核权重以及全连接层权重，θ1,θ2,θ3,θ4依次为粗粒度推理网络、细粒度推理网络、全局评估网络以及局部评估网络的参数；
Figure FDA0003980004000000023
表示依次利用粗粒度推理网络D以及细粒度推理网络G对
Figure FDA0003980004000000024
进行推理补全，SIFT(·)表示SIFT特征提取，sim(·)表示余弦相似度计算；
Figure FDA0003980004000000025
表示利用全局评估网络对细粒度推理网络输出结果进行评估，
Figure FDA0003980004000000026
表示利用局部评估网络对细粒度推理网络输出结果进行评估；
基于目标缺失信息推理模型的训练损失函数进行模型优化求解，所述模型优化求解流程为：
S21：初始化两个点集，每个点集中包含M个参数结果，并初始化每个点集的搜索半径，其中M表示目标缺失信息推理模型中的待优化求解参数总数，并将两个点集中的参数结果依次作为模型参数；
S22计算两个点集的对应训练损失函数结果，并保存训练损失函数结果最小的点集，更新当前算法迭代次数；
S23：对两个点集中的任意第m个参数结果进行随机优化：
Figure FDA0003980004000000027
Figure FDA0003980004000000028
δ1(k)＝δ1(k-1)-[δ1(k-1)/a]
δ2(k)＝δ2(k-1)+[δ2(k-1)/a]
其中：
s1,m(k)表示保存点集中第m个参数结果在第k次优化的结果，rand(0,1)表示0-1之间的随机数，m∈[1,M]
s2,m(k)表示另一个点集中第m个参数结果在第k次优化的结果，rand(0,1)表示0-1之间的随机数；
δ1(k)表示保存点集第k次优化的搜索半径，δ2(k)表示另一个点集第k次优化的搜索半径，a表示扩张因子，将其设置为2；
S24：若达到最大迭代次数，则计算此时两个点集的对应训练损失函数结果，将训练损失函数结果最小的点集作为优化求解结果，并基于优化求解结果构建得到优化后的目标缺失信息推理模型，否则返回步骤S22。
4.如权利要求1所述的一种非完全信息条件下的机械臂视觉抓取方法，其特征在于，所述S3步骤中利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息，包括：
利用机械臂的视觉系统获取环境图像，所述机械臂的视觉系统为摄像头，环境图像为机械臂周围区域的环境图像，基于环境图像中的统计特征对环境图像是否缺失信息进行判断，其中基于统计特征的信息缺失检测流程为：
S31：对环境图像进行灰度化处理，得到环境图像的灰度直方图，其中灰度直方图的横坐标表示灰度级范围，纵坐标表示对应灰度级的像素数，所述灰度直方图的累积分布函数为：
Figure FDA0003980004000000029
其中：
C表示环境图像的像素总数，ci表示灰度级i的像素总数，f(i)表示灰度级i的累积分布，i∈[Lmin,Lmax]，Lmin表示环境图像灰度直方图的最小灰度级，Lmax表示环境图像灰度直方图的最大灰度级；
S32：计算环境图像的累积分布函数与恒等分布函数的相似度p：
Figure FDA0003980004000000031
Figure FDA0003980004000000032
其中：
g(i)表示恒等分布函数；
S33：若p小于预设定的检测阈值，表示环境图像不存在缺失信息，否则表示环境图像缺失信息。
5.如权利要求4所述的一种非完全信息条件下的机械臂视觉抓取方法，其特征在于，所述S4步骤中将缺失信息的图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像，包括：
若检测到环境图像中存在缺失信息，则将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中，得到推理补全后的环境图像，所述基于目标缺失信息推理模型的图像缺失信息推理补全流程为：
S41：优化后的目标缺失信息推理模型中的粗粒度推理网络接收缺失信息的环境图像，将环境图像输入到4层普通卷积层进行卷积操作，其中第一层普通卷积层的输入为缺失信息的环境图像，其余普通卷积层的输入结果为上层普通卷积层输出的卷积特征图；
S42：粗粒度推理网络中的空洞残差卷积层对第4层普通卷积层输出的卷积特征图进行空洞残差卷积处理，所述空洞残差卷积处理公式为：
F1＝f+Conv1(f)
F2＝F1+Conv2(F1)
其中：
f表示第4层普通卷积层输出的卷积特征图；
Conv1(f)表示将f输入到第一层空洞卷积层中；
F1表示第一层空洞残差卷积层的输出结果，利用残差单元将f和Conv1(f)进行融合处理；
F2表示第二层空洞残差卷积层的输出结果，Conv2(F1)表示将F1输入到第二层空洞卷积层中；
相邻两层空洞残差卷积层中空洞卷积层的空洞卷积率只能有相同的公约数，且第二层空洞残差卷积层中空洞卷积层的空洞卷积率r2为：
r2＝max[r2-2r1,r1,r2-2(r2-r1)],r2≤空洞卷积核尺寸
其中：
r1表示第一层空洞残差卷积层中空洞卷积层的空洞卷积率；
S43：将空洞残差卷积层的输出结果依次输入到4层反卷积层得到与原始尺寸相同的初步图像推理补全结果；
S44：将初步图像推理补全结果输入到细粒度推理网络中，利用编码结构中的不同卷积层以及self-attention自注意力感知层进行图像局部特征感知补全，并利用解码结构中的反卷积层进行解码处理，得到细粒度推理网络的推理补全结果；
S45：全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入，在全连接层输出一维向量作为全局评估结果，若全局评估结果高于评估阈值则表示全局补全结束，否则将细粒度推理网络的推理补全结果输入到粗粒度推理网络中重新进行推理补全；
S46：将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像，对每个区域图像进行灰度化处理，并计算每个区域图像的灰度级范围，局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像，在全连接层输出一维向量作为局部评估结果，若局部评估结果高于评估阈值则表示局部补全结束，并输出细粒度推理网络的推理补全结果作为推理补全后的环境图像，否则将细粒度推理网络的推理补全结果输入到细粒度推理网络中进行推理补全。
6.如权利要求5所述的一种非完全信息条件下的机械臂视觉抓取方法，其特征在于，所述S5步骤中检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，包括：
检测机械臂中视觉系统所实时获取的不存在缺失信息以及推理补全后的环境图像是否存在抓取目标，所述抓取目标的检测流程为：
获取待抓取目标图像并进行灰度化处理，利用Ostu二值化方法将待抓取目标图像进行二值化处理，得到待抓取目标图像中的前景区域；
对视觉系统所实时获取的不存在缺失信息以及推理补全后的环境图像进行灰度化处理，利用Ostu二值化方法对环境图像进行二值化处理，得到环境图像的前景区域；
分别提取待抓取目标图像中的前景区域以及环境图像的前景区域的SIFT特征，并计算两者的余弦相似度，将余弦相似度大于预设定相似阈值的环境图像中前景区域作为检测到的抓取目标。
7.如权利要求6所述的一种非完全信息条件下的机械臂视觉抓取方法，其特征在于，所述S5步骤中若检测到抓取目标，则控制机械臂进行目标抓取，包括：
若检测到抓取目标，则将抓取目标所对应前景区域图像中的所有像素坐标映射到世界坐标系下，得到抓取目标的三维坐标，所述像素坐标(x,y)的映射公式为：
Figure FDA0003980004000000041
其中：
d1,d2表示视觉系统所拍摄图像中单位像素分别在水平方向以及竖直方向的长度；
x0,y0表示视觉系统所拍摄图像的中心像素坐标和图像原点像素坐标之间相差的水平方向和竖直方向像素数；
u表示机械臂视觉系统的焦距；
K1,K2表示视觉系统的外部参数，分别包括视觉系统的位置以及旋转方向参数；
Z表示坐标(x,y)在相机坐标系中Z轴的坐标值；
(X*,Y*,Z*)表示像素坐标(x,y)的映射结果；
控制机械臂到达前景区域的三维坐标位置区域，进行目标抓取。
8.一种非完全信息条件下的机械臂视觉抓取装置，其特征在于，所述装置包括：
缺失信息判断装置，用于利用机械臂的视觉系统获取环境图像，判断环境图像是否缺失信息；
缺失信息补全模块，用于将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像；
机械臂控制模块，用于检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标，若检测到抓取目标，则控制机械臂进行目标抓取，以实现如权利要求1-7所述的一种非完全信息条件下的机械臂视觉抓取方法。
CN202211547694.1A 2022-12-05 2022-12-05 一种非完全信息条件下的机械臂视觉抓取方法与装置 Active CN115972198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211547694.1A CN115972198B (zh) 2022-12-05 2022-12-05 一种非完全信息条件下的机械臂视觉抓取方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211547694.1A CN115972198B (zh) 2022-12-05 2022-12-05 一种非完全信息条件下的机械臂视觉抓取方法与装置

Publications (2)

Publication Number Publication Date
CN115972198A true CN115972198A (zh) 2023-04-18
CN115972198B CN115972198B (zh) 2023-10-10

Family

ID=85971386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211547694.1A Active CN115972198B (zh) 2022-12-05 2022-12-05 一种非完全信息条件下的机械臂视觉抓取方法与装置

Country Status (1)

Country Link
CN (1) CN115972198B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116673962A (zh) * 2023-07-12 2023-09-01 安徽大学 一种基于FasterR-CNN和GRCNN的机械臂智能抓取方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816728A (zh) * 2019-01-30 2019-05-28 国网江苏省电力有限公司苏州供电分公司 基于生成查询网络的机械臂抓取点定位检测的方法
CN112906797A (zh) * 2021-02-25 2021-06-04 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN114549586A (zh) * 2022-02-22 2022-05-27 北方工业大学 一种基于视觉感知机械臂的目标定位方法
CN114782347A (zh) * 2022-04-13 2022-07-22 杭州电子科技大学 基于注意力机制生成式网络的机械臂抓取参数估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816728A (zh) * 2019-01-30 2019-05-28 国网江苏省电力有限公司苏州供电分公司 基于生成查询网络的机械臂抓取点定位检测的方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN112906797A (zh) * 2021-02-25 2021-06-04 华北电力大学 一种基于计算机视觉和深度学习的平面抓取检测方法
CN114549586A (zh) * 2022-02-22 2022-05-27 北方工业大学 一种基于视觉感知机械臂的目标定位方法
CN114782347A (zh) * 2022-04-13 2022-07-22 杭州电子科技大学 基于注意力机制生成式网络的机械臂抓取参数估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116673962A (zh) * 2023-07-12 2023-09-01 安徽大学 一种基于FasterR-CNN和GRCNN的机械臂智能抓取方法及系统
CN116673962B (zh) * 2023-07-12 2024-03-19 安徽大学 一种基于Faster R-CNN和GRCNN的机械臂智能抓取方法及系统

Also Published As

Publication number Publication date
CN115972198B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN107944450B (zh) 一种车牌识别方法及装置
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
CN111524112B (zh) 追钢识别方法、系统、设备及介质
CN108596944A (zh) 一种提取运动目标的方法、装置及终端设备
CN112132216B (zh) 车型识别方法、装置、电子设备及存储介质
CN111639704A (zh) 目标识别方法、装置及计算机可读存储介质
CN112528908A (zh) 活体检测方法、装置、电子设备及存储介质
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
CN115972198A (zh) 一种非完全信息条件下的机械臂视觉抓取方法与装置
CN115265545A (zh) 基于决策分析的地图匹配导航方法、装置、设备及存储介质
Wasala et al. Real-time HOG+ SVM based object detection using SoC FPGA for a UHD video stream
CN112541902A (zh) 相似区域搜索方法、装置、电子设备及介质
CN112084988B (zh) 车道线实例聚类方法、装置、电子设备和存储介质
CN116460851A (zh) 一种视觉迁移的机械臂装配控制方法
CN115346270A (zh) 交警手势识别方法、装置、电子设备及存储介质
CN115311632A (zh) 一种基于多摄像头的车辆重识别方法和设备
CN112560586B (zh) 一种杆塔标识牌结构化数据获得方法、装置及电子设备
CN113792671A (zh) 人脸合成图像的检测方法、装置、电子设备及介质
CN114494682A (zh) 一种物体位置预测方法、装置、设备及存储介质
CN113593297A (zh) 一种停车位状态检测方法和装置
CN112464946A (zh) 一种基于大数据的垃圾图像收集方法及系统
CN117315368B (zh) 一种大规模数据中心智能运维巡检方法
Jiun-In et al. Pvalite CLN: Lightweight Object Detection with Classfication and Localization Network
CN115471533A (zh) 一种自适应医学影像快速配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant