CN117644513A - 一种机械臂控制方法、系统、设备和介质 - Google Patents
一种机械臂控制方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN117644513A CN117644513A CN202311739505.5A CN202311739505A CN117644513A CN 117644513 A CN117644513 A CN 117644513A CN 202311739505 A CN202311739505 A CN 202311739505A CN 117644513 A CN117644513 A CN 117644513A
- Authority
- CN
- China
- Prior art keywords
- spafd
- data
- feature
- mechanical arm
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000009471 action Effects 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种机械臂控制方法、系统、设备和介质，涉及机械臂控制技术领域，响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像，对采集图像进行特征提取，生成初始SpaFD特征数据，采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据，采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息，根据操作信息控制机械臂运行；解决了现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题。
Description
技术领域
本发明涉及机械臂控制技术领域，尤其涉及一种机械臂控制方法、系统、设备和介质。
背景技术
在现代工业生产中，机械臂扮演着重要的作用，可以完成各种复杂的任务，如装配、搬运和精密操作等。为了提高机械臂的自主识别能力，使其能够适应不同的场景和工件，针对机械臂的抓取物图像识别技术变得尤为重要。
目前，对于现有的机械臂识别控制大多采用深度学习方法构建网络模型，然而，构建网络模型需要设计复杂的网络结构，并要进行大量的超参数调优才能取得良好的性能，而采用传统机器学习方法也需要根据具体数据和任务进行特征的选择和优化，因此，现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题。
发明内容
本发明提供了一种机械臂控制方法、系统、设备和介质，解决了现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题。
本发明第一方面提供的一种机械臂控制方法，包括：
响应控制请求，确定所述控制请求对应的机械臂并通过所述机械臂获取对应的采集图像；
对所述采集图像进行特征提取，生成初始SpaFD特征数据；
采用协方差矩阵自适应进化策略算法对所述初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据；
采用所述目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息；
根据所述操作信息控制所述机械臂运行。
可选地，所述标准SpaFD特征模型库的构建过程包括：
采集不同场景的各种类型抓取物的采样图像；
对各所述采样图像进行所述特征提取，生成各所述采样图像关联所述标准SpaFD特征数据；
采集各所述抓取物不同角度的采样图像，采用结构光方法获取各所述抓取物的定点坐标数据；
采用各所述抓取物检索预设操作动作键值对数据库，匹配各所述抓取物关联的操作动作数据；
采用全部所述标准SpaFD特征数据、所述定点坐标数据和所述操作动作数据构建标准SpaFD特征模型库。
可选地，所述特征提取过程包括：
获取图像各波段的提取特征数据；
对所述图像进行v阶二维分数阶微分掩模，生成各波段对应的初始v阶特征数据；
所述初始v阶特征数据的表达式为：
式中，表示第Z波段的所述初始v阶特征数据，其中Z＝1，2，…，m，S表示掩模尺寸，M(v)(i，j)表示掩模中心坐标，i表示图像像素值的横坐标，j表示图像像素值的纵坐标，v表示阶数，Z表示波段；
采用各波段关联的所述提取特征数据和所述v阶特征数据，确定各波段对应的目标v阶特征数据；
所述目标v阶特征数据的表达式为：
式中，表示第Z波段的所述目标v阶特征数据，fZ(x0,y0)表示第Z波段的所述提取特征数据；
将全部所述目标v阶特征数据按照原始波段顺序叠加，生成SpaFD特征数据；
所述SpaFD特征数据的表达式为：
式中，F表示所述SpaFD特征数据。
可选地，所述采用协方差矩阵自适应进化策略算法对所述初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据的步骤，包括：
对所述初始SpaFD特征数据进行持续的上采样，直至上采样结果处于预设标准差向量范围时，则停止迭代；
其中，对每一次迭代过程所采用的参数进行更新；
将处于预设标准差向量范围的所述上采样结果作为最优的SpaFD特征数据，生成目标SpaFD特征数据。
可选地，所述参数包括均值向量、协方差矩阵、方向相关矩阵和标准差向量。
可选地，所述采用所述目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息的步骤，包括：
采用所述目标SpaFD特征数据生成目标键；
将所述目标键输入预设标准SpaFD特征模型库，匹配与所述目标SpaFD特征数据一致的标准SpaFD特征数据；
提取所述标准SpaFD特征数据关联的操作信息；
所述操作信息包括定点坐标数据和操作动作数据。
可选地，所述根据所述操作信息控制所述机械臂运行的步骤，包括：
控制所述机械臂向所述定点坐标数据关联的定点坐标进行抓取；
采用所述机械臂执行所述操作动作数据关联的操作动作。
本发明第二方面提供的一种机械臂控制系统，包括：
响应模块，用于响应控制请求，确定所述控制请求对应的机械臂并通过所述机械臂获取对应的采集图像；
特征提取模块，用于对所述采集图像进行特征提取，生成初始SpaFD特征数据；
拟合模块，用于采用协方差矩阵自适应进化策略算法对所述初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据；
检索模块，用于采用所述目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息；
运行模块，用于根据所述操作信息控制所述机械臂运行。
本发明第三方面提供的一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的机械臂控制方法的步骤。
本发明第四方面提供的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项所述的机械臂控制方法。
从以上技术方案可以看出，本发明具有以下优点：
响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像，对采集图像进行特征提取，生成初始SpaFD特征数据，采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据，采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息，根据操作信息控制机械臂运行；解决了现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题；本发明采用特征提取的对图像提取，对于图像的尺度变化具有一定的不变性，其中，提取得到的SpaFD特征对图像的纹理特征具有很好的描述能力，能够反映出图像的纹理结构。机械臂的应用中，常常需要对抓取物进行定位和跟踪。通过使用SpaFD特征，机械臂可以从图像中提取纹理特征，并将其与预先定义的纹理特征进行比较，以确定抓取物的位置和姿态信息。可以帮助机械臂精确地定位和跟踪目标，从而实现精准操作和任务完成。同时，本发明采用了协方差矩阵自适应进化策略算法，协方差矩阵的自适应进化策略算法在优化过程中具有快速收敛和高效优化的特点。通过将协方差矩阵的自适应进化策略算法与SpaFD特征相结合，可以更快速地找到最佳特征表示和参数设置，提高图像识别算法的训练和推理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种机械臂控制方法的步骤流程图；
图2为本发明实施例二提供的一种机械臂控制方法的步骤流程图；
图3为本发明实施例三提供的一种机械臂控制系统的结构框图。
具体实施方式
本发明实施例提供了一种机械臂控制方法、系统、设备和介质，用于解决现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种机械臂控制方法的步骤流程图。
本发明提供的一种机械臂控制方法，包括：
步骤101、响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像。
控制请求，指的是针对机械臂进行控制的请求信息；
机械臂的主要组成部分是基座、关节、运动链、手段、高光谱摄像头等。
采集图像，指的是通过安装于机械臂上的高光谱摄像头采集到高光谱图像。
在本发明实施例中，响应于接收到的控制请求，确定需要进行控制的机械臂，并通过安装于机械臂上的摄像头进行图像采集。
步骤102、对采集图像进行特征提取，生成初始SpaFD特征数据。
特征提取，指的是基于二维分数阶微分掩模提取高光谱图像的像素空间分数阶微分(SpaFD)特征。
在本发明实施例中，对采集图像进行特征提取，生成初始像素空间分数阶微分(SpaFD)特征。
步骤103、采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据。
协方差矩阵自适应进化算法(Covariance Matrix Adaptation EvolutionStrategy，简称CMA-ES)是一种高效的优化算法。
CMA-ES算法是一种进化策略(Evolution Strategy，简称ES)，通过模拟自然进化的过程来优化目标函数。CMA-ES算法具有自适应性，能够自动调整搜索策略以适应问题的特性。
CMA-ES算法的核心是协方差矩阵的自适应更新。协方差矩阵是一个重要的参数，描述了搜索空间中解的分布情况。CMA-ES算法通过不断更新协方差矩阵，使得搜索过程更加高效。
因此，本发明采用了协方差矩阵自适应进化策略算法，协方差矩阵的自适应进化策略算法在优化过程中具有快速收敛和高效优化的特点。通过将协方差矩阵的自适应进化策略算法与SpaFD特征相结合，可以更快速地找到最佳特征表示和参数设置，提高图像识别算法的训练和推理效率。
在本发明实施例中，采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，输出最优解，并将最优拟合结果关联的初始SpaFD特征数据作为目标SpaFD特征数据。
步骤104、采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息。
在本发明实施例中，采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，匹配与目标SpaFD特征数据一致的标准SpaFD特征数据，并提取标准SpaFD特征数据关联的操作信息。
步骤105、根据操作信息控制机械臂运行。
在本发明实施例中，操作信息包括定点坐标数据和操作动作数据，控制机械臂向定点坐标数据关联的定点坐标进行抓取；采用机械臂执行操作动作数据关联的操作动作。
在本发明中，响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像，对采集图像进行特征提取，生成初始SpaFD特征数据，采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据，采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息，根据操作信息控制机械臂运行；解决了现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题；本发明采用特征提取的对图像提取，对于图像的尺度变化具有一定的不变性，其中，提取得到的SpaFD特征对图像的纹理特征具有很好的描述能力，能够反映出图像的纹理结构。机械臂的应用中，常常需要对抓取物进行定位和跟踪。通过使用SpaFD特征，机械臂可以从图像中提取纹理特征，并将其与预先定义的纹理特征进行比较，以确定抓取物的位置和姿态信息。可以帮助机械臂精确地定位和跟踪目标，从而实现精准操作和任务完成。同时，本发明采用了协方差矩阵自适应进化策略算法，协方差矩阵的自适应进化策略算法在优化过程中具有快速收敛和高效优化的特点。通过将协方差矩阵的自适应进化策略算法与SpaFD特征相结合，可以更快速地找到最佳特征表示和参数设置，提高图像识别算法的训练和推理效率。
请参阅图2，图2为本发明实施例二提供的一种机械臂控制方法的步骤流程图。
本发明提供的一种机械臂控制方法，包括：
步骤201、响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像。
在本发明实施例中，步骤201的具体实施过程与步骤101类似，在此不再赘述。
步骤202、对采集图像进行特征提取，生成初始SpaFD特征数据。
在本发明实施例中，步骤202的具体实施过程与步骤102类似，在此不再赘述。
进一步地，特征提取过程包括：
获取图像各波段的提取特征数据；
在本发明实施例中，提取特征数据为fZ(x0,y0)，fZ(x0,y0)表示高光谱图像(采样图像和采集图像)第Z波段上的二维图像f(x,y)在(x0,y0)处的值。
对图像进行v阶二维分数阶微分掩模，生成各波段对应的初始v阶特征数据；
初始v阶特征数据的表达式为：
式中，表示第Z波段的初始v阶特征数据，其中Z＝1，2，…，m，S表示掩模尺寸，M(v)(i,j)表示掩模中心坐标，i表示图像像素值的横坐标，j表示图像像素值的纵坐标，v表示阶数，Z表示波段；
采用各波段关联的提取特征数据和v阶特征数据，确定各波段对应的目标v阶特征数据；
目标v阶特征数据的表达式为：
式中，表示第Z波段的目标v阶特征数据，fZ(x0,y0)表示第Z波段的提取特征数据；
将全部目标v阶特征数据按照原始波段顺序叠加，生成SpaFD特征数据；
SpaFD特征数据的表达式为：
式中，F表示SpaFD特征数据。
值得一提的是，将全部目标v阶特征数据按照原始波段顺序叠加，以增强纹理细节，得到SpaFD特征数据。
需要说明的是，在特征提取过程中，图像指的是(采样图像或采集图像)，两者的提取过程相同，在此不在赘述。
步骤203、采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据。
进一步地，步骤203可以包括以下子步骤：
S11、对初始SpaFD特征数据进行持续的上采样，直至上采样结果处于预设标准差向量范围时，则停止迭代；
其中，对每一次迭代过程所采用的参数进行更新；
在本发明实施例中，利用采样单元
在本发明实施例中，利用采样单元对初始SpaFD特征数据进行持续的上采样。
S12、将处于预设标准差向量范围的上采样结果作为最优的SpaFD特征数据，生成目标SpaFD特征数据。
进一步地，参数包括均值向量、协方差矩阵、方向相关矩阵和标准差向量。
为了便于理解，以下为协方差矩阵自适应进化策略算法的拟合过程：
1)初始化协方差矩阵自适应进化策略算法均值向量m，协方差矩阵C，方向相关矩阵B和标准差向量σ，并预设当标准差向量σ达到某一范围后，停止迭代。
2)将采集到的图像转换为灰度图像，将灰度图像分为若干个小块，每个小块通常称为像素块，对于每个像素块，将像素块中的每个像素的灰度值作为样本向量的一个分量。生成的N个样本向量xi，i＝1，2，...，N，这些向量对应于图像参数的不同取值。根据当前的均值向量m和协方差矩阵C使用多元高斯分布N(m，C)生成样本向量。
3)将每个样本向量xi应用到图像中，计算对应的函数值f(xi)；
f(xi)＝ΣLB·xi
其中，LB表示滤波器系数，滤波器系数自定义。
4)根据函数值f(xi)对样本向量按照大到小进行排序，选择前mu个样本向量作为父代解。mu为选择个体数，根据实际情况设定。
5)计算进化路径向量p；
其中，wi表示样本权重，w表示权重和。
6)更新均值向量m更；
m更＝(m+αp)×p
其中，αp是进化路径步长系数，m是当前的均值向量。
7)计算样本变异向量yi；
yi＝B·D(xi)
其中，B是方向相关矩阵，D是对角矩阵，对角元素为σi，即标准差向量的元素。
8)更新协方差矩阵C；
其中，αC是协方差矩阵学习速率。
9)计算标准差调整向量C；
其中，μeff是有效选择个体数，neff是优化变量的有效维数。
10)计算并更新标准差更新向量Δσ；
σ＝σ·exp(Δσ)
如果终止条件满足，停止迭代，输出当前的最优解x*，即最优拟合结果。
根据最优拟合结果关联的SpaFD特征数据作为目标SpaFD特征数据并输出。
步骤204、采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息。
进一步地，标准SpaFD特征模型库的构建过程包括：
采集不同场景的各种类型抓取物的采样图像；
在本发明实施例中，由于机械臂的工作场景不固定和需要抓取的抓取物类型众多，因此需要获取不同场景的各种类型抓取物的采样图像进而构建特征模型库。
对各采样图像进行特征提取，生成各采样图像关联标准SpaFD特征数据；
在本发明实施例中，此处的特征提取与上述的步骤202中的特征提取的过程相同，在此不在赘述。
采集各抓取物不同角度的采样图像，采用结构光方法获取各抓取物的定点坐标数据；
在本发明实施例中，通过采集抓取物的多个角度的图像，基于结构光方法，使用相机或其他传感器记录投射光模式后物体表面的光变，获取抓取物的三维点数据，进而确定抓取物的定点坐标数据，也即机械臂所要抓取的坐标点。此处为常规的坐标转换，在此不再赘述。
采用各抓取物检索预设操作动作键值对数据库，匹配各抓取物关联的操作动作数据；
预设操作动作键值对数据库，是指抓取物与预设所需操作动作之间的关联所建立的键值对数据库，其中，抓取物作为键，操作动作作为值。
所需操作动作包括但不限于伸手、旋转等操作动作。
在本发明实施例中，采用各抓取物检索预设操作动作键值对数据库，匹配各抓取物关联的操作动作数据。
采用全部标准SpaFD特征数据、定点坐标数据和操作动作数据构建标准SpaFD特征模型库。
在本发明实施例中，根据不同的抓取物将关联的标准SpaFD特征数据、定点坐标数据和操作动作数据进行分类，可以理解为，一个抓取物对应这一组抓取数据，抓取数据包括标准SpaFD特征数据、定点坐标数据和操作动作数据。
进一步地，步骤204可以包括以下子步骤：
S21、采用目标SpaFD特征数据生成目标键；
S22、将目标键输入预设标准SpaFD特征模型库，匹配与目标SpaFD特征数据一致的标准SpaFD特征数据；
S23、提取标准SpaFD特征数据关联的操作信息；
操作信息包括定点坐标数据和操作动作数据。
标准SpaFD特征模型库为键值对数据库，将目标SpaFD特征数据与标准SpaFD特征数据、定点坐标数据和操作动作数据的关联所建立的键值对数据库，其中，目标SpaFD特征数据作为键，标准SpaFD特征数据、定点坐标数据和操作动作数据作为值。
在本发明实施例中，将目标SpaFD特征数据作为目标键，输入预设标准SpaFD特征模型库，检索与目标SpaFD特征数据一致的标准SpaFD特征数据，并将标准SpaFD特征数据关联定点坐标数据和操作动作数据提取出来，作为操作信息。
步骤205、控制机械臂向定点坐标数据关联的定点坐标进行抓取。
在本发明实施例中，控制机械臂向定点坐标数据关联的定点坐标进行抓取。
步骤206、采用机械臂执行操作动作数据关联的操作动作。
在本发明实施例中，采用机械臂执行操作动作数据关联的操作动作。
在本发明中，响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像，对采集图像进行特征提取，生成初始SpaFD特征数据，采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据，采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息，根据操作信息控制机械臂运行；解决了现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题；本发明采用特征提取的对图像提取，对于图像的尺度变化具有一定的不变性，其中，提取得到的SpaFD特征对图像的纹理特征具有很好的描述能力，能够反映出图像的纹理结构。机械臂的应用中，常常需要对抓取物进行定位和跟踪。通过使用SpaFD特征，机械臂可以从图像中提取纹理特征，并将其与预先定义的纹理特征进行比较，以确定抓取物的位置和姿态信息。可以帮助机械臂精确地定位和跟踪目标，从而实现精准操作和任务完成。同时，本发明采用了协方差矩阵自适应进化策略算法，协方差矩阵的自适应进化策略算法在优化过程中具有快速收敛和高效优化的特点。通过将协方差矩阵的自适应进化策略算法与SpaFD特征相结合，可以更快速地找到最佳特征表示和参数设置，提高图像识别算法的训练和推理效率。
请参阅图3，图3为本发明实施例三提供的一种机械臂控制系统的结构框图。
本发明提供的一种机械臂控制系统，包括：
响应模块301，用于响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像；
特征提取模块302，用于对采集图像进行特征提取，生成初始SpaFD特征数据；
拟合模块303，用于采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据；
检索模块304，用于采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息；
运行模块305，用于根据操作信息控制机械臂运行。
进一步地，标准SpaFD特征模型库的构建过程包括：
采集不同场景的各种类型抓取物的采样图像；
对各采样图像进行特征提取，生成各采样图像关联标准SpaFD特征数据；
采集各抓取物不同角度的采样图像，采用结构光方法获取各抓取物的定点坐标数据；
采用各抓取物检索预设操作动作键值对数据库，匹配各抓取物关联的操作动作数据；
采用全部标准SpaFD特征数据、定点坐标数据和操作动作数据构建标准SpaFD特征模型库。
进一步地，特征提取过程包括：
获取图像各波段的提取特征数据；
对图像进行v阶二维分数阶微分掩模，生成各波段对应的初始v阶特征数据；
初始v阶特征数据的表达式为：
式中，表示第Z波段的初始v阶特征数据，其中Z＝1，2，…，m，S表示掩模尺寸，M(v)(i,j)表示掩模中心坐标，i表示图像像素值的横坐标，j表示图像像素值的纵坐标，v表示阶数，Z表示波段；
采用各波段关联的提取特征数据和v阶特征数据，确定各波段对应的目标v阶特征数据；
目标v阶特征数据的表达式为：
式中，表示第Z波段的目标v阶特征数据，fZ(x0,y0)表示第Z波段的提取特征数据；
将全部目标v阶特征数据按照原始波段顺序叠加，生成SpaFD特征数据；
SpaFD特征数据的表达式为：
式中，F表示SpaFD特征数据。
进一步地，拟合模块303包括：
迭代子模块，用于对初始SpaFD特征数据进行持续的上采样，直至上采样结果处于预设标准差向量范围时，则停止迭代；
其中，对每一次迭代过程所采用的参数进行更新；
目标SpaFD特征数据子模块，用于将处于预设标准差向量范围的上采样结果作为最优的SpaFD特征数据，生成目标SpaFD特征数据。
进一步地，参数包括均值向量、协方差矩阵、方向相关矩阵和标准差向量。
进一步地，检索模块304包括：
目标键子模块，用于采用目标SpaFD特征数据生成目标键；
标准SpaFD特征数据子模块，用于将目标键输入预设标准SpaFD特征模型库，匹配与目标SpaFD特征数据一致的标准SpaFD特征数据；
操作信息子模块，用于提取标准SpaFD特征数据关联的操作信息；
操作信息包括定点坐标数据和操作动作数据。
进一步地，运行模块305包括：
定点坐标子模块，用于控制机械臂向定点坐标数据关联的定点坐标进行抓取；
操作动作子模块，用于采用机械臂执行操作动作数据关联的操作动作。
在本发明中，响应控制请求，确定控制请求对应的机械臂并通过机械臂获取对应的采集图像，对采集图像进行特征提取，生成初始SpaFD特征数据，采用协方差矩阵自适应进化策略算法对初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据，采用目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息，根据操作信息控制机械臂运行；解决了现有的机械臂识别控制需要构建复杂的网络结构，对于需要快速响应的场景下存在局限性，无法自适应不同场景，存在无法快速对抓取物进行精准识别和控制的技术问题；本发明采用特征提取的对图像提取，对于图像的尺度变化具有一定的不变性，其中，提取得到的SpaFD特征对图像的纹理特征具有很好的描述能力，能够反映出图像的纹理结构。机械臂的应用中，常常需要对抓取物进行定位和跟踪。通过使用SpaFD特征，机械臂可以从图像中提取纹理特征，并将其与预先定义的纹理特征进行比较，以确定抓取物的位置和姿态信息。可以帮助机械臂精确地定位和跟踪目标，从而实现精准操作和任务完成。同时，本发明采用了协方差矩阵自适应进化策略算法，协方差矩阵的自适应进化策略算法在优化过程中具有快速收敛和高效优化的特点。通过将协方差矩阵的自适应进化策略算法与SpaFD特征相结合，可以更快速地找到最佳特征表示和参数设置，提高图像识别算法的训练和推理效率。
本发明实施例的一种电子设备，电子设备包括：存储器及处理器，存储器中储存有计算机程序；计算机程序被处理器执行时，使得处理器执行如上述任一实施例的机械臂控制方法。
存储器可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。程序代码可以例如以适当形式进行压缩。这些代码当由计算处理设备运行时，导致该计算处理设备执行上面所描述的方法中的各个步骤。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现如本发明任一实施例的机械臂控制方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种机械臂控制方法，其特征在于，包括：
响应控制请求，确定所述控制请求对应的机械臂并通过所述机械臂获取对应的采集图像；
对所述采集图像进行特征提取，生成初始SpaFD特征数据；
采用协方差矩阵自适应进化策略算法对所述初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据；
采用所述目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息；
根据所述操作信息控制所述机械臂运行。
2.根据权利要求1所述的机械臂控制方法，其特征在于，所述标准SpaFD特征模型库的构建过程包括：
采集不同场景的各种类型抓取物的采样图像；
对各所述采样图像进行所述特征提取，生成各所述采样图像关联所述标准SpaFD特征数据；
采集各所述抓取物不同角度的采样图像，采用结构光方法获取各所述抓取物的定点坐标数据；
采用各所述抓取物检索预设操作动作键值对数据库，匹配各所述抓取物关联的操作动作数据；
采用全部所述标准SpaFD特征数据、所述定点坐标数据和所述操作动作数据构建标准SpaFD特征模型库。
3.根据权利要求1或2所述的机械臂控制方法，其特征在于，所述特征提取过程包括：
获取图像各波段的提取特征数据；
对所述图像进行v阶二维分数阶微分掩模，生成各波段对应的初始v阶特征数据；
所述初始v阶特征数据的表达式为：
式中，表示第Z波段的所述初始v阶特征数据，其中Z＝1，2，…，m，S表示掩模尺寸，M(v)(i,j)表示掩模中心坐标，i表示图像像素值的横坐标，j表示图像像素值的纵坐标，v表示阶数，Z表示波段；
采用各波段关联的所述提取特征数据和所述v阶特征数据，确定各波段对应的目标v阶特征数据；
所述目标v阶特征数据的表达式为：
式中，表示第Z波段的所述目标v阶特征数据，fZ(x0,y0)表示第Z波段的所述提取特征数据；
将全部所述目标v阶特征数据按照原始波段顺序叠加，生成SpaFD特征数据；
所述SpaFD特征数据的表达式为：
式中，F表示所述SpaFD特征数据。
4.根据权利要求1所述的机械臂控制方法，其特征在于，所述采用协方差矩阵自适应进化策略算法对所述初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据的步骤，包括：
对所述初始SpaFD特征数据进行持续的上采样，直至上采样结果处于预设标准差向量范围时，则停止迭代；
其中，对每一次迭代过程所采用的参数进行更新；
将处于预设标准差向量范围的所述上采样结果作为最优的SpaFD特征数据，生成目标SpaFD特征数据。
5.根据权利要求4所述的机械臂控制方法，其特征在于，所述参数包括均值向量、协方差矩阵、方向相关矩阵和标准差向量。
6.根据权利要求1所述的机械臂控制方法，其特征在于，所述采用所述目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息的步骤，包括：
采用所述目标SpaFD特征数据生成目标键；
将所述目标键输入预设标准SpaFD特征模型库，匹配与所述目标SpaFD特征数据一致的标准SpaFD特征数据；
提取所述标准SpaFD特征数据关联的操作信息；
所述操作信息包括定点坐标数据和操作动作数据。
7.根据权利要求6所述的机械臂控制方法，其特征在于，所述根据所述操作信息控制所述机械臂运行的步骤，包括：
控制所述机械臂向所述定点坐标数据关联的定点坐标进行抓取；
采用所述机械臂执行所述操作动作数据关联的操作动作。
8.一种机械臂控制系统，其特征在于，包括：
响应模块，用于响应控制请求，确定所述控制请求对应的机械臂并通过所述机械臂获取对应的采集图像；
特征提取模块，用于对所述采集图像进行特征提取，生成初始SpaFD特征数据；
拟合模块，用于采用协方差矩阵自适应进化策略算法对所述初始SpaFD特征数据进行拟合，生成目标SpaFD特征数据；
检索模块，用于采用所述目标SpaFD特征数据检索预设标准SpaFD特征模型库，确定操作信息；
运行模块，用于根据所述操作信息控制所述机械臂运行。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的机械臂控制方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-7任一项所述的机械臂控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311739505.5A CN117644513A (zh) | 2023-12-18 | 2023-12-18 | 一种机械臂控制方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311739505.5A CN117644513A (zh) | 2023-12-18 | 2023-12-18 | 一种机械臂控制方法、系统、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117644513A true CN117644513A (zh) | 2024-03-05 |
Family
ID=90045082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311739505.5A Pending CN117644513A (zh) | 2023-12-18 | 2023-12-18 | 一种机械臂控制方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117644513A (zh) |
-
2023
- 2023-12-18 CN CN202311739505.5A patent/CN117644513A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020228446A1 (zh) | 模型训练方法、装置、终端及存储介质 | |
| CN110222580B (zh) | 一种基于三维点云的人手三维姿态估计方法和装置 | |
| Rashad et al. | Plants images classification based on textural features using combined classifier | |
| CN111699494A (zh) | 使用通过主成分分析和重复频谱聚类进行训练的卷积神经网络的对象识别 | |
| Wang et al. | Grasping pose estimation for SCARA robot based on deep learning of point cloud | |
| KR20190118387A (ko) | 합성곱 신경망 기반 이미지 처리 시스템 및 방법 | |
| CN111008618B (zh) | 一种自注意力深度学习端到端的行人再识别方法 | |
| CN110619059B (zh) | 一种基于迁移学习的建筑物标定方法 | |
| KR20180123810A (ko) | Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
| CN112149590A (zh) | 一种手部关键点检测方法 | |
| JP7192966B2 (ja) | 検索装置、学習装置、検索方法、学習方法及びプログラム | |
| CN114399624A (zh) | 基于孪生网络的双目视觉图像焊缝位置匹配方法 | |
| Hartman et al. | Supervised deep learning of elastic SRV distances on the shape space of curves | |
| CN114519813A (zh) | 一种机械臂目标抓取方法及系统 | |
| CN114998601A (zh) | 基于Transformer的在线更新目标跟踪方法及系统 | |
| Ni et al. | Learning an end-to-end spatial grasp generation and refinement algorithm from simulation | |
| JP7156643B2 (ja) | 姿勢推定装置、学習装置、方法、及びプログラム | |
| CN117644513A (zh) | 一种机械臂控制方法、系统、设备和介质 | |
| Tsai et al. | Visually guided picking control of an omnidirectional mobile manipulator based on end-to-end multi-task imitation learning | |
| Wu et al. | Convolutional neural networks for multi-stage semiconductor processes | |
| JPWO2012032747A1 (ja) | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム | |
| CN112506984A (zh) | 基于机器学习的多个指标的变化趋势影响分析方法及系统 | |
| Vargas et al. | Object recognition pipeline: Grasping in domestic environments | |
| Xie et al. | Online learning based long-term feature existence state prediction for visual topological localization | |
| CN116071400B (zh) | 一种基于激光雷达设备的目标轨迹跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |