CN116911079B - 一种不完备模型的自演化建模方法及系统 - Google Patents
一种不完备模型的自演化建模方法及系统 Download PDFInfo
- Publication number
- CN116911079B CN116911079B CN202311176977.4A CN202311176977A CN116911079B CN 116911079 B CN116911079 B CN 116911079B CN 202311176977 A CN202311176977 A CN 202311176977A CN 116911079 B CN116911079 B CN 116911079B
- Authority
- CN
- China
- Prior art keywords
- target
- model
- information
- self
- tactile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000012790 confirmation Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 210000000078 claw Anatomy 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000009021 linear effect Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000035807 sensation Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000000523 sample Substances 0.000 description 16
- 239000002184 metal Substances 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000011347 resin Substances 0.000 description 6
- 229920005989 resin Polymers 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000000418 atomic force spectrum Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于空间操控技术领域，具体涉及一种不完备模型的自演化建模方法及系统。本发明聚焦空间操控领域目标分类建模技术，提出以异构信息完善不完备模型的自演化建模方法，首先建立目标虚拟视景，之后获得目标的视觉测量模型，并通过视觉测量模型进行目标初步的类型确认，在此不完备视觉模型的基础上，通过机械臂碰触目标获取额外的目标表征信息，建立触觉感知模型，触觉作为视觉的异构信息，将触觉感知模型引入虚拟视景中目标的描述中，获得视觉测量模型与触觉感知模型相结合的自演化目标描述模型，通过实时测量目标的视觉与触觉信息，精准识别目标类型，完善虚拟视景中的模型信息。该方法为后续的空间操控航天器对目标建模提供一种新思路。
Description
技术领域
本发明属于空间操控技术领域，具体涉及一种不完备模型的自演化建模方法及系统，尤其涉及采用异构信息完善不完备模型的自演化建模方法及系统。
背景技术
随着航天技术的不断发展与成熟，其已深入到对地通讯、导航定位、气象遥感、深空探测等应用领域，朝着更精、更细、更远的目标发展。而以交会对接为起始发展而来的空间操控领域，则成为目前航天研究的热点，并朝着更智能的方向发展。
空间操控航天器可在太空自主完成任务，但对于未知目标的操控任务，现有技术难以适应，存在以下建模问题尚未解决：
（1）不完备信息下的建模能力
在复杂的环境与约束条件下，基于单一光学信息的建模不适应装备的建模特性，对于空间操控航天器而言，从任务上，需要对目标进行近距离抓捕、精细操作，这不仅需要目标的可见特性，还需要目标的接触特性，从而共同表征目标的抓捕可能性。采用异构信息对目标进行仿真建模方法尤为重要，需要研究特性识别的建模方法进行实物合理等效与识别，特别是获取目标的外形、纹理特性、类别等参数。
（2）自演化建模能力
三维场景模型从视觉角度建立模型，无法表征目标的其它维度特征。因此，在三维场景模型中需通过实际场景中接触信息进行可视化信息的补充、演化，获得目标的仿真模型视触特性。根据视触信息的匹配，解决系统自演化的问题。
发明内容
针对现有技术存在的不足，本发明提供一种不完备模型的自演化建模方法及系统。
本发明重点研究空间操控领域目标分类建模技术，提出采用异构信息完善不完备模型的自演化建模方法，主要包括以下步骤：
步骤S1、建立目标的虚拟视景；
步骤S2、设计目标的视觉测量模型；
步骤S3、通过视觉测量模型进行目标初步的类型确认；
步骤S4、建立触觉感知模型；
步骤S5、将触觉感知模型引入虚拟视景中目标的描述中，获得视觉测量模型与触觉感知模型相结合的自演化目标描述模型；
步骤S6、通过实时测量目标的视觉与触觉信息，精准识别目标类型，完善虚拟视景中的模型信息。
进一步地，在步骤S1中，使用建模软件构建目标的各个零部件的三维模型，然后进行整体装配和贴图，创建出目标的虚拟视景。
进一步地，在步骤S2中，所述视觉测量模型利用灰度统计信息方法来提取图像的纹理特征，并利用提取得到的纹理特征来分析物体的材质。
进一步地，在步骤S2中，视觉测量模型通过以下方法提取图像的纹理特征；首先计算灰度共生矩阵，灰度共生矩阵P(i,j,d,θ)定义为间隔为d个像素，方向为θ，其灰度级分别为i和j的像素点对的数目；然后从灰度共生矩阵中提取描述图像纹理的以下特征值：
二阶矩，用于度量图像分布均匀性；
熵值，用于度量图像中所具有的信息量；
对比度，用于度量图像的清晰度；
相关性，用于度量图像灰度级在行或列方向的相似度；
最后，计算四个方向的上述四个值的平均值和标准差，得到8维特征向量，用以表征图像的纹理特征。
进一步地，在步骤S2中，将灰度等级缩小为16级，选定d=1，四个方向分别为θ=0°，45°，90°，135°。
进一步地，在步骤S3中，通过相机拍摄不同方位的目标图像，采用步骤S2构建的视觉测量模型对目标图像的不同区域进行特征提取，获取目标图像中不同区域的8维特征向量；将目标图像的8维特征向量与已知零部件的8维特征向量进行比对，从而从目标图像中识别出已知零部件。
进一步地，在步骤S4中，使用动态时间规整算法计算训练样本的DTW距离匹配，将其映射到高维空间，然后建立两个手指训练样本的联合字典，通过稀疏表示获得测试样本的材质标签；训练样本的触觉信息的获取通过机械臂末端指爪，指爪包含不同手指，指爪抓握目标时，每个手指的触觉传感器采集到触觉序列。
进一步地，在步骤S4的算法流程如下：
（1）应用动态时间规整算法计算训练样本触觉时间序列的DTW距离匹配，以获得它们在时间轴上的对应关系；
（2）利用DTW核将欧式空间中非线性的DTW距离匹配映射到高维空间，更好地体现其线性性质；
（3）构建高维空间两个手指训练样本的联合字典，Convex凸优化工具包分别求解两个手指测试样本的稀疏表示；联合字典由两个手指的触觉时间序列对应的触觉向量组成，字典中的每一列都代表一个高维空间中的基向量；
（4）分别计算两个手指的稀疏表示与字典间的残差并将残差求和，根据最小残差的标签得到测试样本的材质标签。
进一步地，在步骤S5中，通过建立视-触融合框架，实现物体的多模态融合建模，使用非线性映射将包含不同模态信息的训练样本映射到高维特征空间，设计高维特征空间下的字典，并针对训练样本字典建立融合特征的稀疏表征，根据分配的最小残留差获得分类结果。
进一步地，在步骤S6中，虚拟视景中的模型包括目标场景、目标零部件的种类、形状、尺寸、纹理，以及接触应力信息；预先根据目标粗略外形信息建立场景，然后通过实时拍摄及抓取目标，不断提高信息的完备性，使目标进行自演化；通过拍摄的图片获取目标形状、尺寸、纹理信息，通过抓取目标获得目标的接触应力信息，通过视觉信息和触觉信息的融合获得目标种类信息。
本发明还在地面上搭建了不完备信息建模及验证系统。系统包含机械臂，在机械臂末端安装有指爪和测量相机，指爪包含多个手指，每一手指对应配备有触觉传感器；选择需要识别的目标，机械臂带动相机对目标进行拍照，获取视觉信息，然后指爪逼近目标进行夹持操作，获取触觉信息，触觉信息与视觉信息作为自演化目标描述模型的输入，模型输出目标类型，以此完善虚拟视景中的模型信息。
本发明的方法和系统，通过拍摄的图片可获取目标形状，尺寸，纹理信息，通过抓取目标可获得目标的接触应力信息，通过视觉信息和触觉信息的融合可获得目标种类信息。通过实时拍摄及抓取目标，不断提高信息的完备性，使目标进行自演化，为后续的空间操控航天器对目标建模提供一种新思路。
有益效果
（1） 本发明引入了自演化建模能力，在视觉模型基础上，通过融合触觉信息进行联合建模，以此来精确模拟航天目标的感知能力。经过自演化，结合视觉和触觉的优点又能让两者得到缺点的互补。
（2）本发明通过虚拟视景结合视觉、触觉体现目标模型，根据实际机械臂对视觉、触觉信息不断补充，不断完善目标模型，使得不完备信息逐渐完备。
附图说明
图1所示为建模方法的主要步骤。
图2所示为卫星模型支架结构模型。
图3所示为卫星后翼内部结构模型。
图4所示为卫星后翼外部结构模型。
图5所示为卫星天线模型。
图6所示为方形连接件模型。
图7所示为把手模型。
图8所示为圆形连接件局部结构模型。
图9所示为树脂圆形连接件模型。
图10所示为金属圆形连接件模型。
图11所示为橡胶线缆模型。
图12所示为目标虚拟视景。
图13所示为灰度共生矩阵示例。
图14所示为目标零部件的可视化检测结果。
图15所示为软胶把手触觉数据。
图16所示为金属把手触觉数据。
图17所示为树脂方形连接件触觉数据。
图18所示为金属方形连接件触觉数据。
图19所示为树脂圆形连接件触觉数据。
图20所示为金属圆形连接件触觉数据。
图21所示为橡胶线缆触觉数据。
图22所示为金属线缆触觉数据。
图23所示为以触觉信息为特征的建模混淆矩阵示例。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细描述。
本发明可应用于各类空间操控航天器，具体可用于己方卫星在轨抢救、维修、离轨操作等在轨服务任务，延长在轨工作寿命，节省高额卫星研制费用，提升在轨服务、在轨维护能力，未来可推广用于大型航天器在轨组装、更换、地外天体表面探测等任务，具有广泛的市场前景和应用价值。
采用异构信息完善不完备模型的自演化建模方法，其主要步骤见图1，包括：步骤S1、建立目标的虚拟视景；步骤S2、设计目标的视觉测量模型；步骤S3、通过视觉测量模型进行目标初步的类型确认；步骤S4、建立触觉感知模型；步骤S5、将触觉感知模型引入虚拟视景中目标的描述中，获得视觉测量模型与触觉感知模型相结合的自演化目标描述模型；步骤S6、通过实时测量目标的视觉与触觉信息，精准识别目标类型，完善虚拟视景中的模型信息。
步骤S1、建立目标的虚拟视景。
模型是虚拟视景中的关键元素，模型的质量将影响视景仿真软件的流畅度、精细度，也对用户体验感构成直观影响。对于巨型模型，使用优化与预处理技术使模型从机械制造的高精度中进行取舍，保留到合适的仿真精度。模型从绘制到导入引擎编辑器，整个程序繁琐，工作量大，可建立一套规范的流程来管理。
使用SolidWorks或其他建模软件，设计卫星太阳能电池板、卫星主体、卫星后翼、卫星天线等零部件以及实验用到的目标卫星局部部件的STL模型。图2至图11示意了部分零部件，其中，图2所示为卫星模型支架，图3所示为卫星后翼内部结构模型，图4所示为卫星后翼外部结构模型，图5所示为卫星天线模型，图6所示为方形连接件，图7所示为把手，图8所示为圆形连接件局部结构，图9所示为树脂圆形连接件，图10所示为金属圆形连接件，图11所示为橡胶线缆。
模型绘制须按部件分割，检查确保无误后再完成整体装配，并检查模型干涉。一方面，对模型分割后，解除了部件间繁琐的几何耦合，减轻模型绘制时的复杂度，当模型发生变更时，只需要进行增量修改即可，无需直接操作整体，装配体会自动完成更新；另一方面，直接绘制的整体模型导出后将变为一个整体，材质球只能选用一种，变相增加了后期贴图的工作量。
模型绘制完后导出为stl格式，该格式可记录各部件信息和装配体结构图。
利用3DMax或者其他软件对STL模型进行格式转换，然后导入到Unity中。
材质编辑和贴图使用Blender软件内置的编辑器实现，对于材质也可以使用Unity插件ShaderForge实现。
模型贴图需要将整个三维物体的表面映射到二维空间中，该过程不可避免会对三维模型表面进行切割，从而使其表面变为一块或多块二维平面，方便美工人员在其表面进行绘画，这个过程称为模型的UV展开，UV展开的逆过程就是模型贴图。
最终形成目标虚拟视景的1:1模型如图12所示。
步骤S2、设计目标的视觉测量模型。
图像纹理特征是一种重要的视觉特征，是可以表现图像本质的特征，通过提取材质表面的纹理特征可以分析物体的材质。本发明通过获取图像，然后采用灰度统计信息方法提取图像的纹理特征，用于分析材质。
灰度共生矩阵(GLDM)的统计方法是20世纪70年代初由R.Haralick等人提出的，它是在假定图像中各像素间的空间分布关系包含了图像纹理信息的前提下，提出的一种纹理分析方法。
共生矩阵用两个位置的像素的联合概率密度来定义，它不仅反映亮度的分布特征，也反映具有同样亮度或者接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础。由于纹理是由灰度在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。灰度共生矩阵就是一种通过研究灰度的空间相关特性来描述纹理的一种方法。
灰度共生矩阵P(i,j,d,θ)定义为间隔为d个像素，方向为θ(即两点连线与x轴夹角)，其灰度级分别为i和j的像素点对的数目。该值即为灰度共生矩阵中第i行和第j列元素的值。为了减少计算量，将灰度等级缩小为16级，选定d=1，θ=0°，45°，90°，135°。0°时灰度共生矩阵的获取如图13所示。
一幅图像的灰度共生矩阵反映了图像灰度关于方向、相邻间隔、变化幅度等的综合信息，从经过上一步所得到的灰度共生矩阵中可以提取描述图像纹理的各种特征值。这些特征值与目标表面的纹理状况有着密切的关系。以下具体阐述这些特征值的提取，以及它们所反映的目标的某些特性。
1） 二阶矩
二阶矩是图像分布均匀性的度量，若二阶矩的值较大，则图像纹理较粗，表明此目标是由较粗的纹理组成，相反，则表明目标的纹理较细。计算公式为：
2） 熵
熵值是图像中所具有的信息量的度量。若某种目标的纹理排列较密集，则图像中充满细纹理，灰度共生矩阵中各元素的值近似相等，此时的熵值较大。反之纹理排列较疏松，熵值就较小。计算公式为：
3） 对比度
图像的对比度反映了图像的清晰度，当图像的结构纬度和经度在交织在一起，凹凸起伏越明显，凹进去的沟纹越深，说明对比度越大。计算公式为：
4） 相关性
相关性用于测量图像灰度级在行或列方向的相似度，局部灰度值大小可以反映相关性，值越大，表示相关性越大。计算公式为：
计算θ=0°，45°，90°，135°四个方向的上述四个值的平均值和标准差，得到8维特征向量，表征目标纹理图像。
通过上述方法，获得将图像转化为8维特征向量的视觉测量模型。
步骤S3、通过视觉测量模型进行目标初步的类型确认。
通过相机拍摄不同方位的目标图像，采用步骤S2构建的视觉测量模型对目标图像的不同区域进行特征提取，即获取目标图像中不同区域的8维特征向量。将目标图像的8维特征向量与已知零部件的8维特征向量进行比对，从而从目标图像中识别出已知零部件。可视化的检测结果如图14所示，识别出的已知零部件被标注于识别框中。
将目标图像的8维特征向量与已知零部件的8维特征向量进行比对，需要建立已知零部件的8维特征向量数据库，数据库可以按以下步骤建立：
（1）采集已知零部件的图像：通过相机采集已知零部件的不同角度的图像。
（2）提取已知零部件的特征向量：使用步骤S2中描述的视觉测量模型，对已知零部件的图像进行特征提取，得到每个零部件不同角度的8维特征向量。
（3）建立特征向量的数据库：将每个已知零部件不同角度的8维特征向量与零部件的类型信息进行关联，并将它们存储在一个数据库中。
（4）数据库管理：建立一套规范的流程来管理和更新已知零部件的特征向量数据库。可以包括添加新的已知零部件，以及包括更新已知零部件的特征向量。
（5）数据库查询：通过将目标图像的8维特征向量与已知零部件的特征向量数据库进行比对，识别出目标图像中的已知零部件。查询数据库时，可以使用相似度匹配算法来找到与目标特征向量最相似的已知特征向量。
步骤S4、建立触觉感知模型。
应用核稀疏编码对采集到的触觉时间序列进行建模，将在欧式空间非线性的低维数据映射到高维空间，更好地体现其线性性质。采用动态时间规整(Dynamic TimeWarping, DTW)来度量两个长度不等的时间序列的距离，以便用于训练数据和测试数据。动态时间规整由日本学者Itakura提出，它出现的目的是用来度量两个长度不同的时间序列的相似度，主要应用于语音识别、手势识别、数据挖掘等领域中。
动态时间规整(DTW)是一个典型的数据优化问题，它用满足一定条件的动态时间规整函数描述测试样本和参考样本间的时间轴上的对应关系，求解两个样本动态匹配时累计距离最小时所对应的规整函数。
虽然动态时间规整(DTW)距离匹配对于不等长的时间序列能发挥最大优势，但是DTW距离不满足三角不等式和距离测度的性质。
为了将训练样本匹配到一个更高维的空间，提出了一个更好的线性表达，这个线性特性相对于原始的触觉序列的非线性特性而言。因此，定义从低维空间到高维空间的非线性变换，获得基于DTW核的匹配功能。应用凸优化包求解得到测试样本的稀疏表达。测试样本的类别由与样本中最小重构误差所对应的训练样本的类别来决定。核稀疏编码在DTW距离的基础上应用DTW核实现对整个触觉序列的编码工作。
触觉信息的获取通过机械臂末端指爪，指爪包含不同手指，每个手指的触觉传感器可以采集到不同的触觉序列，基于触觉的联合核稀疏编码方法，用于一个单独时间序列的不同手指间触觉信息的简单融合。这种方法不仅简单而且能挖掘不同手指采集的触觉信息指尖的内在联系，把不同的手指类比为不同的传感器，然后单独进行编码。
因此，触觉序列基于动态时间规整联合稀疏编码 (DTW-JKSC，Dynamic TimeWarping-Joint Kernel Sparse Coding)的算法流程如下：
（1）应用动态时间规整算法计算训练样本触觉时间序列的DTW距离匹配，以获得它们在时间轴上的对应关系。
（2）利用DTW核将欧式空间中非线性的DTW距离匹配映射到高维空间，更好地体现其线性性质，将原始的时间序列数据进行更有效的表达。
（3）构建高维空间两个手指训练样本的联合字典，Convex凸优化工具包分别求解两个手指测试样本的稀疏表示。联合字典由两个手指的触觉时间序列对应的触觉向量组成，字典中的每一列都代表一个高维空间中的基向量。通过稀疏表示，用字典中的少量元素来表示样本，以更紧凑的方式表达数据。
（4）分别计算两个手指的稀疏表示与字典间的残差并将残差求和，根据最小残差的标签得到测试样本的材质标签。
步骤S5、将触觉感知模型引入虚拟视景中目标的描述中，获得视觉测量模型与触觉感知模型相结合的自演化目标描述模型。
首先通过触觉感知模型可对目标进行触觉分类测试。
受限于各类物件的外观形状，触觉受力阵列点的数量也有不同。而单纯采用平均值计算对于一些材质分类不能起到很好的区别作用。处理过程中要计算所有的阵列点的斜率，剔除掉由于非接触而导致全噪声拟合而成的“野点”，在剩下的阵列点斜率进行均值得出斜率结论。触觉数据包含了传感器在不同时刻受到的力，其中包含未受力过程、挤压过程、以及受力平衡过程，其受力曲线图如图15至图22所示所示。其中，图15为软胶把手触觉数据；图16为金属把手触觉数据；图17为树脂方形连接件触觉数据；图18为金属方形连接件触觉数据；图19为树脂圆形连接件触觉数据；图20为金属圆形连接件触觉数据；图21为橡胶线缆触觉数据；图22为金属线缆触觉数据。
数据处理过程中，首先要进行的就是数据分段，过滤掉无效数据，截取感知单元受力过程中的数据进行曲线拟合，由于直接获取到的压力值是未经过传感器标零的数据，所以传感器在未受力的情况下，得到的值并不为0，而且传感器本身的材料受限，未受力时的值并不为一个恒定的值，而是在一个极小范围内波动的值。
在图23中，列举了以触觉信息为特征的建模混淆矩阵图。从混淆矩阵中可以看出，由于抓取姿态的不同，不同类物体之间的区分度较好。但对软硬近似的不同类物体存在一定的混淆。
然后将触觉感知模型引入虚拟视景中目标的描述中，将视觉测量模型与触觉感知模型相结合，采用以下方法获取自演化目标描述模型。
建立视-触融合框架，实现物体的多模态融合建模，具体过程如下。
（1）假设有M个模态信息（此处，M=2），O m ={O m,i }∈M m ，i=1:N m ，其中N m 是训练样本的个数，M m 代表第m个模态数据特征描述，m=1,2…,M。将训练样本映射到高维特征空间，在特征空间中的线性对应于原始空间中的非线性。用φ m :M m ->H m 作为从M m 映射到高维积空间H m 的非线性映射。
（2）在使用第m方式分类时，安排N m 个训练样本为矩阵的列，φ m (O m )叫做高维空间的字典。
（3）制定下列融合分类优化问题：
其中x m ∈R Nm 是系数向量。1范数||x m ||1是x m 元素的绝对值的和，是用来激励稀疏度。系数λ m 是相应的惩罚参数。
（4）对每一类g，设置δ m (x m )∈R Nm ，它的唯一的非零项是与g类相关联的x m ，得到给定样本的φ m (O m )近似为φ m (O m )δ m (x m )。然后，根据其分配到的最小残留差，将O m 分类。
以上得到视触觉融合分类模型。
步骤S6、通过实时测量目标的视觉与触觉信息，精准识别目标类型，完善虚拟视景中的模型信息。
虚拟视景中的模型包括目标场景、目标零部件的种类、形状、尺寸、纹理，以及接触应力信息。预先根据目标粗略外形信息建立场景，然后通过实时拍摄及抓取目标，不断提高信息的完备性，使目标进行自演化。通过拍摄的图片可获取目标形状，尺寸，纹理信息，通过抓取目标可获得目标的接触应力信息，通过视觉信息和触觉信息的融合可获得目标种类信息。
为了便于实施上述步骤，可以在地面上搭建不完备信息建模及验证系统。系统包含机械臂，在机械臂末端安装有指爪和测量相机，指爪上具有触觉传感器。选择需要识别的目标，例如卫星模拟器，机械臂带动相机对目标进行拍照，获取视觉信息，然后指爪逼近目标进行夹持操作，获取触觉信息，触觉信息与视觉信息作为自演化目标描述模型的输入，模型输出目标类型 ，完善虚拟视景中的模型信息。
以上实施方式是示例性的，其目的是说明本发明的技术构思及特点，以便熟悉此领域技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种不完备模型的自演化建模方法，其特征在于：包括以下步骤：
步骤S1、建立目标的虚拟视景；
步骤S2、设计目标的视觉测量模型；
步骤S3、通过视觉测量模型进行目标初步的类型确认；
步骤S4、建立触觉感知模型；
步骤S5、将触觉感知模型引入虚拟视景中目标的描述中，获得视觉测量模型与触觉感知模型相结合的自演化目标描述模型；
步骤S6、通过实时测量目标的视觉与触觉信息，准确识别目标类型，完善虚拟视景中的模型信息；
步骤S5中，通过建立视-触融合框架，实现物体的多模态融合建模，使用非线性映射将包含不同模态信息的训练样本映射到高维特征空间，设计高维特征空间下的字典，并针对训练样本字典建立融合特征的稀疏表征，根据分配的最小残留差获得分类结果；
在步骤S5中，建立视-触融合框架，实现物体的多模态融合建模，包括以下步骤：
（1）假设有M个模态信息，O m ={O m,i }∈M m ，i=1:N m ，其中N m 是训练样本的个数，M m 代表第m个模态数据特征描述，m=1,2…,M；将训练样本映射到高维特征空间，在特征空间中的线性对应于原始空间中的非线性；用φ m :M m ->H m 作为从M m 映射到高维积空间H m 的非线性映射；
（2）在使用第m方式分类时，安排N m 个训练样本为矩阵的列，φ m (O m )叫做高维空间的字典；
（3）制定下列融合分类优化问题：
其中x m ∈R Nm 是系数向量；1范数||x m ||1是x m 元素的绝对值的和，是用来激励稀疏度；系数λ m 是相应的惩罚参数；
（4）对每一类g，设置δ m (x m )∈R Nm ，它的唯一的非零项是与g类相关联的x m ，得到给定样本的φ m (O m )近似为φ m (O m )δ m (x m )；然后，根据其分配到的最小残留差，将O m 分类；
得到视触觉融合分类模型。
2.根据权利要求1所述的不完备模型的自演化建模方法，其特征在于：在步骤S1中，使用建模软件构建目标的各个零部件的三维模型，然后进行整体装配和贴图，创建出目标的虚拟视景。
3.根据权利要求1所述的不完备模型的自演化建模方法，其特征在于：在步骤S2中，所述视觉测量模型利用灰度统计信息方法来提取图像的纹理特征，并利用提取得到的纹理特征来分析物体的材质。
4.根据权利要求3所述的不完备模型的自演化建模方法，其特征在于：在步骤S2中，视觉测量模型通过以下方法提取图像的纹理特征；首先计算灰度共生矩阵，灰度共生矩阵P(i,j,d,θ)定义为间隔为d个像素，方向为θ，其灰度级分别为i和j的像素点对的数目；然后从灰度共生矩阵中提取描述图像纹理的以下特征值：
二阶矩，用于度量图像分布均匀性；
熵值，用于度量图像中所具有的信息量；
对比度，用于度量图像的清晰度；
相关性，用于度量图像灰度级在行或列方向的相似度；
最后，计算四个方向的上述四个值的平均值和标准差，得到8维特征向量，用以表征图像的纹理特征。
5.根据权利要求4所述的不完备模型的自演化建模方法，其特征在于：在步骤S2中，将灰度等级缩小为16级，选定d=1，四个方向分别为θ=0°，45°，90°，135°。
6.根据权利要求1所述的不完备模型的自演化建模方法，其特征在于：在步骤S4中，使用动态时间规整算法计算训练样本的DTW距离匹配，将其映射到高维空间，然后建立两个手指训练样本的联合字典，通过稀疏表示获得测试样本的材质标签；训练样本的触觉信息的获取通过机械臂末端指爪，指爪包含不同手指，指爪抓握目标时，每个手指的触觉传感器采集到触觉序列。
7.根据权利要求6所述的不完备模型的自演化建模方法，其特征在于：在步骤S4的算法流程如下：
（1）应用动态时间规整算法计算训练样本触觉时间序列的DTW距离匹配，以获得它们在时间轴上的对应关系；
（2）利用DTW核将欧式空间中非线性的DTW距离匹配映射到高维空间，更好地体现其线性性质；
（3）构建高维空间两个手指训练样本的联合字典，Convex凸优化工具包分别求解两个手指测试样本的稀疏表示；联合字典由两个手指的触觉时间序列对应的触觉向量组成，字典中的每一列都代表一个高维空间中的基向量；
（4）分别计算两个手指的稀疏表示与字典间的残差并将残差求和，根据最小残差的标签得到测试样本的材质标签。
8.根据权利要求1所述的不完备模型的自演化建模方法，其特征在于：在步骤S6中，虚拟视景中的模型包括目标场景、目标零部件的种类、形状、尺寸、纹理，以及接触应力信息；预先根据目标粗略外形信息建立场景，然后通过实时拍摄及抓取目标，不断提高信息的完备性，使目标进行自演化；通过拍摄的图片获取目标形状、尺寸、纹理信息，通过抓取目标获得目标的接触应力信息，通过视觉信息和触觉信息的融合获得目标种类信息。
9.一种不完备模型的自演化建模及验证系统，其特征在于：所述系统包含机械臂，在机械臂末端安装有指爪和测量相机，指爪包含多个手指，每一手指对应配备有触觉传感器；所述系统根据权利要求1至8任一项所述的方法运行，机械臂带动相机对目标进行拍照，获取视觉信息，指爪逼近目标进行夹持操作，获取触觉信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311176977.4A CN116911079B (zh) | 2023-09-13 | 2023-09-13 | 一种不完备模型的自演化建模方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311176977.4A CN116911079B (zh) | 2023-09-13 | 2023-09-13 | 一种不完备模型的自演化建模方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116911079A CN116911079A (zh) | 2023-10-20 |
| CN116911079B true CN116911079B (zh) | 2024-02-09 |
Family
ID=88358812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311176977.4A Active CN116911079B (zh) | 2023-09-13 | 2023-09-13 | 一种不完备模型的自演化建模方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116911079B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110737339A (zh) * | 2019-10-28 | 2020-01-31 | 福州大学 | 基于深度学习的视觉—触觉交互模型构建方法 |
| CN111204476A (zh) * | 2019-12-25 | 2020-05-29 | 上海航天控制技术研究所 | 一种基于强化学习的视触融合精细操作方法 |
| CN114660934A (zh) * | 2022-03-03 | 2022-06-24 | 西北工业大学 | 一种基于视觉-触觉融合的机械臂自主操作策略学习方法 |
| CN114851227A (zh) * | 2022-06-22 | 2022-08-05 | 上海大学 | 一种基于机器视觉与触觉融合感知的装置 |
| CN116652939A (zh) * | 2023-05-16 | 2023-08-29 | 吉林大学 | 一种并联机器人无标定视觉伺服柔顺控制方法 |
| CN116652971A (zh) * | 2023-07-31 | 2023-08-29 | 江苏云幕智造科技有限公司 | 一种不同刚度物体识别与机械手抓取力控制方法 |
-
2023
- 2023-09-13 CN CN202311176977.4A patent/CN116911079B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110737339A (zh) * | 2019-10-28 | 2020-01-31 | 福州大学 | 基于深度学习的视觉—触觉交互模型构建方法 |
| CN111204476A (zh) * | 2019-12-25 | 2020-05-29 | 上海航天控制技术研究所 | 一种基于强化学习的视触融合精细操作方法 |
| CN114660934A (zh) * | 2022-03-03 | 2022-06-24 | 西北工业大学 | 一种基于视觉-触觉融合的机械臂自主操作策略学习方法 |
| CN114851227A (zh) * | 2022-06-22 | 2022-08-05 | 上海大学 | 一种基于机器视觉与触觉融合感知的装置 |
| CN116652939A (zh) * | 2023-05-16 | 2023-08-29 | 吉林大学 | 一种并联机器人无标定视觉伺服柔顺控制方法 |
| CN116652971A (zh) * | 2023-07-31 | 2023-08-29 | 江苏云幕智造科技有限公司 | 一种不同刚度物体识别与机械手抓取力控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116911079A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816725B (zh) | 一种基于深度学习的单目相机物体位姿估计方法及装置 | |
| CN110458939B (zh) | 基于视角生成的室内场景建模方法 | |
| CN107748871B (zh) | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 | |
| EP2026279B1 (en) | Method and system for aligning three-dimensional surfaces | |
| Solina et al. | Recovery of parametric models from range images: The case for superquadrics with global deformations | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN108875813B (zh) | 一种基于几何图像的三维网格模型检索方法 | |
| CN110009674B (zh) | 基于无监督深度学习的单目图像景深实时计算方法 | |
| CN109670576B (zh) | 一种多尺度视觉关注图像描述方法 | |
| Wu | Recovering parametric geons from multiview range data | |
| CN111204476B (zh) | 一种基于强化学习的视触融合精细操作方法 | |
| CN106599053B (zh) | 一种三维模型检索方法 | |
| CN111507357B (zh) | 一种缺陷检测语义分割模型建模方法、装置、介质及设备 | |
| CN106844620B (zh) | 一种基于视图的特征匹配三维模型检索方法 | |
| CN113159232A (zh) | 一种三维目标分类、分割方法 | |
| CN109740471B (zh) | 基于联合潜在语义嵌入的遥感图像描述方法 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| Pan et al. | Establishing point correspondence of 3d faces via sparse facial deformable model | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN113516693A (zh) | 一种快速通用的图像配准方法 | |
| Wang et al. | Classification and extent determination of rock slope using deep learning | |
| CN116911079B (zh) | 一种不完备模型的自演化建模方法及系统 | |
| Du et al. | 3d contact point cloud reconstruction from vision-based tactile flow | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| Kashihara | An intelligent computer assistance system for artifact restoration based on genetic algorithms with plane image features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |