CN114544052B - 触觉传感器、机器人、实现触觉信息获取的方法及装置 - Google Patents
触觉传感器、机器人、实现触觉信息获取的方法及装置 Download PDFInfo
- Publication number
- CN114544052B CN114544052B CN202210061023.8A CN202210061023A CN114544052B CN 114544052 B CN114544052 B CN 114544052B CN 202210061023 A CN202210061023 A CN 202210061023A CN 114544052 B CN114544052 B CN 114544052B
- Authority
- CN
- China
- Prior art keywords
- mark
- mark pattern
- pattern
- points
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000003550 marker Substances 0.000 claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006355 external stress Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000035882 stress Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L1/00—Measuring force or stress, in general
- G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文公开一种实现触觉信息获取的方法及装置，包括：获取按照一个以上预设角度捕获的一帧以上图像；对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息。本发明实施例基于包含二维连续的标志图案的连续式标志图案层的触觉传感器，提升了触觉信息的精度和分辨率，提高了传感器触觉信号的跟踪性能。
Description
技术领域
本文涉及但不限于传感器技术，尤指一种实现触觉信息获取的方法及装置。
背景技术
随着机器人技术的发展，触觉传感器的研制逐渐受到重视。与人类相似，机器人通过物理接触等方式感知来自外界的刺激，并根据感知到的刺激进行行为决策。触觉传感器能够使机器人尤其是服务型、仿生型机器人具备自主感知能力，这是机器人与外界环境、人类和其它机器人进行安全、可靠交互的核心要求。一般的触觉传感器技术通常只能实现法向力的检测，无法实现三维接触力的检测。
在现有技术中，基于视觉的触觉传感器能够实现三维接触力的检测。例如，在先申请的公开号为CN113049166A的申请，提出了一种触觉传感器及具有该触觉传感器的机器人，该传感器包括壳体单元、触体单元、图像采集单元、反射单元和光源单元；其中，触体单元包括外露的软体层和设于软体层内部的辨识图案层，通过采集辨识图案层的三维形貌进而得到三维受力，实现接触力信息的检测，具有结构简单和制备简易的特点。
上述触觉传感器存在精度、分辨率和可靠性受限的问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供一种实现触觉信息获取的方法及装置，能够提升传感器的工作性能。
本发明实施例还提供一种实现触觉信息获取的方法，包括：
获取按照一个以上预设角度捕获的一帧以上图像；
对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；
将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；
根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；
根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；
其中，所述图像为触觉传感器接收到外力时连续式标志图案层显示的图像；所述连续式标志图案层包含预设数量的标志图案，所述标志图案二维连续，且所述连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。
另一方面，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现触觉信息获取的方法。
还一方面，本发明实施例还提供一种终端，包括：存储器和处理器，所述存储器中保存有计算机程序；其中，
处理器被配置为执行存储器中的计算机程序；
所述计算机程序被所述处理器执行时实现如上述实现触觉信息获取的方法。
还一方面，本发明实施例还提供一种图像处理的装置，包括：获取单元、识别单元、确定单元、计算单元和生成单元；其中，
获取单元设置为：获取按照一个以上预设角度捕获的一帧以上图像；
识别单元设置为：对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；
确定单元设置为：将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；
计算单元设置为：根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；
生成单元设置为：根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；
其中，所述图像为触觉传感器接收到外力时连续式标志图案层显示的图像；所述连续式标志图案层包含预设数量的标志图案，所述标志图案二维连续，且所述连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。
本申请技术方案，包括：获取按照一个以上预设角度捕获的一帧以上图像；对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；其中，所述图像为触觉传感器接收到外力时连续式标志图案层显示的图像；所述连续式标志图案层包含预设数量的标志图案，所述标志图案二维连续，且所述连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。本发明实施例基于包含二维连续的标志图案的连续式标志图案层的触觉传感器，提升了触觉信息的精度和分辨率，提高了传感器触觉信号的跟踪性能。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例触觉传感器的结构框图；
图2为本发明实施例软基部分的结构框图；
图3为本发明实施例实现触觉信息获取的方法的流程图；
图4为本发明实施例实现触觉信息获取的装置的结构框图；
图5为本发明应用示例捕获的棋盘图案的图像的示意图；
图6为本发明应用示例棋盘图案的轮廓示意图；
图7为本发明应用示例角点的示意图；
图8-1为本发明应用示例网格缩放后角点的示意图；
图8-2为本发明应用示例需要合并的角点的示意图；
图8-3为本发明应用示例角点合并的示意图；
图9为本发明应用示例边缘点的示意图；
图10为本发明应用示例两帧图像的对应关系图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请发明人分析发现，相关技术中的触觉传感器之所以出现精度、分辨率和可靠性受限的问题，主要是因为其辨识图案层采用了离散的标志图案；一方面，由于制备条件有限，标志图案不可能做到无限细密；另一方面，标志图案尺寸越小，检测算法对于单个点的识别可靠性越低，而标志图案密度越大，检测算法对于不同帧图像之间的追踪匹配可靠性越低，可靠性与精度、分辨率的制约关系限制了传感器的性能。
图1为本发明实施例触觉传感器的结构框图，如图1所示，触觉传感器包括：传感器基座1、光学组件2与图像采集设备3，还包括：软基部件4，软基部件4附着有连续式标志图案层4-1(图中未示意)；光学组件2和图像采集设备3安装于传感器基座1内部，软基部件4设置于传感器基座1上；其中，
光学组件2用于形成预设光路；
软基部件4用于接收外部的受力；
图像采集设备3设置为：基于光学组件2形成的预设光路，捕获软基部件4接收到外部受力时连续式标志图案层4-1显示的用于反馈触觉信息的图像；
其中，连续式标志图案层4-1包含预设数量的标志图案，标志图案二维连续，且连续式标志图案层4-1中包括：用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。
本发明实施例以二维连续的标志图案作为连续式标志图案层，为提升触觉传感器的精度和分辨率提供结构基础，提升了传感器的工作性能。
在一种示例性实例中，本发明实施例通过兴趣点算子获取连续式标志图案层4-1的特征点，通过特征点确定标志图案分布的特征信息；标志图案分布的信息包括标志图案之间的二维排布信息。
在一种示例性实例中，本发明实施例中的软基部件4还包括图2所示的：支撑部件4-2、透明软基材料层4-3和不透明软基材料层4-4。
在一种示例性实例中，本发明实施例中的连续式标志图案层4-1附着于透明软基材料层4-3和不透明软基材料层4-4之间，透明软基材料层4-3、连续式标志图案层4-1和不透明软基材料层4-4依次排布于支撑部件4-2上。
在一种示例性实例中，本发明实施例连续式标志图案层4-1中包含的标志图案包括以下一种或任意组合：正方形、等边三角形、六边形；在一种示例性实例中，本发明实施例标志图案还可以包括其他形状，例如、等腰三角形、五边形或不规则形状；只要标志图案之间可以实现二维连续即可。
在一种示例性实例中，本发明实施例中的标志图案为正方形时，连续式标志图案层4-1可以是类似棋盘的图案层；
在一种示例性实例中，本发明实施例中的区分信息包括以下一项或任意组合的信息：
各标志图案相应的颜色信息和/或区分标志图案边界的轮廓线。
在一种示例性实例中，本发明实施例中的光学组件2由一面或者多面反射镜2-1组成，参照相关技术进行布置，实现形成预设光路的光学组件2。
在一种示例性实例中，本发明实施例中的图像采集设备3可以包括微型相机等具备图像采集功能的器件，用于对软基部件4中附着的连续式标志图案层4-1的拍摄；例如，单目摄像头或双目摄像头。
图3为本发明实施例实现触觉信息获取的方法的流程图，如图3所示，包括：
步骤301、获取按照一个以上预设角度捕获的一帧以上图像；其中，图像为触觉传感器接收到外力时连续式标志图案层显示的图像；连续式标志图案层包含预设数量的标志图案，标志图案二维连续，且连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息；
在一种示例性实例中，本发明实施例在一个时刻，通过每一个预设角度分别捕获一帧图像；在一种示例性实例中，本发明实施例在一个时刻，通过两个预设角度捕获两帧图像，即每一个角度捕获一帧图像；
步骤302、对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；
在一种示例性实例中，本发明实施例对获取的每一帧图像分别进行特征识别，包括：
对获取的每一帧图像，分别提取图像中包含的每一个标志图案的轮廓；
对提取的每一个标志图案的轮廓分别进行多边形拟合，获得各标志图案的角点。
在一种示例性实例中，本发明实施例对获取的每一帧图像分别进行特征识别，包括：
对获取的每一帧图像，分别对第一位置的标志图案和第二位置的标志图案分别进行预设比例的缩放；
提取每一个缩放的标志图案的轮廓；
对每一个缩放的标志图案的轮廓进行多边形拟合，获得各缩放后的标志图案的角点；
将每一个缩放后的标志图案的角点分别根据距离进行聚类合并，获得各标志图案的角点；
其中，第一位置的标志图案和第二位置的标志图案为同一图像中相邻的标志图案。
在一种示例性实例中，本发明实施例可以根据预先确定的标志图案的边数，确定具体实施的多边形拟合；例如，标志图案为四边形时，采用四边形拟合。
在一种示例性实例中，本发明实施例中的角点为标志图案中包含的相邻的边缘线的交叉点。
步骤303、将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；
步骤304、根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；
需要说明的是，本发明实施例标志图案的三维坐标可以包括：标志图案上的点的坐标，例如；标志图案的角点、边缘点、以及其他预先设定的一些点的坐标。
步骤305、根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；
本发明实施例基于包含二维连续的标志图案的连续式标志图案层的触觉传感器，提升了触觉信息的精度和分辨率，提高了传感器触觉信号的跟踪性能。
在一种示例性实例中，计算获得标志图案的三维坐标之后，本发明实施例可以参照相关技术生成触觉信息。
在一种示例性实例中，获取的图像仅包含一帧时，可以参照相关技术根据获得的标志图案的角点和边缘线计算标志图案的三维坐标，
在一种示例性实例中，获取的图像包含两帧以上时，本发明实施例根据获得的标志图案的角点和边缘线计算标志图案的三维坐标，包括：
通过预设算法获取连续式标志图案层的特征点；
通过获取的特征点确定标志图案分布的特征信息；
根据确定的特征信息，确定获取的两帧以上图像中分布位置相同的标志图案；
对分布位置相同的标志图案，在获得的边缘线上选取预设数量的边缘点；
根据两帧以上图像中分布位置相同的标志图案的边缘点，计算标志图案的三维坐标；
其中，同一边缘线上的相邻的坐标点，在水平方向上的距离相等；坐标点包括角点和边缘点，水平方向包括：触觉传感器未受力时边缘线的伸展方向。
以下对水平方向进行示意说明，假设边缘线由角点1和角点2连接获得，边缘线上包含边缘点1、边缘点2和边缘点3，在软基部件未受力时角点1和角点2构成的线段的伸展方向为水平方向；不同边缘线的水平方向根据边缘线自身对应的角点确定，即边缘线1的水平方向，通过边缘线1的角点确定。
在一种示例性实例中，本发明实施例中的预设算法包括兴趣点算子。
在一种示例性实例中，本发明实施例可以根据标志图案的分布，按照设定的顺序，以每一个标志图案相同位置的角点作为起点，按照相同的方向(顺时针方向或逆时针方向)对标志图案的角点进行编号。对编号相同的角点连接获得的边缘线，本发明实施例按照预设策略选取边缘点；需要说明的是，不同标志图案的边缘点个数可以相同也可以不同，但相位分布位置的标志图案的边缘线的边缘点个数应当保持相同；此外，同一个标志图案包含的各边缘线上的选取的边缘点的个数可以相同；当同一个标志图案包含的边缘线上的选取的边缘点的个数不同时，相位分布位置的标志图案的同一位置的边缘线上选取的边缘点相同。
本发明实施例还提供一种机器人，机器人上设置有上述用于获取触觉信息的触觉传感器。
本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述触觉信息获取的方法。
本发明实施例还提供一种终端，包括：存储器和处理器，存储器中保存有计算机程序；其中，
处理器被配置为执行存储器中的计算机程序；
计算机程序被处理器执行时实现如上述触觉信息获取的方法。
图4为本发明实施例实现触觉信息获取的装置的结构框图，如图4所示，包括：获取单元、识别单元、确定单元、计算单元和生成单元；其中，
获取单元设置为：获取按照一个以上预设角度捕获的一帧以上图像；
识别单元设置为：对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；
确定单元设置为：将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；
计算单元设置为：根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；
生成单元设置为：根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；
其中，图像为触觉传感器接收到外力时连续式标志图案层显示的图像；连续式标志图案层包含预设数量的标志图案，标志图案二维连续，且连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。
本发明实施例基于包含二维连续的标志图案的连续式标志图案层的触觉传感器，提升了触觉信号的精度和分辨率，提高了传感器触觉信号的跟踪性能。
在一种示例性实例中，本发明实施例中的角点为标志图案中包含的相邻的边缘线的交叉点。
在一种示例性实例中，本发明实施例识别单元是设置为：
对获取的每一帧图像，分别提取图像中包含的每一个标志图案的轮廓；
对提取的每一个标志图案的轮廓分别进行多边形拟合，获得各标志图案的角点。
在一种示例性实例中，本发明实施例可以根据预先确定的标志图案的边数，确定具体实施的多边形拟合；例如，标志图案为四边形时，采用四边形拟合。
在一种示例性实例中，本发明实施例识别单元是设置为：
对获取的每一帧图像，分别对第一位置的标志图案和第二位置的标志图案分别进行预设比例的缩放；
提取每一个缩放的标志图案的轮廓；
对每一个缩放的标志图案的轮廓进行多边形拟合，获得各缩放后的标志图案的角点；
将每一个缩放后的标志图案的角点分别根据距离进行聚类合并，获得各标志图案的角点；
其中，第一位置的标志图案和第二位置的标志图案为同一图像中相邻的标志图案。
在一种示例性实例中，本发明实施例计算单元是设置为：
通过预设算法获取连续式标志图案层的特征点；
通过获取的特征点确定标志图案分布的特征信息；
根据确定的特征信息，确定获取的两帧以上图像中分布位置相同的标志图案；
对分布位置相同的标志图案，在获得的边缘线上选取预设数量的边缘点；
根据两帧以上图像中分布位置相同的标志图案的边缘点，计算标志图案的三维坐标；
其中，同一边缘线上的相邻的坐标点，在水平方向上的距离相等；坐标点包括角点和边缘点，水平方向包括：触觉传感器未受力时边缘线的伸展方向。
以下通过应用示例对本发明实施进行简要说明，应用示例仅用于陈述本发明实施例，并不用于限定本发明的保护范围。
应用示例
本发明应用中的连续式标志图案层中的图案可以包括一类可以抽象为彼此交错的理想网格线的图案，连续式标志图案层包含预设数量的用于反馈触觉信息的标志图案，标志图案二维连续，且连续式标志图案层中包含用于确定标志图案分布的特征信息；标志图案包含用于确定自身轮廓的区分信息。
当软基部件受力形变时，图像采集设备拍摄软基部件表面或内部附着的连续式标志图案层的图像；对捕获的图像进行特征识别，实现标志图案中角点的识别；对捕获的图像进行轮廓提取，实现标志图像的角点的连通关系的建立，以及标志图案边缘线的检测；本应用示例利用角点的连通关系对标志图案中的角点进行编号；通过同一时刻和相邻时刻的图像中具有相同编号的角点，实现角点的追踪；在边缘线上提取边缘点，利用角点和边缘点丰富了标志图案的特征信息，实现了触觉信息的充分利用，提升了获取的触觉信息的精度和分辨率。
本应用示例利用特征识别实现了角点识别，不会受到标志图案畸变的影响，确保了触觉传感器的高精度；利用轮廓提取实现了高鲁棒性的角点追踪，保证触觉传感器的高可靠性；利用标志图案的二维特征实现了边缘点提取，提高了触觉信息提取的分辨率。
本应用示例以黑白相间的棋盘图案作为连续式标志图案层的图案进行说明，图5为本发明应用示例捕获的棋盘图案的图像的示意图，通过图像处理方法可以是按黑白相间的各个网格的高效区分；本应用示例基于连续式标志图案层的设计原则，可以设计其他符合要求的连续式标志图案层；
本应用示例对第一位置的标志图案和第二位置的标志图案分别进行预设比例的缩放处理；其中，第一位置的标志图案和第二位置的标志图案为相邻的标志图案；在一种示例性实例中，本应用示例可以仅对第一位置的标志图案进行缩放，第二位置的标志图案保持不变，例如，将图 5所示的棋盘图案中的黑色网格进行缩放，白色网格缩放比例设置为1；本发明实施例提取缩放后的标志图案的轮廓，图6为本发明应用示例棋盘图案的轮廓示意图，如图6所示，棋盘图案中黑色网络的轮廓分散显示；本发明实施例对每一个棋盘图案中包含的网格的轮廓进行多边形拟合，获得缩放后的网格的角点；将不同网格的角点分别根据距离进行聚类合并，获得各网格的角点；图7为本发明应用示例角点的示意图，如图7所示，本发明实施例通过聚类合并将由于缩放而形成的黑色网格和白色网络相交的角点合并在一起，获得了棋盘图案中各个网格的圆形的角点。
图8-1～图8～3为获得角点的示意图，其中，图8-1为对网格进行缩放后，获得的网格的角点；图8-2对缩放前理应重合的角点进行示意，在聚类合并过程中，需要将理应重合的角点进行合并，即对图中虚线连接的角点3和角点5进行合并，对角点6和角点12进行合并；图8-3对角点进行聚类合并后，获得的最终用于三维坐标计算的角点；对于聚类合并后的角点可以将选取合并的两个角点的其中一个的编号作为合并后角点的编号(图中以两个编号中较小的编号，作为合并后的角点的编号)；也可以重新编号。
以下就获得触觉信息的处理过程进行简要说明，本应用示例实现触觉信息的获取包括：
1、图像采集器件通过采集来自光学组件所产生的不同光路中软基部件的图像，得到不同角度下的连续式标志图案层的图像，对捕获的图像进行包含去除噪声和干扰的预处理，获得图像S1、S2、…Si、…Sn。
2、利用棋盘图案的特征，从Si中提取出每个棋盘网格的轮廓，将轮廓记为
每一个轮廓中，通过四边形拟合获得四个角点。采用基于距离的聚类方法，将属于不同棋盘格轮廓的角点合并，得到去除冗杂的角点集合Pi。
3、根据网格的轮廓，连接网格的角点，对每一帧图像Si中相同分布的角点，采用相同的编号进行编码，得到具有按照预设规则编号的角点集合
本发明应用示例对同一时刻和相邻时刻的图像，通过角点编号可以实现角点的追踪。
4、在相邻角点
与/>
之间的边缘线上选取预设数量的边缘点，记为/>
图9为本发明应用示例边缘点的示意图，如图9所示，本发明实施例在角点之间选取了三个边缘点，利用边缘点离散化地反映轮廓线的二维信息，利用角点和边缘点实现标志图案的追踪。
5、利用双目相机原理，计算获取的各帧图像中标志图案中角点和边缘点的三维坐标；图10为本发明应用示例两帧图像的对应关系图，如图10所示，通过位置分布，可以确定同一时刻不同角度拍摄的图像中分布位置相同的标志图像，基于分布位置相同的标志图像上的角点和边缘点，可以参照相关技术进行三维坐标的计算；通过计算获得的三维坐标实现软基部件受力后形貌的三维重建和接触面的三维力分布场、滑移分布场解算，从而生成触觉信号信息。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质) 和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (7)
1.一种实现触觉信息获取的方法，包括：
获取按照一个以上预设角度捕获的一帧以上图像；
对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；
将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；
根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；
根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；
其中，所述图像为触觉传感器接收到外力时连续式标志图案层显示的图像；所述连续式标志图案层包含预设数量的标志图案，所述标志图案二维连续，且所述连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。
2.根据权利要求1所述的方法，其特征在于，所述对获取的每一帧图像分别进行特征识别，包括：
对获取的每一帧所述图像，分别提取所述图像中包含的每一个所述标志图案的轮廓；
对提取的每一个所述标志图案的轮廓分别进行多边形拟合，获得各所述标志图案的所述角点。
3.根据权利要求1所述的方法，其特征在于，所述对获取的每一帧图像分别进行特征识别，包括：
对获取的每一帧所述图像，分别对第一位置的标志图案和第二位置的标志图案分别进行预设比例的缩放；
提取每一个缩放的所述标志图案的轮廓；
对每一个缩放的所述标志图案的轮廓进行多边形拟合，获得各缩放后的所述标志图案的角点；
将每一个缩放后的标志图案的角点分别根据距离进行聚类合并，获得各所述标志图案的角点；
其中，所述第一位置的标志图案和所述第二位置的标志图案为同一图像中相邻的标志图案。
4.根据权利要求1～3任一项所述的方法，其特征在于，获取的图像包含两帧以上时，所述根据获得的标志图案的角点和边缘线计算标志图案的三维坐标，包括：
通过预设算法获取所述连续式标志图案层的特征点；
通过获取的所述特征点确定标志图案分布的特征信息；
根据确定的特征信息，确定获取的两帧以上图像中分布位置相同的标志图案；
对分布位置相同的标志图案，在获得的所述边缘线上选取预设数量的边缘点；
根据所述两帧以上图像中分布位置相同的标志图案的边缘点，计算标志图案的三维坐标；
其中，同一边缘线上的相邻的坐标点，在水平方向上的距离相等；所述坐标点包括所述角点和所述边缘点，所述水平方向包括：所述触觉传感器未受力时所述边缘线的伸展方向。
5.一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～4中任一项所述的实现触觉信息获取的方法。
6.一种终端，包括：存储器和处理器，所述存储器中保存有计算机程序；其中，
处理器被配置为执行存储器中的计算机程序；
所述计算机程序被所述处理器执行时实现如权利要求1～4中任一项所述的实现触觉信息获取的方法。
7.一种实现触觉信息获取的装置，包括：获取单元、识别单元、确定单元、计算单元和生成单元；其中，
获取单元设置为：获取按照一个以上预设角度捕获的一帧以上图像；
识别单元设置为：对获取的每一帧图像分别进行特征识别，获得图像中包含的每一个标志图案的角点；
确定单元设置为：将获得的每一个标志图案的角点根据预先确定的标志图案的轮廓连接，获得各标志图案相应的边缘线；
计算单元设置为：根据获得的标志图案的角点和边缘线计算标志图案的三维坐标；
生成单元设置为：根据计算获得的连续式标志图案层中包含的所有标志图像的三维坐标，生成触觉信息；
其中，所述图像为触觉传感器接收到外力时连续式标志图案层显示的图像；所述连续式标志图案层包含预设数量的标志图案，所述标志图案二维连续，且所述连续式标志图案层中包含用于确定标志图案分布的特征信息和用于确定自身轮廓的区分信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210061023.8A CN114544052B (zh) | 2022-01-19 | 2022-01-19 | 触觉传感器、机器人、实现触觉信息获取的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210061023.8A CN114544052B (zh) | 2022-01-19 | 2022-01-19 | 触觉传感器、机器人、实现触觉信息获取的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114544052A CN114544052A (zh) | 2022-05-27 |
| CN114544052B true CN114544052B (zh) | 2023-03-28 |
Family
ID=81671246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210061023.8A Active CN114544052B (zh) | 2022-01-19 | 2022-01-19 | 触觉传感器、机器人、实现触觉信息获取的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114544052B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766855A (zh) * | 2017-10-25 | 2018-03-06 | 南京阿凡达机器人科技有限公司 | 基于机器视觉的棋子定位方法、系统、存储介质及机器人 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5141452B2 (ja) * | 2008-09-05 | 2013-02-13 | 富士通株式会社 | 姿勢計測装置及び姿勢計測方法 |
| NL2016286B1 (en) * | 2016-02-19 | 2017-09-20 | Fom-Nikhef | Displacement sensor. |
| CN110162175B (zh) * | 2019-05-16 | 2022-04-19 | 腾讯科技（深圳）有限公司 | 基于视觉的触觉测量方法、装置、设备及存储介质 |
| CN112304248A (zh) * | 2019-07-25 | 2021-02-02 | 南京科沃斯机器人技术有限公司 | 触觉传感器、机器人、弹性体及物体感测方法和计算设备 |
| CN111761579A (zh) * | 2020-06-30 | 2020-10-13 | 同济大学 | 光学式触觉传感器、弹性体模组的制作及信息获取方法 |
| GB202014378D0 (en) * | 2020-09-13 | 2020-10-28 | Gozcu Emrah | A method to identify and generate extendable identifier code |
| CN113049166A (zh) * | 2021-04-12 | 2021-06-29 | 清华大学 | 触觉传感器及具有该触觉传感器的机器人 |
-
2022
- 2022-01-19 CN CN202210061023.8A patent/CN114544052B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766855A (zh) * | 2017-10-25 | 2018-03-06 | 南京阿凡达机器人科技有限公司 | 基于机器视觉的棋子定位方法、系统、存储介质及机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114544052A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101775591B1 (ko) | 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법 | |
| JP6125188B2 (ja) | 映像処理方法及び装置 | |
| CN109801374B (zh) | 一种通过多角度图像集重构三维模型的方法、介质及系统 | |
| CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| JP5951043B2 (ja) | 画像計測装置 | |
| JP5290865B2 (ja) | 位置姿勢推定方法および装置 | |
| WO2020134818A1 (zh) | 图像处理方法及相关产品 | |
| JP2000227309A (ja) | ３次元位置姿勢センシング装置 | |
| US11620730B2 (en) | Method for merging multiple images and post-processing of panorama | |
| JP2016194895A (ja) | 室内２ｄ平面図の生成方法、装置及びシステム | |
| CN114766042A (zh) | 目标检测方法、装置、终端设备及介质 | |
| CN111724446B (zh) | 一种用于建筑物三维重建的变焦距相机外参数标定方法 | |
| Fusiello et al. | Augmented scene modeling and visualization by optical and acoustic sensor integration | |
| CN111127556B (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| Jacquey et al. | Fuzzy edge detection for omnidirectional images | |
| CN114544052B (zh) | 触觉传感器、机器人、实现触觉信息获取的方法及装置 | |
| KR20210065030A (ko) | 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| JPH05135155A (ja) | 連続シルエツト画像による３次元モデル構成装置 | |
| Kang et al. | Progressive 3D model acquisition with a commodity hand-held camera | |
| Aliakbarpour et al. | Multi-sensor 3D volumetric reconstruction using CUDA | |
| JP7251631B2 (ja) | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |