CN117495970B - 基于模板多级匹配的化学仪器位姿估计方法、设备及介质 - Google Patents

基于模板多级匹配的化学仪器位姿估计方法、设备及介质 Download PDF

Info

Publication number
CN117495970B
CN117495970B CN202410005717.9A CN202410005717A CN117495970B CN 117495970 B CN117495970 B CN 117495970B CN 202410005717 A CN202410005717 A CN 202410005717A CN 117495970 B CN117495970 B CN 117495970B
Authority
CN
China
Prior art keywords
image
template image
template
matching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410005717.9A
Other languages
English (en)
Other versions
CN117495970A (zh
Inventor
尚伟伟
张旭春
张飞
江俊
丛爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202410005717.9A priority Critical patent/CN117495970B/zh
Publication of CN117495970A publication Critical patent/CN117495970A/zh
Application granted granted Critical
Publication of CN117495970B publication Critical patent/CN117495970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于模板多级匹配的化学仪器位姿估计方法、设备及介质，方法包括：步骤1，数据采集标注：用彩色相机采集各化学仪器的图像为模板图像，建立模板图像数据库，标注关键点并与化学仪器CAD模型三维点对应；步骤2，识别裁剪出化学仪器部分图像为输入图像；步骤3，模板级匹配：从输入图像和模板图像数据库所有模板图像中选相似度误差最小模板图像为最佳匹配模板图像；步骤4，图像级匹配：配准输入图像和最佳匹配模板图像得变换后模板图像关键点；步骤5，像素级匹配：对变换后模板图像关键点稠密光流估计出关键点坐标；步骤6，位姿计算：由关键点坐标和与模型对应关系，用n点透视计算出化学仪器位姿。该方法能准确估计化学仪器位姿。

Description

基于模板多级匹配的化学仪器位姿估计方法、设备及介质
技术领域
本发明涉及化学仪器的视觉定位领域，尤其涉及一种基于模板多级匹配的化学仪器位姿估计方法。
背景技术
在自动化的化学实验室条件下，需要实现移动机器人对化学仪器的操作，主要是将样品瓶或样品架放置到化学仪器上的指定位置。由于移动机器人底盘存在定位误差，其到达化学仪器附近时的位置是随机的，所以要实现移动机器人的准确操作，首先需要能够自动检测或定位当前化学仪器的准确位姿，以使机器人能够自动将样品瓶或样品架准确地放置到化学仪器上。
目前针对化学仪器的较为准确的定位方式往往依赖于结构化辅助定位或机械臂示教，但这些方法较为复杂繁琐。视觉位姿估计方法相对便捷，但由于化学仪器一般颜色单一、纹理少、尺寸参差，视觉位姿估计方法的准确度和鲁棒性难以满足移动机器人操作的要求。而目前并没有能够支持移动机器人准确操作化学仪器的视觉位姿估计方法。
有鉴于此，特提出本发明。
发明内容
本发明的目的是提供了一种基于模板多级匹配的化学仪器位姿估计方法、设备及介质，能以视觉测量方式，避免复杂的示教过程，采用多级匹配方式，准确测定化学仪器的位姿，进而解决现有技术中存在的上述技术问题。
本发明的目的是通过以下技术方案实现的：
一种基于模板多级匹配的化学仪器位姿估计方法，包括：
步骤1，数据采集和标注：用彩色相机从各个角度采集各化学仪器的图像作为模板图像，用每个化学仪器的所有模板图像构建该化学仪器对应的模板图像数据库，为每个化学仪器对应的模板图像数据库中的每张模板图像标注关键点，并记录每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系；
步骤2，目标检测：通过目标检测模型从获取的含有待检测位姿化学仪器的待检测图像中进行目标检测，识别并裁剪出化学仪器部分的图像作为输入图像；
步骤3，模板级匹配：分别从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取特征点分布规律，根据特征点分布规律，计算输入图像和每张模板图像之间的相似度误差，选择相似度误差最小的模板图像作为输入图像的最佳匹配模板图像；
步骤4，图像级匹配：对输入图像和最佳匹配模板图像进行图像配准计算得出单应性变换矩阵，根据单应性变换矩阵对最佳匹配模板图像进行变换得到变换后模板图像，同时，用单应性变换矩阵对最佳匹配模板图像上标注的关键点进行变换得到变换后模板图像关键点；
步骤5，像素级匹配：在变换后模板图像关键点周围预定区域内，对输入图像和变换后模板图像进行稠密光流估计，得到每个变换后模板图像关键点的二维位移矢量，将变换后模板图像关键点坐标与二维位移矢量相加，得到最终的输入图像上的关键点坐标；
步骤6，位姿计算：根据步骤5得出的输入图像上的关键点坐标和步骤1中记录的每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系，用n点透视方式计算出化学仪器的位姿。
一种处理设备，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现本发明所述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现本发明所述的方法。
与现有技术相比，本发明所提供的基于模板多级匹配的化学仪器位姿估计方法、设备及介质，其有益效果包括：
通过采用基于模板多级匹配的方式，从模板、图像、像素三个级别逐步计算准确的关键点，降低了化学仪器颜色单一、纹理少、尺寸参差等问题对视觉的影响，提高了视觉位姿估计方法的准确度，由于是基于模板多级匹配的位姿估计，能以视觉测量方式准确地确定化学仪器的位姿，不需要复杂的机械臂示教，所以不受移动机器人底盘定位误差的影响，能方便地应用到移动机器人对化学仪器的操作任务中。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于模板多级匹配的化学仪器位姿估计方法的流程图。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，这并不构成对本发明的限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
除另有明确的规定或限定外，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如：可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本文中的具体含义。
术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化描述，而不是明示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本文的限制。
下面对本发明所提供的基于模板多级匹配的化学仪器位姿估计方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
如图1所示，本发明实施例提供一种基于模板多级匹配的化学仪器位姿估计方法，包括：
步骤1，数据采集和标注：用彩色相机从各个角度采集各化学仪器的图像作为模板图像，用每个化学仪器的所有模板图像构建该化学仪器对应的模板图像数据库，为每个化学仪器对应的模板图像数据库中的每张模板图像标注关键点，并记录每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系；
步骤2，目标检测：通过目标检测模型从获取的含有待检测位姿化学仪器的待检测图像中进行目标检测，识别并裁剪出化学仪器部分的图像作为输入图像；
步骤3，模板级匹配：分别从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取特征点分布规律，根据特征点分布规律，计算输入图像和每张模板图像之间的相似度误差，选择相似度误差最小的模板图像作为输入图像的最佳匹配模板图像；
步骤4，图像级匹配：对输入图像和最佳匹配模板图像进行图像配准计算得出单应性变换矩阵，根据单应性变换矩阵对最佳匹配模板图像进行变换得到变换后模板图像，同时，用单应性变换矩阵对最佳匹配模板图像上标注的关键点进行变换得到变换后模板图像关键点；
步骤5，像素级匹配：在变换后模板图像关键点周围预定区域内，对输入图像和变换后模板图像进行稠密光流估计，得到每个变换后模板图像关键点的二维位移矢量，将变换后模板图像关键点坐标与二维位移矢量相加，得到最终的输入图像上的关键点坐标；
步骤6，位姿计算：根据步骤5得出的输入图像上的关键点坐标和步骤1中记录的每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系，用n点透视方式计算出化学仪器的位姿。
优选的，上述方法的步骤1中，按以下方式用彩色相机从各个角度采集化学仪器的图像作为模板图像，包括：
用彩色相机在距离化学仪器前方至少1m位置处，以化学仪器中心为球心，向左、向右、向上分别45°范围的局部球面上均匀采集各个角度的化学仪器的图像，化学仪器在图像上完整可见且无遮挡，化学仪器面积占所拍摄图像区域内的面积不小于70%；
所述步骤1中，按以下方式记录每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系，包括：
在每个化学仪器的CAD模型上选择八个三维点，八个三维点在目标图像上的对应点是可见点；在每张目标图像上标注与各三维点对应的二维点作为关键点，并记录每个关键点和三维点的对应关系。
优选的，上述方法的步骤2中，目标检测模型采用YOLOX目标检测模型。
优选的，上述方法的步骤3中，按以下方式从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取特征点分布规律，根据特征点分布规律，计算输入图像和每张模板图像之间的相似度误差，选择相似度误差最小的模板图像作为输入图像的最佳匹配模板图像，包括：
步骤31，从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取尺度不变特征变换特征和特征点，并进行最近邻匹配，获得输入图像和每张模板图像之间的匹配点对；
步骤32，采用距离不变性原则对步骤31中的匹配点对进行过滤，去除错误匹配，定义输入图像上的匹配点集为，模板图像上的匹配点集为/>，按以下公式计算尺度因子/>：
(1)；
距离不变性原则的定义为：
(2)；
(3)；
其中，，/>和/>分别为输入图像的第i对匹配点像素坐标与第j对匹配点像素坐标；/>，/>和/>分别为模板图像的第i对匹配点像素坐标与第j对匹配点像素坐标；/>趋于1表示两对匹配点对是正确匹配的点对，/>趋于0表示两对匹配点对是错误匹配的点对；/>为中间变量，表示对应点对的距离比最小值；
用KMeans聚类方法对全部匹配点对进行二分类，一类为符合距离不变性的正确匹配的点对，另一类为不符合距离不变性的错误匹配的点对，保留正确匹配的点对，去除错误匹配的点对；
步骤33，提取包括距离特征、角度特征和数量特征的特征点分布规律，将输入图像上的正确匹配的点集定义为，模板图像上的正确匹配的点集定义为/>，输入图像的中心点/>和模板图像的中心点/>分别为：
(4)；
(5)；
公式(4)与公式(5)中，n为特征点数量；
输入图像的第i个特征点与中心点/>的距离/>和模板图像的第i个特征点/>与中心点/>的距离/>分别为：
（6）；
（7）；
输入图像的第i个特征点与中心点/>的偏角/>和模板图像的第i个特征点/>与中心点/>的偏角/>分别为：
（8）；
（9）；
其中，[1]表示图像中像素点纵坐标，[0]表示图像中像素点横坐标；
输入图像的距离特征向量和模板图像的距离特征向量/>分别为：
（10）；
（11）；
输入图像的角度特征向量和模板图像的角度特征向量/>分别为：
（12）；
（13）；
特征点数量特征定义为：
（14）；
其中，n为特征点数量；
步骤34，根据步骤33中的特征点分布规律所包含的距离特征、角度特征和数量特征，分别按以下公式计算输入图像和模板图像的距离特征相似度误差、角度特征相似度误差和数量特征相似度误差，其中，
所述距离特征相似度误差为：/> （15）；
所述角度特征相似度误差为：/> （16）；
所述数量特征相似度误差为：/> （17）；
按以下公式利用输入图像和模板图像的距离特征相似度误差、角度特征相似度误差和数量特征相似度误差，计算得到输入图像和模板图像的相似度误差E为：
（18）；
公式（18）中，为权重系数，/>=1000，/>=1，/>=100；
对全部模板图像进行查询，确定与输入图像的相似度误差E最小的模板图像即是输入图像的最佳匹配模板图像。
优选的，上述方法的步骤4中，按以下方式对输入图像和最佳匹配模板图像进行图像配准计算得出单应性变换矩阵，根据单应性变换矩阵对最佳匹配模板图像进行变换得到变换后模板图像，同时，用单应性变换矩阵对最佳匹配模板图像上标注的关键点进行变换，得到变换后模板图像关键点，包括：
步骤41，所述步骤32中提取的输入图像和最佳匹配模板图像之间正确匹配的点对中每一对点对都符合：
（19）；
其中，为输入图像上的像素坐标，uq是横坐标，vq是纵坐标；/>为最佳匹配模板图像上的像素坐标，ut是横坐标，vt是纵坐标；通过全部正确匹配的点对能求解出单应性变换矩阵H，h1至h9表示单应性变换矩阵H的矩阵元素；
步骤42，用步骤41求解得出的单应性变换矩阵根据以下公式（20）和（21）对最佳匹配模板图像进行变换，得到变换后模板图像，以及根据以下公式（20）和（21）对最佳匹配模板图像上标注的关键点进行变换，得到变换后模板图像关键点，公式（20）、公式（21）分别为：
（20）；
（21）。
优选的，上述方法的步骤5中，在变换后模板图像关键点周围预定区域内，对输入图像和变换后模板图像进行稠密光流估计，得到每个变换后模板图像关键点的二维位移矢量，将变换后模板图像关键点坐标与二维位移矢量相加，得到最终的输入图像上的关键点坐标，包括：
步骤51，将变换后模板图像和输入图像作为连续两帧图像，使用密集逆搜索光流方法估计关键点周围预定区域的稠密光流位移场，根据稠密光流位移场，得到变换后模板图像和输入图像之间关键点局部区域所有像素的位移矢量，同时获得关键点对应的位移矢量；
步骤52，将关键点像素坐标与对应的位移矢量相加，得到最终的输入图像上的关键点坐标。
优选的，上述方法的步骤5中，关键点周围预定区域是以关键点为中心，大小为50×50像素的区域。
本发明实施例还提供一种处理设备，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现上述的方法。
本发明实施例进一步提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现上述的方法。
综上可见，本发明实施例的方法，以视觉测量方式，基于模板多级匹配的方式，从模板、图像、像素三个级别逐步计算准确的关键点，降低了化学仪器颜色单一、纹理少、尺寸参差等问题对视觉的影响，提高了视觉位姿估计的准确度，不仅不需要复杂的机械臂示教，也不受移动机器人底盘定位误差的影响，能方便地应用到移动机器人对化学仪器的操作任务中。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的基于模板多级匹配的化学仪器位姿估计方法进行详细描述。
实施例1
如图1所示，本发明实施例提供的基于模板多级匹配的化学仪器位姿估计方法，用于机器人自动化操作化学仪器中，包括以下步骤：
步骤1，数据采集和标注：使用彩色相机从各个角度采集化学仪器的图像，作为模板图像，对每个化学仪器分别构建模板图像数据库，并对每张图像进行关键点标注，同时记录图像关键点与化学仪器CAD模型上对应三维点的对应关系；
步骤2，目标检测：使用YOLOX目标检测模型对待检测图像进行目标检测，识别图像中的化学仪器并裁剪化学仪器部分的图像，作为输入图像；
步骤3，模板级匹配：对待检测化学仪器位姿的输入图像和对应数据库中的所有模板图像，分别提取特征点分布规律，根据特征点分布规律，计算输入图像和每张模板图像之间的相似度误差，选择相似度误差最小的作为与输入图像最佳匹配的模板图像；
步骤4，图像级匹配：对输入图像和最佳匹配的模板图像进行图像配准，计算单应性变换矩阵。根据单应性变换矩阵，对最佳匹配的模板图像进行变换，得到变换后的模板图像。同时，使用单应性变换矩阵对最佳匹配的模板图像上标注的关键点进行变换，得到变换后的模板图像关键点；
步骤5，像素级匹配：在变换后的模板图像关键点附近局部区域内，对输入图像和变换后的模板图像进行稠密光流估计，实现输入图像和变换后的模板图像之间每个像素的准确匹配，从而得到每个变换后的模板图像关键点的二维位移矢量，将变换后的模板图像关键点坐标与二维位移矢量相加，得到最终的关键点坐标，该坐标为计算得到的输入图像上的关键点坐标；
步骤6，位姿计算：根据输入图像上的关键点坐标以及步骤1中图像关键点与化学仪器CAD模型上对应三维点的对应关系，使用PnP（n点透视）方法计算化学仪器的位姿。
上述方法的步骤1中，对每个化学仪器，预先在CAD模型上选择八个三维点，通常选择模型的角点，这些三维点在图像上的对应点应当是可见的，在每张图像上标注与三维点对应的二维点作为关键点，并记录关键点和三维点的对应关系。
上述方法的步骤1中，使用彩色相机在距离化学仪器前方至少1m位置处，以化学仪器中心为球心，向左、向右、向上分别45°范围的局部球面上均匀采集各个角度的化学仪器的图像，化学仪器的部分应占据图像的大部分区域，且化学仪器在图像上是完整可见的，不存在遮挡。彩色相机采集角度应尽量覆盖待检测化学仪器位姿的视角，相机采集角度不需要过于密集。对于每个化学仪器，只需构建一个数据库，进行一次数据库构建和数据标注。
上述方法的步骤3中，按以下方式提取特征点分布规律并计算相似度误差：
步骤31，对待检测化学仪器位姿的输入图像和对应数据库中的所有模板图像提取SIFT（尺度不变特征变换）特征和特征点，并进行最近邻匹配，获得输入图像和每张模板图像之间的匹配点对；
步骤32，采用距离不变性原则对步骤31中的匹配点对进行过滤，去除错误匹配。定义输入图像上的匹配点集为X，模板图像上的匹配点集为Y，计算尺度因子s：
（1）；
定义距离不变性原则为：
（2）；
（3）；
其中，，/>和/>分别为输入图像的第i对匹配点像素坐标与第j对匹配点像素坐标；/>，/>和/>分别为模板图像的第i对匹配点像素坐标与第j对匹配点像素坐标；/>趋于1表示两对匹配点对是正确匹配的点对，/>趋于0表示两对匹配点对是错误匹配的点对；/>为中间变量，表示对应点对的距离比最小值；
根据距离不变性原则，当两对匹配点对是正确的，则趋于1，反之趋于0；
使用KMeans聚类方法对全部匹配点对进行二分类，一类为正确匹配的点对，符合距离不变性，另一类为错误匹配的点对，不符合距离不变性。去除错误的匹配点对，保留正确的匹配点对；
步骤33，提取特征点分布规律，包括距离特征、角度特征和数量特征，定义输入图像上的正确匹配的点集为，模板图像上的正确匹配的点集为/>，输入图像的中心点/>和模板图像的中心点/>分别为：
(4)；
(5)；
输入图像的第i个特征点与中心点/>的距离/>和模板图像的第i个特征点/>与中心点/>的距离/>分别为：
（6）；
（7）；
输入图像的第i个特征点与中心点/>的偏角/>和模板图像的第i个特征点/>与中心点/>的偏角/>分别为：
（8）；
（9）；
其中，[1]表示图像中像素点纵坐标，[0]表示图像中像素点横坐标；
则输入图像的距离特征向量和模板图像的距离特征向量/>分别为：
（10）；
（11）；
输入图像的角度特征向量和模板图像的角度特征向量分别为：
（12）；
（13）；
定义特征点数量特征为：
（14）；
其中，n为特征点数量；
步骤34，计算输入图像和模板图像的相似度误差，对于步骤33中的特征点分布规律所包含的距离特征、角度特征和数量特征，根据余弦相似度，分别定义如下相似度误差，其中，
距离特征相似度误差为：/> （15）；
角度特征相似度误差为：/> （16）；
数量特征相似度误差为：/> （17）；
根据以下公式（18）综合以上三个误差项，得到输入图像和模板图像的相似度误差E为：
（18）；
其中，为权重系数，/>=1000，/>=1，/>=100；
对全部模板图像进行查询，查询到的相似度误差最小的模板图像即是与输入图 像最佳匹配的最佳匹配模板图像。
上述方法的步骤4中，按以下方式计算单应性变换矩阵，并对最佳匹配的模板图像和最佳匹配的模板图像上标注的关键点进行变换。
步骤41，对于步骤32中提取的输入图像和最佳匹配的模板图像之间正确匹配的特征点对，每一对点对都有：
（19）；
其中，为输入图像上的像素坐标，uq是横坐标，vq是纵坐标；/>为最佳匹配模板图像上的像素坐标，ut是横坐标，vt是纵坐标；通过全部正确匹配的点对能求解出单应性变换矩阵H，h1至h9表示单应性变换矩阵H的矩阵元素，由全部正确匹配的特征点对，可以求解单应性变换矩阵；
步骤42，使用单应性变换矩阵分别对最佳匹配的模板图像和最佳匹配的模板图像上标注的关键点进行变换，根据以下公式（20）和公式（21）进行变换：
（20）；
（21）。
对最佳匹配的模板图像上的每个像素进行变换，得到变换后模板图像，同时获得了变换后模板图像关键点。
上述方法的步骤5中，按以下方式进行光流估计并得到最终的关键点坐标，包括：
步骤51，将变换后模板图像和输入图像作为连续两帧图像，使用DIS（密集逆搜索）光流方法估计关键点周围预定区域的稠密光流位移场，这个区域以关键点为中心，大小为50×50像素，根据稠密光流位移场，得到变换后模板图像和输入图像之间关键点局部区域所有像素的位移矢量，同时获得了关键点对应的位移矢量；
步骤52，把关键点像素坐标与对应的位移矢量相加，得到最终的关键点坐标。
综上可见，本发明实施例的位姿估计方法，至少具有以下有益效果：
(1) 基于模板多级匹配的化学仪器位姿估计方法，能从模板、图像、像素三个级别逐步计算准确的关键点，降低了化学仪器颜色单一、纹理少、尺寸参差等问题对视觉的影响，提高了视觉位姿估计方法的准确度。
(2) 以视觉测量与定位方式实现对化学仪器的定位，不需要复杂的机械臂示教，不受移动机器人底盘定位误差的影响，能方便地应用到移动机器人对化学仪器的操作任务中。
本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。本文背景技术部分公开的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (8)

1.一种基于模板多级匹配的化学仪器位姿估计方法，其特征在于，包括：
步骤1，数据采集和标注：用彩色相机从各个角度采集各化学仪器的图像作为模板图像，用每个化学仪器的所有模板图像构建该化学仪器对应的模板图像数据库，为每个化学仪器对应的模板图像数据库中的每张模板图像标注关键点，并记录每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系；
步骤2，目标检测：通过目标检测模型从获取的含有待检测位姿化学仪器的待检测图像中进行目标检测，识别并裁剪出化学仪器部分的图像作为输入图像；
步骤3，模板级匹配：分别从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取特征点分布规律，根据特征点分布规律，计算输入图像和每张模板图像之间的相似度误差，选择相似度误差最小的模板图像作为输入图像的最佳匹配模板图像；该步骤3中，按以下方式从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取特征点分布规律，根据特征点分布规律，计算输入图像和每张模板图像之间的相似度误差，选择相似度误差最小的模板图像作为输入图像的最佳匹配模板图像，包括：
步骤31，从输入图像和待检测位姿化学仪器对应的模板图像数据库中的所有模板图像提取尺度不变特征变换特征和特征点，并进行最近邻匹配，获得输入图像和每张模板图像之间的匹配点对；
步骤32，采用距离不变性原则对步骤31中的匹配点对进行过滤，去除错误匹配，定义输入图像上的匹配点集为，模板图像上的匹配点集为/>，按以下公式计算尺度因子/>：
(1)；
距离不变性原则的定义为：
(2)；
(3)；
其中，，/>和/>分别为输入图像的第i对匹配点像素坐标与第j对匹配点像素坐标；/>，/>和/>分别为模板图像的第i对匹配点像素坐标与第j对匹配点像素坐标；/>趋于1表示两对匹配点对是正确匹配的点对，/>趋于0表示两对匹配点对是错误匹配的点对；/>为中间变量，表示对应点对的距离比最小值；
用KMeans聚类方法对全部匹配点对进行二分类，一类为符合距离不变性的正确匹配的点对，另一类为不符合距离不变性的错误匹配的点对，保留正确匹配的点对，去除错误匹配的点对；
步骤33，提取包括距离特征、角度特征和数量特征的特征点分布规律，将输入图像上的正确匹配的点集定义为，模板图像上的正确匹配的点集定义为/>，输入图像的中心点/>和模板图像的中心点/>分别为：
(4)；
(5)；
公式(4)与公式(5)中，n为特征点数量；
输入图像的第i个特征点与中心点/>的距离/>和模板图像的第i个特征点/>与中心点/>的距离/>分别为：
（6）；
（7）；
输入图像的第i个特征点与中心点/>的偏角/>和模板图像的第i个特征点/>与中心点/>的偏角/>分别为：
（8）；
（9）；
其中，[1]表示图像中像素点纵坐标，[0]表示图像中像素点横坐标；
输入图像的距离特征向量和模板图像的距离特征向量/>分别为：
（10）；
（11）；
输入图像的角度特征向量和模板图像的角度特征向量/>分别为：
（12）；
（13）；
特征点数量特征定义为：
（14）；
其中，n为特征点数量；
步骤34，根据步骤33中的特征点分布规律所包含的距离特征、角度特征和数量特征，分别按以下公式计算输入图像和模板图像的距离特征相似度误差、角度特征相似度误差和数量特征相似度误差，其中，
所述距离特征相似度误差为：/> （15）；
所述角度特征相似度误差为：/> （16）；
所述数量特征相似度误差为：/> （17）；
按以下公式利用输入图像和模板图像的距离特征相似度误差、角度特征相似度误差和数量特征相似度误差，计算得到输入图像和模板图像的相似度误差E为：
（18）；
公式（18）中，为权重系数，/>=1000，/>=1，/>=100；
对全部模板图像进行查询，确定与输入图像的相似度误差E最小的模板图像即是输入图像的最佳匹配模板图像；
步骤4，图像级匹配：对输入图像和最佳匹配模板图像进行图像配准计算得出单应性变换矩阵，根据单应性变换矩阵对最佳匹配模板图像进行变换得到变换后模板图像，同时，用单应性变换矩阵对最佳匹配模板图像上标注的关键点进行变换得到变换后模板图像关键点；
步骤5，像素级匹配：在变换后模板图像关键点周围预定区域内，对输入图像和变换后模板图像进行稠密光流估计，得到每个变换后模板图像关键点的二维位移矢量，将变换后模板图像关键点坐标与二维位移矢量相加，得到最终的输入图像上的关键点坐标；
步骤6，位姿计算：根据步骤5得出的输入图像上的关键点坐标和步骤1中记录的每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系，用n点透视方式计算出化学仪器的位姿。
2.根据权利要求1所述的基于模板多级匹配的化学仪器位姿估计方法，其特征在于，所述步骤1中，按以下方式用彩色相机从各个角度采集化学仪器的图像作为模板图像，包括：
用彩色相机在距离化学仪器前方至少1m位置处，以化学仪器中心为球心，向左、向右、向上分别45°范围的局部球面上均匀采集各个角度的化学仪器的图像，化学仪器在图像上完整可见且无遮挡，化学仪器面积占所拍摄图像区域内的面积不小于70%；
所述步骤1中，按以下方式记录每个模板图像的关键点与该化学仪器CAD模型上对应三维点的对应关系，包括：
在每个化学仪器的CAD模型上选择八个三维点，八个三维点在目标图像上的对应点是可见点；在每张目标图像上标注与各三维点对应的二维点作为关键点，并记录每个关键点和三维点的对应关系。
3.根据权利要求1所述的基于模板多级匹配的化学仪器位姿估计方法，其特征在于，所述步骤2中，目标检测模型采用YOLOX目标检测模型。
4.根据权利要求1所述的基于模板多级匹配的化学仪器位姿估计方法，其特征在于，所述步骤4中，按以下方式对输入图像和最佳匹配模板图像进行图像配准计算得出单应性变换矩阵，根据单应性变换矩阵对最佳匹配模板图像进行变换得到变换后模板图像，同时，用单应性变换矩阵对最佳匹配模板图像上标注的关键点进行变换，得到变换后模板图像关键点，包括：
步骤41，所述步骤32中提取的输入图像和最佳匹配模板图像之间正确匹配的点对中每一对点对都符合：
（19）；
其中，为输入图像上的像素坐标，uq是横坐标，vq是纵坐标；/>为最佳匹配模板图像上的像素坐标，ut是横坐标，vt是纵坐标；通过全部正确匹配的点对能求解出单应性变换矩阵H，h1至h9表示单应性变换矩阵H的矩阵元素；
步骤42，用步骤41求解得出的单应性变换矩阵根据以下公式（20）和（21）对最佳匹配模板图像进行变换，得到变换后模板图像，以及根据以下公式（20）和（21）对最佳匹配模板图像上标注的关键点进行变换，得到变换后模板图像关键点，公式（20）、公式（21）分别为：
（20）；
（21）。
5.根据权利要求1-3任一项所述的基于模板多级匹配的化学仪器位姿估计方法，其特征在于，所述步骤5中，在变换后模板图像关键点周围预定区域内，对输入图像和变换后模板图像进行稠密光流估计，得到每个变换后模板图像关键点的二维位移矢量，将变换后模板图像关键点坐标与二维位移矢量相加，得到最终的输入图像上的关键点坐标，包括：
步骤51，将变换后模板图像和输入图像作为连续两帧图像，使用密集逆搜索光流方法估计关键点周围预定区域的稠密光流位移场，根据稠密光流位移场，得到变换后模板图像和输入图像之间关键点局部区域所有像素的位移矢量，同时获得关键点对应的位移矢量；
步骤52，将关键点像素坐标与对应的位移矢量相加，得到最终的输入图像上的关键点坐标。
6.根据权利要求5所述的基于模板多级匹配的化学仪器位姿估计方法，其特征在于，所述步骤5中，关键点周围预定区域是以关键点为中心，大小为50×50像素的区域。
7.一种处理设备，其特征在于，包括：
至少一个存储器，用于存储一个或多个程序；
至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现权利要求1-6任一项所述的方法。
8.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时能实现权利要求1-6任一项所述的方法。
CN202410005717.9A 2024-01-03 2024-01-03 基于模板多级匹配的化学仪器位姿估计方法、设备及介质 Active CN117495970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410005717.9A CN117495970B (zh) 2024-01-03 2024-01-03 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410005717.9A CN117495970B (zh) 2024-01-03 2024-01-03 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Publications (2)

Publication Number Publication Date
CN117495970A CN117495970A (zh) 2024-02-02
CN117495970B true CN117495970B (zh) 2024-05-14

Family

ID=89673084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410005717.9A Active CN117495970B (zh) 2024-01-03 2024-01-03 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Country Status (1)

Country Link
CN (1) CN117495970B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219704A (ja) * 2006-02-15 2007-08-30 Fujitsu Ltd 画像位置計測方法、画像位置計測装置および画像位置計測プログラム
JP2019200516A (ja) * 2018-05-15 2019-11-21 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111768447A (zh) * 2020-07-01 2020-10-13 哈工大机器人（合肥）国际创新研究院 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN114603555A (zh) * 2022-02-24 2022-06-10 江西省智能产业技术创新研究院 移动机器人初始位姿估计方法、系统、计算机及机器人
KR20220106567A (ko) * 2021-01-22 2022-07-29 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법
CN115761734A (zh) * 2022-10-29 2023-03-07 福州大学 基于模板匹配和概率分布的物体位姿估计方法
CN116645392A (zh) * 2023-04-28 2023-08-25 哈尔滨工业大学 一种基于关键点权重的空间目标相对位姿迭代估计方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007219704A (ja) * 2006-02-15 2007-08-30 Fujitsu Ltd 画像位置計測方法、画像位置計測装置および画像位置計測プログラム
JP2019200516A (ja) * 2018-05-15 2019-11-21 日本電信電話株式会社 テンプレート姿勢推定装置、方法、及びプログラム
CN111127557A (zh) * 2019-12-13 2020-05-08 中国电子科技集团公司第二十研究所 一种基于深度学习的视觉slam前端位姿估计方法
CN111768447A (zh) * 2020-07-01 2020-10-13 哈工大机器人（合肥）国际创新研究院 一种基于模板匹配的单目相机物体位姿估计方法及系统
KR20220106567A (ko) * 2021-01-22 2022-07-29 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법
CN114603555A (zh) * 2022-02-24 2022-06-10 江西省智能产业技术创新研究院 移动机器人初始位姿估计方法、系统、计算机及机器人
CN115761734A (zh) * 2022-10-29 2023-03-07 福州大学 基于模板匹配和概率分布的物体位姿估计方法
CN116645392A (zh) * 2023-04-28 2023-08-25 哈尔滨工业大学 一种基于关键点权重的空间目标相对位姿迭代估计方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向机器人抓取过程中目标位姿估计方法;李树春 等;传感器与微系统;20190720;第38卷(第7期);32-34 *

Also Published As

Publication number Publication date
CN117495970A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP4974975B2 (ja) 画像において物体の位置を特定する方法及びシステム
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
CN110689485A (zh) 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN107016319B (zh) 一种特征点定位方法和装置
CN110706293B (zh) 基于surf特征匹配的电子元器件定位和检测方法
CN113313701B (zh) 基于形状先验的电动汽车充电口两阶段视觉检测定位方法
CN114529613A (zh) 一种圆阵列标定板的特征点高精度坐标提取方法
CN114897972A (zh) 一种托盘定位方法及装置
CN111415376A (zh) 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法
CN117495970B (zh) 基于模板多级匹配的化学仪器位姿估计方法、设备及介质
JPH09237342A (ja) 注視点を用いた頑健な認識装置
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN108447092B (zh) 视觉定位标识物的方法及装置
CN114581678A (zh) 一种模板特征匹配的自动跟踪与重识别方法
CN114267032A (zh) 一种集装箱定位识别方法、装置、设备及存储介质
CN111968104B (zh) 一种基于机器视觉的钢卷异常识别方法、系统、设备及介质
CN113436313A (zh) 一种基于无人机的三维重建误差主动修正方法
CN110955797B (zh) 用户位置确定方法、装置、电子设备及存储介质
WO2007134172A2 (en) Characterization and classification of pose in low dimension
CN116309573A (zh) 一种牛奶包装盒印刷字符的缺陷检测方法
CN112907666A (zh) 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN114359314A (zh) 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法
JP2001143072A (ja) 物体形状識別装置
CN115690209A (zh) 一种用于配电变压器接线端子的三维定位识别方法、装置、介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant