CN113313725B - 含能材料药桶的桶口识别方法及系统 - Google Patents

含能材料药桶的桶口识别方法及系统 Download PDF

Info

Publication number
CN113313725B
CN113313725B CN202110592967.3A CN202110592967A CN113313725B CN 113313725 B CN113313725 B CN 113313725B CN 202110592967 A CN202110592967 A CN 202110592967A CN 113313725 B CN113313725 B CN 113313725B
Authority
CN
China
Prior art keywords
image
bung hole
plane
bung
barrel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110592967.3A
Other languages
English (en)
Other versions
CN113313725A (zh
Inventor
郑荣耀
刘相鹏
陈芳
舒梁峻
李卫
张恒
陈俊
胡晓亮
李聚昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Qianfeng Intelligent Technology Co ltd
Huazhong University of Science and Technology
Hubei Sanjiang Aerospace Jianghe Chemical Technology Co Ltd
Original Assignee
Wuhan Qianfeng Intelligent Technology Co ltd
Huazhong University of Science and Technology
Hubei Sanjiang Aerospace Jianghe Chemical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Qianfeng Intelligent Technology Co ltd, Huazhong University of Science and Technology, Hubei Sanjiang Aerospace Jianghe Chemical Technology Co Ltd filed Critical Wuhan Qianfeng Intelligent Technology Co ltd
Priority to CN202110592967.3A priority Critical patent/CN113313725B/zh
Publication of CN113313725A publication Critical patent/CN113313725A/zh
Application granted granted Critical
Publication of CN113313725B publication Critical patent/CN113313725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明提供一种含能材料药桶的桶口识别方法及系统，方法包括：基于识别出的药桶的目标检测框，提取图像平面中药桶桶口的中心坐标；基于单应矩阵，获取桶口平面药桶桶口的中心坐标；基于药桶桶口的实际尺寸，在桶口平面生成桶口圆；基于单应矩阵，将桶口平面的桶口圆转换为图像平面中的桶口椭圆，生成图像平面中的桶口椭圆模板图像；基于桶口椭圆模板，从目标检测框中识别匹配出桶口椭圆轮廓。本发明对于初步识别出的药桶桶口的目标检测框，基于单应矩阵和药桶桶口的实际尺寸，可生成图像平面中的桶口椭圆模板图像，并基于桶口椭圆模板图像和目标检测框图像，进行图像匹配，从目标检测框中识别出精确的药桶桶口椭圆轮廓。

Description

含能材料药桶的桶口识别方法及系统
技术领域
本发明涉及图像识别领域，更具体地，涉及一种含能材料药桶的桶口识别方法及系统。
背景技术
通过设计的网络模型能够实现含能材料暂存区内药桶识别，但是由于含能材料的特殊性，每个含能材料药桶均包覆了黑色塑料袋，因此网络模型所识别的药桶，主要是黑色塑料袋的特征，而非实际药桶的特征。
该塑料袋的作用是防潮隔光，因此不仅硬度大，在翻边位置易形成不规则的褶皱，而且黑度高、易反光，对视觉类传感器易造成干扰。除此之外，黑色塑料袋是采用人工翻边，人工操作的随机性会导致翻边高度和桶口处的褶皱形状均无法确定。
综合上述原因，黑色塑料袋的包覆使得塑料袋下药桶的精确位置变得未知，而机器人抓取的是药桶，而不是外层的黑色塑料袋。因此，如何在完成覆盖有黑色塑料袋的含能材料药桶识别的基础上，进一步定位出不可见的药桶的精确位置，是实现含能材料生产中转运工序自动化和无人化的关键点和难点之一。
发明内容
本发明针对现有技术中存在的技术问题，提供一种含能材料药桶的桶口识别方法及系统。
根据本发明的第一方面，提供了一种含能材料药桶的桶口识别方法，包括：基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
根据本发明的第二方面，提供一种含能材料药桶的桶口识别系统，包括：提取模块，用于基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；第一获取模块，用于根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；第一生成模块，用于基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；第二获取模块，用于基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；第二生成模块，用于基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；第三获取模块，用于基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现含能材料药桶的桶口识别方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现含能材料药桶的桶口识别方法的步骤。
本发明提供的一种含能材料药桶的桶口识别方法及系统，对于初步识别出的药桶桶口的目标检测框，基于单应矩阵和药桶桶口的实际尺寸，可生成图像平面中的桶口椭圆模板图像，并基于桶口椭圆模板图像和目标检测框图像，进行图像匹配，从目标检测框中识别出精确的药桶桶口椭圆轮廓。
附图说明
图1为本发明提供的一种含能材料药桶的桶口识别方法流程图；
图2-1为投影变换两个平面的坐标点对示意图；
图2-2为两个平面投影变换示意图；
图3为二维交叉熵前景匹配算法的流程图；
图4-1为二值化目标图像示意图；
图4-2为二值化的桶口椭圆模板图像示意图；
图5为本案发明提供的一种含能材料药桶的桶口识别方法的整体流程图；
图6为本发明提供的一种含能材料药桶的桶口识别系统的结构示意图；
图7为本发明提供的一种可能的电子设备的硬件结构示意图；
图8为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种含能材料药桶的桶口识别方法流程图，如图1所示，方法包括：101、基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；102、根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；103、基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；104、基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；105、基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；106、基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
可以理解的是，神经网络模型识别药桶的结果返回一个检测框的坐标值，每个检测框包含了一个药桶，由于该检测框实际描述的是黑色塑料袋的位置，无法精确描述药桶中心位置，因此不能直接由检测框的坐标引导机器人抓取药桶。
此外，根据相机的成像模型，拍摄到的图像与真实物体成中心投影关系。药桶在图像中的成像往往不是圆形，而且在图像中部分桶身会与桶口混叠在一起，再加上桶身覆盖的黑色塑料袋，导致真实药桶的桶口轮廓难以分辨。因此如果从RGB图像进行药桶精定位会带来较大误差，而深度图像的灰度值代表的是物体与相机的距离信息，与物体的颜色无关，因此如果用深度图像进行药桶精定位，既避免了黑色塑料袋的颜色带来的干扰，又可以直接获得桶口轮廓，祛除桶身的干扰。
在对深度图进一步处理的过程中，可证明出图像中桶口的真实形状是椭圆，基于此，本发明实施例提出了一种能够对含能材料药桶的桶口进行精确识别的方法，具体的，将基于神经网络模型识别出的含能材料药桶的目标检测框，将目标检测框转化为深度图，提取出深度图的目标检测框的中心坐标，作为图像平面药桶桶口的中心坐标。
基于图像平面中药桶桶口的中心坐标和单应矩阵，计算出桶口平面中药桶桶口的中心坐标，其中，单应矩阵表征图像平面和桶口平面之间的投影映射关系。基于桶口平面中药桶桶口的中心坐标和药桶的实际尺寸，生成桶口平面中药桶桶口的桶口圆，即圆形的桶口形状。再基于桶口平面中的桶口圆和单应矩阵，将桶口平面中的桶口圆映射到图像平面中的桶口椭圆，也就是说，在桶口平面中，桶口的形状是圆形的，映射到图像平面中，桶口的形状为椭圆。
基于映射到图像平面中的桶口椭圆，生成桶口椭圆模板，将目标检测框作为目标图像，基于桶口椭圆模板，在目标图像中找到与桶口椭圆模板匹配的区域，即为图像平面中药桶桶口精确的椭圆轮廓。
本发明对于初步识别出的药桶桶口的目标检测框，基于单应矩阵和药桶桶口的实际尺寸，可生成图像平面中的桶口椭圆模板图像，并基于桶口椭圆模板图像和目标检测框图像，进行图像匹配，从目标检测框中识别出精确的药桶桶口椭圆轮廓。
在一种可能的实施例方式中，可以理解的是，图像平面与桶口平面标定的目的是获得两平面之间的单应矩阵(Homography Matrix)，单应矩阵表述了两个不同视角的图像上点对的投影变换(projective transformation)关系。单应矩阵主要用来解决两个问题：一是通过投影变换实现图像从一个视图到另一个视图的变换，二是可以表述位于真实世界的一个平面与对应该平面的图像之间的投影变换，如图2-1和图2-2所示。因此，单应矩阵在图像校正、视角变换、图像拼接、增强现实等领域应用广泛。
通过如下方式获取单应矩阵：
Figure BDA0003090212940000061
其中，定义XW-YW平面为桶口平面，u，v为图像平面的横纵坐标，XW和YW为桶口平面的横纵坐标；
其中，H为单应矩阵：
Figure BDA0003090212940000062
其中，图像平面坐标和桶口平面坐标均为齐次坐标，单应矩阵H的自由度为8，令h33＝1，得：
Figure BDA0003090212940000063
建立图像平面和桶口平面之间的变换关系：
Figure BDA0003090212940000064
由公式(4)可知，要求出单应矩阵H，需要图像平面和桶口平面两平面4个点对才能计算出8个参数，但是在实际场景中，只用4个点对计算单应矩阵误差较大，因此本发明实施例使用棋盘格进行标定，通过角点检测可获得多个点对，并通过优化算法得到最优的单应矩阵。
由于本发明实施例的药桶中心精定位算法处理对象是深度图，因此只需要标定计算深度图像平面与桶口平面之间的单应矩阵，Kinect V2相机深度图与红外图均采用的是红外相机，因此需要单独使用红外相机采集图像。制作了5×7×0.0473棋盘格，平放在桶口平面，在桶口平面的棋盘格中，定义桶口平面的坐标系。
比如，桶口平面坐标系下棋盘格角点的坐标，XW轴坐标为：
Figure BDA0003090212940000071
YW轴坐标为：
Figure BDA0003090212940000072
固定相机后，用红外相机采集图像，并使用角点检测算法获得棋盘格所有角点，得到图像平面像素坐标系中各角点的u轴坐标为：
Figure BDA0003090212940000073
v轴坐标为：
Figure BDA0003090212940000081
得到两平面对应点对坐标后，用RANSAC算法计算出单应矩阵：
Figure BDA0003090212940000082
上述方法制作标定板，实现图像平面与桶口平面之间的标定，通过标定数据计算出两平面之间的单应矩阵；经过计算推导，圆在单应矩阵作用下最终变换成椭圆，因此桶口平面的桶口圆形轮廓在图像中应是单应矩阵变换后的椭圆，该椭圆在像素坐标系中的形状和位置与桶口圆在桶口平面坐标系中的位置相关。然后从神经网络模型识别结果中获取满药桶的位置信息，并以输入神经网络的深度图像为下一步处理对象；以深度图中目标的检测框中心坐标作为初始药桶中心位置，通过单应矩阵映射回桶口平面，并根据药桶的尺寸参数生成桶口圆。桶口圆再经过单应矩阵变换，即得到像素坐标系中的椭圆，该椭圆即是“推理”出的黑色塑料袋包覆下药桶桶口应该所成的图像。最后对深度图中检测框区域内的图像作处理，并根据“推理”出的椭圆制作模板图像，对检测框内的区域图像进行模板匹配，最终即可获得药桶中心更为精确的位置。
可以理解的是，在对深度图进一步处理的过程中，可证明出图像中桶口的真实形状是椭圆，因此如何根据椭圆模板从图像中检测出椭圆是关键的问题。检测椭圆最常用的方法有霍夫变换、椭圆拟合、模板匹配等，每种方法适用场景各不相同。
其中，传统的霍夫变换是通过将图像空间映射到参数空间进行“投票”，霍夫变换的计算效率较低、精度不高。椭圆拟合法是指在给定平面上的一组样本点中寻找到一个椭圆，使得该椭圆尽可能地靠近样本点，椭圆拟合算法包括最小二乘法、五点拟合法等，总的来说椭圆拟合法易受到噪声点的影响，因此采用椭圆拟合算法检测椭圆之前需要对原始图像做严格的去燥等预处理操作。模板匹配是一种基础但有效的模式识别方法，模板匹配也有自身的局限性，一般的模板匹配算法只能平移，若目标对象发生旋转或尺度变化，则需要对模板匹配算法进行针对性的改造，算法的时间复杂度会大大增加。
经过算法测试与比较，霍夫变换椭圆检测、椭圆拟合及模板匹配均无法满足对黑色塑料袋下真实药桶位置的精准识别，难以保证机器人对药桶的抓取精度。经过分析，前两种方法之所以难以保证精度是因为图像数据粗糙，不同图像之间的轮廓差异较大，算法不具备从很宽泛的轮廓中“推理”出椭圆所在位置的能力。
基于“推理”的含能材料药桶中心精定位模块输入图像为粗定位的含能材料药桶深度图。由于黑色塑料袋的存在，即使采用深度图作为数据源可以剔除塑料袋的褶皱、反光、变形等干扰，但仍然会有很多的噪声干扰，如果前期对数据进行去燥，不可避免会对真实的桶口图像数据产生影响，研究表明，选择性地对于图像边缘位置不进行去噪处理，能更好地保留图像边缘特征。本发明实施例提出了一种二维最小交叉熵前景匹配算法，该算法的原理是，对“推理”出的黑色塑料袋包覆下桶口圆的模板图像，分离出椭圆前景和非椭圆背景。此外，采用交叉熵评价模板图像和目标图像之间的相似度，在滑窗匹配阶段，只计算椭圆前景区域与目标图像相对应区域之间的交叉熵，得到最终的交叉熵分布并获取最小值点，即完成匹配。
在一种可能的实施例方式中，所述基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板之后还包括：将图像平面中的桶口椭圆模板进行二值化处理，获取二值化桶口椭圆模板；从二值化桶口椭圆模板中提取出椭圆前景图像，作为椭圆模板图像。
其中，基于桶口椭圆模板，在目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓，包括：对所述目标检测框进行图像二值化处理，将图像二值化处理后的目标检测框作为目标图像；基于二维交叉熵进行模板匹配，从目标图像中找到与所述椭圆模板图像匹配的桶口椭圆轮廓。
可以理解的是，对于生成的桶口椭圆模板图像以及目标图像(目标检测框)均进行图像二值化处理，分别得到二值化处理后的桶口椭圆模板图像和目标图像。基于二值化的桶口椭圆模板图像，在二值化的目标图像中找到匹配的桶口椭圆区域，即精确定位出图像平面中桶口椭圆轮廓。
在一种可能的实施例方式中，基于二维交叉熵进行模板匹配，从所述目标图像中找到与所述椭圆模板图像匹配的桶口椭圆轮廓，包括：将所述椭圆模板图像在所述目标图像中滑动，得到在所述目标图像中的滑动窗口区域图像；计算所述椭圆模板图像与每一个滑动窗口区域图像之间的二维交叉熵；确定最小二维交叉熵对应的滑动窗口区域图像为与所述椭圆模板图像匹配的桶口椭圆轮廓。
可以理解的是，参见图3，为二维交叉熵算法实现图像匹配的流程图，根据神经网络模型的识别结果获取深度图目标检测框区域，通过单应矩阵推理出图像平面中桶口椭圆模板，分离出桶口椭圆模板中的椭圆前景和非椭圆背景，将分离出的椭圆前景作为桶口椭圆模板图像。对深度图目标检测框区域进行二值化处理，得到二值化目标图像。
将椭圆模板图像在目标图像中进行滑动操作，每滑动一次，在目标图像中可得到一个滑动窗口区域图像，计算椭圆模板图像与每一个滑动窗口区域图像之间的二维交叉熵，如果某一个滑动窗口区域图像与椭圆模板图像之间的二维交叉熵最小，则该滑动窗口区域图像即为与椭圆模板图像匹配的区域，该区域即为最终匹配的桶口椭圆区域，可提取出图像平面中精确的桶口椭圆轮廓。
其中，熵(Entropy)描述的是体系的混乱程度，在概率论、控制论、热力学和天体物理等领域有重要作用，将熵的概念引入到信息论中来，用信息熵描述信源的不确定度。图像作为信号的一种，图像的熵是一种特征的统计形式，反映了图像中平均信息量的多少。图像的熵根据特征维度可分为一维熵、二维熵等，图像一维熵主要表示图像中灰度分布的聚集特征所包含的信息量，以灰度级为256的图像为例，一维熵定义为：
Figure BDA0003090212940000111
其中，Pi是灰度i在该图像中所出现的概率，可由图像的灰度直方图获得：
Pi＝Ni/N；(11)
其中，Ni为该图像中灰度值为i的像素点的总数，N为该图像中的总像素点数。
图像的一维熵只能反映出图像的灰度分布的聚集特征，但无法体现出图像灰度分布的空间特征，因此有时为了表示这种空间特征，在一维熵的基础上可以引入第二个维度的特征量来反映灰度分布的空间特征，与灰度的聚集特征共同组成图像的二维熵。一般选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为(i,j)，其中i表示像素的灰度值(0≤i≤255)，j表示邻域灰度均值(0≤j≤255)，二维熵的表达式为：
Figure BDA0003090212940000121
其中，Pi,j表示图像中灰度值为i且指定邻域灰度均值为j的概率，能反映出某位置的自身像素灰度值以及其周围像素灰度分布的综合特征：
Pi,j＝f(i,j)/N2；(13)
其中，f(i,j)为图像中灰度值为i且指定邻域灰度均值为j的像素个数，N表示图像中的像素点总数。
在本发明实施例研究的模板匹配中，不再简单地采用平方差、相关等基本的描述两幅图像相似度的度量指标，而是以比较模板图像与目标图像灰度概率分布的形式判别二者相似度，因此可以用相对熵来衡量二者的差异，一维相对熵的计算公式为：
Figure BDA0003090212940000122
相对熵在机器学习领域应用广泛，P常用来表示样本的真实分布，Q表示预测分布，在本发明实施例中，Pi表示灰度值为i在模板图像中的概率，Qi表示灰度值为i在目标图像中的概率，n为灰度值的取值范围，二者越接近，相对熵的值越小。若对上式(14)变形可以得到：
Figure BDA0003090212940000131
等式(15)的前一部分-H(P)为P的熵，对于固定不变的特征其熵不变，因此在机器学习训练中不再重复计算标签数据的熵，只需计算等式后一部分，该部分即为一维交叉熵。本发明实施例的模板匹配中，模板图像同样是固定的，因此可将交叉熵应用于评价模板图像与目标图像之间的相似度，在实现以熵替代欧氏距离表征图像相似度的同时，也降低了计算量，实现了算法优化。为了获取更高的匹配精度，本发明实施例采用二维交叉熵作为模板图像和目标图像之间相似度的评价指标，二维交叉熵的计算公式为：
Figure BDA0003090212940000132
其中，Pi,j表示灰度值为i，且邻域灰度均值为j在模板图像中出现的概率，Qi,j表示灰度值为i，且邻域灰度均值为j在目标图像中出现的概率，m和n分别为i和j的取值范围。
对模板图像进行处理，提取出所有属于椭圆的前景像素坐标并进行存储，在滑动窗口阶段，只在目标图像中选择相对应的前景像素点计算与模板椭圆的二维交叉熵，可以大幅提高匹配速度。根据二维交叉熵的计算公式，若以原始灰度图直接进行交叉熵计算，则：
Figure BDA0003090212940000133
根据公式(17)可知，需要统计出256×256个灰度级各自的灰度概率分布，不仅计算量大，而且构造的模板图像与目标图像灰度值难以对应。本发明实施例对目标图像做二值化处理，并直接构造椭圆灰度值为0的模板图像，对模板图像和目标图像分别进行二值化处理，二值化处理后的模板图像和目标图像中像素的灰度值只有0和1，其中，在模板图像中前景区域中的像素灰度值为0，那么公式(17)可以变换为：
Figure BDA0003090212940000141
由式(17)和公式(18)可以看出，上述处理直接将65536次计算压缩为2次计算，进一步大幅提高了匹配效率。
基于上述理论，以神经网络模型输出的检测框区域图像作为模板匹配的目标图像，并做二值化处理。根据单应矩阵“推理”得到当前药桶在图像中理论上的桶口形状并构造二值化模板图像，其中椭圆灰度值为0，目标图像和模板图像如图4-1和图4-2所示，图4-1为二值化的目标图像，图4-2为二值化的桶口椭圆模板，完成匹配后，在所有匹配路径中选择二维交叉熵的最小值点作为目标匹配的最终结果。
参见图5，为本发明实施例提供的一种含能材料药桶的桶口识别方法的整体流程图，通过神经网络模型识别出深度图像的目标检测框，提取目标检测框的中心坐标作为图像平面中桶口的中心坐标。基于单应矩阵，将图像平面中桶口的中心坐标映射到桶口平面中，得到桶口平面中桶口中心坐标。根据桶口平面中桶口中心坐标和药桶的实际尺寸，生成桶口平面中的桶口圆。基于单应矩阵，将桶口平面中的圆形形状的桶口映射为图像平面中的椭圆形状的桶口，基于图像平面中的椭圆形状的桶口，生成图像平面中桶口椭圆模板图像。对原始的目标检测框图像进行二值化处理，得到二值化处理后的目标图像，根据椭圆前景的二维交叉熵模板匹配算法，从目标图像中找到与桶口椭圆模板图像匹配的区域，即为图像平面中药桶桶口的椭圆轮廓。
图6为本发明实施例提供的一种含能材料药桶的桶口识别系统结构图，如图6所示，一种含能材料药桶的桶口识别系统，包括提取模块601、第一获取模块602、第一生成模块603、第二获取模块604、第二生成模块605和第三获取模块605，其中：
提取模块601，用于基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；第一获取模块602，用于根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；第一生成模块603，用于基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；第二获取模块604，用于基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；第二生成模块605，用于基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；第三获取模块606，用于基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
可以理解的是，本发明提供的一种含能材料药桶的桶口识别系统与前述各实施例提供的含能材料药桶的桶口识别方法相对应，含能材料药桶的桶口识别系统的相关技术特征可参考含能材料药桶的桶口识别方法的相关技术特征，在此不再赘述。
请参阅图7，图7为本发明实施例提供的电子设备的实施例示意图。如图7所示，本发明实施例提了一种电子设备，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序711，处理器720执行计算机程序711时实现以下步骤：基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
请参阅图8，图8为本发明提供的一种计算机可读存储介质的实施例示意图。如图8所示，本实施例提供了一种计算机可读存储介质800，其上存储有计算机程序811，该计算机程序811被处理器执行时实现如下步骤：基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
本发明实施例提供的一种含能材料药桶的桶口识别方法及系统，对于初步识别出的药桶桶口的目标检测框，基于单应矩阵和药桶桶口的实际尺寸，可生成图像平面中的桶口椭圆模板图像，并基于桶口椭圆模板图像和目标检测框图像，进行图像匹配，从目标检测框中识别出精确的药桶桶口椭圆轮廓。在进行图像匹配时，提出了二维最小交叉熵模板前景匹配算法，实现了黑色塑料袋包覆下药桶位置的精确定位，并且在使用二维最小交叉熵模板前景匹配算法时，将椭圆模板图像的前景部分和背景部分分离开来，并且将椭圆模板图像和目标图像进行二值化处理，减少了二维交叉熵的计算量，提高了图像匹配的效率。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种含能材料药桶的桶口识别方法，其特征在于，包括：
基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；
根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；
基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；
基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；
基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；
基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
2.根据权利要求1所述的含能材料药桶的桶口识别方法，其特征在于，所述提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标包括：
获取所述目标检测框对应的深度图像，提取所述深度图像中目标检测框的中心坐标作为图像平面药桶桶口的中心坐标。
3.根据权利要求1所述的含能材料药桶的桶口识别方法，其特征在于，通过如下方式获取单应矩阵：
Figure FDA0003090212930000021
其中，定义XW-YW平面为桶口平面，u，v为图像平面的横纵坐标，XW和YW为桶口平面的横纵坐标；
其中，H为单应矩阵：
Figure FDA0003090212930000022
其中，图像平面坐标和桶口平面坐标均为齐次坐标，单应矩阵H的自由度为8，令h33＝1，得：
Figure FDA0003090212930000023
建立图像平面和桶口平面之间的变换关系：
Figure FDA0003090212930000024
基于棋盘格标定方式，获取图像平面和桶口平面中的多组点对(u，v)和(Xw，Yw)，基于多组点对和公式(4)，计算出单应矩阵H。
4.根据权利要求1所述的含能材料药桶的桶口识别方法，其特征在于，所述基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板之后还包括：
将图像平面中的桶口椭圆模板进行二值化处理，获取二值化桶口椭圆模板；
从所述二值化桶口椭圆模板中提取出椭圆前景图像，作为椭圆模板图像。
5.根据权利要求4所述的含能材料药桶的桶口识别方法，其特征在于，所述基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓，包括：
对所述目标检测框进行图像二值化处理，将图像二值化处理后的目标检测框作为目标图像；
基于二维交叉熵进行模板匹配，从所述目标图像中找到与所述椭圆模板图像匹配的桶口椭圆轮廓。
6.根据权利要求5所述的含能材料药桶的桶口识别方法，其特征在于，所述基于二维交叉熵进行模板匹配，从所述目标图像中找到与所述椭圆模板图像匹配的桶口椭圆轮廓，包括：
将所述椭圆模板图像在所述目标图像中滑动，得到在所述目标图像中的滑动窗口区域图像；
计算所述椭圆模板图像与每一个滑动窗口区域图像之间的二维交叉熵；
确定最小二维交叉熵对应的滑动窗口区域图像为与所述椭圆模板图像匹配的桶口椭圆轮廓。
7.根据权利要求6所述的含能材料药桶的桶口识别方法，其特征在于，所述计算所述椭圆模板图像与每一个滑动窗口区域图像之间的二维交叉熵，包括：
Figure FDA0003090212930000041
其中，Pi,j为椭圆模板图像中灰度值为i且指定邻域灰度均值为j的概率，Qi,j为目标图像中灰度值为i且指定邻域灰度均值为j的概率。
8.一种含能材料药桶的桶口识别系统，其特征在于，包括：
提取模块，用于基于神经网络模型识别出的含能材料药桶的目标检测框，提取目标检测框的中心坐标作为图像平面药桶桶口的中心坐标；
第一获取模块，用于根据图像平面药桶桶口的中心坐标和单应矩阵，获取桶口平面药桶桶口的中心坐标，所述单应矩阵表征图像平面和桶口平面之间的变换关系；
第一生成模块，用于基于药桶的实际尺寸和桶口平面药桶桶口的中心坐标，在桶口平面生成桶口圆；
第二获取模块，用于基于生成的桶口平面的桶口圆和单应矩阵，获取桶口圆在图像平面中对应的桶口椭圆；
第二生成模块，用于基于图像平面中对应的桶口椭圆，生成图像平面中的桶口椭圆模板；
第三获取模块，用于基于桶口椭圆模板，在所述目标检测框中进行匹配，获取所述目标检测框中的桶口椭圆轮廓。
9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的含能材料药桶的桶口识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的含能材料药桶的桶口识别方法的步骤。
CN202110592967.3A 2021-05-28 2021-05-28 含能材料药桶的桶口识别方法及系统 Active CN113313725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110592967.3A CN113313725B (zh) 2021-05-28 2021-05-28 含能材料药桶的桶口识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110592967.3A CN113313725B (zh) 2021-05-28 2021-05-28 含能材料药桶的桶口识别方法及系统

Publications (2)

Publication Number Publication Date
CN113313725A CN113313725A (zh) 2021-08-27
CN113313725B true CN113313725B (zh) 2022-06-17

Family

ID=77376072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110592967.3A Active CN113313725B (zh) 2021-05-28 2021-05-28 含能材料药桶的桶口识别方法及系统

Country Status (1)

Country Link
CN (1) CN113313725B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132655B (zh) * 2023-10-25 2024-01-26 江苏金旺智能科技有限公司 基于机器视觉的灌装桶口位置测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559704A (zh) * 2013-10-09 2014-02-05 哈尔滨工程大学 一种铁路油罐车罐口视觉定位方法
CN110378957A (zh) * 2019-06-05 2019-10-25 上海交通大学 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110992422A (zh) * 2019-11-04 2020-04-10 浙江工业大学 一种基于3d视觉的药盒姿态估计方法
CN112416000A (zh) * 2020-11-02 2021-02-26 北京信息科技大学 无人驾驶方程式赛车环境感知和导航方法及转向控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158677B2 (en) * 2002-08-20 2007-01-02 National Instruments Corporation Matching of discrete curves under affine transforms
WO2014064870A1 (ja) * 2012-10-22 2014-05-01 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559704A (zh) * 2013-10-09 2014-02-05 哈尔滨工程大学 一种铁路油罐车罐口视觉定位方法
CN110378957A (zh) * 2019-06-05 2019-10-25 上海交通大学 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
CN110992422A (zh) * 2019-11-04 2020-04-10 浙江工业大学 一种基于3d视觉的药盒姿态估计方法
CN112416000A (zh) * 2020-11-02 2021-02-26 北京信息科技大学 无人驾驶方程式赛车环境感知和导航方法及转向控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An_identification_and_classification_method_for_circular_object_based_on_rotating_image_template_matching;陈建科;《2013 IEEE机电一体化与自动化国际会议》;20130831;1338-1343 *
基于机器视觉的医疗垃圾桶识别抓取方法研究;王喆;《中国优秀硕士学位论文全文电子数据库（电子期刊）》;20210228;B027-1960 *

Also Published As

Publication number Publication date
CN113313725A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN105678689B (zh) 高精地图数据配准关系确定方法及装置
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
Guo et al. An accurate and robust range image registration algorithm for 3D object modeling
US8467596B2 (en) Method and apparatus for object pose estimation
CN109903313B (zh) 一种基于目标三维模型的实时位姿跟踪方法
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
Kuo et al. 3D object detection and pose estimation from depth image for robotic bin picking
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
CN111723721A (zh) 基于rgb-d的三维目标检测方法、系统及装置
Lysenkov et al. Pose estimation of rigid transparent objects in transparent clutter
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
CN111738320B (zh) 基于模板匹配的遮挡工件识别方法
EP3616126A1 (en) Object recognition
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
Seib et al. Object recognition using hough-transform clustering of surf features
CN113313725B (zh) 含能材料药桶的桶口识别方法及系统
JP2001143073A (ja) 物体の位置姿勢決定の方法
Dong et al. Superpixel-based local features for image matching
Marchisotti et al. Evaluation of the bounding box uncertainty of deep-learning object detection in HALCON software
CN106056599B (zh) 一种基于物体深度数据的物体识别算法及装置
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
Peng et al. Real time and robust 6D pose estimation of RGBD data for robotic bin picking
Guo et al. Automatic shape-based target extraction for close-range photogrammetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant