CN112132131B - 量筒液位识别方法和装置 - Google Patents

量筒液位识别方法和装置 Download PDF

Info

Publication number
CN112132131B
CN112132131B CN202011004854.9A CN202011004854A CN112132131B CN 112132131 B CN112132131 B CN 112132131B CN 202011004854 A CN202011004854 A CN 202011004854A CN 112132131 B CN112132131 B CN 112132131B
Authority
CN
China
Prior art keywords
measuring cylinder
liquid level
image
scale
cylinder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011004854.9A
Other languages
English (en)
Other versions
CN112132131A (zh
Inventor
陈海波
刘倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN202011004854.9A priority Critical patent/CN112132131B/zh
Publication of CN112132131A publication Critical patent/CN112132131A/zh
Application granted granted Critical
Publication of CN112132131B publication Critical patent/CN112132131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种量筒液位识别方法和装置，所述方法包括以下步骤：获取实验视频中至少一帧量筒图像；对所述量筒图像进行裁剪以得到量筒区域；将所述量筒区域输入encoder‑decoder模型，输出相应的热力图；根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置；根据所述量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值。本发明能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。

Description

量筒液位识别方法和装置
技术领域
本发明涉及机器学习技术领域，具体涉及一种量筒液位识别方法、一种量筒液位识别装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
在物理或化学实验中，常需要读取量筒中的液位。目前，智能化的实验台需要实现对量筒液位的自动识别。然而，由于运动模糊、量筒透明、刻度线不清晰等问题，当前通过图像处理得到刻度线和液位线从而读取刻度值的识别方式，容易出现漏检测、误检测等问题，识别的准确度较低。
发明内容
本发明为解决上述技术问题，提供了一种量筒液位识别方法和装置，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
本发明采用的技术方案如下：
一种量筒液位识别方法，包括以下步骤：获取实验视频中至少一帧量筒图像；对所述量筒图像进行裁剪以得到量筒区域；将所述量筒区域输入encoder-decoder模型，输出相应的热力图；根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置；根据所述量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值。
获取实验视频中至少一帧量筒图像，具体包括：通过YoloV3目标检测算法检测所述实验视频中的每一帧图像中的量筒目标，以确定所述量筒图像。
在确定所述量筒图像之后，还包括：判断所述量筒图像中的量筒是否垂直于实验台；如果垂直，则对所述量筒图像进行裁剪以得到量筒区域；如果不垂直，则继续获取实验视频中的其他量筒图像。
根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，具体包括：提取所述热力图的峰值点，并将所述热力图的峰值点映射回所述量筒区域，得到量筒的最低刻度位置点、最高刻度位置点和液面位置点。
所述液位刻度值为：
L3＝M/L1*L2
其中，L3为所述液位刻度值，M为量筒的最高刻度值，L1为量筒的最低刻度位置点到最高刻度位置点的距离，L2为液面位置点到量筒的最低刻度位置点的距离。
一种量筒液位识别装置，包括：第一获取模块，用于获取实验视频中至少一帧量筒图像；裁剪模块，用于对所述量筒图像进行裁剪以得到量筒区域；检测模块，用于将所述量筒区域输入encoder-decoder模型，输出相应的热力图；第二获取模块，用于根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置；计算模块，用于根据所述量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述量筒液位识别方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述量筒液位识别方法。
一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述量筒液位识别方法。
本发明的有益效果：
本发明通过获取实验视频中至少一帧量筒图像，并对量筒图像进行裁剪以得到量筒区域，然后将量筒区域输入encoder-decoder模型，输出相应的热力图，再根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，最后根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，由此，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
附图说明
图1为本发明实施例的量筒液位识别方法的流程图；
图2为本发明一个实施例的YoloV3的网络结构示意图；
图3为本发明实施例的量筒液位识别装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的量筒液位识别方法包括以下步骤：
S1，获取实验视频中至少一帧量筒图像。
在本发明的以一个实施例中，可通过YoloV3目标检测算法检测实验视频中的每一帧图像中的量筒目标，以确定量筒图像。
由于量筒目标较大且透明，所以对检测器要求较高，本发明实施例采用基于YoloV3的检测网络，能很好地实现量筒检测。YoloV3主要思路是将输入图像分成S×S的网格，能实现多尺度预测(类似FPN)，是一种更好的基础分类网络(类似ResNet)和分类器。YoloV3分三条分枝对不同尺度特征进行检测，同时，每条分枝融合了多层次的特征图，整个过程只需要一步，所以相对传统检测模型实现量筒检测的算法，其优势是精度更高。YoloV3的网络结构如图2所示。
YoloV3将输入图像分成SxS个格子，若某个物体真值(ground truth)的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。相较于此前的Yolo网络结构，YoloV3不使用Softmax对每个框进行分类，主要考虑因素有两个：(1)Softmax不适用于多标签分类；(2)Softmax可被独立的多个logistic分类器替代，且准确率不会下降。
YoloV3进行检测时，每种尺度预测3个box，anchor的设计方式仍然使用聚类，得到9个聚类中心，将其按照大小均分给3种尺度。其中，尺度1：在基础网络之后添加一些卷积层再输出box信息；尺度2：从尺度1中的倒数第二层的卷积层上采样(x2)再与最后一个16x16大小的特征图相加，再次通过多个卷积后输出box信息，相比尺度1变大两倍；尺度3：与尺度2类似，使用了32x32大小的特征图。
上述基于YoloV3的检测网络的训练过程包括：首先进行预训练，具体可使用ImageNet 1000类数据训练网络的前20个卷积层+1个average池化层+1个全连接层，训练图像分辨率resize到448×448。然后用上述前20个卷积层网络参数进行初始化，用VOC 20类标注数据进行网络训练。检测通常需要有细密纹理的视觉信息，所以为提高图像精度，在训练检测网络时，将输入图像分辨率从1280×720调整到448×448。训练时B个bbox(边界框)的ground truth设置成相同的。
将实验视频中帧图像输入训练后的YoloV3检测网络，即YoloV3检测模型，即可检测出该帧图像是否包含量筒。
S2，对量筒图像进行裁剪以得到量筒区域。
在本发明的一个实施例中，在确定量筒图像之后，对量筒图像进行裁剪之前，还可判断量筒图像中的量筒是否垂直于实验台，如果垂直，则执行步骤S2，即对量筒图像进行裁剪以得到量筒区域；如果不垂直，则返回步骤S1，继续获取实验视频中的其他量筒图像。也就是说，可剔除量筒不垂直于实验台的量筒图像，便于后续刻度及页面的检测等。
对量筒图像进行裁剪的目的是将分析区域由原图减少到量筒区域，将该量筒区域作为后续位置关键点检测网络的输入。裁剪可以以上述YoloV3的检测框作为基准，裁剪的优势在于能够过滤非关注区域，防止误检测，能够提高后续关键点的检出率。
在本发明的一个实施例中，判断量筒图像中的量筒是否垂直于实验台的流程为：对量筒图像进行目标检测并裁剪出量筒区域；将量筒区域输入点检测网络，以得到量筒长度方向上的多个关键点；对多个关键点进行直线拟合；通过拟合出的直线与水平线的夹角判断量筒是否垂直于实验台。
具体地，可将量筒图像调整到预设尺寸，如640*640后输入训练好的Yolov5目标检测模型，得到边界为x1、y1、x2、y2的矩形框，即量筒区域，然后裁剪出该量筒区域。在本发明的一个实施例中，点检测网络可为以hourglass为主干网络的CenterNet。通过上述点检测网络对量筒区域进行关键点检测，可检测出多个关键点，并输出其坐标。就量筒而言，多个关键点可为量筒口位置点、最高刻度线位置点、液面位置点、最低位置位置点、量筒底部位置点中的至少两个。本发明一个实施例中的关键点及其对应的标签如下：量筒口位置点0、最高刻度线位置点1、液面位置点2、最低位置位置点3、量筒底部位置点4。在得到多个关键点的坐标后，可通过最小二乘法对多个关键点进行拟合，得到一元一次直线。最后可通过将拟合出的直线与水平线的夹角角度(不大于90°)或其三角函数值与预设阈值进行比较以判断待检测物体是否垂直。例如，拟合出的直线与水平线的夹角为θ，预设阈值可为6。如果tanθ＜6，则可判定量筒处于倾斜状态；否则，判定量筒处于垂直状态，也即垂直于实验台。
S3，将量筒区域输入encoder-decoder模型，输出相应的热力图。
S4，根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置。
本发明实施例中encoder-decoder模型的功能是实现目标位置点的检测，通过目标中心点呈现目标位置点，由目标中心点回归出目标位置点，将目标检测问题变成了一个标准的关键点估计问题，使用中心点表示物体，从而增强其对内部信息的感知能力。
在将裁剪得到的量筒区域图像输入encoder-decoder模型后，可输出相应的热力图，热力图峰值点即为需要检测出的位置点的中心点。在本发明的实施例中，需要检测出的位置点为量筒的最低刻度位置点、最高刻度位置点和液面位置点。也就是说，本发明实施例可提取热力图的峰值点，并将热力图的峰值点映射回量筒区域，得到量筒的最低刻度位置点、最高刻度位置点和液面位置点。
encoder-decoder模型的训练采用标准的监督学习，推理仅仅是单个前向传播网络，不存在NMS这类后处理。位置点检测之前的样本标注形式为框标注(即x，y，W，H，分别是左上角横坐标、左上角纵坐标、框宽度、框高度)，经网络回归出来为目标预测框的中心点坐标，从而将框目标检测转换为中心点回归。由于网络模型设计简化，因此运行速度较高，满足实时性的检测要求。该encoder-decoder模型的优点如下：通过关键点估计做目标检测，将检测转化为关键点回归，分配的锚点仅仅是放在位置上，没有尺寸框，没有手动设置的阈值做前后景分类；每个目标仅仅有一个正的锚点，因此不会用到NMS，仅提取关键点特征图上局部峰值点(local peaks)；相比较传统目标检测而言(缩放16倍尺度)，使用更大分辨率的输出特征图(缩放4倍)，因此无需用到多重特征图锚点。
具体地，位置点k的bbox坐标为本发明实施例的关键位置点涉及三类，即最低刻度位置点、最高刻度位置点和液面位置点，其中心位置为通过关键点估计得到所有的中心点。此外，为每个目标位置点k回归出目标的尺寸/>为了减少计算负担，可为每个目标种类使用单一的尺寸预测/>其中R为关键点类型个数，在中心点位置添加L1loss：
本发明实施例不将尺度scale进行归一化，直接使用原始像素坐标。为了调节该loss的影响，将其乘了个系数来约束其影响程度，整个训练的目标loss函数为：
Ldet＝Lk+λsizeLsize+λoffLoff
其中，λsize＝0.1，λoff＝1，Lk为目标函数，Loff为训练偏移值所采用的损失函数。
整个网络预测会在每个位置输出C+4个值(即关键点类别C，偏移量的x、y，尺寸的W、H)，所有输出共享一个全卷积的backbone。
在推理时，可分别提取热力图上每个类别的峰值点。具体是将热力图上的所有响应点与其连接的8个临近点进行比较，如果该点响应值大于或等于其八个临近点值则保留，最后保留所有满足之前要求的前100个峰值点。类别C的n个中心点为每个关键点的坐标为(xi，yi)，可得到如下关键点/>其中，/>为预测的偏移，/>为预测的宽高。所有的输出都直接从关键点估计得到，无需基于IOU的NMS或者其他后处理。
用热力图回归得到所有关键点Lj，其中，对于热力图上值小于0.1的直接略去，然后将每个回归位置lj与最近的检测关键点进行分配，即根据确定目标位置点。
S5，根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值。
假设量筒的最低刻度位置点、最高刻度位置点和液面位置点坐标分别为(x1,y1)、(x2,y2)和(x3,y3)，则量筒的最低刻度位置点到最高刻度位置点的距离L1＝y1-y2，液面位置点到量筒的最低刻度位置点的距离L2＝y1–y3。在量筒的最高刻度值M已知的前提下，所估算出的液位刻度值L3＝M/L1*L2。
根据本发明实施例的量筒液位识别方法，通过获取实验视频中至少一帧量筒图像，并对量筒图像进行裁剪以得到量筒区域，然后将量筒区域输入encoder-decoder模型，输出相应的热力图，再根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，最后根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，由此，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
对应上述实施例的量筒液位识别方法，本发明还提出一种量筒液位识别装置。
如图3所示，本发明实施例的量筒液位识别装置包括第一获取模块10、裁剪模块20、检测模块30、第二获取模块40和计算模块50。其中，第一获取模块10用于获取实验视频中至少一帧量筒图像；裁剪模块20用于对所述量筒图像进行裁剪以得到量筒区域；检测模块30用于将所述量筒区域输入encoder-decoder模型，输出相应的热力图；第二获取模块40用于根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置；计算模块50用于根据所述量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值。
在本发明的以一个实施例中，第一获取模块10可通过YoloV3目标检测算法检测实验视频中的每一帧图像中的量筒目标，以确定量筒图像。
在本发明的一个实施例中，量筒液位识别装置还可包括判断模块，判断模块可在确定量筒图像之后，对量筒图像进行裁剪之前，判断量筒图像中的量筒是否垂直于实验台，如果垂直，则由裁剪模块20对量筒图像进行裁剪以得到量筒区域；如果不垂直，则继续由第一获取模块10获取实验视频中的其他量筒图像。也就是说，可剔除量筒不垂直于实验台的量筒图像，便于后续刻度及页面的检测等。
对量筒图像进行裁剪的目的是将分析区域由原图减少到量筒区域，将该量筒区域作为后续位置关键点检测网络的输入。裁剪模块20可以以上述YoloV3的检测框作为基准进行裁剪，裁剪的优势在于能够过滤非关注区域，防止误检测，能够提高后续关键点的检出率。
本发明实施例中encoder-decoder模型的功能是实现目标位置点的检测，通过目标中心点呈现目标位置点，由目标中心点回归出目标位置点，将目标检测问题变成了一个标准的关键点估计问题，使用中心点表示物体，从而增强其对内部信息的感知能力。
在将裁剪得到的量筒区域图像输入encoder-decoder模型后，可输出相应的热力图，热力图峰值点即为需要检测出的位置点的中心点。在本发明的实施例中，需要检测出的位置点为量筒的最低刻度位置点、最高刻度位置点和液面位置点。也就是说，本发明实施例的第二获取模块40可提取热力图的峰值点，并将热力图的峰值点映射回量筒区域，得到量筒的最低刻度位置点、最高刻度位置点和液面位置点。
encoder-decoder模型的训练采用标准的监督学习，推理仅仅是单个前向传播网络，不存在NMS这类后处理。位置点检测之前的样本标注形式为框标注(即x，y，W，H，分别是左上角横坐标、左上角纵坐标、框宽度、框高度)，经网络回归出来为目标预测框的中心点坐标，从而将框目标检测转换为中心点回归。由于网络模型设计简化，因此运行速度较高，满足实时性的检测要求。该encoder-decoder模型的优点如下：通过关键点估计做目标检测，将检测转化为关键点回归，分配的锚点仅仅是放在位置上，没有尺寸框，没有手动设置的阈值做前后景分类；每个目标仅仅有一个正的锚点，因此不会用到NMS，仅提取关键点特征图上局部峰值点(local peaks)；相比较传统目标检测而言(缩放16倍尺度)，使用更大分辨率的输出特征图(缩放4倍)，因此无需用到多重特征图锚点。
具体地，位置点k的bbox坐标为本发明实施例的关键位置点涉及三类，即最低刻度位置点、最高刻度位置点和液面位置点，其中心位置为/>通过关键点估计得到所有的中心点。此外，为每个目标位置点k回归出目标的尺寸为了减少计算负担，可为每个目标种类使用单一的尺寸预测/>其中R为关键点类型个数，在中心点位置添加L1 loss：
本发明实施例不将尺度scale进行归一化，直接使用原始像素坐标。为了调节该loss的影响，将其乘了个系数来约束其影响程度，整个训练的目标loss函数为：
Ldet＝Lk+λsizeLsize+λoffLoff
其中，λsize＝0.1，λoff＝1，Lk为目标函数，Loff为训练偏移值所采用的损失函数。
整个网络预测会在每个位置输出C+4个值(即关键点类别C，偏移量的x、y，尺寸的W、H)，所有输出共享一个全卷积的backbone。
在推理时，可分别提取热力图上每个类别的峰值点。具体是将热力图上的所有响应点与其连接的8个临近点进行比较，如果该点响应值大于或等于其八个临近点值则保留，最后保留所有满足之前要求的前100个峰值点。类别C的n个中心点为每个关键点的坐标为(xi，yi)，可得到如下关键点/>其中，/>为预测的偏移，/>为预测的宽高。所有的输出都直接从关键点估计得到，无需基于IOU的NMS或者其他后处理。
用热力图回归得到所有关键点Lj，其中，对于热力图上值小于0.1的直接略去，然后将每个回归位置lj与最近的检测关键点进行分配，即根据确定目标位置点。
假设量筒的最低刻度位置点、最高刻度位置点和液面位置点坐标分别为(x1,y1)、(x2,y2)和(x3,y3)，则量筒的最低刻度位置点到最高刻度位置点的距离L1＝y1-y2，液面位置点到量筒的最低刻度位置点的距离L2＝y1–y3。在量筒的最高刻度值M已知的前提下，所估算出的液位刻度值L3＝M/L1*L2。
根据本发明实施例的量筒液位识别装置，通过获取实验视频中至少一帧量筒图像，并对量筒图像进行裁剪以得到量筒区域，然后将量筒区域输入encoder-decoder模型，输出相应的热力图，再根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，最后根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，由此，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的量筒液位识别方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过获取实验视频中至少一帧量筒图像，并对量筒图像进行裁剪以得到量筒区域，然后将量筒区域输入encoder-decoder模型，输出相应的热力图，再根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，最后根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，由此，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例所述的量筒液位识别方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过获取实验视频中至少一帧量筒图像，并对量筒图像进行裁剪以得到量筒区域，然后将量筒区域输入encoder-decoder模型，输出相应的热力图，再根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，最后根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，由此，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
对应上述实施例，本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时，可执行根据本发明上述实施例所述的量筒液位识别方法。
根据本发明实施例的计算机程序产品，处理器执行其中的指令时，通过获取实验视频中至少一帧量筒图像，并对量筒图像进行裁剪以得到量筒区域，然后将量筒区域输入encoder-decoder模型，输出相应的热力图，再根据热力图获取量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，最后根据量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，由此，能够降低刻度、液面位置检测运算的复杂度，并能够有效避免漏检测和误检测，提高量筒液位识别的速度和准确度。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种量筒液位识别方法，其特征在于，包括以下步骤：
获取实验视频中至少一帧量筒图像；
对所述量筒图像进行裁剪以得到量筒区域；
将所述量筒区域输入encoder-decoder模型，输出相应的热力图；
根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置；
根据所述量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，
在确定所述量筒图像之后，还包括：判断所述量筒图像中的量筒是否垂直于实验台；如果垂直，则对所述量筒图像进行裁剪以得到量筒区域；如果不垂直，则继续获取实验视频中的其他量筒图像，
判断量筒图像中的量筒是否垂直于实验台的流程为：对量筒图像进行目标检测并裁剪出量筒区域；将量筒区域输入点检测网络，以得到量筒长度方向上的多个关键点，多个关键点为量筒口位置点、最高刻度线位置点、液面位置点、最低位置位置点、量筒底部位置点；通过最小二乘法对多个关键点进行直线拟合；通过拟合出的直线与水平线的夹角判断量筒是否垂直于实验台，具体通过将拟合出的直线与水平线的夹角角度或其三角函数值与预设阈值进行比较以判断量筒是否垂直于实验台。
2.根据权利要求1所述的量筒液位识别方法，其特征在于，获取实验视频中至少一帧量筒图像，具体包括：
通过YoloV3目标检测算法检测所述实验视频中的每一帧图像中的量筒目标，以确定所述量筒图像。
3.根据权利要求2所述的量筒液位识别方法，其特征在于，根据所述热力图获取所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置，具体包括：
提取所述热力图的峰值点，并将所述热力图的峰值点映射回所述量筒区域，得到量筒的最低刻度位置点、最高刻度位置点和液面位置点。
4.根据权利要求3所述的量筒液位识别方法，其特征在于，所述液位刻度值为：
L3＝M/L1*L2
其中，L3为所述液位刻度值，M为量筒的最高刻度值，L1为量筒的最低刻度位置点到最高刻度位置点的距离，L2为液面位置点到量筒的最低刻度位置点的距离。
5.一种量筒液位识别装置，其特征在于，包括：
第一获取模块，用于获取实验视频中至少一帧量筒图像；
裁剪模块，用于对所述量筒图像进行裁剪以得到量筒区域；
检测模块，用于将所述量筒区域输入encoder-decoder模型，输出相应的热力图；
第二获取模块，用于根据所述热力图获取所述所述量筒区域中量筒的最低刻度位置、最高刻度位置和液面位置；
计算模块，用于根据所述量筒的最低刻度位置、最高刻度位置和液面位置计算液位刻度值，
量筒液位识别装置还包括判断模块，判断模块在确定量筒图像之后，对量筒图像进行裁剪之前，判断量筒图像中的量筒是否垂直于实验台，如果垂直，则由裁剪模块对量筒图像进行裁剪以得到量筒区域；如果不垂直，则继续由第一获取模块获取实验视频中的其他量筒图像，
判断量筒图像中的量筒是否垂直于实验台的流程为：对量筒图像进行目标检测并裁剪出量筒区域；将量筒区域输入点检测网络，以得到量筒长度方向上的多个关键点，多个关键点为量筒口位置点、最高刻度线位置点、液面位置点、最低位置位置点、量筒底部位置点；通过最小二乘法对多个关键点进行直线拟合；通过拟合出的直线与水平线的夹角判断量筒是否垂直于实验台，具体通过将拟合出的直线与水平线的夹角角度或其三角函数值与预设阈值进行比较以判断量筒是否垂直于实验台。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-4中任一项所述的量筒液位识别方法。
7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-4中任一项所述的量筒液位识别方法。
CN202011004854.9A 2020-09-22 2020-09-22 量筒液位识别方法和装置 Active CN112132131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011004854.9A CN112132131B (zh) 2020-09-22 2020-09-22 量筒液位识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011004854.9A CN112132131B (zh) 2020-09-22 2020-09-22 量筒液位识别方法和装置

Publications (2)

Publication Number Publication Date
CN112132131A CN112132131A (zh) 2020-12-25
CN112132131B true CN112132131B (zh) 2024-05-03

Family

ID=73842573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011004854.9A Active CN112132131B (zh) 2020-09-22 2020-09-22 量筒液位识别方法和装置

Country Status (1)

Country Link
CN (1) CN112132131B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523809B1 (ko) * 2020-12-31 2023-04-20 동국대학교 산학협력단 컴퓨터 비전을 활용한 가스 라이터 불량품 검출 시스템
CN113111931B (zh) * 2021-04-02 2023-04-07 同济大学 一种基于光强变换和聚类的量筒读数方法
CN113283429B (zh) * 2021-07-21 2021-09-21 四川泓宝润业工程技术有限公司 基于深度卷积神经网络的液位式表计读数方法
CN115239789B (zh) * 2022-05-23 2023-06-27 华院计算技术(上海)股份有限公司 用于确定液体体积的方法及装置、存储介质、终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104324443A (zh) * 2014-11-07 2015-02-04 昆山韦睿医疗科技有限公司 一种液位检测方法、装置及负压伤口治疗仪
CN106643965A (zh) * 2016-12-23 2017-05-10 贵州电网有限责任公司电力科学研究院 一种利用模板匹配精确识别液位的方法
CN109472205A (zh) * 2018-10-09 2019-03-15 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
CN110599480A (zh) * 2019-09-18 2019-12-20 上海鹰瞳医疗科技有限公司 多源输入的眼底图像分类方法和设备
CN110751641A (zh) * 2019-10-18 2020-02-04 山东贝特建筑项目管理咨询有限公司 锚栓信息检测的方法及存储介质
CN110796834A (zh) * 2019-11-01 2020-02-14 广州小鹏汽车科技有限公司 车辆淹水的报警方法及系统、车辆和可读存储介质
CN110807765A (zh) * 2019-09-27 2020-02-18 许昌许继软件技术有限公司 一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统
CN111191622A (zh) * 2020-01-03 2020-05-22 华南师范大学 基于热力图和偏移向量的姿态识别方法、系统及存储介质
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9983641B2 (en) * 2016-04-27 2018-05-29 Intel Corporation Tunable two phase liquid cooling thermal management method and apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104324443A (zh) * 2014-11-07 2015-02-04 昆山韦睿医疗科技有限公司 一种液位检测方法、装置及负压伤口治疗仪
CN106643965A (zh) * 2016-12-23 2017-05-10 贵州电网有限责任公司电力科学研究院 一种利用模板匹配精确识别液位的方法
CN109472205A (zh) * 2018-10-09 2019-03-15 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
CN110599480A (zh) * 2019-09-18 2019-12-20 上海鹰瞳医疗科技有限公司 多源输入的眼底图像分类方法和设备
CN110807765A (zh) * 2019-09-27 2020-02-18 许昌许继软件技术有限公司 一种基于图像处理的悬垂绝缘子串倾斜检测方法与系统
CN110751641A (zh) * 2019-10-18 2020-02-04 山东贝特建筑项目管理咨询有限公司 锚栓信息检测的方法及存储介质
CN110796834A (zh) * 2019-11-01 2020-02-14 广州小鹏汽车科技有限公司 车辆淹水的报警方法及系统、车辆和可读存储介质
CN111191622A (zh) * 2020-01-03 2020-05-22 华南师范大学 基于热力图和偏移向量的姿态识别方法、系统及存储介质
CN111402228A (zh) * 2020-03-13 2020-07-10 腾讯科技（深圳）有限公司 图像检测方法、装置和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的指针式仪表检测与识别研究;徐发兵;吴怀宇;陈志环;喻汉;;高技术通讯(12);全文 *

Also Published As

Publication number Publication date
CN112132131A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112132131B (zh) 量筒液位识别方法和装置
CN111626190B (zh) 基于聚类分区进行刻度识别的水位监测方法
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN111814623A (zh) 一种基于深度神经网络的车辆车道偏离视觉检测方法
CN107092871B (zh) 基于多尺度多特征融合的遥感影像建筑物检测方法
CN109902618A (zh) 一种海面船只识别方法和装置
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN111079596A (zh) 高分辨率遥感影像的海上典型人造目标识别系统及方法
JP6959114B2 (ja) 誤判別可能性評価装置、誤判別可能性評価方法及びプログラム
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
Megalingam et al. Indian traffic sign detection and recognition using deep learning
CN113781537B (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
CN115359064A (zh) 工业缺陷检测方法和装置
CN114022774A (zh) 一种基于雷达影像的海洋中尺度涡监测方法和装置
CN115578616A (zh) 多尺度物体实例分割模型的训练方法、分割方法和装置
CN115019181A (zh) 遥感图像旋转目标检测方法、电子设备及存储介质
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN115841669A (zh) 一种基于深度学习技术的指针式仪表检测与示数识别方法
CN111553183A (zh) 一种船只检测模型训练方法、船只检测方法及装置
CN114565035A (zh) 一种舌象分析方法、终端设备及存储介质
US10115195B2 (en) Method and apparatus for processing block to be processed of urine sediment image
CN112215266A (zh) 一种基于小样本学习的x光图像违禁物品检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant