CN116071286A - 分液过程监测与终点识别方法及系统、存储介质及终端 - Google Patents

分液过程监测与终点识别方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN116071286A
CN116071286A CN202111273314.5A CN202111273314A CN116071286A CN 116071286 A CN116071286 A CN 116071286A CN 202111273314 A CN202111273314 A CN 202111273314A CN 116071286 A CN116071286 A CN 116071286A
Authority
CN
China
Prior art keywords
image
liquid separation
separation process
module
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111273314.5A
Other languages
English (en)
Inventor
彭伟
祝模芮
张�浩
孔新淋
彭焕庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Yaoling Technology Co ltd
Original Assignee
Chongqing Yaoling Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Yaoling Technology Co ltd filed Critical Chongqing Yaoling Technology Co ltd
Priority to CN202111273314.5A priority Critical patent/CN116071286A/zh
Publication of CN116071286A publication Critical patent/CN116071286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种分液过程监测与终点识别方法及系统、存储介质及终端,包括以下步骤:获取基于RGB色彩空间的分液过程视频;对分液过程视频的每一分液过程图像进行边缘检测;基于边缘检测后的分液过程图像提取分液容器的掩膜图像;将分液过程视频的每一分液过程图像缩放为预设大小的RGB图像;对RGB图像和掩膜图像进行匹配,以获取RGB图像的感兴趣区域;计算每个感兴趣区域的图像熵,构建图像熵的时间序列,选取图像熵最大值对应的时刻为分液终点。本发明的分液过程监测与终点识别方法及系统、存储介质及终端基于边缘检测算法和图像熵算法实现实验室无人值守的分液操作过程监测和终点识别,能捕获化学反应过程的大部分现象变化细节,结果准确,计算高效。

Description

分液过程监测与终点识别方法及系统、存储介质及终端
技术领域
本发明涉及机器视觉的技术领域,特别是涉及一种分液过程监测与终点识别方法及系统、存储介质及终端。
背景技术
在新药合成研发过程中,萃取分液、沉淀溶解与析出、色谱分析(薄层色谱、柱色谱)等操作需要依赖人眼进行长期的监视。其中,分液过程因不同程度的乳化现象不仅极为耗时,而且准确度高度依赖主观经验。利用视觉识别非均相液体相界面在饮料装灌和反应工程等领域的成功经验表明机器视觉辅助药物科学家实现无人值守分液操作具有较高的应用潜力。
吴泽等提出了一套液面状态识别算法,该算法可以对工业反应釜内液体状态的变化快速准确地识别,从而实现工业反应釜液面分离。其中,通过对工业反应釜中液面数据分析,将液面数据分成五种类别,采用的五种经典特征提取算法分别是局部二值模式(LocalBinary Pattern,LBP)、方向梯度直方图(Histogram of Oriented Gradient,HOG)、局部相位量化(Local Phase Quantization,LPQ)、Haar和颜色直方图,采用的分类器算法有支持向量机(Support Vector Machine,SVM)分类算法、随机森林分类算法和K最近邻(K-Nearest Neighbor,KNN)KNN分类算法。
在基于液面图像HOG特征的主成分分析(Principal Components Analysis,PCA)降维分类模型研究中,首先HOG特征提取算法用于提取液面特征时,由于该算法提取得到的液面数据特征维度过高,故使用PCA方法对HOG特征进行降维;然后将降维后的特征与LBP、LPQ、Haar特征提取算法形成的特征在上述三种分类器进行比较,得出PCA对HOG降维后的特征在KNN分类器中识别率最高达93.15%,最后研究了PCA贡献率对HOG特征提取方法的影响。
在基于自适应阈值方式对颜色直方图特征提取算法进行改进时,首先使用传统的颜色直方图特征提取算法获得256维的特征,但该特征在各类分类器中表现不佳;然后对上述256维的特征通过设置阈值的方式得到256维的二值特征,使用上述三种分类器算法对该二值特征识别分类时识别率提升明显,但是设置阈值大小对识别准确率影响很大;最后采用自适应阈值方式形成二值化特征。基于自适应阈值方式改进的颜色直方图特征提取算法在随机森林分类算法和SVM分类器算法中均具有很高的识别准确率,同时通过实验对比表明改进的颜色直方图特征提取算法不仅对所有液面状态数据识别有着很高的准确率,而且在较少训练数据情况下依旧保持着较高的识别准确率。
朱鹏昌等采用图像分割技术对液舱内自由液面识别问题开展了一系列的研究。评估指标检验自由液面分割情况的结果表明:基于高斯差分滤波的分水岭算法可高效精确地识别平整、光滑的自由液面,精确度达到99%以上;而对于表面模糊、局部微破碎的液面识别却存在一定的偏差问题。基于Sobel算子滤波的分水岭算法能够实现对局部微破碎、表面模糊、附有气泡等类型液面的识别,精确度达到98%以上,但对于复杂破碎的液面识别却具有一定的局限性。
针对破碎液面识别的特殊性,朱鹏昌等开发了基于U-net网络的破碎波识别模型。该分割技术在破碎液面识别中具有稳定性好和精度较高等特点,精确度可达到95%以上。基于U-net网络模型的智能识别技术不仅可弥补传统算法的不足,而且还保障了液面的识别精度。因而在流体力学试验中,基于U-net网络模型的智能识别技术具有广泛的应用前景。
朱鹏昌等应用基于经验模态分解(Empirical Mode Decomposition,EMD)的Hilbert变换方法对舱室内液体的固有频率等参数进行分析。通过EMD分解原始信号去除噪声等干扰信号,经Hilbert变换求解固有频率和阻尼比。对比分析可知:实验值对应的一阶固有频率比理论值偏小,约为0.8-0.9f1。由于EMD方法的降噪作用,实验值对应的一阶固有频率值比经FFT求解的一阶固有频率值偏小。IMF分量对应的阻尼比随着IMF相关性的降低而增大。
综上所述,基于机器视觉技术的分液过程识别算法主要依靠检测液面来判断分液过程,存在如下不足:
(1)液面检测算法大多需要复杂的滤波处理与图像形态学操作,导致算法本身无法做到对液面的实时检测;
(2)分液过程最明显的变化发生在十分复杂的液-液相界面,多数情况下算法识别准确率不高,在液面变化不明显的情况下无法准确识别液-液相界面的位置;
(3)液面检测算法多关注于液面在玻璃瓶内的位置,无法对分液终点进行判断。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种分液过程监测与终点识别方法及系统、存储介质及终端,基于边缘检测算法和图像熵算法实现实验室无人值守的分液操作过程监测和终点识别,能捕获化学反应过程的大部分现象变化细节,准确高效。
为实现上述目的及其他相关目的,本发明提供一种分液过程监测与终点识别方法,包括以下步骤:获取基于RGB色彩空间的分液过程视频;对所述分液过程视频的每一分液过程图像进行边缘检测;基于边缘检测后的分液过程图像提取分液容器的掩膜图像;将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像;对所述RGB图像和所述掩膜图像进行匹配,以获取所述RGB图像的感兴趣区域;计算每个RGB图像的感兴趣区域的图像熵,构建图像熵的时间序列,并选取图像熵最大值对应的时刻为分液终点。
于本发明一实施例中,对所述分液过程视频的每一分液过程图像进行边缘检测包括以下步骤:
将基于RGB色彩空间的所述分液过程视频拆帧形成RGB图像;
基于高斯滤波对所述RGB图像进行滤波处理;
基于Sobel滤波器提取滤波后的RGB图像的图像梯度;
设置高阈值与低阈值,当所述图像梯度大于所述高阈值时,对应的像素点保留为强边缘像素点;当所述图像梯度介于所述高阈值与所述低阈值之间时,对应的像素点保留为弱边缘像素点;若一像素点的邻域内存在强边缘像素点,则保留该像素点。
于本发明一实施例中,所述高斯滤波采用3×3的高斯核;所述Sobel滤波器采用3×3的Sobel滤波器。
于本发明一实施例中,基于边缘检测后的分液过程图像提取分液容器的掩膜图像包括以下步骤:
对边缘检测后的分液过程图像进行闭操作;
对闭操作后的分液过程图像进行测地膨胀,获取主体二值化图像;
对所述主体二值化图像进行孔洞填充,获取所述分液容器的掩膜图像。
于本发明一实施例中,将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像包括以下步骤:
将所述分液过程图像的宽度缩放为预设像素;
对宽度缩放后的分液过程图像进行长度缩放,使得长度缩放后的分液过程图像与所述分液过程图像的图像比例一致,以获取所述RGB图像。
于本发明一实施例中,构建图像熵的时间序列包括构建图像熵随时间变化的曲线图。
本发明提供一种分液过程监测与终点识别系统,包括视频获取模块、边缘检测模块、掩膜提取模块、图像转换模块、匹配模块和监测识别模块;
所述视频获取模块用于获取基于RGB色彩空间的分液过程视频;
所述边缘检测模块用于对所述分液过程视频的每一分液过程图像进行边缘检测;
所述掩膜提取模块用于基于边缘检测后的分液过程图像提取分液容器的掩膜图像;
所述图像转换模块用于将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像;
所述匹配模块用于对所述RGB图像和所述掩膜图像进行匹配,以获取所述RGB图像的感兴趣区域;
所述监测识别模块用于计算每个RGB图像的感兴趣区域的图像熵,构建图像熵的时间序列,并选取图像熵最大值对应的时刻为分液终点。
于本发明一实施例中,所述边缘检测模块包括拆帧模块、滤波模块、梯度提取模块和双阈值筛选模块;
所述拆帧模块用于将基于RGB色彩空间的所述分液过程视频拆帧形成RGB图像;
所述滤波模块用于基于高斯滤波对所述RGB图像进行滤波处理;
所述梯度提取模块用于基于Sobel滤波器提取滤波后的RGB图像的图像梯度;
所述双阈值筛选模块用于设置高阈值与低阈值,当所述图像梯度大于所述高阈值时,对应的像素点保留为强边缘像素点;当所述图像梯度介于所述高阈值与所述低阈值之间时,对应的像素点保留为弱边缘像素点;若一像素点的邻域内存在强边缘像素点,则保留该像素点。
于本发明一实施例中,所述高斯滤波采用3×3的高斯核;所述Sobel滤波器采用3×3的Sobel滤波器。
于本发明一实施例中,所述掩膜提取模块包括闭操作模块、测地膨胀模块和孔洞填充模块;
所述闭操作模块用于对边缘检测后的分液过程图像进行闭操作;
所述测地膨胀模块用于对闭操作后的分液过程图像进行测地膨胀,获取主体二值化图像;
所述孔洞填充模块用于对所述主体二值化图像进行孔洞填充,获取所述分液容器的掩膜图像。
于本发明一实施例中,所述图像转换模块包括宽缩放模块和长缩放模块;
所述宽缩放模块用于将所述分液过程图像的宽度缩放为预设像素;
所述长缩放模块用于对宽度缩放后的分液过程图像进行长度缩放,使得长度缩放后的分液过程图像与所述分液过程图像的图像比例一致,以获取所述RGB图像。
于本发明一实施例中,所述监测识别模块构建图像熵的时间序列时,构建图像熵随时间变化的曲线图。
本发明提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的分液过程监测与终点识别方法。
本发明提供一种分液过程监测与终点识别终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述分液过程监测与终点识别终端执行上述的分液过程监测与终点识别方法。
本发明提供一种分液过程监测与终点识别系统,包括视频采集装置和上述的分液过程监测与终点识别终端;
所述视频采集终端用于采集基于RGB色彩空间的分液过程视频并发送至所述分液过程监测与终点识别终端。
如上所述,本发明的分液过程监测与终点识别方法及系统、存储介质及终端,具有以下有益效果:
(1)基于边缘检测算法和图像熵算法实现实验室无人值守的分液操作过程监测,能捕获化学反应过程的大部分现象变化细节;
(2)计算复杂度较低,满足实时性的要求;
(3)准确度高,能够实现分液终点和图像熵最大值的时间匹配。
附图说明
图1显示为本发明的分液过程监测与终点识别方法于一实施例中的流程图;
图2显示为本发明的掩膜提取于一实施例中的示意图;
图3显示为本发明的分液过程监测与终点识别方法于一实施例中分液过程相界面变化示意图;
图4显示为图3的分液过程中的RGB色彩空间颜色直方图和灰度图像颜色直方图;
图5显示为图3的分液过程的图像熵的曲线变化示意图;
图6显示为本发明的分液过程监测与终点识别系统于一实施例中的结构示意图;
图7显示为本发明的分液过程监测与终点识别终端于一实施例中的结构示意图;
图8显示为本发明的分液过程监测与终点识别系统于另一实施例中的结构示意图。
元件标号说明
61        视频获取模块
62        边缘检测模块
63        掩膜提取模块
64        图像转换模块
65        匹配模块
66        监测识别模块
71        处理器
72        存储器
81        视频采集装置
82        分液过程监测与终点识别终端
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的分液过程监测与终点识别方法及系统、存储介质及终端通过将边缘检测算法和图像熵算法相结合,实现实验室无人值守的分液操作过程监测,计算复杂度低,实时性能好,满足实际应用场景的需求,极具实用性。
如图1所示,于一实施例中,本发明的分液过程监测与终点识别方法包括以下步骤:
步骤S1、获取基于RGB色彩空间的分液过程视频。
具体地,基于视频采集装置采集分液过程视频,并通过有线或无线的方式发送至本发明的分液过程监测与终点识别终端。
于本发明一实施例中,所述视频采集装置采用摄像头直接拍摄分液过程视频,或者采用具有网络通信功能的智能终端间接提供网络传输而来的分液过程视频。其中,所述智能终端是指智能手机、平板电脑、PDA、PC,以及其他具有数据处理功能的终端设备。通常,智能终端是指具有独立的操作系统,可以由用户自行安装软件、游戏等第三方服务商提供的程序,通过此类程序来不断对手持设备的功能进行扩充,并可以通过移动通讯网络来实现无线网络接入的这样一类终端设备。
步骤S2、对所述分液过程视频的每一分液过程图像进行边缘检测。
具体地,对于所述分液过程视频中的每一帧分液过程图像,进行边缘检测,从而识别图像亮度区域发生较大变化的部分,该部分由梯度为极值的像素点构成。
于本发明一实施例中,对所述分液过程视频的每一分液过程图像进行边缘检测包括以下步骤:
21)将基于RGB色彩空间的所述分液过程视频拆帧形成RGB图像。
22)基于高斯滤波对所述RGB图像进行滤波处理。
具体地,对所述RGB图像采用高斯滤波进行模糊处理以抑制图像噪声。高斯核越大,输出图像越模糊。优选地,本发明采用大小为3×3的高斯核,从而能够在消除图像噪点的同时保留图像细节。
23)基于Sobel滤波器提取滤波后的RGB图像的图像梯度。
具体地,图像梯度是指图像某像素在x和y两个方向上的变化率(与相邻像素比较),是一个二维向量,由2个分量组成,X轴的变化、Y轴的变化。故通过图像梯度可获取图像边缘。优选地,所述Sobel滤波器采用3×3的Sobel滤波器。
24)设置高阈值与低阈值,当所述图像梯度大于所述高阈值时,对应的像素点保留为强边缘像素点;当所述图像梯度介于所述高阈值与所述低阈值之间时,对应的像素点保留为弱边缘像素点;若一像素点的邻域内存在强边缘像素点,则保留该像素点。
具体地,为了进一步减少噪点并连接边缘点,本发明采用双阈值(高阈值和低阈值)的筛选方式对图像梯度进行筛选。所述高阈值大于所述低阈值,仅保留强边缘像素点、弱边缘像素点和邻域存在强边缘像素点的像素点。
优选地,邻域采用以下任一一种:4邻域、对角邻域和8邻域。具体地,对于以像素P为中心的九宫格而言,一个“加号”所涵盖的四个像素被称为中心像素的4邻域,记作N4(P);角落的四个像素则是对角邻域,记作ND(P);周围全部8个像素称为中心像素的8邻域,记作N8(P)。
步骤S3、基于边缘检测后的分液过程图像提取分液容器的掩膜图像。
具体地,图像掩膜就是用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。于本发明一实施例中,如图2所示,基于边缘检测后的分液过程图像提取分液容器的掩膜图像包括以下步骤:
31)对边缘检测后的分液过程图像进行闭操作。
具体地,闭操作可使轮廓线更光滑,能够消弥狭窄的间断和长细的鸿沟,消除小的空洞,并填补轮廓线中的断裂。
32)对闭操作后的分液过程图像进行测地膨胀,消除边缘噪声部分,获取主体二值化图像。
33)对所述主体二值化图像进行孔洞填充,获取所述分液容器的掩膜图像。
步骤S4、将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像。
具体地,为了降低计算复杂度,需将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像。
于本发明一实施例中,将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像包括以下步骤:
41)将所述分液过程图像的宽度缩放为预设像素。
具体地,首先对所述分液过程图像进行宽度缩放,使之均缩放为预设像素。所述预设像素需能够兼顾图像信息完整和计算复杂度低。优选地,所述预设像素为200像素。
42)对宽度缩放后的分液过程图像进行长度缩放,使得长度缩放后的分液过程图像与所述分液过程图像的图像比例一致,以获取所述RGB图像。
具体地,在宽度缩放之后,再进行长度缩放,使得最终得到的缩放后的分液过程图像与初始的分液过程图像的图像比例一致,即对长度和宽度进行等比例缩放。
步骤S5、对所述RGB图像和所述掩膜图像进行匹配,以获取所述RGB图像的感兴趣区域(Region Of Interest,ROI)。
具体地,对于每个RGB图像,获取其对应的掩膜图像,并对所述RGB图像和所述掩膜图像进行匹配操作,匹配得到的区域即为所述RGB图像的感兴趣区域,从而消除光照条件与画面中人为操作造成的影响。其中,进行匹配操作时,直接将所述掩膜图像覆盖在所述RGB图像上,得到的重合部分即为所述RGB图像的感兴趣区域,其计算过程相当于两个矩阵的点乘。
步骤S6、计算每个RGB图像的感兴趣区域的图像熵,构建图像熵的时间序列,并选取图像熵最大值对应的时刻为分液终点。
具体地,对于每个RGB图像的感兴趣区域,计算图像熵。其中,熵是体系混乱程度的衡量,最早应用于热力学,后经香农引入信息论中。信息熵用来描述信源的不确定度,变量的不确定性越大,熵值也越大。图像熵是一种特征统计形式,反映了图像中平均信息量的多少。
在所述分液过程视频的每一帧分液过程图像的全局信息熵计算完成之后,基于时间先后顺序构建图像熵的时间序列。优选地,可以采用图像熵随时间变化的曲线图的形式。通过对所述图像熵的时间序列进行分析,获取图像熵最大值对应的时刻,并将该时刻判定为分液终点。
下面通过具体实施例来进一步阐述本发明的分液过程监测与终点识别方法。
如图3所示,在该实施例中,所采用的四个分液过程视频数据集来源于本地实验室录制和网络传输。四个分液过程视频的背景、光照条件、玻璃仪器形状各异,便于验证本发明的分液过程监测与终点识别方法的鲁棒性。
图4显示的是分液过程的四个阶段的RGB色彩空间颜色直方图与灰度图像颜色直方图。其中,横坐标表示像素值0-255归一化到0-1之间的值,纵坐标表示图像熵。由图可知,分液操作初期溶液高度混合时图像域内各点像素值分布集中,图像细节较少,图像熵数值较低。随着分液操作的进行,分液仪器内非均相液体因密度差异逐渐分层,图像像素值呈现多峰分布,图像细节丰富,图像熵的数值升高。故非均相液体实现分层达到分液终点后,溶液不再发生任何变化时图像熵达到极值。
为了提高计算速率,达到实时检测目的,在对每个分液过程图像进行缩放后,按照时间序列逐帧进行计算,从而获取如图5所示的上述四个视频的图像熵变化曲线。由图可知,四个视频的图像熵都随分液过程的进行呈现出上升趋势。当分液过程接近终点时,液体相界面变化缓慢,受到光照条件变化等影响,图像熵值会发生小范围波动,导致在前三个分液过程较长的视频中实际分液终点相对图像熵最大值存在一定程度的滞后。第四级个视频由于整体时间较短且进行了视频图帧加速,实际分液终点与图像熵最大值点在时间上相对一致,但图像熵最大值附近仍出现了小范围波动。据分析,彩色RGB图像的图像熵最大值与实际分液终点不匹配现象主要受分液过程中RGB色彩空间多通道特征混合影响。
如图6所示,于一实施例中,本发明的分液过程监测与终点识别系统包括视频获取模块61、边缘检测模块62、掩膜提取模块63、图像转换模块64、匹配模块65和监测识别模块66。
所述视频获取模块61用于获取基于RGB色彩空间的分液过程视频。
具体地,基于视频采集装置采集分液过程视频,并通过有线或无线的方式发送至本发明的分液过程监测与终点识别终端。
于本发明一实施例中,所述视频采集装置采用摄像头直接拍摄分液过程视频,或者采用具有网络通信功能的智能终端间接提供网络传输而来的分液过程视频。其中,所述智能终端是指智能手机、平板电脑、PDA、PC,以及其他具有数据处理功能的终端设备。通常,智能终端是指具有独立的操作系统,可以由用户自行安装软件、游戏等第三方服务商提供的程序,通过此类程序来不断对手持设备的功能进行扩充,并可以通过移动通讯网络来实现无线网络接入的这样一类终端设备。
所述边缘检测模块62与所述视频获取模块61相连,用于对所述分液过程视频的每一分液过程图像进行边缘检测。
具体地,对于所述分液过程视频中的每一帧分液过程图像,进行边缘检测,从而识别图像亮度区域发生较大变化的部分,该部分由梯度为极值的像素点构成。
于本发明一实施例中,所述边缘检测模块包括拆帧模块、滤波模块、梯度提取模块和双阈值筛选模块。
所述拆帧模块用于将基于RGB色彩空间的所述分液过程视频拆帧形成RGB图像。
所述滤波模块与所述拆帧模块相连,用于基于高斯滤波对所述RGB图像进行滤波处理。
具体地,对所述RGB图像采用高斯滤波进行模糊处理以抑制图像噪声。高斯核越大,输出图像越模糊。优选地,本发明采用大小为3×3的高斯核,从而能够在消除图像噪点的同时保留图像细节。
所述梯度提取模块与所述滤波模块相连,用于基于Sobel滤波器提取滤波后的RGB图像的图像梯度。
具体地,图像梯度是指图像某像素在x和y两个方向上的变化率(与相邻像素比较),是一个二维向量,由2个分量组成,X轴的变化、Y轴的变化。故通过图像梯度可获取图像边缘。优选地,所述Sobel滤波器采用3×3的Sobel滤波器。
所述双阈值筛选模块与所述梯度提取模块相连用于设置高阈值与低阈值,当所述图像梯度大于所述高阈值时,对应的像素点保留为强边缘像素点;当所述图像梯度介于所述高阈值与所述低阈值之间时,对应的像素点保留为弱边缘像素点;若一像素点的邻域内存在强边缘像素点,则保留该像素点。
具体地,为了进一步减少噪点并连接边缘点,本发明采用双阈值(高阈值和低阈值)的筛选方式对图像梯度进行筛选。所述高阈值大于所述低阈值,仅保留强边缘像素点、弱边缘像素点和邻域存在强边缘像素点的像素点。
优选地,邻域采用以下任一一种:4邻域、对角邻域和8邻域。具体地,对于以像素P为中心的九宫格而言,一个“加号”所涵盖的四个像素被称为中心像素的4邻域,记作N4(P);角落的四个像素则是对角邻域,记作ND(P);周围全部8个像素称为中心像素的8邻域,记作N8(P)。
所述掩膜提取模块63与所述边缘检测模块62相连,用于基于边缘检测后的分液过程图像提取分液容器的掩膜图像。
具体地,图像掩膜就是用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。于本发明一实施例中,所述掩膜提取模块包括闭操作模块、测地膨胀模块和孔洞填充模块。
所述闭操作模块用于对边缘检测后的分液过程图像进行闭操作。
具体地,闭操作可使轮廓线更光滑,能够消弥狭窄的间断和长细的鸿沟,消除小的空洞,并填补轮廓线中的断裂。
所述测地膨胀模块与所述闭操作模块相连,用于对闭操作后的分液过程图像进行测地膨胀,获取主体二值化图像。
所述孔洞填充模块与所述测地膨胀模块相连,用于对所述主体二值化图像进行孔洞填充,获取所述分液容器的掩膜图像。
所述图像转换模块64与所述视频获取模块61相连,用于将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像。
具体地,为了降低计算复杂度,需将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像。
于本发明一实施例中,所述图像转换模块包括宽缩放模块和长缩放模块;
所述宽缩放模块用于将所述分液过程图像的宽度缩放为预设像素。
具体地,首先对所述分液过程图像进行宽度缩放,使之均缩放为预设像素。所述预设像素需能够兼顾图像信息完整和计算复杂度低。优选地,所述预设像素为200像素。
所述长缩放模块与所述宽缩放模块相连。用于对宽度缩放后的分液过程图像进行长度缩放,使得长度缩放后的分液过程图像与所述分液过程图像的图像比例一致,以获取所述RGB图像。
具体地,在宽度缩放之后,再进行长度缩放,使得最终得到的缩放后的分液过程图像与初始的分液过程图像的图像比例一致,即对长度和宽度进行等比例缩放。
所述匹配模块65与所述掩膜提取模块63和所述图像转换模块64相连,用于对所述RGB图像和所述掩膜图像进行匹配,以获取所述RGB图像的感兴趣区域。
具体地,对于每个RGB图像,获取其对应的掩膜图像,并对所述RGB图像和所述掩膜图像进行匹配操作,匹配得到的区域即为所述RGB图像的感兴趣区域,从而消除光照条件与画面中人为操作造成的影响。其中,进行匹配操作时,直接将所述掩膜图像覆盖在所述RGB图像上,得到的重合部分即为所述RGB图像的感兴趣区域,其计算过程相当于两个矩阵的点乘。
所述监测识别模块66与所述匹配模块65相连,用于计算每个RGB图像的感兴趣区域的图像熵,构建图像熵的时间序列,并选取图像熵最大值对应的时刻为分液终点。
具体地,对于每个RGB图像的感兴趣区域,计算图像熵。其中,熵是体系混乱程度的衡量,最早应用于热力学,后经香农引入信息论中。信息熵用来描述信源的不确定度,变量的不确定性越大,熵值也越大。图像熵是一种特征统计形式,反映了图像中平均信息量的多少。
在所述分液过程视频的每一帧分液过程图像的全局信息熵计算完成之后,基于时间先后顺序构建图像熵的时间序列。优选地,可以采用图像熵随时间变化的曲线图的形式。通过对所述图像熵的时间序列进行分析,获取图像熵最大值对应的时刻,并将该时刻判定为分液终点。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,x模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Singnal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序,该程序被处理器执行时实现上述的分液过程监测与终点识别方法。所述存储介质包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图7所示,于一实施例中,本发明的分液过程监测与终点识别终端包括:处理器71及存储器72。
所述存储器72用于存储计算机程序。
所述存储器72包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器71与所述存储器72相连,用于执行所述存储器72存储的计算机程序,以使所述分液过程监测与终点识别终端执行上述的分液过程监测与终点识别方法。
优选地,所述处理器71可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图8所示,于一实施例中,本发明的分液过程监测与终点识别系统包括视频采集装置81和上述的分液过程监测与终点识别终端82。
所述视频采集终端81与所述分液过程监测与终点识别终端82相连,用于采集基于RGB色彩空间的分液过程视频并发送至所述分液过程监测与终点识别终端82。
优选地,所述视频采集装置81可以为摄像头、具有网络通信功能的智能终端等,从而可直接或间接获取分液过程视频。
综上所述,本发明的分液过程监测与终点识别方法及系统、存储介质及终端基于边缘检测算法和图像熵算法实现实验室无人值守的分液操作过程监测,能捕获化学反应过程的大部分现象变化细节;计算复杂度较低,满足实时性的要求;准确度高,能够实现分液终点和图像熵最大值的时间匹配。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种分液过程监测与终点识别方法,其特征在于:包括以下步骤:
获取基于RGB色彩空间的分液过程视频;
对所述分液过程视频的每一分液过程图像进行边缘检测;
基于边缘检测后的分液过程图像提取分液容器的掩膜图像;
将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像;
对所述RGB图像和所述掩膜图像进行匹配,以获取所述RGB图像的感兴趣区域;
计算每个RGB图像的感兴趣区域的图像熵,构建图像熵的时间序列,并选取图像熵最大值对应的时刻为分液终点。
2.根据权利要求1所述的分液过程监测与终点识别方法,其特征在于:对所述分液过程视频的每一分液过程图像进行边缘检测包括以下步骤:
将基于RGB色彩空间的所述分液过程视频拆帧形成RGB图像;
基于高斯滤波对所述RGB图像进行滤波处理;
基于Sobel滤波器提取滤波后的RGB图像的图像梯度;
设置高阈值与低阈值,当所述图像梯度大于所述高阈值时,对应的像素点保留为强边缘像素点;当所述图像梯度介于所述高阈值与所述低阈值之间时,对应的像素点保留为弱边缘像素点;若一像素点的邻域内存在强边缘像素点,则保留该像素点。
3.根据权利要求2所述的分液过程监测与终点识别方法,其特征在于:所述高斯滤波采用3×3的高斯核;所述Sobel滤波器采用3×3的Sobel滤波器。
4.根据权利要求1所述的分液过程监测与终点识别方法,其特征在于:基于边缘检测后的分液过程图像提取分液容器的掩膜图像包括以下步骤:
对边缘检测后的分液过程图像进行闭操作;
对闭操作后的分液过程图像进行测地膨胀,获取主体二值化图像;
对所述主体二值化图像进行孔洞填充,获取所述分液容器的掩膜图像。
5.根据权利要求1所述的分液过程监测与终点识别方法,其特征在于:将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像包括以下步骤:
将所述分液过程图像的宽度缩放为预设像素;
对宽度缩放后的分液过程图像进行长度缩放,使得长度缩放后的分液过程图像与所述分液过程图像的图像比例一致,以获取所述RGB图像。
6.根据权利要求1所述的分液过程监测与终点识别方法,其特征在于:构建图像熵的时间序列包括构建图像熵随时间变化的曲线图。
7.一种分液过程监测与终点识别系统,其特征在于:包括视频获取模块、边缘检测模块、掩膜提取模块、图像转换模块、匹配模块和监测识别模块;
所述视频获取模块用于获取基于RGB色彩空间的分液过程视频;
所述边缘检测模块用于对所述分液过程视频的每一分液过程图像进行边缘检测;
所述掩膜提取模块用于基于边缘检测后的分液过程图像提取分液容器的掩膜图像;
所述图像转换模块用于将所述分液过程视频的每一分液过程图像缩放为预设大小的RGB图像;
所述匹配模块用于对所述RGB图像和所述掩膜图像进行匹配,以获取所述RGB图像的感兴趣区域;
所述监测识别模块用于计算每个RGB图像的感兴趣区域的图像熵,构建图像熵的时间序列,并选取图像熵最大值对应的时刻为分液终点。
8.根据权利要求7所述的分液过程监测与终点识别系统,其特征在于:所述边缘检测模块包括拆帧模块、滤波模块、梯度提取模块和双阈值筛选模块;
所述拆帧模块用于将基于RGB色彩空间的所述分液过程视频拆帧形成RGB图像;
所述滤波模块用于基于高斯滤波对所述RGB图像进行滤波处理;
所述梯度提取模块用于基于Sobel滤波器提取滤波后的RGB图像的图像梯度;
所述双阈值筛选模块用于设置高阈值与低阈值,当所述图像梯度大于所述高阈值时,对应的像素点保留为强边缘像素点;当所述图像梯度介于所述高阈值与所述低阈值之间时,对应的像素点保留为弱边缘像素点;若一像素点的邻域内存在强边缘像素点,则保留该像素点。
9.根据权利要求8所述的分液过程监测与终点识别系统,其特征在于:所述高斯滤波采用3×3的高斯核;所述Sobel滤波器采用3×3的Sobel滤波器。
10.根据权利要求7所述的分液过程监测与终点识别系统,其特征在于:所述掩膜提取模块包括闭操作模块、测地膨胀模块和孔洞填充模块;
所述闭操作模块用于对边缘检测后的分液过程图像进行闭操作;
所述测地膨胀模块用于对闭操作后的分液过程图像进行测地膨胀,获取主体二值化图像;
所述孔洞填充模块用于对所述主体二值化图像进行孔洞填充,获取所述分液容器的掩膜图像。
11.根据权利要求7所述的分液过程监测与终点识别系统,其特征在于:所述图像转换模块包括宽缩放模块和长缩放模块;
所述宽缩放模块用于将所述分液过程图像的宽度缩放为预设像素;
所述长缩放模块用于对宽度缩放后的分液过程图像进行长度缩放,使得长度缩放后的分液过程图像与所述分液过程图像的图像比例一致,以获取所述RGB图像。
12.根据权利要求7所述的分液过程监测与终点识别系统,其特征在于:所述监测识别模块构建图像熵的时间序列时,构建图像熵随时间变化的曲线图。
13.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至6中任一项所述的分液过程监测与终点识别方法。
14.一种分液过程监测与终点识别终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述分液过程监测与终点识别终端执行权利要求1至6中任一项所述的分液过程监测与终点识别方法。
15.一种分液过程监测与终点识别系统,其特征在于:包括视频采集装置和权利要求14所述的分液过程监测与终点识别终端;
所述视频采集终端用于采集基于RGB色彩空间的分液过程视频并发送至所述分液过程监测与终点识别终端。
CN202111273314.5A 2021-10-29 2021-10-29 分液过程监测与终点识别方法及系统、存储介质及终端 Pending CN116071286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111273314.5A CN116071286A (zh) 2021-10-29 2021-10-29 分液过程监测与终点识别方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111273314.5A CN116071286A (zh) 2021-10-29 2021-10-29 分液过程监测与终点识别方法及系统、存储介质及终端

Publications (1)

Publication Number Publication Date
CN116071286A true CN116071286A (zh) 2023-05-05

Family

ID=86171908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111273314.5A Pending CN116071286A (zh) 2021-10-29 2021-10-29 分液过程监测与终点识别方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN116071286A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060147101A1 (en) * 2005-01-04 2006-07-06 Zhang Daoxian H Computer aided detection of microcalcification clusters
CN102044071A (zh) * 2010-12-28 2011-05-04 上海大学 基于fpga的单像素边缘检测方法
US20120075440A1 (en) * 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
US20190156526A1 (en) * 2016-12-28 2019-05-23 Shanghai United Imaging Healthcare Co., Ltd. Image color adjustment method and system
CN110363739A (zh) * 2018-04-08 2019-10-22 天津工业大学 基于背景估计和相位一致性的眼底图像硬性渗出物检测法
CN111062285A (zh) * 2019-12-06 2020-04-24 合肥学院 一种基于深度学习算法的停车场智能监控识别系统
CN112926592A (zh) * 2021-04-13 2021-06-08 南京邮电大学 一种基于改进Fast算法的商标检索方法及装置
CN113012173A (zh) * 2021-04-12 2021-06-22 中国医学科学院北京协和医院 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN113538453A (zh) * 2021-05-27 2021-10-22 旻投电力发展有限公司 基于语义分割的红外图像光伏组件视觉识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060147101A1 (en) * 2005-01-04 2006-07-06 Zhang Daoxian H Computer aided detection of microcalcification clusters
US20120075440A1 (en) * 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
CN102044071A (zh) * 2010-12-28 2011-05-04 上海大学 基于fpga的单像素边缘检测方法
US20190156526A1 (en) * 2016-12-28 2019-05-23 Shanghai United Imaging Healthcare Co., Ltd. Image color adjustment method and system
CN110363739A (zh) * 2018-04-08 2019-10-22 天津工业大学 基于背景估计和相位一致性的眼底图像硬性渗出物检测法
CN111062285A (zh) * 2019-12-06 2020-04-24 合肥学院 一种基于深度学习算法的停车场智能监控识别系统
CN113012173A (zh) * 2021-04-12 2021-06-22 中国医学科学院北京协和医院 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN112926592A (zh) * 2021-04-13 2021-06-08 南京邮电大学 一种基于改进Fast算法的商标检索方法及装置
CN113538453A (zh) * 2021-05-27 2021-10-22 旻投电力发展有限公司 基于语义分割的红外图像光伏组件视觉识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周博文;王耀南;张辉;葛继;: "基于机器视觉的酒液智能检测系统研究与开发", 中国机械工程, no. 07, 10 April 2010 (2010-04-10) *
张伟;张小龙;赵涓涓;强彦;唐笑先;: "血管粘连型肺结节图像的序列分割方法", 计算机工程与设计, no. 08, 16 August 2018 (2018-08-16) *
王林芳;刘加;刘小青;李明;: "Multi-Level Error Detection and Concealment Algorithm to Improve Speech Quality in GSM Full Rate Speech Codecs", TSINGHUA SCIENCE AND TECHNOLOGY, no. 03, 15 June 2011 (2011-06-15) *

Similar Documents

Publication Publication Date Title
Alireza Golestaneh et al. Spatially-varying blur detection based on multiscale fused and sorted transform coefficients of gradient magnitudes
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Liu et al. Blind image quality assessment by relative gradient statistics and adaboosting neural network
EP3333768A1 (en) Method and apparatus for detecting target
Toet Computational versus psychophysical bottom-up image saliency: A comparative evaluation study
Ishikura et al. Saliency detection based on multiscale extrema of local perceptual color differences
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
US9196053B1 (en) Motion-seeded object based attention for dynamic visual imagery
Batchuluun et al. Thermal image reconstruction using deep learning
CN114155365A (zh) 模型训练方法、图像处理方法及相关装置
Al-Naji et al. An efficient motion magnification system for real-time applications
Miao et al. Quality assessment of images with multiple distortions based on phase congruency and gradient magnitude
CN112101386A (zh) 文本检测方法、装置、计算机设备和存储介质
Barland et al. Blind quality metric using a perceptual importance map for JPEG-20000 compressed images
CN113728357B (zh) 图像处理方法、图像处理装置以及图像处理系统
JP2009123234A (ja) オブジェクト識別方法および装置ならびにプログラム
Yang et al. Infrared image super-resolution with parallel random Forest
CN116071286A (zh) 分液过程监测与终点识别方法及系统、存储介质及终端
JP2004078939A (ja) オブジェクト識別方法および装置ならびにプログラム
CN116071287A (zh) 分液过程监测方法及系统、存储介质及终端
Kumar An efficient approach for text extraction in images and video frames using gabor filter
Liu et al. A simple and fast text localization algorithm for indoor mobile robot navigation
JPH04275685A (ja) 画像領域識別処理方法
Truong et al. A study on visual saliency detection in infrared images using Boolean map approach
Shao et al. No-Reference image quality assessment based on edge pattern feature in the spatial domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination