CN110246156A - 一种异物的识别方法、识别系统及终端设备 - Google Patents

一种异物的识别方法、识别系统及终端设备 Download PDF

Info

Publication number
CN110246156A
CN110246156A CN201910462556.5A CN201910462556A CN110246156A CN 110246156 A CN110246156 A CN 110246156A CN 201910462556 A CN201910462556 A CN 201910462556A CN 110246156 A CN110246156 A CN 110246156A
Authority
CN
China
Prior art keywords
image
frame image
foreign matter
start frame
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910462556.5A
Other languages
English (en)
Other versions
CN110246156B (zh
Inventor
王雨青
陈小林
王博
吴志佳
李荅群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201910462556.5A priority Critical patent/CN110246156B/zh
Publication of CN110246156A publication Critical patent/CN110246156A/zh
Application granted granted Critical
Publication of CN110246156B publication Critical patent/CN110246156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种异物的识别方法、识别系统及终端设备，包括：采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹；根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。本发明采用ECO跟踪方法可以有效地稳定跟踪异物和气泡等运动目标，并记录其运动轨迹，分析运动特性以此辨识目标是否为异物，有效地去除了可见异物检测中的气泡干扰难题，提高跟踪结果精度及效率。

Description

一种异物的识别方法、识别系统及终端设备
技术领域
本发明涉及图像处理领域，尤其涉及一种异物的识别方法、识别系统及终端设备。
背景技术
静脉输液是临床治疗疾病的主要措施，输液安全备受重视。然而一些输液药品中存在纤维、橡胶、毛发等微小杂质，会污染药剂，危害患者安全，不能达到医药产品质量标准，是需要进行剔除的不合格品。输液瓶作为注射药剂的常见形式之一，必须对其中的药液内是否存在异物进行检测。由于成本、安全、适应性、技术等原因，我国药品生产企业大部分采用人工检测的方式，这种方式对人工的主观判断依赖性强，检测准确率和可靠性较低，并且工作效率低。随着机器视觉检测技术的出现，国内外小部分药品生产企业逐渐采用自动检测设备，通过旋转-急停的方式使瓶中异物运动旋转，采集实时图像，利用机器视觉的方法来判断液体中是否存在异物，这种方法可以实现低成本、高效率、高准确率地检测异物。
在异物运动检测中，常见的方法有帧差法、背景消除法以及神经网络分割等方法，这些方法都存在各自的优缺点，帧差法主要用于静止背景，背景消减法对序列前景有限定，神经网络分割的效果比较依赖模型参数的设置。然而，这些方法只能检测出运动目标，其中包含气泡或其他运动干扰，不能确定运动目标是否为异物，因此需要根据运动目标的某些特性来判别，如连续运动轨迹分析、小波包能量谱等。连续运动轨迹分析需要对运动目标进行跟踪，从而得到目标在多帧内运行的轨迹坐标，而异物或气泡比较弱小，特征不明显，因此，需要一个稳定且有效的跟踪方法。
发明内容
鉴于此，本发明实施例提供了一种异物的识别方法、识别系统及终端设备，该方法可以有效的去除输液瓶中气泡等的干扰，而高效准确的识别出其中的异物。
本发明实施例的第一方面提供了一种异物的识别方法，所述识别方法包括：
采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧；
对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；
通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像；
根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
可选地，在本申请提供的另一实施例中所述计算并确定对目标物进行跟踪的起始帧图像，包括：
计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；
设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
可选地，在本申请提供的另一实施例中所述计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像，包括：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；
查找所述第二幅值累加线的峰值的对应帧；
取所述对应帧为对所述目标物进行跟踪的起始帧图像。
可选地，在本申请提供的另一实施例中在所述通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置之后，还包括：
检测所述目标物在当前帧中的所处位置的坐标值；
若所述坐标值小于零，则停止对所述目标物的跟踪。
可选地，在本申请提供的另一实施例中根据所述追踪轨迹识别所述目标物是否为异物，包括：
根据所述追踪轨迹判断所述目标物相对所述边界区域是否呈从左向右或从右向左的运动状态；
若是，则判定所述目标物为所述待查找物中的异物。
可选地，在本申请提供的另一实施例中所述对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置，包括：
对所述起始帧图像进行阈值分割以确定对所述目标物的进行追踪时的初始模板；
将所述初始模板的位置作为所述目标物在所述起始帧中的位置；
相应地，所述通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置为通过目标跟踪算法ECO记录所述初始模板在其余帧图像中的位置。
本发明实施例的第二方面提供了一种异物的识别系统，其特征在于，所述识别系统包括：
图像采集单元，用于采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧；
分割单元，用于对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；
追踪单元，用于通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像；
识别单元，用于根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
可选地，在本申请提供的另一实施例中所述图像采集单元包括：
第一计算模块，用于计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；
第二计算模块，用于设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
可选地，在本申请提供的另一实施例中第二计算模块具体用于：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；
查找所述第二幅值累加线的峰值的对应帧；
取所述对应帧为对所述目标物进行跟踪的起始帧图像。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述异物的识别方法中任一项所述方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明采用ECO跟踪方法可以有效地稳定跟踪异物和气泡等运动目标，并记录其运动轨迹，分析运动特性以此辨识目标是否为异物，有效地去除了可见异物检测中的气泡干扰难题，提高跟踪结果精度及效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种异物的识别方法的流程示意图；
图2为本发明实施例提供异物的识别方法的过程图；
图3为本发明实施例提供的第一帧图像的第一幅值累加线的示意图；
图4为本发明实施例提供的第一帧图像的ROI差分图像及边界区域；
图5为本发明提供提供的第二幅值累加线的示意图；
图6为本发明实施例提从的起始帧ROI图像及初始模板；
图7为本发明实施例提供的追踪轨迹的示意图；
图8是本发明实施例二提供的异物的识别系统的结构示意图；
图9为本发明实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1是本发明实施例一提供的一种异物的识别方法的流程示意图，图2示出了本发明实施例提供异物的识别方法的过程图，该方法可以包括以下步骤：
S101：采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧。
可选地，所述计算并确定对目标物进行跟踪的起始帧图像，包括：
计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
所述计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像，包括：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；查找所述第二幅值累加线的峰值的对应帧；取所述对应帧为对所述目标物进行跟踪的起始帧图像。
本发明提供的实施例中对输液瓶等含有液体的容积中的异物进行检测时，采集该容积连续的多帧图像序列，然后利用第一帧图像的行、列幅值累加曲线，即第一幅值累加线，根据输液瓶边界处图像灰度值偏低等的特点，找到曲线的左右两侧的极小值点，以输液瓶为例，该极小值点处即为输液瓶的瓶壁、液面及瓶底，以此设定感兴趣区域ROI(regionof interest)，提取序列ROI图像，并获得ROI差分图像序列；
根据旋转方向判断异物从右侧或是左侧进入感兴趣区域，计算ROI差分图像序列的进入边界区域以内区域的幅值累加曲线，即，第二幅值累加值，并找到峰值位置，即为最可能存在异物的帧数，设为跟踪的起始帧。具体地，以输液瓶上方俯视角度，若输液瓶沿瓶子的中轴顺时针旋转，则可以判断出异物会从ROI图像的右侧进入，否则会从左侧进入。在ROI图像设定进入目标物的进入边界区域(可以根据ROI区域大小进行设定边界区域)。
S102：对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置。
可选地，所述对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置，包括：
对所述起始帧图像进行阈值分割以确定对所述目标物的进行追踪时的初始模板；
将所述初始模板的位置作为所述目标物在所述起始帧中的位置；
相应地，所述通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置为通过目标跟踪算法ECO记录所述初始模板在其余帧图像中的位置。
该步骤中对起始帧ROI差分图像进行自适应阈值分割以及图像处理，例如：按照小面积连通分量去除、连通分量标记等方法处理，找到运动目标，即目标物，确定模板边界，并给出初始模板，上述初始模板为对上述目标物进行追踪的模板，记录初始模板的位置。
S103：通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像。
在所述通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置之后，还包括：检测所述目标物在当前帧中的所处位置的坐标值；若所述坐标值小于零，则停止对所述目标物的跟踪。
利用目标跟踪算法(Efficient Convolution Operators for Tracking，ECO)对初始模板目标在哥帧图像中的位置进行跟踪，跟踪坐标值变为负数时，停止跟踪，得到跟踪轨迹。
所述的ECO算法理论如下：
图像的每一个特征层都有一个独立的分辨率Nd，通过插值操作Jd将特征图转换到连续的空间域t∈[0,T)，即
其中，bd是一个周期为T＞0的插值核。利用式(1)提取特征就行了，然后利用因式分解卷积操作计算检测目标的得分
式中，P是一个D×C的矩阵，每一行代表对一个维度的特征对应的滤波器用所有C个滤波器f1,f2,…fC的线性组合系数，也是一个未知数，需要在第一帧中进行学习，之后的跟踪中保持不变就行。学习滤波器的目标函数在频域表示为
其中，z＝J{x}，表示对应的傅里叶变换，w为惩罚项，式中添加了矩阵P的Frobenius范数作为正则项，λ为控制权重参数。
通过样本x和目标输出y的联合概率分布，将目标函数(3)进一步完善为
其中，E{·}表示数学期望。由于目标输出的y其实形状都是一致的，是一个峰值在目标中心的高斯函数，只是峰值的位置不一样。采用高斯混合模型来建模，近似目标函数为
式中，μl为组件的高斯均值，πl为先验权重。规定每隔几帧更新一次，只是对模型的更新，样本的更新是每一帧都要做的。
S104：根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
根据所述追踪轨迹识别所述目标物是否为异物，包括：
根据所述追踪轨迹判断所述目标物相对所述边界区域是否呈从左向右或从右向左的运动状态；若是，则判定所述目标物为所述待查找物中的异物。
例如：根据跟踪轨迹判断目标物为异物或是气泡，异物会呈现从右向左或从左向右的运动状态，气泡会呈现直线向上或是基本保持不变的运动状态，因此，根据追踪轨迹便可判断出目标物是异物还是别的物质。
本发明采用ECO跟踪方法可以有效地稳定跟踪异物和气泡等运动目标，并记录其运动轨迹，分析运动特性以此辨识目标是否为异物，有效地去除了可见异物检测中的气泡干扰难题，提高跟踪结果精度及效率。
实施例二
下面以识别输液瓶中的异物为例对本发明提供的异物的识别方法进行说明，详述如下：
步骤1：采集输液瓶(内含液体)连续的N帧图像，输入图像序列Ii(x,y)，i＝1,2,…,N，图像大小为m×n，x＝1,2,…,m和y＝1,2,…,n为图像的坐标值。针对第一帧图像I1(x,y)，如图3所示，计算行幅值累加曲线：
计算列幅值累加曲线：
根据输液瓶边界处图像灰度值偏低的特点，设定曲线有效的首尾两端为
如图3所示，其中，圆圈圈出位置表示计算求得的上下左右边界位置yT，yB，xL和xR；
步骤2：将步骤1计算的边界坐标，设定图像的感兴趣区域，即ROI图像，如图4所示，计算公式如下
ROIi(x,y)＝Ii(x,y),xL+Δx＜x＜xR-Δx,yT+Δy＜y＜yB-Δy (10)
其中，Δx,Δy为正整数，表示扩充边界长度，保证ROI图像不包含瓶壁和液面区域，得到ROI图像序列ROIi(x,y)；
步骤3：针对步骤2得到的ROI图像序列，利用帧差法得到ROI差分图像序列diffi(x,y)，即
diffi(x,y)＝ROIi(x,y)-ROIi-1(x,y) (11)
步骤4：根据旋转方向设定进入区边界区域，上下左右位置分别表示为DT，DB，DL和DR，以异物从右侧进入待检测区域为例，如图5所示，则ROI差分图像的进入区域幅值累加曲线cumi为
如图6所示，曲线的峰值，即为最可能存在异物的帧数，设为跟踪的起始帧s，对应起始帧图像为ROIs(x,y)，如图5所示。
步骤5：对起始帧ROI差分图像diffs(x,y)进行自适应阈值分割、按照小面积连通分量去除、连通分量标记等过程处理，找到运动目标，确定模板边界，并给出初始模板T，如图6的方框所示；
步骤6：从起始帧s开始，利用ECO跟踪算法对初始模板T进行跟踪，跟踪坐标为cxi,cyi，当坐标值变为负数时，停止跟踪，结束帧记为e，得到跟踪轨迹track＝{(cxi,cyi)|s≤i≤e}，如图7所示，根据跟踪轨迹可判断目标为异物。
本发明采用ECO跟踪方法可以有效地稳定跟踪异物和气泡等运动目标，并记录其运动轨迹，分析运动特性以此辨识目标是否为异物，有效地去除了可见异物检测中的气泡干扰难题；其次，本发明根据异物检测机制的特性，提出了一种自动判断跟踪起始帧和结束帧的判定方法，以确保跟踪结果有效。
实施例三
图8为本发明实施例三提供的异物的识别系统示意图，为了便于说明，仅示出了与本发明实施例相关的部分，所述识别系统包括：
图像采集单元81，用于采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧；
分割单元82，用于对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；
追踪单元83，用于通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像；
识别单元84，用于根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
可选地，在本申请提供的另一实施例中所述图像采集单元81包括：
第一计算模块，用于计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；
第二计算模块，用于设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
可选地，在本申请提供的另一实施例中第二计算模块具体用于：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；
查找所述第二幅值累加线的峰值的对应帧；
取所述对应帧为对所述目标物进行跟踪的起始帧图像。
实施例四
图9是本发明实施例四提供的终端设备的结构示意图。如图4所示，该实施例的终端设备9包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如异物的识别方法中的程序。所述处理器90执行所述计算机程序92时实现上述方法实施例一中的步骤，例如图1所示的步骤S101至S104。所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能，例如图8所示模块81至84的功能。
示例性的，所述计算机程序92可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器91中，并由所述处理器90执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如，所述计算机程序92可以被分割成模块、模块、模块、模块，各模块具体功能如下：
图像采集单元，用于采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧；
分割单元，用于对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；
追踪单元，用于通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像；
识别单元，用于根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
可选地，在本申请提供的另一实施例中所述图像采集单元包括：
第一计算模块，用于计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；
第二计算模块，用于设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
可选地，在本申请提供的另一实施例中第二计算模块具体用于：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；
查找所述第二幅值累加线的峰值的对应帧；
取所述对应帧为对所述目标物进行跟踪的起始帧图像。
所述终端设备9可以是桌上型计算机、笔记本、掌上电脑等计算设备。所述终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的示例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种异物的识别方法，其特征在于，所述识别方法包括：
采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧；
对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；
通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像；
根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
2.根据权利要求1所述的异物的识别方法，其特征在于，所述计算并确定对目标物进行跟踪的起始帧图像，包括：
计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；
设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
3.根据权利要求2所述的异物的识别方法，其特征在于，所述计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像，包括：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；
查找所述第二幅值累加线的峰值的对应帧；
取所述对应帧为对所述目标物进行跟踪的起始帧图像。
4.根据权利要求1-3任一项所述的异物的识别方法，其特征在于，在所述通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置之后，还包括：
检测所述目标物在当前帧中的所处位置的坐标值；
若所述坐标值小于零，则停止对所述目标物的跟踪。
5.根据权利要求2所述的异物的识别方法，其特征在于，根据所述追踪轨迹识别所述目标物是否为异物，包括：
根据所述追踪轨迹判断所述目标物相对所述边界区域是否呈从左向右或从右向左的运动状态；
若是，则判定所述目标物为所述待查找物中的异物。
6.根据权利要求1所述的异物的识别方法，其特征在于，所述对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置，包括：
对所述起始帧图像进行阈值分割以确定对所述目标物的进行追踪时的初始模板；
将所述初始模板的位置作为所述目标物在所述起始帧中的位置；
相应地，所述通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置为通过目标跟踪算法ECO记录所述初始模板在其余帧图像中的位置。
7.一种异物的识别系统，其特征在于，所述识别系统包括
图像采集单元，用于采集待查找物连续的多帧图像，计算并确定对目标物进行跟踪的起始帧图像，其中，所述多帧图像至少包括三帧；
分割单元，用于对所述起始帧图像进行阈值分割，以查找所述目标物在所述起始帧图像中的位置，记录所述位置；
追踪单元，用于通过目标跟踪算法ECO记录所述目标物在其余帧图像中的位置，使所记录的位置形成追踪轨迹，其中，所述其余帧图像指所述多帧图像中所述起始帧之后的图像；
识别单元，用于根据所述追踪轨迹识别所述目标物是否为所述待查找物中的异物。
8.根据权利要求7所述的识别系统，其特征在于，所述图像采集单元包括：
第一计算模块，用于计算所述多帧图像中第一帧图像的第一幅值累加线，以确定每帧图像的感兴趣区域ROI，并对所述每帧图像的ROI进行差分，得到ROI差分图像序列；
第二计算模块，用于设定目标物进入所述感兴趣区域的边界区域，计算所述ROI差分图像序列中所述边界区域的第二幅值累加线，以确定对所述目标物进行跟踪的起始帧图像。
9.根据权利要求7或8所述的识别系统，其特征在于，第二计算模块具体用于：
计算所述ROI差分图像序列中所述边界区域的第二幅值累加线；
查找所述第二幅值累加线的峰值的对应帧；
取所述对应帧为对所述目标物进行跟踪的起始帧图像。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
CN201910462556.5A 2019-05-30 2019-05-30 一种异物的识别方法、识别系统及终端设备 Active CN110246156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910462556.5A CN110246156B (zh) 2019-05-30 2019-05-30 一种异物的识别方法、识别系统及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910462556.5A CN110246156B (zh) 2019-05-30 2019-05-30 一种异物的识别方法、识别系统及终端设备

Publications (2)

Publication Number Publication Date
CN110246156A true CN110246156A (zh) 2019-09-17
CN110246156B CN110246156B (zh) 2021-09-17

Family

ID=67885457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910462556.5A Active CN110246156B (zh) 2019-05-30 2019-05-30 一种异物的识别方法、识别系统及终端设备

Country Status (1)

Country Link
CN (1) CN110246156B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062257A (zh) * 2019-11-21 2020-04-24 四川极智朗润科技有限公司 一种基于形态学和运动学特征的微小目标识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859378A (zh) * 2010-06-11 2010-10-13 湖南大学 高速医药生产线上的药液质量视觉检测方法
CN109360195A (zh) * 2018-09-28 2019-02-19 长沙湘计海盾科技有限公司 一种瓶装溶液中异物颗粒的视觉检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859378A (zh) * 2010-06-11 2010-10-13 湖南大学 高速医药生产线上的药液质量视觉检测方法
CN109360195A (zh) * 2018-09-28 2019-02-19 长沙湘计海盾科技有限公司 一种瓶装溶液中异物颗粒的视觉检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANELLJAN MARTIN等: "《ECO: Efficient Convolution Operators for Tracking》", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
杨福刚: "《基于视觉传感器的输液中异物检测系统设计》", 《传感器与微系统》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062257A (zh) * 2019-11-21 2020-04-24 四川极智朗润科技有限公司 一种基于形态学和运动学特征的微小目标识别方法

Also Published As

Publication number Publication date
CN110246156B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
Bhat et al. Learning discriminative model prediction for tracking
Soleimanitaleb et al. Object tracking methods: a review
Chothani et al. Automated tracing of neurites from light microscopy stacks of images
Han et al. On-line density-based appearance modeling for object tracking
Mei et al. Scene-adaptive off-road detection using a monocular camera
Zhang et al. Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating
WO2022099528A1 (zh) 点云法向量计算方法、装置、计算机设备和存储介质
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN107507223A (zh) 动态环境下基于多特征聚类匹配的目标跟踪方法
CN106056627B (zh) 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
CN112734809A (zh) 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
CN110610488A (zh) 分类训练和检测的方法与装置
Zhang et al. Trajectory series analysis based event rule induction for visual surveillance
CN110246156A (zh) 一种异物的识别方法、识别系统及终端设备
Abushahma et al. Region-based convolutional neural network as object detection in images
Patel et al. Car detection based algorithm for automatic parking space detection
Dhar et al. Efficient detection and partitioning of overlapped red blood cells using image processing approach
Mahaadevan et al. Automatic Identifier of Socket for Electrical Vehicles using SWIN-Transformer and SimAM Attention Mechanism-based EVS YOLO
CN112101293A (zh) 人脸表情的识别方法、装置、设备及存储介质
Wang et al. Graph-theoretic post-processing of segmentation with application to dense biofilms
CN113288611B (zh) 一种基于电动轮椅行进场景的操作安全保障方法和系统
CN108734139B (zh) 基于特征融合及svd自适应模型更新的相关滤波跟踪方法
CN102279925B (zh) 链式处理人脸识别方法及系统
Sun et al. Saliency-Induced Moving Object Detection for Robust RGB-D Vision Navigation Under Complex Dynamic Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant