CN112785630A - 一种显微操作中多目标轨迹异常处理方法及系统 - Google Patents

一种显微操作中多目标轨迹异常处理方法及系统 Download PDF

Info

Publication number
CN112785630A
CN112785630A CN202110143532.0A CN202110143532A CN112785630A CN 112785630 A CN112785630 A CN 112785630A CN 202110143532 A CN202110143532 A CN 202110143532A CN 112785630 A CN112785630 A CN 112785630A
Authority
CN
China
Prior art keywords
information
frame
target
image
detection information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110143532.0A
Other languages
English (en)
Inventor
于兴虎
王春翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Intelligent Equipment Research Institute Co ltd
Original Assignee
Ningbo Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Intelligent Equipment Research Institute Co ltd filed Critical Ningbo Intelligent Equipment Research Institute Co ltd
Priority to CN202110143532.0A priority Critical patent/CN112785630A/zh
Publication of CN112785630A publication Critical patent/CN112785630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种显微操作中多目标轨迹异常处理方法及系统。该方法包括：获取物体运动的第k‑1帧图像检测信息，并对第k‑1帧图像检测信息进行卡尔曼滤波初始化；根据第k‑1帧图像检测信息，预测第k帧图像检测信息；采用匈牙利算法将第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，匹配信息包括正确匹配信息和错误匹配信息；根据正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；获取漏检信息和新目标出现信息；根据漏检信息、新目标出现信息以及错误匹配信息对目标进行异常情况处理。本发明能够提高遗漏目标的轨迹关联成功率，提高异常情况的处理效率。

Description

一种显微操作中多目标轨迹异常处理方法及系统
技术领域
本发明涉及运动物体跟踪处理领域，特别是涉及一种显微操作中多目标轨迹异常处理方法及系统。
背景技术
视觉追踪是研究模式生物功能的标准流程，尤其对于显微操作系统操作后的模式生物功能研究至关重要。显微操作完成后，视觉检测系统检测到连续视频中每一帧的目标的运动信息，如位置、身体部位朝向等，根据这些检测信息生成轨迹进一步进行分析，来研究生物的生理学功能和显微操作效果。该系统在很多学科均有广泛应用，如基因学、药物研发、毒物测试、行为学研究等。传统的人工标记的方法时间成本高，效率低，而现有的自动化检测算法的检测结果常常伴含有噪声和错误信息，如视野有限、目标交叉造成的检测算法漏检目标等，容易造成生成的轨迹错误，对研究结果产生较大的负面影响。例如：斑马鱼幼鱼作为一种典型的模式生物，相对于其他模式生物如小鼠和果蝇等，其运动不确定性大，更容易造成轨迹生成的错误。在获得斑马鱼幼鱼的检测信息后，对于不同帧之间的斑马鱼幼鱼，需要进行目标识别与轨迹关联，但是在检测过程中由于视野有限、目标交叉、反馈算法漏检等问题，可能导致某些斑马鱼某几帧无法关联轨迹，导致轨迹匹配错误，需要对该异常情况进行处理。
发明内容
本发明的目的是提供一种显微操作中多目标轨迹异常处理方法及系统，能够提高遗漏目标的轨迹关联成功率，提高异常情况的处理效率。
为实现上述目的，本发明提供了如下方案：
一种显微操作中多目标轨迹异常处理方法，包括：
获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向；
根据所述第k-1帧图像检测信息，预测第k帧图像检测信息；
采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息；
根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；
获取漏检信息和新目标出现信息；
根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
可选地，所述根据所述第k-1帧图像检测信息，预测第k帧图像检测信息，具体包括：
根据所述第k-1帧图像检测信息采用公式
Figure BDA0002929286850000021
预测第k帧图像检测信息；
其中，
Figure BDA0002929286850000022
为第k-1帧图像检测信息，也为第一状态向量，
Figure BDA0002929286850000023
为第k帧图像检测信息，也为第二状态向量，F为状态转移矩阵。
可选地，所述采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息，具体包括：
采用匈牙利公式
Figure BDA0002929286850000024
将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息和错误匹配信息；
其中，
Figure BDA0002929286850000031
为第k-1帧的卡尔曼滤波的各个目标的状态向量序列，
Figure BDA0002929286850000032
为第k帧的检测值，Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure BDA0002929286850000033
其中
Figure BDA0002929286850000034
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向，
Figure BDA0002929286850000035
为第k-1帧状态向量与第k帧检测值的距离，
Figure BDA0002929286850000036
H为状态转移矩阵，
Figure BDA0002929286850000037
为对应
Figure BDA0002929286850000038
的协方差矩阵。
可选地，所述获取漏检信息和新目标出现信息，具体包括：
获取第k帧图像检测到的目标数和第k-1帧图像检测到的目标数；
判断所述第k帧图像检测到的目标数是否小于所述第k-1帧图像检测到的目标数；
若所述第k帧图像检测到的目标数小于所述第k-1帧图像检测到的目标数，说明有目标未能得到成功的匹配，获取漏检信息；
若所述第k帧图像检测到的目标数大于所述第k-1帧图像检测到的目标数，说明有新出现的目标，获取新目标出现信息。
一种显微操作中多目标轨迹异常处理系统，包括：
第k-1帧图像检测信息获取模块，用于获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向；
第k帧图像检测信息预测模块，用于根据所述第k-1帧图像检测信息，预测第k帧图像检测信息；
目标关联模块，用于采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息；
最优状态估计信息确定模块，用于根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；
漏检信息、新目标出现信息获取模块，用于获取漏检信息和新目标出现信息；
异常情况处理模块，用于根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
可选地，所述第k帧图像检测信息预测模块，具体包括：
第k帧图像检测信息预测单元，用于根据所述第k-1帧图像检测信息采用公式
Figure BDA0002929286850000041
预测第k帧图像检测信息
其中，
Figure BDA0002929286850000042
为第k-1帧图像检测信息，也为第一状态向量，
Figure BDA0002929286850000043
为第k帧图像检测信息，也为第二状态向量，F为状态转移矩阵。
可选地，所述目标关联模块，具体包括：
目标关联单元，用于采用匈牙利公式
Figure BDA0002929286850000044
将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息和错误匹配信息；
其中，
Figure BDA0002929286850000045
为第k-1帧的卡尔曼滤波的各个目标的状态向量序列，
Figure BDA0002929286850000046
为第k帧的检测值，Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure BDA0002929286850000051
其中
Figure BDA0002929286850000052
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向，
Figure BDA0002929286850000053
为第k-1帧状态向量与第k帧检测值的距离，
Figure BDA0002929286850000054
H为状态转移矩阵，
Figure BDA0002929286850000055
为对应
Figure BDA0002929286850000056
的协方差矩阵。
可选地，所述漏检信息、新目标出现信息获取模块，具体包括：
目标数获取单元，用于获取第k帧图像检测到的目标数和第k-1帧图像检测到的目标数；
目标数判断单元，用于判断所述第k帧图像检测到的目标数是否小于所述第k-1帧图像检测到的目标数；
漏检信息获取单元，用于当所述第k帧图像检测到的目标数小于所述第k-1帧图像检测到的目标数时，获取漏检信息；
新目标出现信息获取单元，用于当所述第k帧图像检测到的目标数大于所述第k-1帧图像检测到的目标数时，获取新目标出现信息。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种显微操作中多目标轨迹异常处理方法，通过获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向；根据所述第k-1帧图像检测信息，预测第k帧图像检测信息；采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息；根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；获取漏检信息和新目标出现信息；根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。本发明能够提高遗漏目标的轨迹关联成功率，提高异常情况的处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明显微操作中多目标轨迹异常处理方法流程图；
图2为本发明斑马鱼多的检测信息示意图；
图3为本发明显微操作中多目标轨迹异常处理系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种显微操作中多目标轨迹异常处理方法及系统，能够提高遗漏目标的轨迹关联成功率，提高异常情况的处理效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明显微操作中多目标轨迹异常处理方法流程图。如图1所示，一种显微操作中多目标轨迹异常处理方法包括：
步骤101：获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向。
获取第k-1帧的图像检测信息(每一条幼鱼的位置和方向)，进行卡尔曼滤波器的初始化，初始化状态向量
Figure BDA0002929286850000061
其中
Figure BDA0002929286850000062
为第i个目标的第0帧状态向量，x为目标x方向坐标(由检测算法第k-1帧的检测到的目标位置决定)，y为目标y方向坐标值(由检测算法第k-1帧的检测到的目标位置决定)，θ为目标的头部朝向角度(头部中轴线与水平方向夹角)(由检测算法第k-1帧的检测到的目标方向决定)，
Figure BDA0002929286850000073
为目标x方向速度(初始化为0)，
Figure BDA0002929286850000075
为目标y方向速度(初始化为0)，
Figure BDA0002929286850000074
为目标角速度(初始化为0)。图2为本发明斑马鱼多的检测信息示意图，本发明斑马鱼多的检测信息包括位置(鱼头位置，x,y坐标，左上角为坐标系)和方向(鱼头的指向，为鱼头方向矢量与水平向右的方向矢量的夹角)，其定义如图2所示。
初始化模型协方差噪声矩阵，这里的模型是指斑马鱼追踪的卡尔曼滤波模型，主要是状态转移矩阵F和观测矩阵H，即公式(7)和(10)：
Figure BDA0002929286850000071
其中σx,σy,σθ分别为预测模型x方向位置、y方向位置和角度的预测的高斯分布的标准差，衡量了预测模型的不确定性，数值由用户设定和调整。
初始化观测模型的协方差矩阵，这里的模型是指斑马鱼追踪的卡尔曼滤波模型，主要是状态转移矩阵F和观测矩阵H，即公式(7)和(10)：
Figure BDA0002929286850000072
其中σ'x，σ'y，σ'θ分别为检测算法的x方向位置，y方向位置，角度检测的高斯分布的标准差，用来衡量检测器的检测精度，数值根据实际的检测器效果进行设定。
对于状态向量X0 i的协方差矩阵：
Figure BDA0002929286850000081
其中σ为衡量第k-1帧状态向量精度的高斯分布的方差，由用户定义，σ数值对滤波效果影响不明显(σ数值越大，第k-1帧的卡尔曼滤波的输出的状态向量越接近于第k-1帧的检测值)，之后矩阵P会不断更新，数值会变化。
步骤101是卡尔曼滤波第k-1帧的状态向量的初始化(即公式(1)，包括x位置坐标，x方向速度，y位置坐标，y方向速度，鱼头朝向，和鱼头转动的角速度)，
步骤101是描述不确定性的用户定义的协方差矩阵Q、R、P的初始化，根据第k-1帧初始化的信息，得到第二帧的预测信息，预测前必须有当前帧的信息，初始化步骤是卡尔曼滤波的第一步。卡尔曼滤波是预测和更新步骤的不断循环，得到目标状态向量的最优估计的算法(检测算法检测到的信息有噪声，需要设计协方差矩阵Q、R、P和模型(状态转移矩阵F，状态观测矩阵H，滤除噪声)。
步骤102：根据所述第k-1帧图像检测信息，预测第k帧图像检测信息，具体包括：
根据所述第k-1帧图像检测信息采用公式
Figure BDA0002929286850000082
预测第k帧图像检测信息。
其中，
Figure BDA0002929286850000083
为第k-1帧图像检测信息，也为第一状态向量，
Figure BDA0002929286850000084
为第k帧图像检测信息，也为第二状态向量，F为状态转移矩阵。
Figure BDA0002929286850000091
Figure BDA0002929286850000092
更新协方差矩阵P(这是卡尔曼滤波的基本公式之一)，其物理意义是P所衡量的状态向量x的不确定性增大了，即置信度降低。
其中，F为状态转移矩阵：
Figure BDA0002929286850000093
其中，
Figure BDA0002929286850000094
为第i个目标的第k帧的预测状态向量，
Figure BDA0002929286850000095
为第i个目标第(k-1)帧的状态向量，
Figure BDA0002929286850000096
为对应于
Figure BDA0002929286850000097
的协方差矩阵。这里的预测预测的是下一帧的状态向量，即公式(1)，包括x位置坐标，x方向速度，y位置坐标，y方向速度，鱼头朝向θ，和鱼头转动的角速度
Figure BDA0002929286850000098
根据当前帧对于下一帧的预测信息，结合下一帧的检测算法得到的检测信息(即x位置坐标，y位置坐标，鱼头朝向θ)，得到目标的状态向量各参数(公式(1))的估计。
步骤103：采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息，具体包括：
采用匈牙利公式
Figure BDA0002929286850000099
将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息和错误匹配信息。
其中，
Figure BDA0002929286850000101
为第k-1帧的卡尔曼滤波的各个目标的状态向量序列，
Figure BDA0002929286850000102
为第k帧的检测值，Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure BDA0002929286850000103
其中
Figure BDA0002929286850000104
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向，
Figure BDA0002929286850000105
为第k-1帧状态向量与第k帧检测值的距离，
Figure BDA0002929286850000106
H为状态转移矩阵，
Figure BDA0002929286850000107
为对应
Figure BDA0002929286850000108
的协方差矩阵。
检测算法得到的只是目标位置和朝向的序列，每一个目标对应一个卡尔曼滤波器，执行更新步骤前必须知道用什么信息更新，目标关联执行的是将对应的检测信息分配到对应的目标(如当前帧检测到的第2个信息对应上一帧的第3个目标)。通过目标关联，得到检测算法得到的检测序列的各元素与各个目标的卡尔曼滤波器的对应。
对于第k帧的图像，目前有第k-1帧的卡尔曼滤波的各个目标的状态向量序列
Figure BDA0002929286850000109
和第k帧的检测值
Figure BDA00029292868500001010
Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure BDA00029292868500001011
其中
Figure BDA00029292868500001012
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向。建立如下矩阵：
Figure BDA00029292868500001013
其中
Figure BDA00029292868500001014
为第k-1帧状态向量与第k帧检测值的距离：
Figure BDA00029292868500001015
其中，H为状态转移矩阵：
Figure BDA0002929286850000111
Figure BDA0002929286850000112
使用公式(11)(12)进行计算。
使用匈牙利算法求解上述矩阵(8)即可以进行目标关联(判定k-1时刻的那个状态向量与k时刻的哪个检测来自于同一目标)，算法具体步骤参考自文献(HaroldW.Kuhn,"TheHungarian Method forthe assignmentproblem",Naval ResearchLogistics Quarterly,2:83–97,1955.Kuhn's originalpublication.)。
步骤104：根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息。
成功匹配到的目标，需要满足以下两个条件：
a)匈牙利算法输出的匹配结果即为匹配到的目标，如第1个目标对应第3个检测信息
b)对于匈牙利算法的输出，还需要对匹配结果的距离
Figure BDA0002929286850000113
(第i个目标与第j个检测匹配到一起，
Figure BDA0002929286850000114
为两者的距离)进行判断，当
Figure BDA0002929286850000115
小于一个用户设定的阈值(阈值的设定由目标的运动能力决定，需要有用户设计)，则认为是成功匹配、如果
Figure BDA0002929286850000116
大于用户设定的阈值，则该匹配结果被删掉，认为是错误匹配。
对于成功匹配到的目标，进行卡尔曼滤波的更新，以得到目标的最优状态估计：
Figure BDA0002929286850000117
Figure BDA0002929286850000118
Figure BDA0002929286850000119
Figure BDA00029292868500001110
Figure BDA00029292868500001111
其中，
Figure BDA00029292868500001112
为残差，衡量了第i个目标匹配到的检测
Figure BDA00029292868500001113
与预测
Figure BDA00029292868500001114
的距离，
Figure BDA00029292868500001115
为对应
Figure BDA00029292868500001116
的协方差矩阵，
Figure BDA00029292868500001117
为卡尔曼增益。
步骤105：获取漏检信息和新目标出现信息，具体包括：
步骤1051：获取第k帧图像检测到的目标数和第k-1帧图像检测到的目标数；
步骤1052：判断所述第k帧图像检测到的目标数是否小于所述第k-1帧图像检测到的目标数；
步骤1053：若所述第k帧图像检测到的目标数小于所述第k-1帧图像检测到的目标数，说明有目标未能得到成功的匹配，获取漏检信息；
步骤1054：若所述第k帧图像检测到的目标数大于所述第k-1帧图像检测到的目标数，说明有新出现的目标，获取新目标出现信息。
步骤106：根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
异常情况处理分3种情况：
1、若第k帧图像检测到的目标数Nk小于第k-1帧的目标数Mk，说明有目标未能得到成功的匹配(目标未被成功检测到)，对于未成功匹配的斑马鱼轨迹，使用公式(5)(6)的卡尔曼滤波预测值进行预测，并使用预测值与之后其他帧的成功匹配到的检测值进行更新步骤，若漏检的帧数超过一个用户设定的帧数，则删除轨迹。
2、若第k帧图像检测到的目标数大于第k-1帧的目标数，则对于新出现的目标建立新的轨迹，对新出现目标初始化新的卡尔曼滤波器。
3、对于步骤103中被删除的错误匹配，对错误匹配的已有的目标使用公式(5)(6)的卡尔曼滤波预测值进行预测，对于错误匹配的检测值初始化新的卡尔曼滤波器。
图3为本发明显微操作中多目标轨迹异常处理系统结构图。如图3所示，一种显微操作中多目标轨迹异常处理系统包括：
第k-1帧图像检测信息获取模块201，用于获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向。
第k帧图像检测信息预测模块202，用于根据所述第k-1帧图像检测信息，预测第k帧图像检测信息。
目标关联模块203，用于采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息。
最优状态估计信息确定模块204，用于根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息。
漏检信息、新目标出现信息获取模块205，用于获取漏检信息和新目标出现信息。
异常情况处理模块206，用于根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
所述第k帧图像检测信息预测模块202，具体包括：
第k帧图像检测信息预测单元，用于根据所述第k-1帧图像检测信息采用公式
Figure BDA0002929286850000131
预测第k帧图像检测信息；
其中，
Figure BDA0002929286850000132
为第k-1帧图像检测信息，也为第一状态向量，
Figure BDA0002929286850000133
为第k帧图像检测信息，也为第二状态向量，F为状态转移矩阵。
所述目标关联模块203，具体包括：
目标关联单元，用于采用匈牙利公式
Figure BDA0002929286850000134
将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息和错误匹配信息；
其中，
Figure BDA0002929286850000141
为第k-1帧的卡尔曼滤波的各个目标的状态向量序列，
Figure BDA0002929286850000142
为第k帧的检测值，Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure BDA0002929286850000143
其中
Figure BDA0002929286850000144
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向，
Figure BDA0002929286850000145
为第k-1帧状态向量与第k帧检测值的距离，
Figure BDA0002929286850000146
H为状态转移矩阵，
Figure BDA0002929286850000147
为对应
Figure BDA0002929286850000148
的协方差矩阵。
所述漏检信息、新目标出现信息获取模块205，具体包括：
目标数获取单元，用于获取第k帧图像检测到的目标数和第k-1帧图像检测到的目标数；
目标数判断单元，用于判断所述第k帧图像检测到的目标数是否小于所述第k-1帧图像检测到的目标数；
漏检信息获取单元，用于当所述第k帧图像检测到的目标数小于所述第k-1帧图像检测到的目标数时，获取漏检信息；
新目标出现信息获取单元，用于当所述第k帧图像检测到的目标数大于所述第k-1帧图像检测到的目标数时，获取新目标出现信息。
实施例1：
本实施例以斑马鱼幼鱼为实验对象，开发了一种针对于模式生物的通用的轨迹异常处理方法，能够提高遗漏目标的轨迹关联成功率，提高异常情况的处理效率。具体的，一种斑马鱼多目标轨迹异常处理方法包括：
步骤301：获取斑马鱼运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括幼鱼的位置和方向；
步骤301：根据所述第k-1帧图像检测信息，预测第k帧图像检测信息；
步骤301：采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息；
步骤301：根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；
步骤301：获取漏检信息和新目标出现信息；
步骤301：根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
本发明具有下列优点：
1.该算法效率较高，主要原因是卡尔曼滤波和匈牙利算法本身是效率很高的算法，体现在两方面：
a)卡尔曼滤波这个算法本身的效率优势，Kalman滤波只涉及矩阵的乘法、加法和求逆运算(公式5,6,11,12,13,14,15)，同时本发明设计的系统转移矩阵(7)和观测矩阵(10)最高阶数为6阶，求逆涉及的计算量也很小。对于每个目标(斑马鱼幼鱼)初始化一个滤波器，使用多线程技术所有的更新和预测并行执行，使得算法效率很高，运行速度快。
b)匈牙利算法将目标关联问题转换为最优匹配问题，本身的执行效率较高。
2.对于性能较好的检测器(即能很好的检测到图像中的所有目标，同时漏检的情况持续帧数不会太长)，本发明对于遗漏目标的轨迹关联成功率很高。对于漏检的目标，只执行预测的步骤2(由于没有更新信息，无法进行更新，只能进行预测)。预测步骤2中，不断预测目标的位置，同时协方差矩阵的各元素数值会增大，即预测的不确定性增大，在协方差矩阵的范围内搜寻需要匹配的检测值，结合步骤3中的公式8,9与匈牙利算法，寻找最适合的检测进行匹配并更新卡尔曼滤波器。
成功率高有两个原因：
a)因为目标运动能力的限制，不会运动太远，不会超过协方差矩阵的范围。
b)目标的运动在短暂的漏检(目标漏检的帧数较小，即上次成功检测与该次成功检测的帧数间隔较小，)帧数间具有连续性，使用公式(7)设计的状态转移矩阵可以的到较为准确的预测(即预测的目标位置、方向和实际的目标位置、方向差别不会很大)，因此漏检不会对目标关联产生太大影响。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种显微操作中多目标轨迹异常处理方法，其特征在于，包括：
获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向；
根据所述第k-1帧图像检测信息，预测第k帧图像检测信息；
采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息；
根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；
获取漏检信息和新目标出现信息；
根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
2.根据权利要求1所述的显微操作中多目标轨迹异常处理方法，其特征在于，所述根据所述第k-1帧图像检测信息，预测第k帧图像检测信息，具体包括：
根据所述第k-1帧图像检测信息采用公式
Figure FDA0002929286840000011
预测第k帧图像检测信息；
其中，
Figure FDA0002929286840000012
为第k-1帧图像检测信息，也为第一状态向量，
Figure FDA0002929286840000013
Figure FDA0002929286840000014
为第k帧图像检测信息，也为第二状态向量，F为状态转移矩阵。
3.根据权利要求1所述的显微操作中多目标轨迹异常处理方法，其特征在于，所述采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息，具体包括：
采用匈牙利公式
Figure FDA0002929286840000021
将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息和错误匹配信息；
其中，
Figure FDA0002929286840000022
为第k-1帧的卡尔曼滤波的各个目标的状态向量序列，
Figure FDA0002929286840000023
为第k帧的检测值，Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure FDA0002929286840000024
其中
Figure FDA0002929286840000025
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向，
Figure FDA0002929286840000026
为第k-1帧状态向量与第k帧检测值的距离，
Figure FDA0002929286840000027
H为状态转移矩阵，
Figure FDA0002929286840000028
Figure FDA0002929286840000029
为对应
Figure FDA00029292868400000210
的协方差矩阵。
4.根据权利要求1所述的显微操作中多目标轨迹异常处理方法，其特征在于，所述获取漏检信息和新目标出现信息，具体包括：
获取第k帧图像检测到的目标数和第k-1帧图像检测到的目标数；
判断所述第k帧图像检测到的目标数是否小于所述第k-1帧图像检测到的目标数；
若所述第k帧图像检测到的目标数小于所述第k-1帧图像检测到的目标数，说明有目标未能得到成功的匹配，获取漏检信息；
若所述第k帧图像检测到的目标数大于所述第k-1帧图像检测到的目标数，说明有新出现的目标，获取新目标出现信息。
5.一种显微操作中多目标轨迹异常处理系统，其特征在于，包括：
第k-1帧图像检测信息获取模块，用于获取物体运动的第k-1帧图像检测信息，并对所述第k-1帧图像检测信息进行卡尔曼滤波初始化，所述第k-1帧图像检测信息包括物体的位置和方向；
第k帧图像检测信息预测模块，用于根据所述第k-1帧图像检测信息，预测第k帧图像检测信息；
目标关联模块，用于采用匈牙利算法将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器对于第k帧的预测信息进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息、错误匹配信息和未匹配信息；；
最优状态估计信息确定模块，用于根据所述正确匹配信息，将成功匹配的目标进行卡尔曼滤波更新，得到目标的最优状态估计信息；
漏检信息、新目标出现信息获取模块，用于获取漏检信息和新目标出现信息；
异常情况处理模块，用于根据所述漏检信息、所述新目标出现信息以及错误匹配信息对目标进行异常情况处理。
6.根据权利要求5所述的显微操作中多目标轨迹异常处理系统，其特征在于，所述第k帧图像检测信息预测模块，具体包括：
第k帧图像检测信息预测单元，用于根据所述第k-1帧图像检测信息采用公式
Figure FDA0002929286840000031
预测第k帧图像检测信息；
其中，
Figure FDA0002929286840000032
为第k-1帧图像检测信息，也为第一状态向量，
Figure FDA0002929286840000033
Figure FDA0002929286840000034
为第k帧图像检测信息，也为第二状态向量，F为状态转移矩阵。
7.根据权利要求5所述的显微操作中多目标轨迹异常处理系统，其特征在于，所述目标关联模块，具体包括：
目标关联单元，用于采用匈牙利公式
Figure FDA0002929286840000041
将所述第k帧图像检测信息中的检测序列的各元素和各目标的卡尔曼滤波器进行目标关联，得到匹配信息，所述匹配信息包括正确匹配信息和错误匹配信息；
其中，
Figure FDA0002929286840000042
为第k-1帧的卡尔曼滤波的各个目标的状态向量序列，
Figure FDA0002929286840000043
为第k帧的检测值，Mk-1为第k-1帧的目标数，Nk为第k帧检测到的目标值，
Figure FDA0002929286840000044
其中
Figure FDA0002929286840000045
分别为第k帧检测到的第j个目标的x位置坐标，y位置坐标和头部朝向，
Figure FDA0002929286840000046
为第k-1帧状态向量与第k帧检测值的距离，
Figure FDA0002929286840000047
H为状态转移矩阵，
Figure FDA0002929286840000048
Figure FDA0002929286840000049
为对应
Figure FDA00029292868400000410
的协方差矩阵。
8.根据权利要求5所述的显微操作中多目标轨迹异常处理系统，其特征在于，所述漏检信息、新目标出现信息获取模块，具体包括：
目标数获取单元，用于获取第k帧图像检测到的目标数和第k-1帧图像检测到的目标数；
目标数判断单元，用于判断所述第k帧图像检测到的目标数是否小于所述第k-1帧图像检测到的目标数；
漏检信息获取单元，用于当所述第k帧图像检测到的目标数小于所述第k-1帧图像检测到的目标数时，获取漏检信息；
新目标出现信息获取单元，用于当所述第k帧图像检测到的目标数大于所述第k-1帧图像检测到的目标数时，获取新目标出现信息。
CN202110143532.0A 2021-02-02 2021-02-02 一种显微操作中多目标轨迹异常处理方法及系统 Pending CN112785630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110143532.0A CN112785630A (zh) 2021-02-02 2021-02-02 一种显微操作中多目标轨迹异常处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143532.0A CN112785630A (zh) 2021-02-02 2021-02-02 一种显微操作中多目标轨迹异常处理方法及系统

Publications (1)

Publication Number Publication Date
CN112785630A true CN112785630A (zh) 2021-05-11

Family

ID=75760521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143532.0A Pending CN112785630A (zh) 2021-02-02 2021-02-02 一种显微操作中多目标轨迹异常处理方法及系统

Country Status (1)

Country Link
CN (1) CN112785630A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018886A (zh) * 2022-08-09 2022-09-06 腾讯科技（深圳）有限公司 运动轨迹识别方法、装置、设备及介质
CN115908506A (zh) * 2022-09-09 2023-04-04 杭州云栖智慧视通科技有限公司 基于卡尔曼预测的多目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN111640140A (zh) * 2020-05-22 2020-09-08 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN111932580A (zh) * 2020-07-03 2020-11-13 江苏大学 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110085702A1 (en) * 2009-10-08 2011-04-14 University Of Southern California Object tracking by hierarchical association of detection responses
CN109191497A (zh) * 2018-08-15 2019-01-11 南京理工大学 一种基于多种信息融合的实时在线多目标跟踪方法
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN111640140A (zh) * 2020-05-22 2020-09-08 北京百度网讯科技有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN111932580A (zh) * 2020-07-03 2020-11-13 江苏大学 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018886A (zh) * 2022-08-09 2022-09-06 腾讯科技（深圳）有限公司 运动轨迹识别方法、装置、设备及介质
CN115018886B (zh) * 2022-08-09 2022-11-08 腾讯科技（深圳）有限公司 运动轨迹识别方法、装置、设备及介质
CN115908506A (zh) * 2022-09-09 2023-04-04 杭州云栖智慧视通科技有限公司 基于卡尔曼预测的多目标跟踪方法

Similar Documents

Publication Publication Date Title
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN110660083A (zh) 一种结合视频场景特征感知的多目标跟踪方法
CN105405151A (zh) 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
CN110751096B (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
CN112785630A (zh) 一种显微操作中多目标轨迹异常处理方法及系统
CN113192105B (zh) 一种室内多人追踪及姿态估量的方法及装置
CN104504728B (zh) 多机动目标跟踪方法、系统及其广义联合概率数据关联器
Vaswani Additive change detection in nonlinear systems with unknown change parameters
CN116977434B (zh) 基于追踪相机的目标行为追踪方法及系统
Stachniss et al. Analyzing gaussian proposal distributions for mapping with rao-blackwellized particle filters
CN109934849A (zh) 基于轨迹度量学习的在线多目标跟踪方法
CN111639570A (zh) 一种基于运动模型和单目标线索的在线多目标跟踪方法
CN113709662B (zh) 一种基于超宽带的自主式三维反演定位方法
Wang et al. A KNN based Kalman filter Gaussian process regression
de Figueiredo et al. Multi-object detection and pose estimation in 3d point clouds: A fast grid-based bayesian filter
CN117664124A (zh) 基于ros的惯性导引与视觉信息融合的agv导航系统及方法
Pfaff et al. Gaussian mixture models for probabilistic localization
Tamas et al. Lidar and vision based people detection and tracking
CN115993791A (zh) 提供识别人员和手部的运动的追踪数据来控制技术系统和传感器系统的方法和设备
JP2009204418A (ja) 運動クラス類別装置及び追尾処理装置
Pedrosa et al. Online SLAM based on a fast scan-matching algorithm
Tiefenbacher et al. Off-the-shelf sensor integration for mono-SLAM on smart devices
CN114061592A (zh) 基于多模型的自适应鲁棒auv导航方法
Chella et al. Automatic place detection and localization in autonomous robotics
Marchant et al. Cooperative global tracking using multiple sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination