CN112183420B - 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法 - Google Patents
基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法 Download PDFInfo
- Publication number
- CN112183420B CN112183420B CN202011071948.8A CN202011071948A CN112183420B CN 112183420 B CN112183420 B CN 112183420B CN 202011071948 A CN202011071948 A CN 202011071948A CN 112183420 B CN112183420 B CN 112183420B
- Authority
- CN
- China
- Prior art keywords
- drosophila
- frame
- climbing
- target
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000255581 Drosophila <fruit fly, genus> Species 0.000 title claims abstract description 78
- 230000009194 climbing Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 230000008569 process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 241000255588 Tephritidae Species 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 abstract description 15
- 238000002474 experimental method Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 241000255601 Drosophila melanogaster Species 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000032683 aging Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 108700002304 Drosophila can Proteins 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000012258 culturing Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- UXVMQQNJUSDDNG-UHFFFAOYSA-L Calcium chloride Chemical compound [Cl-].[Cl-].[Ca+2] UXVMQQNJUSDDNG-UHFFFAOYSA-L 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 230000002180 anti-stress Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000001110 calcium chloride Substances 0.000 description 1
- 229910001628 calcium chloride Inorganic materials 0.000 description 1
- 230000032677 cell aging Effects 0.000 description 1
- 230000027288 circadian rhythm Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 235000010228 ethyl p-hydroxybenzoate Nutrition 0.000 description 1
- 239000004403 ethyl p-hydroxybenzoate Substances 0.000 description 1
- 229940043351 ethyl-p-hydroxybenzoate Drugs 0.000 description 1
- NUVBSKCKDOMJSU-UHFFFAOYSA-N ethylparaben Chemical compound CCOC(=O)C1=CC=C(O)C=C1 NUVBSKCKDOMJSU-UHFFFAOYSA-N 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013312 flour Nutrition 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 235000021552 granulated sugar Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000008213 purified water Substances 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 210000005000 reproductive tract Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000008511 vegetative development Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Abstract
本发明公开了基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法，其中涉及的基于减背景、帧差的果蝇攀爬检测方法，包括步骤：S1.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；S2.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；S3.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；S4.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；S5.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。本发明基于减背景、帧差和Meanshift向量的果蝇攀爬检测、跟踪方法可以科学、准确、高效的解决果蝇攀爬实验的分析。
Description
技术领域
本发明涉及果蝇检测技术领域，尤其涉及基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法。
背景技术
衰老是机体各组织、器官功能随着年龄增长而发生衰退变化的过程，是大自然所有生物体都面临的一个问题，同时伴随着各种疾病的发生各种生理指标的变化。果蝇生物生活习性简单易于饲养、生命周期短，成年果蝇具有功能相似于哺乳动物心脏、肺、肾、肠和生殖道等生物器官，也具有唤醒、睡眠、昼夜节律、学习记忆、喂养攻击、求偶繁衍、攀爬等复杂生物行为，因此成为许多科研工作者在研究衰老科学的首选模式生物。影响果蝇衰老的因素有很多，主要包括环境、神经、免疫炎症、营养发育、生物节律、内分泌等。科研人员则主要通过果蝇寿命长短、进食量、攀爬能力、生殖能力、抗应激实验、睡眠节律等指标观察记录和反映衰老信息。其中果蝇攀爬能力测试是常用的生物学研究方法。果蝇攀爬能力常常能够反映果蝇的生理指标，在细胞衰老、生物节律、新陈代谢等方面都有着重要的参考意义。
所谓果蝇攀爬能力实验：果蝇在一个垂直的空间内会自发向上运动，即具有反趋地性行为，果蝇攀爬能力实验就是利用果蝇这种特性，测试果蝇的运动能力。现阶段科研人员研究果蝇攀爬能力的方法源于Fang MB.Bender WW教授提出。开始的时候将果蝇轻轻摇到培养试管底部.一旦落到瓶底，果蝇开始沿壁上爬。攀爬特定时间间隔记录爬过标志线的果蝇数目，以多次测定爬过标志线的平均果蝇数目作为攀爬能力指标。
随着计算机技术理论和软硬件的迅速发展，计算机图像处理技术已经渗透到人类日常生活中和科学研究中。自信息时代以来，图像处理技术在生物医学工程方面的发展同样迅速，这对科研工作者研究和探索自然生物有着极其重要的影响和促进作用。目前，科研工作者主要通过显微镜等光学仪器采集和存储大量的生物医学工程观察图像，如细胞图像、CT图像、菌落图像、果蝇图像等。如果通过人工目测传统方法对这些图像数据进行定性定量分析得出科研结论，则会耗费大量的人工时间和相应的其他成本，是现阶段科研工作者研究生物图像的困难之一。
因此，本申请所要解决的技术问题是传统果蝇攀爬实验主要采用“直接观察法”，并不涉及数字图像处理技术，存在人眼疲脑和大量人工成本等问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法。
为了实现以上目的，本发明采用以下技术方案：
基于减背景、帧差的果蝇攀爬检测方法，包括步骤：
S1.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；
S2.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；
S3.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；
S4.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；
S5.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。
进一步的，所述步骤S1中进行背景建模是利用统计平均法进行建模的。
进一步的，所述步骤S1中进行背景建模后还包括选取多帧图像，并计算选取的多帧图像的像素平均值。
进一步的，所述步骤S5中还包括对校正处理后的目标区域用形态学方法进行空洞填充和去噪处理，得到完整的目标区域。
进一步的，所述步骤S5中对得到的目标区域进行选择和校正处理具体为：
S51.确定到的目标区域，将所述目标区域全部作为待校正区域；
S52.计算每个待校正区域的外接矩形大小，并对每个待校正区域的外接矩形进行筛选处理，得到校正后的目标区域。
进一步的，所述步骤S52具体为：
S521.若某个待校正区域被另一个待校正区域的外接矩形完全互相包含、或两矩形框中心相交距离小于阈值T1，则将某个待校正区域加入到另一个待校正区域中；
S522.将剩余的待校正区域中外接矩形面积小于阈值T2或大于阈值T3的区域删除；
S523.将经过步骤S231-S232处理后剩下的外接矩形作为校正后的目标区域。
进一步的，所述T1的取值范围为T1<w/2；所述T2的取值范围为T2<w*h/4；所述T3的取值范围为T3>4*w*h；其中w表示外接矩形框的宽；h表示外接矩形框的高。
还提供基于Meanshift算法的果蝇攀爬跟踪方法，包括：
S1.获取果蝇攀爬的视频序列图像，并利用基于减背景、帧差的果蝇攀爬检测方法提取果蝇攀爬的目标区域，记录初始帧果蝇攀爬的目标模型概率密度q0、目标中心位置f0、目标模型直方图M0；
S2.在当前帧建立搜索框，寻找当前果蝇攀爬的目标中心位置fk、计算目标模型概率密度qk、目标模型的直方图Mk；
S3.计算当前目标模型直方图Mk和初始目标模型直方图M0的相似度ρk；
S4.基于Meanshift算法进行迭代，重复执行步骤S2，得到新一帧中果蝇攀爬的目标中心位置fk+1、目标模型直方图Mk+1；
S5.计算新一帧目标模型直方图Mk+1和初始目标模型直方图M0的相似度ρk+1；
S6.判断|fk-fk+1|是否小于搜索框宽度阈值T4，若是，则表示跟踪准确，显示跟踪结果；若否，则执行步骤S7；
S7.判断相似度ρk+1是否小于相似度ρk，若是，则调整当前目标位置，令fk+1＝(fk+1+fk)/2；若否，则令fk+1＝fk；
S8.进入下一帧，重复执行步骤S2-S7，依次检测每帧中图像的目标位置并跟踪。
进一步的，所述步骤S6中T4的取值范围为T4<w/2；其中w表示外接矩形框的宽。
与现有技术相比，本发明基于减背景、帧差和Meanshift向量的果蝇攀爬检测、跟踪方法可以科学、准确、高效的解决果蝇攀爬实验的分析。
附图说明
图1是实施例一提供的一种基于减背景、帧差的果蝇攀爬检测方法流程图；
图2是实施例二提供的一种基于Meanshift算法的果蝇攀爬跟踪方法流程图；
图3是实施例二提供的Meanshift向量定义示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法。
实施例一
本实施例提供一种基于减背景、帧差的果蝇攀爬检测方法，如图1所示，包括步骤：
S1.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；
S2.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；
S3.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；
S4.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；
S5.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。
在本实施例中，采用从中国科学院生物化学与细胞生物学研究所果蝇资源与技术平台购买的黑腹果蝇进行实验研究，黑腹果蝇基因型为W1118。该购买的黑腹果蝇饲养在杭州电子科技大学自动化学院生物医学工程实验室。
黑腹果蝇的培养与图像获取如下：
食物配方：玉米粉培养基(1000ml/L纯净水、10g/L琼脂、32.19g/L酵母、31.62g/L白砂糖、0.726g/L氯化钙、葡萄糖63.2g/L、77.7g/L玉米粉、15ml/L95％乙醇、4.5g/L对羟基苯甲酸乙酯)。
培养环境：智能人工气候箱(宁波莱福科技有限公司，中国)培养条件为25℃、60％湿度、白色灯光(12小时亮12小时暗)、光强500勒克斯。
培养过程：果蝇瓶中父母代：雌性15只，雄性10只；6-7天清空果蝇瓶；48小时收集实验果蝇；48小时充分交配；试管培养8-12天，每两天更换食物。
图像获取：将实验果蝇置于垂直的空指管内，适应5min，然后轻晃果蝇至指管底部，果蝇习惯性向上爬，同时利用图像采集设备采集果蝇攀爬图像。
在步骤S1中，获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型。
在本实施例中，获取视频序列，利用统计平均法进行背景建模，选取数帧图像(本实施例选取前5帧图像)，计算其像素平均值，作为背景模型，记为D(x，y)。
在步骤S2中，在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像。
在本实施例中，从视频序列中，随机选取连续两帧图像，记第i帧为Fi(x，y)，第i+1帧为Fi+1(x，y)。
在步骤S3中，分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果。
计算第i帧图像与背景帧的帧差Fi(x，y)，第i+1帧图像与背景帧的帧差Fi+1(x，y)，获得连续两帧的运动目标轮廓
在步骤S4中，将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域。
在本实施例中，将连续两帧的帧差结果做与运算，得到完整的运动目标区域。
在步骤S5中，对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域。
在本实施例中，对步骤S4中提取出的目标前景图像进行校正和选择，包括步骤：
S51.确定已检测出的目标位置，全部作为待校正区域；
S52.计算每个待校正区域的外接矩形的大小，并对每个待校正区域的外接矩形进行筛选处理，得到校正后的目标区域。
设外界矩形框宽记为w，高为h，步骤S52具体包括：
S51.若某个待校正区域被另一个待校正区域的外接矩形完全互相包含、或两矩形框中心相交距离小于阈值T1，则将该区域加入到另一个区域中。其中，T1为两矩形框中心的欧式距离，本实施例中选取T1<w/2；
S52.将剩余的待校正区域中外接矩形面积小于阈值T2(T2<w*h/4)，或面积大于T3(T3>4*w*h)的区域直接过滤掉；
S53.将经过以上步骤后剩下的外接矩形作为运动目标区域；
在本实施例中，步骤S5还包括对校正后的目标区域，用形态学方法进行空洞填充和去噪处理，得到完整目标区域。
在本实施例中，减背景法指预先建立一个背景模型，选取当前图像帧与背景模型逐一进行差分运算，利用差分结果提取运动目标区域的一种检测方法。其基本步骤是：首先，进行背景建模，即预先选定背景图像，或选取当前图像序列中的一帧，统计所有像素进行建模，即可得到背景模型Fb(x，y)。其次，将图像序列中的每帧图像Fk(x，y)与背景模型Fb(x，y)做差分计算，得到一系点，这些点的集合就是初步检测结果，用Db(x，y)表示。循环以上步骤，直到确定目标的区域信息。整个运算过程如下：
其中，Fb(x，y)为背景图像，Fk(x，y)当前帧图像，Db(x，y)为差分运算结果，T为阈值，当Fb(x，y)与Fk(x，y)差值大于T，即认为该像素存在于目标中，Db(x,y)记为1；反之，当Fb(x，y)与Fk(x，y)差值小于T，即认为该像素存在于背景中，Db(x，y)记为0。选择合适的阈值，遍历处理每一个像素，由此可将前景目标与背景分割，检测出完整的目标。
帧差分法是通过相邻帧或者相邻若干帧图像之间的像素灰度的差值来识别运动物体的。假设相邻两帧图像分别为Ik(x，y)、Ik+1(x，y)，图像上存在某一像素点(x，y)，在k时刻其灰度值为f(i，j，k)，在k+1时刻像素灰度值为f(i，j，k+1)，二者差分结果B(i,j)为：
选取某一帧图像，将当前帧图像分别与其前一帧图像、后一帧图像，做差分运算：
D1(x,y)＝|Ik(x,y)-Ik-1(x,y)|
D2(x,y)＝|Ik(x,y)-Ik+1(x,y)|
Dr(x,y)＝D1(x,y)×D2(x,y)
F(x,y)＝D1(x,y)+D2(x,y)+...+Dr(x,y)
预先设定阈值Ts，根据阈值Ts对差分结果做二值化处理：
二值化处理后就可以将目标和背景区分开来：1表示该像素点在不同帧或不同时刻的灰度值发生了较大变化，说明存在于运动物体中；0表示该像素点的灰度值没有变化或变化很小，说明该像素点没有存在于运动物体中，即存在于背景中。Ts的选取至关重要，决定了检测结果的准确性。
背景差分法的优点是：算法容易实现，其检测结果能直观反映运动目标位置，大小，数量。但在实际过程中，通常需要考虑实际情况，确定阈值。该算法不适用于高速、变化的背景的情况，易受到光线、噪声的影响。帧差分法的优势是能很好地适应动态背景下的目标检测，算法灵敏度较高，且算法原理简单，易实现。缺点是检测效果依赖所选取的帧间隔与阈值，若选取的帧间隔或阈值过大，易出现丢失目标的情况；若帧间隔过小，阈值过小，容易出现空洞问题。
对于目标跟踪领域，跟踪速度和精度是研究人员都必须考虑的性能问题。近些年深度学习开始应用于视觉目标跟踪领域，该类算法能够利用深度卷积网络更好的对目标特征进行提取，获得了较好的跟踪精度，但是由于网络的大量数据训练和算法复杂度，使得无法满足实时性能的要求，而且对硬件设备的要求较高，因此果蝇攀爬目标跟踪算法模块基于工程性能方面的考虑，不采用具有卷积网络的目标跟踪算法。本实施例选择对Meanshift目标跟踪算法进行研究和改进，使之应用到本文的视频目标实时跟踪系统。算法是基于核密度估计的爬山算法，可用于聚类、图像分割、跟踪等。Meanshift目标跟踪算法因其计算量低、实现容易、实时性好、稳定性高等优点，近年来得到了国内外诸多研究人员和学者的广泛青睐。因此，Meanshift目标跟踪算法得到了很大的改进，适用范围也越来越广，尤其是现在发展迅猛的人工智能领域。基于Meanshift的目标跟踪算法的实质是一种梯度下降算法，算法通过进行迭代直到收敛到相似性函数的局部极大值点。
核函数和Meanshift向量是Meanshfit目标跟踪预备知识。核函数定义：假设存在一个高维的欧式空间X，空间内点x，其模为||x||2＝xTx，R为实数域。若对于函数K:X→R，存在剖面函数k∈[0,∞]→R，使得：
K(x)＝k(||x||2)
若K(x)满足：(1)k是非负函数；(2)k是非增函数；(3)k是分段连续函数，满足∫k(r)dr<∞，则K(x)为核函数。在核密度估计理论中，核函数一般起到平滑作用。
本实施例基于减背景、帧差法的果蝇攀爬检测方法可以科学、准确、高效的解决果蝇攀爬实验的分析。
实施例二
本实施例提供一种基于Meanshift算法的果蝇攀爬跟踪方法，如图2所示，包括：
S1.获取果蝇攀爬的视频序列图像，并利用实施例一的基于减背景、帧差的果蝇攀爬检测方法提取果蝇攀爬的目标区域，记录初始帧果蝇攀爬的目标模型概率密度q0、目标中心位置f0、目标模型直方图M0；
S2.在当前帧建立搜索框，寻找当前果蝇攀爬的目标中心位置fk、计算目标模型概率密度qk、目标模型的直方图Mk；
S3.计算当前目标模型直方图Mk和初始目标模型直方图M0的相似度ρk；
S4.基于Meanshift算法进行迭代，重复执行步骤S2，得到新一帧中果蝇攀爬的目标中心位置fk+1、目标模型直方图Mk+1；
S5.计算新一帧目标模型直方图Mk+1和初始目标模型直方图M0的相似度ρk+1；
S6.判断|fk-fk+1|是否小于搜索框宽度阈值T4，若是，则表示跟踪准确，显示跟踪结果；若否，则执行步骤S7；其中，T4的取值范围为T4<w/2；其中w表示外接矩形框的宽。
S7.判断相似度ρk+1是否小于相似度ρk，若是，则调整当前目标位置，令fk+1＝(fk+1+fk)/2；若否，则令fk+1＝fk；
S8.进入下一帧，重复执行步骤S2-S7，依次检测每帧中图像的目标位置并跟踪。
在本实施例中，采用的Meanshift算法具体为，Meanshift向量：假设存在一个d维空间Rd，内含样本点集合为{xi}i＝1,…,n。K(x)为核函数，h为窗口半径，则样本点X的核密度估计为：
Meanshift向量的基本形式定义为：
其中，Sh是一个集合了所有y点的高维球，y满足以下条件：
Sh(x)＝{y:(y-x)T(y-x)≤h2}
其中，h为半径；k表示落在Sh区域中的样本点个数。
Meanshift向量定义理解为：如图3所示，假设大圆区域为高维球面，用Sh表示；白色小圆为Sh区域内的样本点xi(xi∈Sh)；黑色小圆为圆心(即Meanshift的基准点x)；箭头即样本点xi相对于基准点x的偏移向量。定义公式，将所有的偏移向量求和，再求平均值，即可得到Meanshift向量Mh(x)。从直观上看，非零的概率密度梯度指向概率密度增加最大的地方。因此Sh区域内，沿着概率密度梯度的方向，样本点更多，所以Meanshift向量Mh(x)指向概率密度梯度增加的方向。
基于Meanshift的目标跟踪算法，首先建立目标模型，利用检测算法获得目标区域后，提取目标区域的灰度直方图作为统计模型。然后在后续帧中进行搜索，利用目标模型中的相关信息获取候选模型。测量目标模型和候选模型的相似性，获得最可靠的目标位置。最后根据目标位置获得Meanshift向量，开始迭代，搜索下一帧候选模型位置，实现跟踪目的。
目标模型的描述：利用果蝇目标检测算法进行前景分割来提取初始帧中的运动目标区域。假设已提取运动目标区域中，像素个数为n，像素位置为{zi}，对目标区域进行灰度化处理，获得目标区域灰度直方图。则目标模型的概率密度qu为：
其中：zi是像素位置，为目标中心位置坐标。K是平滑核函数。u为直方图颜色索引。b(zi)表示iz处像素的直方图区间。δ[b(zi)-u]用来判断目标区域中像素zi的灰度值所处的区间序号是否是u。C为归一化系数。
候选模型描述：在第t帧图像中，以上一帧目标中心位置f0为搜索框中心，h为半径。建立搜索框，在候选区域进行搜索，得到当前帧目标中心位置f。计算候选区直方图，其概率密度pu(f)为：
其中：h表示核函数窗口半径，它对pu(f)的权重分布有重要影响。
相似函数度量：相似性函数的作用是度量目标模型与候选模型的相似度。通常相似性函数为巴氏距离，用ρ表示，当目标模型的概率密度qu，候选模型的概率密度为pu(f)时，其定义为：
相似性系数值ρ(p，q)越大，表示两个模型具有较高的相似度。可以认为，以前一帧目标中心位置f0为搜索框中心，搜寻获得的相似性最大候选区域，即为当前帧中目标位置。
Meanshift迭代：Meanshift迭代过程，也是目标中心位置搜索过程，将上述ρ(p，q)式进行泰勒展开，得到：
其中权重系数ωi随核函数窗口半径h及目标位置f的改变而变化，通过候选区域中心位置f和Meanshift迭代方程，向目标实际中心位置zi的迭代过程，即可完成权重系数ωi的极大化。
g(x)＝-K’(x)
Meanshift即从某一点fk起在两帧图片中遍历和匹配的过程，通过寻找两个灰度或颜色概率密度变化最大的目标模型，当得到中心点距离小于一定的阈值的两个模型，即认为找到了当前帧的目标区域，以目标区域中心作为搜索窗中心，重复以上步骤，寻找下一帧的目标位置。这个过程每两帧之间都会产生一个Meanshift向量，整个过程的Meanshift向量连起来就是目标的运动路径。
本实施例基于减背景、帧差和Meanshift向量的果蝇攀爬检测、跟踪方法可以科学、准确、高效的解决果蝇攀爬实验的分析。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (4)
1.基于Meanshift算法的果蝇攀爬跟踪方法，其特征在于，包括：
S1.获取果蝇攀爬的视频序列图像，并利用基于减背景、帧差的果蝇攀爬检测方法提取果蝇攀爬的目标区域，记录初始帧果蝇攀爬的目标模型概率密度q0、目标中心位置f0、目标模型直方图M0；
S2.在当前帧建立搜索框，寻找当前果蝇攀爬的目标中心位置fk、计算目标模型概率密度qk、目标模型的直方图Mk；
S3.计算当前目标模型直方图Mk和初始目标模型直方图M0的相似度ρk；
S4.基于Meanshift算法进行迭代，重复执行步骤S2，得到新一帧中果蝇攀爬的目标中心位置fk+1、目标模型直方图Mk+1；
S5.计算新一帧目标模型直方图Mk+1和初始目标模型直方图M0的相似度ρk+1；
S6.判断|fk-fk+1|是否小于搜索框宽度阈值T4，若是，则表示跟踪准确，显示跟踪结果；若否，则执行步骤S7；
S7.判断相似度ρk+1是否小于相似度ρk，若是，则调整当前目标位置，令fk+1 =( fk+1+fk)/2；若否，则令fk+1= fk；
S8.进入下一帧，重复执行步骤S2-S7，依次检测每帧中图像的目标位置并跟踪；
所述基于减背景、帧差的果蝇攀爬检测方法，包括如下步骤：
S11.获取果蝇攀爬的视频序列图像，并根据获取到的视频序列图像进行背景建模，得到背景模型；
S12.在获取到的视频序列图像中随机选取两帧图像，记为第i帧图像和第i+1帧图像；
S13.分别计算第i帧图像和第i+1帧图像与背景帧的帧差，得到连续两帧的帧差结果；
S14.将得到的连续两帧的帧差结果做与运算，得到果蝇攀爬的目标区域；
S15.对所述得到的目标区域进行选择和校正处理，得到果蝇攀爬完整的目标区域；
步骤S15中还包括对校正处理后的目标区域用形态学方法进行空洞填充和去噪处理，得到完整的目标区域；
步骤S15中对得到的目标区域进行选择和校正处理具体为：
S151.确定到的目标区域，将所述目标区域全部作为待校正区域；
S152.计算每个待校正区域的外接矩形大小，并对每个待校正区域的外接矩形进行筛选处理，得到校正后的目标区域；
步骤S152具体为：
S1521.若某个待校正区域被另一个待校正区域的外接矩形完全互相包含、或两矩形框中心相交距离小于阈值T1，则将某个待校正区域加入到另一个待校正区域中；
S1522.将剩余的待校正区域中外接矩形面积小于阈值T2或大于阈值T3的区域删除；
S1523.将经过步骤S1521-S1522处理后剩下的外接矩形作为校正后的目标区域；
T1的取值范围为T1<w/2；所述T2的取值范围为T2 <w*h/4；所述T3的取值范围为T3>4*w*h；其中w表示外接矩形框的宽；h表示外接矩形框的高。
2.根据权利要求1所述的基于Meanshift算法的果蝇攀爬跟踪方法，其特征在于，步骤S11中进行背景建模是利用统计平均法进行建模的。
3.根据权利要求2所述的基于Meanshift算法的果蝇攀爬跟踪方法，其特征在于，步骤S11中进行背景建模后还包括选取多帧图像，并计算选取的多帧图像的像素平均值。
4.根据权利要求1所述的基于Meanshift算法的果蝇攀爬跟踪方法，其特征在于，步骤S6中T4的取值范围为T4<w/2；其中w表示外接矩形框的宽。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011071948.8A CN112183420B (zh) | 2020-10-09 | 2020-10-09 | 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011071948.8A CN112183420B (zh) | 2020-10-09 | 2020-10-09 | 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183420A CN112183420A (zh) | 2021-01-05 |
| CN112183420B true CN112183420B (zh) | 2024-04-19 |
Family
ID=73947773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011071948.8A Active CN112183420B (zh) | 2020-10-09 | 2020-10-09 | 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183420B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949400B (zh) * | 2021-01-26 | 2022-07-08 | 四川大学 | 一种基于深度学习的动物智能实验系统与方法 |
| CN113538337B (zh) * | 2021-06-17 | 2024-02-27 | 杭州涂鸦信息技术有限公司 | 检测方法、检测装置及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198206A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于多特征联合和Camshift算法结合的多目标跟踪方法 |
| CN110197121A (zh) * | 2019-04-24 | 2019-09-03 | 上海理工大学 | 基于DirectShow的运动目标检测方法、运动目标检测模块及监控系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8374388B2 (en) * | 2007-12-28 | 2013-02-12 | Rustam Stolkin | Real-time tracking of non-rigid objects in image sequences for which the background may be changing |
-
2020
- 2020-10-09 CN CN202011071948.8A patent/CN112183420B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198206A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于多特征联合和Camshift算法结合的多目标跟踪方法 |
| CN110197121A (zh) * | 2019-04-24 | 2019-09-03 | 上海理工大学 | 基于DirectShow的运动目标检测方法、运动目标检测模块及监控系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于视频的运动目标跟踪算法;刘俊杰;杨勇;才华;曲福恒;李双鑫;;吉林大学学报(信息科学版);20170515(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183420A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
| Kromp et al. | Evaluation of deep learning architectures for complex immunofluorescence nuclear image segmentation | |
| CN112183420B (zh) | 基于减背景、帧差和Meanshift算法的果蝇攀爬检测、跟踪方法 | |
| JP5816415B2 (ja) | 細胞評価装置、インキュベータ、プログラム、および、培養方法 | |
| CN110766058B (zh) | 一种基于优化rpn网络的战场目标检测方法 | |
| CN112347977B (zh) | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 | |
| CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
| CN113034462B (zh) | 基于图卷积的胃癌病理切片图像的处理方法及系统 | |
| CN112949517B (zh) | 基于深度迁移学习的植物气孔密度和开度识别方法及系统 | |
| Sun et al. | Wheat head counting in the wild by an augmented feature pyramid networks-based convolutional neural network | |
| CN110751172A (zh) | 一种弱监督学习的病理全片图像类别推断方法及其系统 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN117152503A (zh) | 一种基于伪标签不确定性感知的遥感图像跨域小样本分类方法 | |
| Liu et al. | Flooding-based MobileNet to identify cucumber diseases from leaf images in natural scenes | |
| CN114965501A (zh) | 基于冠层参数处理的花生病害检测与产量预测方法 | |
| CN113326743B (zh) | 一种养殖背景条件下鱼群运动行为参数提取和分析方法 | |
| CN116863341B (zh) | 基于时间序列卫星遥感影像的作物分类和识别方法和系统 | |
| CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
| CN104751461B (zh) | 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法 | |
| CN114155249A (zh) | 一种基于深度矢量场回归的三维细胞图像实例分割方法 | |
| Kolhar et al. | Phenomics for Komatsuna plant growth tracking using deep learning approach | |
| Chen et al. | MCC-Net: A class attention-enhanced multi-scale model for internal structure segmentation of rice seedling stem | |
| CN115984202A (zh) | 一种斑马鱼心血管功能智能识别与评价方法 | |
| CN116678835A (zh) | 一种基于高光谱成像技术检测血糖浓度的covid-19病毒快速筛查方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yang Zhizhang Inventor after: Shen Jie Inventor before: Yang Zhizhang |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |