CN114241006A - 基于机器学习的精子跟踪与自动提取方法 - Google Patents

基于机器学习的精子跟踪与自动提取方法 Download PDF

Info

Publication number
CN114241006A
CN114241006A CN202111560295.4A CN202111560295A CN114241006A CN 114241006 A CN114241006 A CN 114241006A CN 202111560295 A CN202111560295 A CN 202111560295A CN 114241006 A CN114241006 A CN 114241006A
Authority
CN
China
Prior art keywords
sperm
extraction
target
extraction needle
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111560295.4A
Other languages
English (en)
Inventor
袁国慧
肖剑
王卓然
刘冉
张博翾
闫一默
何劲辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute of UESTC Huzhou
Original Assignee
Yangtze River Delta Research Institute of UESTC Huzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute of UESTC Huzhou filed Critical Yangtze River Delta Research Institute of UESTC Huzhou
Priority to CN202111560295.4A priority Critical patent/CN114241006A/zh
Publication of CN114241006A publication Critical patent/CN114241006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于精子监测与自动提取的技术领域,提供了一种基于机器学习的精子跟踪与自动提取方法。目的在于解决目前主要的精子监测方法普遍存在监测精度较低,监测速度慢,不利于精子多目标实时追踪的问题。主要方案包括,获取精子样本的实时图像数据;通过YOLO‑V4、KCF跟踪器、Kalman滤波器实现多精子跟踪;根据跟踪结果计算精子的速度,并根据速度确定目标精子;使用YOLO‑V4检测提取针在图像中的位置;根据提取针的位置以及精子的跟踪位置构造提取针控制器的观测状态;将观测状态输入DDPG深度强化学习模型中的actor网络中,得到控制量。将actor网络输出控制量输入提取针控制器中,并将控制量转换成控制器可执行的控制信号。控制器根据控制信号执行控制量对应的行为。

Description

基于机器学习的精子跟踪与自动提取方法
技术领域
本发明属于精子监测与自动提取的技术领域,涉及基于深度学习的多目标精子实时跟踪方法以及基于深度强化学习的目标精子自动提取方法。
背景技术
人类精液样本携带着各种信息,实现对精子的高效精准提取对精子医学研究及其重要。在显微镜的辅助之下,可以观察到快速移动的精子,但由于精子是运动的,这让工作人员难以跟踪被提取的目标精子,这给精子提取工作带来了极大的困难。另外,即使是富有经验的专业人员也会出现不稳定的操作,这种不稳定的操作使得目标精子跟踪丢失或者提取失败,设计一种完全自主的多精子跟踪、目标自动确定以及目标自动提取的技术对精子的提取有重要的意义,该技术有望提高未来生殖方面的医疗效率。
目前对精子进行实时跟踪监测,并实现对目标精子进行在线提取技术仍然空白,这也是本发明相关技术提出的初衷。
公开号为CN111563550A的中国发明申请,公开了一种基于图像技术的精子形态检测方法和装置。检测方法涉及计算机视觉,具体为:识别待测精液图像中的任意一个独立精子;获取独立精子的关键部位的轮廓;由独立精子的关键部位的轮廓确定独立精子的关键部位的中心坐标;基于待测精液图像与独立精子的关键部位的中心坐标,提取独立精子的轮廓;根据独立精子的轮廓,对独立精子进行形态监测。
公开号为CN112150415A的中国发明申请,公开了一种基于SSD与KCF跟踪器的多目标精子的跟踪方案。包括以下步骤:(1)获取精子样本的实时图像数据;(2)通过SSD网络模型采样多层精子样本图像的特征图,使用CNN提取特征,分类与回归;(3)将数据传输至KCF跟踪器;(4)对于SSD监测精子目标丢失的部分,使用KCF跟踪器监测处于运动状态的目标,并更新结果;(5)使用卡尔曼滤波器分配跟踪器;(6)根据SSD监测到的位置与卡尔曼滤波器估算目标之间的距离,将该位置与KCF跟踪器匹配,得到多目标精子的实时监测数据。该方法使用的SSD深度网络模型虽在样本中的精子检测中有较好的效果,但由于SSD模型本身的约束,精子的检测速度实时性并不太理想。
整体而言,现有技术主要存在以下缺陷:
(1)目前主要的精子监测方法普遍存在监测精度较低,监测速度慢,不利于精子多目标实时追踪。
(2)当前精子提取的方法依靠于人工对提取器的控制,效率低,提取效果也难以达到预期,并且全自主的精子自动提取技术仍有待研究。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种基于YOLO-V4的多目标精子实时跟踪方法与一种基于深度强化学习的精子的自动提取方法。在今后可以整合进入计算机自动分析与精子自动提取的应用中,能够更便捷地提取到优质的精子。为更加方便的描叙基于深度强化学习的精子的提取方法,本发明用sk表示提取针控制器的当前时刻的状态,a表示在状态sk下控制器采取的行为,sk+1表示下一控制时刻的状态,sk-1表示上一控制时刻的状态,r表示控制器在状态sk执行动作a所得到的回报。本发明的目的通过以下技术方案实现。
一种基于机器学习的精子跟踪与自动提取方法,包括以下步骤:
(1)获取精子样本的实时图像数据。
(2)通过YOLO-V4深度网络模型对精子特征进行学习,学习完成后,YOLO-V4能够很好的完成对精子的检测,得到精子在图像中的位置,并将数据传输至KCF跟踪器。YOLO-V4网络模型是一种基于深度学习的可实现多目标并行检查的目标检测方法,相比于YOLO-V3网络模型,其在小目标检查方面有较好的效果,这种方法可以通过深度学习模型直接获得不同目标的位置。这种方法在使用前需要大量样本来训练深度网络模型,在网络模型经过足够样本的训练后,目标检测会具有较高的准确性并且网络模型对不同环境的具有较好适应性。
(3)对于YOLO-V4网络模型漏检的精子,利用KCF跟踪器,通过求上一帧目标与当前帧图像的相关性来实现漏检精子的位置检测。KCF跟踪器是通过求上一帧目标与当前帧图像的相关性来实现目标的检测,通过连续使用这种方法可实现对目标的跟踪。这种方法的检测速度快,可达到150帧以上。KCF算法将线性空间的脊回归通过核函数映射到非线性空间,在非线性空间通过求解一个对偶问题和某些常见的约束,同样的可以使用循环矩阵傅里叶空间对角化简化计算。另外,KCF算法将以前只能用单通道的灰度特征改进为现在可以使用多通道的HOG特征或者其他特征。
(4)由于KCF跟踪器通过求相关性的检测出的精子位置有较大的误差,使用卡尔曼滤波器基于过去的位置信息估计当前图像帧中的被跟踪目标的位置,实现对KCF跟踪器自身得到的数据进行矫正。
(5)根据YOLO-V4网络模型监测到的精子位置与经卡尔曼滤波器矫正后的精子位置之间的距离,基于距离最小原则,完成对KCF跟踪器的更新。
(6)基于精子跟踪器的每一帧位置信息计算精子的相邻帧期间在图像上产生的位移,从而得到精子运动的速度。
(7)计算观测10秒内精子的平均运动速度,并将平均速度最大的精子选取作为提取的目标,目标精子的跟踪位置用xk表示。
(8)使用已训练的YOLO-V4网络检测精子与精子提取针在当前图像中的位置,提取针在图像中的位置用Gk表示,每4帧检测一次。
(9)利用当前检测的提取针与目标精子的位置Gk、xk以及上一次检测的精子位置xk-1构造观测状态sk=(Gk,xk-1,xk)。sk中包含了精子的上一时刻的位置与当前时刻的位置,这种构造方法,能够有效的提取目标精子的历史运动信息。
(10)将状态sk输入已训练好的深度强化学习网络模型中,神经网络模型根据输入状态的特征,输出最佳的精子提取针的控制量u=(u1,u2,u3)。在强化学习的训练过程中,提取针控制器通过不断试错的方法,学习得到过程最优的提取策略。
(11)将控制量u传输到提取针控制器中,控制器根据u1、u2、u3三个控制量转换成步进电机可识别的控制信号,然后分别控制3个步进电机,实现对提取针的x、y、z三个方向进行调整。
(12)若提取针运动至目标精子可提取范围,则控制器控制提取针执行提取操作,若提取到目标精子,则控制结束;若提取针未到达目标精子的可提取范围内或提取针在执行提取操作后未提取到目标精子,则转至步骤(8)。
在本发明提供的基于机器学习的精子跟踪与自动提取的方法中,本发明基于YOLO-V4网络模型实现对精子与精子提取器的检测,基于KCF跟踪器与Kalman滤波的方法实现对精子的跟踪,并基于检测与跟踪结果,使用一种深度强化学习的方法实现对精子提取针的行为策略的优化,使提取针能够以最优的策略实现对目标精子的提取。本发明,根据精子和提取针的跟踪与检测结果,对强化学习中的观测状态进行构造,构造了一种包含当前信息与历史信息的状态。在强化学模型中,使用了适应于连续空间控制的DDPG算法,并设计了一种轻型的BP神经网络结构,这种网络的复杂度能够满足提取针实时控制的要求。强化学习的神经网络根据输入的观测状态直接输出提取针的控制量,提高了精子提取的智能性。
进一步地,还包括步骤(1)中,获取精子样本的实时图像数据以后,将图像样本集进行分类,部分样本为训练集与验证集训练YOLO-V4网络模型;部分样本为测试集,用于测试训练完成的YOLO-V4网络模型。
进一步地,步骤(10)还包括深度强化学习模型的训练方法,训练方法的步骤如下:
(1)根据基于机器学习的精子跟踪与自动提取方法中的步骤(7)(8)(9),计算初始观测状态s0,基于初始观测状态s0,使用创建的BP神经网络计算得到初始行为a,行为a即为控制量u;
(2)提取针的控制器执行行为a,提取针控制器将网络输出的控制量u转换成电子的步进控制信号,并完成对提取针的位置调整;
(3)计算目标精子的最新观测状态sk
(4)根据回报函数计算上一次行为的回报值rk
(5)将元组(sk-1,sk,a,rk)存入样本池中;
(6)更新sk-1,sk-1=sk,并通过BP神经网络计算新状态的行为a;
(7)判断提取针是否运动到可提取范围,若是,则执行提取操作;
(8)从样本池中随机抽取固定数量的样本元组用于训练BP神经网络;
(9)若提取针的控制次数超过预设次数,则转至步骤(10),否则转至步骤(2);
(10)若训练回合数未达到预设的次数,则转到步骤(1),否则结束训练,保存训练的神经网络模型。
进一步地,在深度强化学习的训练过程的步骤(4)中,针对目标精子提取,本发明设计了一种回报函数,该函数是基于提取针与目标精子的距离以及提取是否成功进行设计的。
附图说明
图1为本发明的流程示意图。
图2为本发明步骤10中的深度强化学习的训练流程示意图。
具体实施方式
以下结合附图对本发明做详尽说明。
(一)获取精子与提取器的训练样本图像数据
获取精液样本,并在37℃下孵育30分钟以使精液液化。在获能前,精液样本通过两层密度离心(300×g,20分钟)用
Figure BDA0003420499780000051
40和
Figure BDA0003420499780000052
80(Nidacon,瑞典)进行纯化。去除上清液,将精子颗粒重新悬浮并在4.5ml
Figure BDA0003420499780000053
洗涤液(瑞典Nidacon)中再次离心38次(500×g,10分钟)。
将提取针深入精液样本中,使用提取针控制器对提取针进行随机运动调整,并利用摄像机记录提取针在精液样本中的运动的的视频,视频帧率为20FPS。利用视频图像生成6000幅样本图像,并进行了分类,81%的样本被归类为训练样本,9%的样本被归类为验证样本,10%的样本是测试样本。利用这些样本对YOLO-V4网络进行训练,得到训练好的网络模型。
(二)使用YOLO-V4网络模型对精子与提取器进行检测。
YOLO-V4网络模型相比于其他的网络模型,具有检测速度快,对小目标检测效果好的优点,十分适合本发明涉及到的精子检测与跟踪,并且整个过程只需要输入待检测的图像,即可快速得到精子的位置。另外,网络对精子提取针这种简单结构的目标也有很好的检测效果。
在一些具体实施方案中,视频流中的图像被重塑成1200×936的图像,并输入已训练的YOLO-V4网络模型中进行检测,检测可得到精子与提取针在图像中的位置。YOLO-V4网络模型输出的是目标所在box的四个角的位置,在强化学习的状态构造时,本发明用box的中心位置来表示目标精子与提取针的位置。
(三)使用KCF进行多精子追踪
在得到基于YOLO-V4网络模型的精子目标框后,利用KCF跟踪器对精子目标框进行跟踪。
KCF算法将线性空间的脊回归通过核函数映射到非线性空间,在非线性空间通过求解一个对偶问题和某些常见的约束,同样的可以使用循环矩阵傅里叶空间对角化简化计算。另外,KCF算法将以前只能用单通道的灰度特征改进为现在可以使用多通道的HOG特征或者其他特征。本发明利用HOG特征来表征精子在图像中的特征。
通过当前帧的图像可以训练得到向量跟踪器的α参数的傅里叶变换
Figure BDA0003420499780000061
可由下式
Figure BDA0003420499780000062
KXX=φ(X)φ(X)T (2)
其中,KXX是循环核矩阵,上标XX表示训练样本向量x生成的循环样本矩阵X中的生成样本之间的相关性,
Figure BDA0003420499780000063
为KXX的傅里叶变换,λ为正则化参数,φ(x)为列向量,φ(g)为核函数,(g)*表示共轭操作,x为目标的HOG特征构成样本向量,y为回归目标,其形状为二维高斯。
Figure BDA0003420499780000064
为y的傅里叶变换。
对于高斯核,K中元素Kxx'表示x与X中的向量x'的核相关,可由下列式子表述:
Figure BDA0003420499780000065
X为目标样本通过循环移位得到的,向量的循环可由下列排列矩阵P,Q得到。
Figure BDA0003420499780000071
X=PxQ (5)
循环移位实际上是将样本在某一框内进行各种平移,得到一系列平移后的样本。
在得到训练得到
Figure BDA0003420499780000072
后,跟踪器可以对后续的测试帧中的目标进行跟踪。此时测试样本的响应
Figure BDA0003420499780000073
可通过下式计算:
Figure BDA0003420499780000074
式中
Figure BDA0003420499780000075
为Kxz的傅里叶变换,Kxz是x与z的核相关,可用下列式子表示:
Kxz=φ(X)φ(z) (7)
Kz为训练样本与测试样本构成的核矩阵,对于
Figure BDA0003420499780000076
中第i行j列个元素有:
Figure BDA0003420499780000077
通过选择相应最大的测试样本,得到当前目标的位置。
(四)使用卡尔曼滤波器匹配矫正KCF检测结果
卡尔曼滤波是利用线性系统的状态方程和系统的观测数据对系统状态进行最优估计的一种算法。由于观测数据受系统中噪声和干扰的影响,系统状态估计过程也可以看作是一个滤波过程。
标准的卡尔曼滤波系统方程如下:
wk=Awk-1+Bck-1+bk (9)
yk=Cwk+nk (10)
式(9)为状态方程,式中,wk为第k时刻的状态向量,ck-1为第k时刻的输入,bk为状态转移噪声,A,B为系统矩阵,其中A为状态转移矩阵。式(10)为观测方程,C为观测矩阵,yk为观测向量,nk为观测误差。
卡尔曼滤波器分为预测和更新两个步骤。预测公式如下:
Figure BDA0003420499780000081
式中,wk -是k时刻的状态预测,<wk-1>是k-1时刻的卡尔曼滤波器的估计,Pk -是卡尔曼增量预测矩阵,Pk-1是k-1时刻的卡尔曼滤波器的估计矩阵,Q为状态转移噪声构成的协方差矩阵。
卡尔曼滤波器的更新公式如下:
Figure BDA0003420499780000082
式中,R为观测误差的协方差矩阵。
通过式(11)与(12),可对KCF得到的位置进行矫正,提高KCF算法的跟踪精度。
在跟踪器匹配过程中,利用Kalman滤波器根据当前目标的位置预测下一帧目标的位置,通过对预测位置与下一帧的检测位置的距离匹配,完成对跟踪器的更新。
(五)目标精子确定
利用上述方法实现对精子的实时跟踪,基于精子跟踪器的每一帧位置信息计算精子的相邻帧期间在图像上产生的位移,从而得到精子运动的速度。计算方法如下:
vk=xk-xk-1 (13)
式中xk为精子位置,vk为精子的速度。
本发明对计算了200帧内精子的平均速度,选取平均速度最大的精子作为目标提取精子。
(五)基于深度强化学习的精子提取
深度强化学习框架设计:本发明使用深度强化学习的方法来实现对提取针控制器的控制,相比于传统的控制方法,基于深度强化学习的方法具有全局策略最优、环境适应性好、智能性高等优点。由于提取针控制器的状态信息由提取针与精子位置信息构成,考虑到位置信息是连续,并且步进电机的控制量也可看作是连续的,因此本发明,使用一种连续空间的深度强化算法-DDPG算法来作为目标精子提取的学习算法。DDPG算法能够实现在连续空间下的智能体策略学习,并且输出连续的控制量。对DDPG算法的设计,包括对提取针状态的设计、提取针行为的设计、回报函数的设计、神经网络的设计。其中DDPG的神经网络包括actor网络与critical网络两类网络,actor网络能够根据当前提取针所处的状态输出相应的行为,critical网络用于训练时对actor网络采取的行为的合理程度进行评估,其输出为对状态-行为的评估值。当训练完成后,actor网络可输出当前状态下最优的策略行为a。在训练过程中,actor与critical网络都包括两个网络,分别为策略网络与目标网络。本发明用c_actor_net表示策略actor网络,t_actor_net表示目标actor网络,用c_critical_net表示策略critical网络,t_critical_net表示目标critical网络。
对于actor网络,其策略优化公式如下:
Figure BDA0003420499780000091
式中,
Figure BDA0003420499780000092
为c_actor_net的优化目标梯度,
Figure BDA0003420499780000093
为求梯度操作,θQ为c_critical_net的参数,θμ为c_actor_net的参数,μ表示c_actor_net网络,Q表示c_critical_net网络,sk为k时刻的状态,a为状态sk下所执行的行为。
对于critical网络,其学习目标如下:
y=rk+γQ'(sk+1,μ'(sk+1μ')|θQ') (15)
式中,y为学习目标,Q'表示t_critical_net,θQ'表示t_critical_net的参数,μ'表示t_actor_net,θμ'表示t_actor_net的参数,γ表示过去经验的折扣因子,sk+1为k+1时刻的状态,rk为状态sk下执行行为a转移到状态sk+1所得的回报。
基于式(15),可得critical网络的学习误差为:
e=y-Q(sk,a) (16)
通过式(14)、(15)与(16)可完成对critical网络与actor网络的学习。
状态设计:利用当前帧图像检测的提取针位置Gk、精子位置xk以及上一次检测的精子位置xk-1构造观测状态
sk=(Gk,xk-1,xk) (14)
式中sk会随着目标精子运动以及提取针的运动而发生改变。
行为设计:考虑到提取针控制器是通过3个步进电机来实现控制,设计三个控制量u1,u2与u3分别控制三个电机的步进度数,且ui的值在区间(-1,1)内。由于步进电机是通过脉冲数来控制步进的角度,所以,本发明在得到控制量ui后,需要将ui转换成步进电机的控制脉冲数,转换方法由如下:
Figure BDA0003420499780000101
式中,npulse为脉冲数,θs为步级角,表示1个脉冲产生的步进电机的步进角度。当npulse为正时,步进电机顺时针转动,当npulse为负时,步进电机逆时针转动。
提取针控制器的第k次控制行为可由下式表示:
a=u=(u1,u2,u3) (16)
回报函数:强化学习中的回报函数用于评估当前状态sk下控制器采取的行为a的合理程度。本发明除了给出控制器的每一次控制的回报外,还考虑到提取的目标精子是运动的,精子可能被提取针遮挡,进一步给出遮挡情况下的回报。整个回报函数设计成下列式子:
Figure BDA0003420499780000102
式中,cpe为常数,fe为提取成功标志位,当提取成功fe置为true,否则置为false;dε为可提取范围阈值;
Figure BDA0003420499780000103
为第k次控制时,提取针与目标精子的距离,由下式计算:
Figure BDA0003420499780000111
式(16)给出了行为的评估准则,当目标精子未被检测到时,此时,给予回报-1。在目标精子能够检测到的情况下,当提取针靠近目标精子时,本发明根据靠近程度来给定回报,当提取针进入可提取范围时,提取针执行提取操作,若提取到目标精子,则给回报1,肯定整个控制过程的正确性,当提取不到时,给回报0,表明由于某种原因当前状态下,提取针难以提取到目标精子。神经网络:由于状态sk是由Gk,xk-1,xk三个位置数据组成,且每个位置数据是2维的,行为a由u1,u2,u3三个一维控制数据组成,因此,actor网络的输入为6维,输出为3维,critical网络的输入为9维,输出为1维。
对于actor网络,本发明设计一个3层的BP神经网络,输入层为6个神经元,激活函数为ReLU函数,隐藏层为100个神经元,激活函数为ReLU函数,输出层为3个神经元,激活函数为Tanh函数。
对于critical网络,本发明也设计一个3层的BP神经网络,输入层为9个神经元,激活函数为ReLU函数,隐藏层为100个神经元,激活函数为ReLU函数,输出层为1个神经元,无激活函数,直接线性输出。
训练方法:深度强化学习的训练方法包括下列步骤,
(1)创建actor与critical各2个神经网络,根据式(14)计算初始的观测状态s0,并基于当前观测状态,使用创建的actor神经网络计算得到初始行为a;
(2)基于式(15)对行为a进行控制量转换,然后完成对提取针的位置调整;
(3)计算目标精子的最新观测状态sk
(4)根据式(17)计算上一次行为的回报值rk
(5)将元组(sk-1,sk,a,rk)存入样本池中;
(6)更新sk-1,sk-1=sk,并通过神经网络得到新的行为a;
(7)判断提取针是否运动到可提取范围,若是,则执行提取操作;
(8)从样本池中随机抽取固定数量的样本元组用于训练actor与critical网络;
(9)若提取针的控制次数超过预设次数,则转至步骤(10),否则转至步骤(2);
(10)若训练回合数未达到预设的次数,则转到步骤(1),否则结束训练,保存训练的神经网络模型。

Claims (5)

1.一种基于机器学习的精子跟踪与自动提取方法,其特征在于,包括以下步骤:
步骤1、利用电子显微镜获取精子样本的实时图像数据,并将图像传输至计算机,传输频率为20FPS;
步骤2、在计算平台上,利用已训练的目标检测网络对观测的精子图像进行检测,得到精子的位置;
步骤3、利用步骤2中得到的精子位置数据更新KCF跟踪器;
步骤4、对于步骤2漏检的精子,通过KCF算法得到漏检精子的估计位置;
步骤5、使用Kalman滤波器对步骤4中得到的精子的估计位置进行矫正;
步骤6、利用步骤5中得到的矫正后的精子位置数据更新漏检精子的KCF跟踪器;
步骤7、基于精子跟踪器的每一帧位置信息计算精子的相邻帧期间在图像上产生的位移,从而得到精子运动的速度;
步骤8、计算观测10秒内精子的平均运动速度,选取速度最大的精子作为提取的目标,目标精子的跟踪位置用xk表示;
步骤9、使用已训练的目标检测网络检测精子提取针在当前图像中的位置,用Gk表示,每4帧检测一次;
步骤10、利用当前检测的提取针位置Gk、精子位置xk以及上一次检测的精子位置xk-1构造观测状态sk=(Gk,xk-1,xk);
步骤11、将观测状态sk输入已训练的深度强化学习网络模型中,神经网络模型输出精子提取针的控制量u=(u1,u2,u3);
步骤12、将控制量u传输到提取针控制器中,控制器根据u1,u2,u3三个控制量分别控制3个步进电机,实现对提取针的x、y、z三个方向进行调整;
步骤13、若提取针运动至目标精子可提取范围,则控制提取针执行提取操作,若提取到目标精子,则控制结束;若提取针未到达目标精子的可提取范围内或提取针在执行提取操作后未提取到目标精子,则跳转至步骤1。
2.根据权利要求1所述的一种基于机器学习的精子跟踪与自动提取方法,其特征在于,步骤1获取精子样本的实时图像数据以后,将图像样本集进行分类,部分样本为训练集与验证集训练目标检测网络,目标检测网络采用YOLO-V4网络模型;部分样本为测试集,使用训练后的YOLO-V4网络模型测试。
3.根据权利要求1所述的一种基于机器学习的精子跟踪与自动提取方法,其特征在于,步骤11中深度强化学习模型的训练方法,包括以下步骤:
步骤11.1、基于步骤8、步骤9、步骤10,计算初始观测状态s0,基于初始观测状态s0,使用创建的BP神经网络计算得到初始行为a;
步骤11.2、提取针控制器执行行为a,完成对提取针的位置调整;
步骤11.3、计算目标精子的最新观测状态sk
步骤11.4、根据回报函数计算行为回报值rk
步骤11.5、将元组(sk-1,sk,a,rk)存入样本池中;
步骤11.6、更新sk-1,sk-1=sk,并通过BP神经网络计算新状态的行为a;
步骤11.7、提取针运动到可提取范围,则执行提取操作;
步骤11.8、从样本池中随机取固定大小的样本用于训练神经网络;
步骤11.9、若提取针的控制次数超过预设次数,则转至步骤11.10,否则转至步骤11.2;
步骤11.10、训练回合数未达到预设的次数,则转到步骤11.1,否则结束训练,保存训练的神经网络模型。
4.根据权利要求3所述的深度强化学习模型的训练方法,其特征在于,步骤11.4中回报函数:
Figure FDA0003420499770000021
式中,cpe为常数,fe为提取成功标志位,当提取成功fe置为true,否则置为false;dε为可提取范围阈值;
Figure FDA0003420499770000022
为第k次控制时,提取针与目标精子的距离,由下式计算:
Figure FDA0003420499770000031
xk为精子位置,Gk,为当前检测的提取针位置。
5.根据权利要求1所述的一种基于机器学习的精子跟踪与自动提取方法,其特征在于,步骤12中,三个控制量u1,u2与u3表示为ui,,且ui的值在区间(-1,1)内,将ui转换成步进电机的控制脉冲数,转换方法由如下:
Figure FDA0003420499770000032
式中,npulse为脉冲数,θs为步级角,表示1个脉冲产生的步进电机的步进角度,当npulse为正时,步进电机顺时针转动,当npulse为负时,步进电机逆时针转动。
CN202111560295.4A 2021-12-20 2021-12-20 基于机器学习的精子跟踪与自动提取方法 Pending CN114241006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111560295.4A CN114241006A (zh) 2021-12-20 2021-12-20 基于机器学习的精子跟踪与自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111560295.4A CN114241006A (zh) 2021-12-20 2021-12-20 基于机器学习的精子跟踪与自动提取方法

Publications (1)

Publication Number Publication Date
CN114241006A true CN114241006A (zh) 2022-03-25

Family

ID=80759020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111560295.4A Pending CN114241006A (zh) 2021-12-20 2021-12-20 基于机器学习的精子跟踪与自动提取方法

Country Status (1)

Country Link
CN (1) CN114241006A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601604A (zh) * 2022-11-29 2023-01-13 西南石油大学(Cn) 一种基于长短时记忆网络的多任务微泡轨迹追踪方法
CN116863388A (zh) * 2023-09-05 2023-10-10 青岛农业大学 一种基于神经网络的精子活力确定方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601604A (zh) * 2022-11-29 2023-01-13 西南石油大学(Cn) 一种基于长短时记忆网络的多任务微泡轨迹追踪方法
CN115601604B (zh) * 2022-11-29 2023-04-07 西南石油大学 一种基于长短时记忆网络的多任务微泡轨迹追踪方法
CN116863388A (zh) * 2023-09-05 2023-10-10 青岛农业大学 一种基于神经网络的精子活力确定方法及系统

Similar Documents

Publication Publication Date Title
Zhao et al. A spatial-temporal attention model for human trajectory prediction.
Levine et al. End-to-end training of deep visuomotor policies
CN107403426B (zh) 一种目标物体检测方法及设备
CN114241006A (zh) 基于机器学习的精子跟踪与自动提取方法
WO2017185688A1 (zh) 一种在线目标跟踪方法及装置
Leibfried et al. A deep learning approach for joint video frame and reward prediction in atari games
CN111008991B (zh) 一种背景感知的相关滤波目标跟踪方法
Cao et al. Dynamic target tracking control of autonomous underwater vehicle based on trajectory prediction
CN112734809A (zh) 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
Demetriou et al. Generation of driving scenario trajectories with generative adversarial networks
Song et al. 2d lidar map prediction via estimating motion flow with gru
Zhou et al. Robot Manipulator Visual Servoing via Kalman Filter-Optimized Extreme Learning Machine and Fuzzy Logic.
CN108664918B (zh) 基于背景感知相关滤波器的智能车辆前方行人跟踪方法
You et al. An adaptable UAV sensor data anomaly detection method based on TCN model transferring
Zhang et al. Spatial-Temporal-Spectral LSTM: A Transferable Model for Pedestrian Trajectory Prediction
Park et al. Tracking human-like natural motion using deep recurrent neural networks
CN110390381A (zh) 利用卷积神经网络来处理数据序列的装置和方法
Liu et al. Driver lane changing behavior analysis based on parallel Bayesian networks
Firouznia et al. Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking
CN108153519A (zh) 一种目标智能跟踪方法通用设计框架
Jaśkowski et al. Improved GQ-CNN: Deep learning model for planning robust grasps
CN108469729B (zh) 一种基于rgb-d信息的人体目标识别与跟随方法
CN113947616B (zh) 一种基于层级化感知机的智能目标跟踪及丢失重检方法
Qi et al. Dolphin movement direction recognition using contour-skeleton information
WO2023050048A1 (en) Method and apparatus for simulating environment for performing task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination