CN112465906B - 一种基于显微操作系统的斑马鱼姿态检测方法及系统 - Google Patents

一种基于显微操作系统的斑马鱼姿态检测方法及系统 Download PDF

Info

Publication number
CN112465906B
CN112465906B CN202011055960.XA CN202011055960A CN112465906B CN 112465906 B CN112465906 B CN 112465906B CN 202011055960 A CN202011055960 A CN 202011055960A CN 112465906 B CN112465906 B CN 112465906B
Authority
CN
China
Prior art keywords
zebra fish
determining
image
frame image
outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011055960.XA
Other languages
English (en)
Other versions
CN112465906A (zh
Inventor
邱剑彬
王春翔
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Intelligent Equipment Research Institute Co ltd
Original Assignee
Ningbo Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Intelligent Equipment Research Institute Co ltd filed Critical Ningbo Intelligent Equipment Research Institute Co ltd
Priority to CN202011055960.XA priority Critical patent/CN112465906B/zh
Publication of CN112465906A publication Critical patent/CN112465906A/zh
Application granted granted Critical
Publication of CN112465906B publication Critical patent/CN112465906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于显微操作系统的斑马鱼姿态检测方法及系统。该方法包括对第一帧图像进行预处理；对预处理后的第一帧图像进行自适应阈值操作；根据自适应阈值操作后的第一帧图像提取斑马鱼的轮廓；根据斑马鱼的轮廓确定包围斑马鱼的轮廓的最小面积矩形；根据包围斑马鱼的轮廓的最小面积矩形确定斑马鱼的倾斜角度以及跟踪窗口；根据斑马鱼的倾斜角度确定显微操作系统的旋转角度；根据跟踪窗口和显微操作系统的旋转角度获取下一帧图像；根据下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据斑马鱼的轮廓确定包围斑马鱼的轮廓的最小面积矩形的步骤，直至斑马鱼达到设定姿态。本发明能够快速迅速精确地计算斑马鱼转正所需要的角度。

Description

一种基于显微操作系统的斑马鱼姿态检测方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种基于显微操作系统的斑马鱼姿态检测方法及系统。
背景技术
在显微操作系统的注射流程中，注射的第一步是将斑马鱼转正到肚子朝右的指定方位，而在旋转过程中第一步是要得到机械装置运动的参数，这些参数需要对斑马鱼进行姿态识别获得，因此，姿态识别的目的是确定机械装置的运动参数将斑马鱼旋转到指定的姿态，斑马鱼旋转到指定的姿态之后，吸持针会从左侧吸住斑马鱼，注射针从右侧进行注射。
斑马鱼姿态检测包括检测倾斜角度与肚子朝向两个部分，检测肚子朝向需要使用高斯双边滤波，自适应阈值处理，轮廓查询和霍夫概率变换等方法，处理帧率约为3帧/秒，速度较慢，作为系统的反馈环节，对算法进行加速势在必行。
发明内容
本发明的目的是提供一种基于显微操作系统的斑马鱼姿态检测方法及系统，能够快速迅速精确地计算斑马鱼转正所需要的角度。
为实现上述目的，本发明提供了如下方案：
一种基于显微操作系统的斑马鱼姿态检测方法，包括：
获取显微操作系统中斑马鱼的第一帧图像；
对所述第一帧图像进行预处理；所述预处理包括高斯滤波以及高斯双边滤波；
对预处理后的第一帧图像进行自适应阈值操作；
根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓；
根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形；
根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度以及跟踪窗口；
根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度；
根据所述跟踪窗口和显微操作系统的旋转角度获取下一帧图像；所述下一帧图像为所述跟踪窗口内的图像；
根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态。
可选的，所述对所述第一帧图像进行预处理，具体包括：
利用高斯核函数对所述第一帧图像进行卷积操作，得到高斯滤波后的第一帧图像；
对所述高斯滤波后的第一帧图像进行高斯双边滤波，得到预处理后的第一帧图像。
可选的，所述根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态，之前还包括：
对所述下一帧图像进行高斯滤波。
可选的，所述根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态，具体包括：
利用Ostu算法对高斯滤波后的下一帧图像进行二值化处理，并记录所述二值化阈值；
根据二值化处理后的下一帧图像提取当前的斑马鱼的轮廓；
根据所述当前的斑马鱼的轮廓确定包围当前的斑马鱼的轮廓的最小面积矩形；
根据所述包围当前的斑马鱼的轮廓的最小面积矩形确定当前的斑马鱼的倾斜角度，并更新跟踪窗口，返回所述根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度的步骤，直至所述斑马鱼达到设定姿态。
一种基于显微操作系统的斑马鱼姿态检测系统，包括：
第一帧图像获取模块，用于获取显微操作系统中斑马鱼的第一帧图像；
预处理模块，用于对所述第一帧图像进行预处理；所述预处理包括高斯滤波以及高斯双边滤波；
自适应阈值操作模块，用于对预处理后的第一帧图像进行自适应阈值操作；
斑马鱼的轮廓确定模块，用于根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓；
包围所述斑马鱼的轮廓的最小面积矩形确定模块，用于根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形；
倾斜角度以及跟踪窗口确定模块，用于根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度以及跟踪窗口；
显微操作系统的旋转角度确定模块，用于根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度；
下一帧图像获取模块，用于根据所述跟踪窗口和显微操作系统的旋转角度获取下一帧图像；所述下一帧图像为所述跟踪窗口内的图像；
斑马鱼姿态完成检测模块，用于根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态。
可选的，所述预处理模块具体包括：
高斯滤波后的第一帧图像确定单元，用于利用高斯核函数对所述第一帧图像进行卷积操作，得到高斯滤波后的第一帧图像；
预处理后的第一帧图像确定单元，用于对所述高斯滤波后的第一帧图像进行高斯双边滤波，得到预处理后的第一帧图像。
可选的，还包括：
下一帧图像进行高斯滤波模块，用于对所述下一帧图像进行高斯滤波。
可选的，所述根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态，具体包括：
二值化处理单元，用于利用Ostu算法对高斯滤波后的下一帧图像进行二值化处理，并记录所述二值化阈值；
当前的斑马鱼的轮廓确定单元，用于根据二值化处理后的下一帧图像提取当前的斑马鱼的轮廓；
包围当前的斑马鱼的轮廓的最小面积矩形确定单元，用于根据所述当前的斑马鱼的轮廓确定包围当前的斑马鱼的轮廓的最小面积矩形；
斑马鱼姿态完成检测单元，用于根据所述包围当前的斑马鱼的轮廓的最小面积矩形确定当前的斑马鱼的倾斜角度，并更新跟踪窗口，返回所述根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度的步骤，直至所述斑马鱼达到设定姿态。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于显微操作系统的斑马鱼姿态检测方法及系统，对所述第一帧图像进行预处理；对预处理后的第一帧图像进行自适应阈值操作；根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓；根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形；根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度；根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度。即对第一帧图像进行斑马鱼的朝向等信息的检测，对下一帧图像采用跟踪窗口，只对跟踪窗口内部的图像进行简单的高斯滤波操作、二值化操作和角度检测，不对朝向等复杂信息进行检测，且二值化阈值的寻找只进行一次，从而大大提升了算法速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于显微操作系统的斑马鱼姿态检测方法流程示意图；
图2为本发明所提供的高斯滤波效果图；
图3为本发明所提供的高斯双边滤波效果图；
图4为本发明所提供的自适应阈值输出图像示意图；
图5为本发明所提供的包围所述斑马鱼的轮廓的最小面积矩形示意图；
图6为本发明所提供的跟踪窗口示意图；
图7为本发明所提供的二值化处理示意图；
图8为本发明所提供的斑马鱼的轮廓提取示意图；
图9为本发明所提供的一种基于显微操作系统的斑马鱼姿态检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于显微操作系统的斑马鱼姿态检测方法及系统，能够快速迅速精确地计算斑马鱼转正所需要的角度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于显微操作系统的斑马鱼姿态检测方法流程示意图，如图1所示，本发明所提供的一种基于显微操作系统的斑马鱼姿态检测方法，包括：
S101，获取显微操作系统中斑马鱼的第一帧图像。第一帧图像为显微操作系统开始运行时采集到的第一张图像。
S102，对所述第一帧图像进行预处理；所述预处理包括高斯滤波以及高斯双边滤波。
S102具体包括：
为了滤除细小干扰利用高斯核函数对所述第一帧图像进行卷积操作，得到高斯滤波后的第一帧图像。
使用尺寸为5x5，标准差为10的高斯核函数对显微镜采集到的整张图像进行卷积操作，高斯滤波后的效果图如图2所示。
高斯滤波所用的高斯核函数为：
Figure BDA0002710886050000061
一幅M×N的图像经过m×n的加权平均滤波器滤波的过程可由下式给出：
Figure BDA0002710886050000062
其中，
Figure BDA0002710886050000063
Figure BDA0002710886050000064
Figure BDA0002710886050000065
为掩模系数的总和，s为掩膜x方向位置，t为掩膜y方向位置t，m为掩膜宽度，n为掩膜高度，x为图像像素g(x,y)的x坐标，y为图像像素g(x,y)的y坐标。
为了进一步滤除噪声并保留边缘信息，对所述高斯滤波后的第一帧图像进行高斯双边滤波，得到预处理后的第一帧图像。
高斯双边滤波公式为：
Figure BDA0002710886050000066
其中，h(x,y)为高斯双边滤波后的输出图像(x,y)坐标的像素值，ξ1，ξ2为求和参数，w和h分别为尺度空间高斯函数所设定的宽度与高度，归化常量
Figure BDA0002710886050000067
Figure BDA0002710886050000068
σd为尺度空间上高斯函数的标准差，
Figure BDA0002710886050000071
σr为颜色空间上高斯函数的标准差，d((ξ1,ξ2)-(x,y))＝||(ξ1,ξ2)-(x,y)||为像素(ξ1,ξ2)与像素(x,y)的空间距离δ(g(ξ1,ξ2)-g(x,y))＝|g(ξ1,ξ2)-g(x,y)|为图像g上两个像素值之差。高斯双边滤波效果图如图3所示。
S103，对预处理后的第一帧图像进行自适应阈值操作。
所述自适应阈值处理具体采用以下公式：
Figure BDA0002710886050000072
其中，d(x,y)是目标图像在(x,y)位置处的像素值；
T(x,y)＝k[m(x,y)+(Imax-Imin)(1-I(x,y))。
其中，m(x,y)是以像素(x,y)为中心w×w大小范围内的局部均值，Imax是该区域像素最大值，Imin是该区域像素最小值，I(x,y)是(x,y)点像素值，T(x,y)是(x,y)点所取阈值。
自适应阈值输出图像示意图如图4所示。
S104，根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓。
使用基于CHAIN_APPROX_SIMPLE的链式编码方法进行外层轮廓统计，所用函数为opencv中的cv::findcontours，给定一张二值化图像，该函数可以提取幼鱼轮廓，并使用一串边界点的编码对轮廓进行描述，根据左右轮廓弯曲程度的不同可以得到肚子朝向信息，使用cv::minAreaRect寻找轮廓的最小包围矩形，该函数输入轮廓后可以计算包围轮廓的最小面积的矩形，根据该矩形可以得到斑马鱼倾斜角度θ，如图5所示。只有这一步进行复杂的检测肚子朝向的操作(该步耗时较长)，后续的操作根据这一帧的检测信息确定输出，后续帧只进行简单的检测，从而提升了检测速度
S105，根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形，如图5所示.
S106，根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度以及跟踪窗口。跟踪窗口示意图如图6所示。
以包围所述斑马鱼的轮廓的最小面积矩形为中心确定跟踪窗口。只对小窗口内的图像进行处理，不对整个图像进行处理，从而加快了算法速度。
S107，根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度。
S108，根据所述跟踪窗口和显微操作系统的旋转角度获取下一帧图像；所述下一帧图像为所述跟踪窗口内的图像。
S109，根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态。
S109之前还包括：
对所述下一帧图像进行高斯滤波。
S109具体包括：
利用Ostu算法对高斯滤波后的下一帧图像进行二值化处理，并记录所述二值化阈值。二值化处理示意图如图7所示。
Otsu公式为：
令{0,1,2,...,L-1}表示一幅M×N大小的图像中L个不同的灰度级。选择一个阈值T，将输入图像阈值化处理为两类C1与C2，使用公式，计算类间方差σB，选择σB最大对应的阈值T作为T0。
σB＝P1P2(m1-m2)2；
Figure BDA0002710886050000081
P2＝1-P1；
Figure BDA0002710886050000082
其中，ni为像素值为i的像素数目，m1为第一类C1像素均值，m2为第二类C2像素均值。
二值化公式为：
Figure BDA0002710886050000091
其中，d(x,y)是目标图像在(x,y)位置处的像素值，I(x,y)是源图像在(x,y)位置处的像素值之后所有的二值化操作均使用阈值T0，后续帧再不重新计算阈值，从而进一步提升了速率。
根据二值化处理后的下一帧图像提取当前的斑马鱼的轮廓，如图8所示。
对于提取出的二值图像前景，使用opencv中的cv::findcontours函数提取轮廓(函数输入为二值图像，输出为轮廓)，同时使用cv：：contourArea统计轮廓面积(函数输入为轮廓，输出为轮廓面积)，提取最大面积轮廓，将其绘制在空白图像中，前景外层轮廓提取完成，可以完整地提取出目标轮廓。
根据所述当前的斑马鱼的轮廓确定包围当前的斑马鱼的轮廓的最小面积矩形。进而再根据包围当前的斑马鱼的轮廓的最小面积矩形更新跟踪窗口。跟新窗口的大小不变，为300x300像素。
根据所述包围当前的斑马鱼的轮廓的最小面积矩形确定当前的斑马鱼的倾斜角度，并更新跟踪窗口，返回所述根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度的步骤，直至所述斑马鱼达到设定姿态。
图9为本发明所提供的一种基于显微操作系统的斑马鱼姿态检测系统结构示意图，如图9所示，本发明所提供的一种基于显微操作系统的斑马鱼姿态检测系统，包括：第一帧图像获取模块901、预处理模块902、自适应阈值操作模块903、斑马鱼的轮廓确定模块904、包围所述斑马鱼的轮廓的最小面积矩形确定模块905、倾斜角度以及跟踪窗口确定模块906、显微操作系统的旋转角度确定模块907、下一帧图像获取模块908和斑马鱼姿态完成检测模块909。
第一帧图像获取模块901用于获取显微操作系统中斑马鱼的第一帧图像。
预处理模块902用于对所述第一帧图像进行预处理；所述预处理包括高斯滤波以及高斯双边滤波。
自适应阈值操作模块903用于对预处理后的第一帧图像进行自适应阈值操作。
斑马鱼的轮廓确定模块904用于根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓。
包围所述斑马鱼的轮廓的最小面积矩形确定模块905用于根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形。
倾斜角度以及跟踪窗口确定模块906用于根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度以及跟踪窗口。
显微操作系统的旋转角度确定模块907用于根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度。
下一帧图像获取模块908用于根据所述跟踪窗口和显微操作系统的旋转角度获取下一帧图像；所述下一帧图像为所述跟踪窗口内的图像。
斑马鱼姿态完成检测模块909用于根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态。
所述预处理模块902具体包括：高斯滤波后的第一帧图像确定单元和预处理后的第一帧图像确定单元。
高斯滤波后的第一帧图像确定单元用于利用高斯核函数对所述第一帧图像进行卷积操作，得到高斯滤波后的第一帧图像。
预处理后的第一帧图像确定单元用于对所述高斯滤波后的第一帧图像进行高斯双边滤波，得到预处理后的第一帧图像。
本发明所提供的一种基于显微操作系统的斑马鱼姿态检测系统，还包括：下一帧图像进行高斯滤波模块。
下一帧图像进行高斯滤波模块用于对所述下一帧图像进行高斯滤波。
斑马鱼姿态完成检测模块909具体包括：二值化处理单元、当前的斑马鱼的轮廓确定单元、包围当前的斑马鱼的轮廓的最小面积矩形确定单元和斑马鱼姿态完成检测单元。
二值化处理单元用于利用Ostu算法对高斯滤波后的下一帧图像进行二值化处理，并记录所述二值化阈值。
当前的斑马鱼的轮廓确定单元用于根据二值化处理后的下一帧图像提取当前的斑马鱼的轮廓。
包围当前的斑马鱼的轮廓的最小面积矩形确定单元用于根据所述当前的斑马鱼的轮廓确定包围当前的斑马鱼的轮廓的最小面积矩形。
斑马鱼姿态完成检测单元用于根据所述包围当前的斑马鱼的轮廓的最小面积矩形确定当前的斑马鱼的倾斜角度，并更新跟踪窗口，返回所述根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度的步骤，直至所述斑马鱼达到设定姿态。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于显微操作系统的斑马鱼姿态检测方法，其特征在于，包括：
获取显微操作系统中斑马鱼的第一帧图像；
对所述第一帧图像进行预处理；所述预处理包括高斯滤波以及高斯双边滤波；
对预处理后的第一帧图像进行自适应阈值操作；
根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓；
根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形；
根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度以及跟踪窗口；以包围所述斑马鱼的轮廓的最小面积矩形为中心确定跟踪窗口；根据最小面积矩形的长边与跟踪窗口的水平方向的边的夹角确定所述斑马鱼的倾斜角度；
根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度；
根据所述跟踪窗口和显微操作系统的旋转角度获取下一帧图像；所述下一帧图像为所述跟踪窗口内的图像；
根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态；
所述根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态，具体包括：
利用Ostu算法对高斯滤波后的下一帧图像进行二值化处理，并记录所述二值化阈值；
根据二值化处理后的下一帧图像提取当前的斑马鱼的轮廓；
根据所述当前的斑马鱼的轮廓确定包围当前的斑马鱼的轮廓的最小面积矩形；
根据所述包围当前的斑马鱼的轮廓的最小面积矩形确定当前的斑马鱼的倾斜角度，并更新跟踪窗口，返回所述根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度的步骤，直至所述斑马鱼达到设定姿态。
2.根据权利要求1所述的一种基于显微操作系统的斑马鱼姿态检测方法，其特征在于，所述对所述第一帧图像进行预处理，具体包括：
利用高斯核函数对所述第一帧图像进行卷积操作，得到高斯滤波后的第一帧图像；
对所述高斯滤波后的第一帧图像进行高斯双边滤波，得到预处理后的第一帧图像。
3.根据权利要求1所述的一种基于显微操作系统的斑马鱼姿态检测方法，其特征在于，所述根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态，之前还包括：
对所述下一帧图像进行高斯滤波。
4.一种基于显微操作系统的斑马鱼姿态检测系统，其特征在于，包括：
第一帧图像获取模块，用于获取显微操作系统中斑马鱼的第一帧图像；
预处理模块，用于对所述第一帧图像进行预处理；所述预处理包括高斯滤波以及高斯双边滤波；
自适应阈值操作模块，用于对预处理后的第一帧图像进行自适应阈值操作；
斑马鱼的轮廓确定模块，用于根据自适应阈值操作后的第一帧图像提取所述斑马鱼的轮廓；
包围所述斑马鱼的轮廓的最小面积矩形确定模块，用于根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形；
倾斜角度以及跟踪窗口确定模块，用于根据所述包围所述斑马鱼的轮廓的最小面积矩形确定所述斑马鱼的倾斜角度以及跟踪窗口；以包围所述斑马鱼的轮廓的最小面积矩形为中心确定跟踪窗口；根据最小面积矩形的长边与跟踪窗口的水平方向的边的夹角确定所述斑马鱼的倾斜角度；
显微操作系统的旋转角度确定模块，用于根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度；
下一帧图像获取模块，用于根据所述跟踪窗口和显微操作系统的旋转角度获取下一帧图像；所述下一帧图像为所述跟踪窗口内的图像；
斑马鱼姿态完成检测模块，用于根据所述下一帧图像和二值化阈值，确定当前的斑马鱼的轮廓，并返回根据所述斑马鱼的轮廓确定包围所述斑马鱼的轮廓的最小面积矩形的步骤，直至所述斑马鱼达到设定姿态；
斑马鱼姿态完成检测模块具体包括：
二值化处理单元，用于利用Ostu算法对高斯滤波后的下一帧图像进行二值化处理，并记录所述二值化阈值；
当前的斑马鱼的轮廓确定单元，用于根据二值化处理后的下一帧图像提取当前的斑马鱼的轮廓；
包围当前的斑马鱼的轮廓的最小面积矩形确定单元，用于根据所述当前的斑马鱼的轮廓确定包围当前的斑马鱼的轮廓的最小面积矩形；
斑马鱼姿态完成检测单元，用于根据所述包围当前的斑马鱼的轮廓的最小面积矩形确定当前的斑马鱼的倾斜角度，并更新跟踪窗口，返回所述根据所述斑马鱼的倾斜角度确定显微操作系统的旋转角度的步骤，直至所述斑马鱼达到设定姿态。
5.根据权利要求4所述的一种基于显微操作系统的斑马鱼姿态检测系统，其特征在于，所述预处理模块具体包括：
高斯滤波后的第一帧图像确定单元，用于利用高斯核函数对所述第一帧图像进行卷积操作，得到高斯滤波后的第一帧图像；
预处理后的第一帧图像确定单元，用于对所述高斯滤波后的第一帧图像进行高斯双边滤波，得到预处理后的第一帧图像。
6.根据权利要求4所述的一种基于显微操作系统的斑马鱼姿态检测系统，其特征在于，还包括：
下一帧图像进行高斯滤波模块，用于对所述下一帧图像进行高斯滤波。
CN202011055960.XA 2020-09-30 2020-09-30 一种基于显微操作系统的斑马鱼姿态检测方法及系统 Active CN112465906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011055960.XA CN112465906B (zh) 2020-09-30 2020-09-30 一种基于显微操作系统的斑马鱼姿态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011055960.XA CN112465906B (zh) 2020-09-30 2020-09-30 一种基于显微操作系统的斑马鱼姿态检测方法及系统

Publications (2)

Publication Number Publication Date
CN112465906A CN112465906A (zh) 2021-03-09
CN112465906B true CN112465906B (zh) 2022-06-14

Family

ID=74832806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011055960.XA Active CN112465906B (zh) 2020-09-30 2020-09-30 一种基于显微操作系统的斑马鱼姿态检测方法及系统

Country Status (1)

Country Link
CN (1) CN112465906B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113528583A (zh) * 2021-07-15 2021-10-22 澳门大学 自动化显微注射方法、装置、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564124A (zh) * 2018-04-13 2018-09-21 山东农业大学 一种基于支持向量机的稻瘟病菌孢子显微图像检测识别方法
CN111429503A (zh) * 2020-02-21 2020-07-17 于兴虎 一种斑马鱼幼鱼年龄估计方法及系统
CN111445490A (zh) * 2020-02-21 2020-07-24 于兴虎 一种显微操作系统目标前景提取方法及系统
CN111583207A (zh) * 2020-04-28 2020-08-25 于兴虎 一种斑马鱼幼鱼心脏轮廓确定方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112624B2 (ja) * 2011-08-02 2017-04-12 ビューズアイキュー インコーポレイテッドＶｉｅｗｓＩＱ Ｉｎｃ． デジタル顕微鏡撮像の装置及び方法
US11501429B2 (en) * 2017-07-19 2022-11-15 Altius Institute For Biomedical Sciences Methods of analyzing microscopy images using machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564124A (zh) * 2018-04-13 2018-09-21 山东农业大学 一种基于支持向量机的稻瘟病菌孢子显微图像检测识别方法
CN111429503A (zh) * 2020-02-21 2020-07-17 于兴虎 一种斑马鱼幼鱼年龄估计方法及系统
CN111445490A (zh) * 2020-02-21 2020-07-24 于兴虎 一种显微操作系统目标前景提取方法及系统
CN111583207A (zh) * 2020-04-28 2020-08-25 于兴虎 一种斑马鱼幼鱼心脏轮廓确定方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Micromanipulator control for grasping and orienting zebrafish larva;Songlin Zhuang等;《2017 IEEE 56th Annual Conference on Decision and Control》;20171215;1628-1633 *
显微操作中斑马鱼幼鱼心脏识别与监测方法;佟明斯等;《哈尔滨工业大学学报》;20200630;182-187 *

Also Published As

Publication number Publication date
CN112465906A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN110517283B (zh) 姿态跟踪方法、装置及计算机可读存储介质
CN109785316B (zh) 一种芯片表观缺陷检测方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN109815850B (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN113011385B (zh) 人脸静默活体检测方法、装置、计算机设备及存储介质
CN113591967B (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN115063421B (zh) 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN111611643A (zh) 户型矢量化数据获得方法、装置、电子设备及存储介质
CN111914698A (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
CN109242032B (zh) 一种基于深度学习的目标检测方法
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN111445490A (zh) 一种显微操作系统目标前景提取方法及系统
CN112465906B (zh) 一种基于显微操作系统的斑马鱼姿态检测方法及系统
CN110348289A (zh) 一种基于二值图的手指静脉识别方法
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN114998192A (zh) 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN112507924A (zh) 一种3d手势识别方法、装置及系统
CN111524139A (zh) 一种基于双边滤波器的角点检测方法和检测系统
CN112465740B (zh) 一种基于显微操作系统的目标吸持点定位方法及系统
CN112419225A (zh) 一种基于引脚分割的sop型芯片检测方法及系统
CN112101293A (zh) 人脸表情的识别方法、装置、设备及存储介质
CN108647713B (zh) 胚胎边界识别与激光轨迹拟合方法
CN116309780A (zh) 一种基于目标检测的水尺水位识别方法
CN110766001A (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
CN112017201B (zh) 一种加工输送中鱼体头尾姿态判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant