CN116385468A - 一种基于斑马鱼心脏参数图像分析软件生成的系统 - Google Patents

一种基于斑马鱼心脏参数图像分析软件生成的系统 Download PDF

Info

Publication number
CN116385468A
CN116385468A CN202310659762.1A CN202310659762A CN116385468A CN 116385468 A CN116385468 A CN 116385468A CN 202310659762 A CN202310659762 A CN 202310659762A CN 116385468 A CN116385468 A CN 116385468A
Authority
CN
China
Prior art keywords
ventricular
module
heart rate
mask
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310659762.1A
Other languages
English (en)
Other versions
CN116385468B (zh
Inventor
赵璐
王毅
吴鸿智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310659762.1A priority Critical patent/CN116385468B/zh
Publication of CN116385468A publication Critical patent/CN116385468A/zh
Application granted granted Critical
Publication of CN116385468B publication Critical patent/CN116385468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/42—Evaluating a particular growth phase or type of persons or animals for laboratory research
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Geometry (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像数据处理技术领域，具体地说，涉及一种基于斑马鱼心脏参数图像分析软件生成的系统；包括心室图像分割模块、心室面积计算模块和心率估计模块；所述心室图像分割模块用于将输入的斑马鱼心跳视频图像帧处理为心室掩码概率图后输出；所述心室面积计算模块用于将输入的心室掩码概率图处理为心室掩码面积后输出，所述心室掩码面积经过逐帧处理后得到一维心室掩码面积序列；所述心率估计模块用于将一维心率信号处理为心率数值后输出；通过将斑马鱼心跳视频图像帧处理为心室掩码，再将心室掩码处理为一维心室掩码面积序列，最后得到心率数值，这个过程实现了生成理想的掩码结果，也实现了得出准确的心率计算结果。

Description

一种基于斑马鱼心脏参数图像分析软件生成的系统
技术领域
本发明涉及图像数据处理技术领域，具体地说，涉及一种基于斑马鱼心脏参数图像分析软件生成的系统。
背景技术
斑马鱼作为脊椎动物体内科学研究中最重要的模式生物之一，具有繁殖能力强、胚胎透明易观察等独特优势，且其基因与人类基因具有高度的遗传相似性，因此，斑马鱼是众多毒理学和生物医学研究项目的首选模型，其中包括人类心血管疾病相关的高通量筛选研究（High-Throughput Screening，HTS），心血管疾病相关的HTS需要通过测量心功能指标，从数千种化合物中筛选出活性药效物质和毒性物质，因此需要处理大量的生物数据并准确测量心功能指标，为测量包括心室几何参数和心率在内的心功能指标，需要实现心室图像分割，获得心室掩码，还需要实现心率估计，即处理生物数据生成的心率信号并计算信号频率。
现有技术中对于心室图像分割的图像处理方法可以分为传统数字图像处理方法和基于神经网络的分割方法，传统数字图像处理方法依赖于人工设计的像素特征描述子，容易遗漏图像高层级的有效特征信息；现有的基于神经网络的分割方法中对于神经网络模型特征的提取过程大多缺乏针对性，即缺少抑制无关特征表达和优化有效特征表达的过程，因此，现有方法在处理心室区域亮度不均匀、边缘模糊不封闭、几何形态不规则和存在干扰区域的复杂样本时生成的掩码结果不够理想。
现有技术中对于心率估计的计算方法，通常是需要先获取心率信号再计算信号频率；对于心率信号获取方法，总体上可以分为接触式测量和非接触式测量；接触式测量需要借助探测仪器，操作困难且有破坏性，因此现在多数研究倾向于采用非接触式测量，其中包括基于活体斑马鱼视频的心率估计，但是现有方法大多未能充分利用信号的局部特征和全局属性，在特征提取方面缺乏针对性，因而不能准确区分噪声脉冲和心跳脉冲、精确定位信号的波峰波谷点，故而在处理多噪声样本、零心率样本、单脉冲样本等复杂心率信号时的计算结果不够准确。
因此，亟需提供一种基于斑马鱼心脏参数图像分析软件生成的系统，相对于现有技术，生成理想的掩码结果，得出准确的心率计算结果。
发明内容
为了解决上述问题，本发明提供一种基于斑马鱼心脏参数图像分析软件生成的系统。
为达到上述目的，本发明的技术方案如下：
一种基于斑马鱼心脏参数图像分析软件生成的系统，包括心室图像分割模块、心室面积计算模块和心率估计模块；
所述心室图像分割模块用于将输入的斑马鱼心跳视频图像帧处理为心室掩码概率图后输出；
所述心室面积计算模块用于将输入的心室掩码概率图处理为心室掩码面积后输出，所述心室掩码面积经过逐帧处理后得到一维心室掩码面积序列，所述一维心室掩码面积序列设为一维心率信号；
所述心率估计模块用于将一维心率信号处理为心率数值后输出。
进一步地，所述心室图像分割模块包括4层编码器、ASPP层和4层解码器，所述编码器和所述解码器之间由跳跃连接结构连接，每个所述编码器或所述解码器都包括SE模块和RRCNN模块；
所述SE模块用于计算特征图各通道的权重值，还用于区分有效特征通道、无效特征通道；
所述RRCNN模块用于增加网络深度，还用于缓解模型退化、梯度消失和过拟合问题；
所述心室图像分割模块采用“U型”对称编解码结构。
更进一步地，所述SE模块包括全局平均池化模块和全连接层模块，所述全局平均池化模块用于在输入的特征图的每个通道上执行全局平均池化、得到特征图的通道描述符向量；
所述全连接层模块包括三个全连接层，所述全连接层模块用于处理通道描述符向量、得到通道权重向量。
更进一步地，所述RRCNN模块包括RCL和残差结构，所述RCL用于引入两次循环，每次循环的输入都是上一次循环的输出与RCL输入的加和，所述残差结构用于输出恒等映射通道和非线性映射通道结果之和。
更进一步地，所述跳跃连接结构采用AG模块，所述AG模块中设有六个全连接层，所述AG模块用于建模特征图空间区域之间的效应强度，用于使目标区域的特征权重大于非目标区域的特征权重。
更进一步地，所述心室图像分割模块的损失函数由像素损失和全局损失构成，具体表示为下式：
Figure SMS_1
上式中，
Figure SMS_2
为像素损失，/>
Figure SMS_3
为全局损失；具体地说，gt表示标记掩码，out代表神经网络输出的未经二值化的概率图，CrossEntropy为交叉熵函数。
进一步地，所述心室图像分割模块设置softmax激活函数输出概率图，所述softmax激活函数输出的概率图作为所述心室面积计算模块的输入，所述心室面积计算模块中对于心室面积的计算方法具体为：
将输入的概率图中各点的像素值取值范围设为（0,1），表示该点像素点属于心室区域的概率，像素值大于等于0.5的像素点会被分类为心室像素，像素值小于0.5的像素点会被分类为非心室像素，通过统计心室区域像素点个数，即可得到心室面积。
更进一步地，所述心室面积计算模块通过下述方法滤除小面积连通区域：计算二值掩码中所有的连通区域，面积最大的连通区域对应斑马鱼图像中的黑色背景区域，面积第二大的连通区域对应心室区域，其余小面积的连通区域则为无关连通区域，将无关连通区域的像素值设置为0。
进一步地，所述心率估计模块包括初步特征提取模块、极值点检测模块和全局分析模块；
所述初步特征提取模块包括多个卷积块和最大池化层，每个卷积块都由卷积层、批标准化层、Leaky ReLU激活函数层构成；
所述极值点检测模块用于处理输入的高维信号特征、输出信号的极值点信息，还用于通过拼接整合尺寸为3，尺寸为5，尺寸为7的三个卷积块的处理结果，提取信号的多感受野特征信息；
所述全局分析模块包括三层全连接层，所述全局分析模块用于将输入的极值点信息处理输出为心率数值。
更进一步地，所述心率估计模块的损失函数采用Huber损失函数，具体通过下式表示：
Figure SMS_4
上式中，predict代表网络预测得到的心率值，gt代表人工标记的心率值，
Figure SMS_5
设定为1。
与现有技术相比，本发明的有益效果为：
（1）本发明在搭建编码器和解码器时引入了基于通道注意力机制的SE模块和可以增加网络深度的RRCNN模块，在设计跳跃连接结构时基于空间注意力机制融合了多尺度空间的特征信息，并调整了SE模块和AG模块的全连接层数量，解决了已有网络存在的图像亮度不均匀、边缘模糊不封闭、存在干扰区域等难点问题，在复杂心室图像的心室分割问题上表现更好。
（2）本发明搭建了心率计算网络，由三部分组成，分别为初步特征提取模块、极值点检测模块、全局分析模块，通过多尺度特征融合模块和多层感知机结构有针对性地提取了计算心率所需的信号特征，在斑马鱼心率估计任务中具有更高的准确性和更低的样本间方差，能够更准确地处理包括零心率信号、单脉冲信号在内的复杂样本，与人工计数方法具有更高的结果一致性。
附图说明
图1为本发明心室图像分割模块的整体结构示意图。
图2为本发明编码器或解码器的内部结构示意图。
图3为本发明跳跃连接结构的示意图。
图4为本发明心率估计模块的整体结构示意图。
具体实施方式
下面将结合附图说明对本发明的技术方案进行清楚的描述，显然，所描述的实施例并不是本发明的全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明提供一种基于斑马鱼心脏参数图像分析软件生成的系统，包括心室图像分割模块、心室面积计算模块和心率估计模块，心室图像分割模块输入为斑马鱼心跳视频图像帧、输出为心室掩码，心室面积计算模块的输入为心室掩码概率图、输出为心室掩码面积，如此逐帧处理心跳视频得到的一维心室掩码面积序列作为一维心率信号，心率估计模块输入为一维心率信号、输出为心率数值。
图1中输入的斑马鱼心跳视频图像帧是通过对转基因斑马鱼进行荧光处理后进行的心脏跳动情况拍摄视频中得到的，所拍摄的心跳视频包括100帧图像，视频帧为
Figure SMS_6
分辨率的图，视频对应拍摄时长为两秒，即对应帧率为50fps，视频图像帧中显示有两个连通区域，分别为心脏区域和卵黄囊区域，但是两个区域都存在亮度不均匀、边缘模糊不封闭等问题。
心室图像分割模块采用分割网络SER2U-Net（SE-RRCNN-U-Net）处理二维视频图像帧，SER2U-Net采用了U-Net的“U型”对称编解码结构，输入数据经过4层编码器，一个ASPP（Atrous Spatial Pyramid Pooling，空洞空间金字塔池化）层，再经过4层解码器输出，编码器和解码器之间由跳跃连接结构进行连接，每个编码器或解码器都包括SE（Squeeze-and-Excitation，压缩和激发）模块和RRCNN（循环残差卷积网络）模块。
SE模块包括全局平均池化模块和全连接层模块，全局平均池化模块进行压缩步骤，用于在输入的特征图的每个通道上执行全局平均池化（Global Average Pooling，GAP），从而得到特征图的通道描述符向量；全连接层模块执行激发步骤，全连接层模块用于处理全局平均池化模块得到的通道描述符向量，从而得到通道权重向量，全连接层模块设有三个全连接层，便于学习到更复杂的特征信息；SE模块的输出为得到的通道权重向量和输入的特征图逐通道相乘得到的带权特征图；SE模块用于计算特征图各通道的权重值，使得有效特征通道具有较高权重，无效或效果小的特征通道具有较低权重，从而便于分割网络自动学习聚焦于有效特征图。
RRCNN模块包括RCL（Reccurent Convolution Layer，循环卷积层）和残差结构，RCL用于引入两次循环，每次循环的输入都是上一次循环的输出与RCL输入的加和，且每次循环所使用的CNN Layer都共享网络参数，残差结构用于输出恒等映射通道和非线性映射通道结果之和，RRCNN模块既增加了网络深度以处理复杂图像特征，又缓解了增加网络层数可能导致的模型退化、梯度消失和过拟合问题，从而能够有效提高分割网络处理复杂图像样本的能力。
在U-Net融合上下两层编解码特征的基础上，多融合了一层编码器特征，在第n+1层解码器特征上采样后与第n层编码器特征进行融合的基础上，增加了第n-1层编码器特征信息；多尺度特征融合技术可以整合多感受野的图像信息，有助于处理几何不规则、像素不均匀的斑马鱼图像，能够更准确地识别容易被遗漏的心室区域。
如图2所示，编码器或解码器的输入，先进入RRCNN模块内部进行处理，经过两次循环后的结果与经过全连接层（FC）处理后的结果相加后的特征图输入到SE模块内部处理，SE模块先对特征图进行全局平均化处理，再经过三层全连接层处理得到通道权重向量，再将通道权重向量的维度通过expand拓展到与相加后的特征图大小相同，再将拓展后的通道权重向量和相加后的特征图逐通道相乘得到带权特征图输出。
如图3所示，跳跃连接结构采用AG（Attention Gate，注意力门）模块，AG模块建模特征图空间区域之间的效应强度使目标区域的特征权重大于非目标区域的特征权重，AG模块中设有六个全连接层，两个特征图（feature1、feature2）先被统一映射到高维空间，每个特征图依次经过两个全连接层的特征学习后相加，再经过两个全连接层后得到空间特征权重图，再将空间特征权重图和原特征图相乘得到带权特征图，跳跃连接结构可以实现不同尺度空间的特征融合，以分割不同形态大小的目标区域。
心室图像分割模块的损失函数由像素损失和全局损失构成；计算像素损失时将分割问题看作一个逐像素的分类问题，认为网络最后一层通过激活函数后，得到的是网络预测每个像素属于心室区域的概率，计算方式是采用交叉熵函数；计算全局损失时将分割问题看作一个输出目标区域掩码的问题，计算方式是衡量网络输出的预测掩码概率图像和标记掩码图像的相似性，最后通过相加的方式结合像素损失和全局损失，具体表示为下式：
Figure SMS_7
上式中，
Figure SMS_8
为像素损失，/>
Figure SMS_9
为全局损失；具体地说，gt表示标记掩码，out代表神经网络输出的未经二值化的概率图，CrossEntropy为交叉熵函数，Dice函数参照Dice系数（Dice Coefficient，DC）进行设计。
如图4所示，心率估计模块包括初步特征提取模块（module1）、极值点检测模块（module2）和全局分析模块（module3），初步特征提取模块包括两个卷积块和最大池化层，每个卷积块都由卷积层、批标准化层、Leaky ReLU激活函数层构成，初步特征提取模块依次通过两个卷积块（尺寸为3）、最大池化层进行信号处理；极值点检测模块包括多尺度特征融合模块，用于处理输入的高维信号特征、输出信号的极值点信息，并通过尺寸为3，尺寸为5，尺寸为7的三个一维卷积块进行处理，再将三个一维卷积块的结果进行拼接整合，提取信号的多感受野特征信息；全局分析模块包括多层感知机结构，全局分析模块以极值点信息作为输入，以心率数值作为输出，先将极值点信息展开为一维向量，再利用三层全连接层进行处理，最后通过Leaky ReLU 激活函数输出。
心率估计模块的损失函数采用Huber损失函数，具体通过下式表示：
Figure SMS_10
上式中，predict代表网络预测得到的心率值，gt代表人工标记的心率值，
Figure SMS_11
设定为1。
本发明在实际中的使用分为两个阶段：训练阶段和预测阶段。
训练阶段：对心室图像分割时，通过数据增强来为训练阶段提供更多数据，数据增强主要是通过位置变换和像素变换来加工原数据集样本，从而获取新数据样本，位置变换包括旋转和翻转，即将图像帧和标记掩码同时随机旋转一个角度，以及同时以一定概率进行水平翻转和竖直翻转；像素变换为随机变换图像帧的亮度和对比度但不改变标记掩码。
对心率计算时，使用部分真实数据，并采用计算机编码的方式生成指定频率的含噪声的心率信号作为增强数据，先利用正弦波合成特定频率、特定相位的信号，再按照指定信噪比生成高斯白噪声，将信号和白噪声相加便得到了含噪声的心率信号。
预测阶段：对目标斑马鱼心跳视频，先逐帧输入心室图像分割模块，对心室图像分割模块的输出进行心室面积计算，得到心室面积序列并输入心率估计模块，最终得到心率数值。
心室图像分割模块和心率估计模块之间还设有心室面积计算模块，心室图像分割模块中的softmax激活函数输出的概率图作为心室面积计算模块的输入，心室面积计算模块中对于心室面积的计算方法具体为：将输入的概率图中各点的像素值取值范围设为（0,1），表示该点像素点属于心室区域的概率，像素值大于等于0.5的像素点会被分类为心室像素，像素值小于0.5的像素点会被分类为非心室像素，通过统计心室区域像素点个数，即可得到心室面积。
心室面积计算模块通过下述方法滤除小面积连通区域：计算二值掩码中所有的连通区域，面积最大的连通区域对应斑马鱼图像中的黑色背景区域，面积第二大的连通区域对应心室区域，其余小面积的连通区域则为无关连通区域，将无关连通区域的像素值设置为0。
在搭建编码器和解码器时引入了基于通道注意力机制的SE模块和可以增加网络深度的RRCNN模块，在设计跳跃连接结构时基于空间注意力机制融合了多尺度空间的特征信息，并调整了SE模块和AG模块的全连接层数量，解决了已有网络存在的图像亮度不均匀、边缘模糊不封闭、存在干扰区域等难点问题，在复杂心室图像的心室分割问题上表现更好。
心率估计模块通过多尺度特征融合模块和多层感知机结构有针对性地提取了计算心率所需的信号特征，在斑马鱼心率估计任务中具有更高的准确性和更低的样本间方差，能够更准确地处理包括零心率信号、单脉冲信号在内的复杂样本，与人工计数方法相比具有更高的结果一致性。
以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，包括心室图像分割模块、心室面积计算模块和心率估计模块；
所述心室图像分割模块用于将输入的斑马鱼心跳视频图像帧处理为心室掩码概率图后输出；
所述心室面积计算模块用于将输入的心室掩码概率图处理为心室掩码面积后输出，所述心室掩码面积经过逐帧处理后得到一维心室掩码面积序列，所述一维心室掩码面积序列设为一维心率信号；
所述心率估计模块用于将一维心率信号处理为心率数值后输出。
2.根据权利要求1所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述心室图像分割模块包括4层编码器、ASPP层和4层解码器，所述编码器和所述解码器之间由跳跃连接结构连接，每个所述编码器或所述解码器都包括SE模块和RRCNN模块；
所述SE模块用于计算特征图各通道的权重值，还用于区分有效特征通道、无效特征通道；
所述RRCNN模块用于增加网络深度，还用于缓解模型退化、梯度消失和过拟合问题；
所述心室图像分割模块采用“U型”对称编解码结构。
3.根据权利要求2所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述SE模块包括全局平均池化模块和全连接层模块，所述全局平均池化模块用于在输入的特征图的每个通道上执行全局平均池化、得到特征图的通道描述符向量；
所述全连接层模块包括三个全连接层，所述全连接层模块用于处理通道描述符向量、得到通道权重向量。
4.根据权利要求2所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述RRCNN模块包括RCL和残差结构，所述RCL用于引入两次循环，每次循环的输入都是上一次循环的输出与RCL输入的加和，所述残差结构用于输出恒等映射通道和非线性映射通道结果之和。
5.根据权利要求2所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述跳跃连接结构采用AG模块，所述AG模块中设有六个全连接层，所述AG模块用于建模特征图空间区域之间的效应强度，用于使目标区域的特征权重大于非目标区域的特征权重。
6.根据权利要求2所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述心室图像分割模块的损失函数由像素损失和全局损失构成，具体表示为下式：
Figure QLYQS_1
上式中，
Figure QLYQS_2
为像素损失，/>
Figure QLYQS_3
为全局损失；具体地说，gt表示标记掩码，out代表神经网络输出的未经二值化的概率图，CrossEntropy为交叉熵函数。
7.根据权利要求1所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述心室图像分割模块设置softmax激活函数输出概率图，所述softmax激活函数输出的概率图作为所述心室面积计算模块的输入，所述心室面积计算模块中对于心室面积的计算方法具体为：
将输入的概率图中各点的像素值取值范围设为（0,1），表示该点像素点属于心室区域的概率，像素值大于等于0.5的像素点会被分类为心室像素，像素值小于0.5的像素点会被分类为非心室像素，通过统计心室区域像素点个数，即可得到心室面积。
8.根据权利要求7所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述心室面积计算模块通过下述方法滤除小面积连通区域：计算二值掩码中所有的连通区域，面积最大的连通区域对应斑马鱼图像中的黑色背景区域，面积第二大的连通区域对应心室区域，其余小面积的连通区域则为无关连通区域，将无关连通区域的像素值设置为0。
9.根据权利要求1所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述心率估计模块包括初步特征提取模块、极值点检测模块和全局分析模块；
所述初步特征提取模块包括多个卷积块和最大池化层，每个卷积块都由卷积层、批标准化层、Leaky ReLU激活函数层构成；
所述极值点检测模块用于处理输入的高维信号特征、输出信号的极值点信息，还用于通过拼接整合尺寸为3，尺寸为5，尺寸为7的三个卷积块的处理结果，提取信号的多感受野特征信息；
所述全局分析模块包括三层全连接层，所述全局分析模块用于将输入的极值点信息处理输出为心率数值。
10.根据权利要求9所述的一种基于斑马鱼心脏参数图像分析软件生成的系统，其特征在于，所述心率估计模块的损失函数采用Huber损失函数，具体通过下式表示：
Figure QLYQS_4
上式中，predict代表网络预测得到的心率值，gt代表人工标记的心率值，
Figure QLYQS_5
设定为1。
CN202310659762.1A 2023-06-06 2023-06-06 一种基于斑马鱼心脏参数图像分析软件生成的系统 Active CN116385468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310659762.1A CN116385468B (zh) 2023-06-06 2023-06-06 一种基于斑马鱼心脏参数图像分析软件生成的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310659762.1A CN116385468B (zh) 2023-06-06 2023-06-06 一种基于斑马鱼心脏参数图像分析软件生成的系统

Publications (2)

Publication Number Publication Date
CN116385468A true CN116385468A (zh) 2023-07-04
CN116385468B CN116385468B (zh) 2023-09-01

Family

ID=86975480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310659762.1A Active CN116385468B (zh) 2023-06-06 2023-06-06 一种基于斑马鱼心脏参数图像分析软件生成的系统

Country Status (1)

Country Link
CN (1) CN116385468B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111685740A (zh) * 2020-06-08 2020-09-22 上海交通大学 一种心脏功能参数检测方法及装置
CN113902738A (zh) * 2021-11-23 2022-01-07 电子科技大学 一种心脏mri分割方法及系统
US20220110576A1 (en) * 2020-10-09 2022-04-14 Guangdong University Of Technology Method For Extracting F Wave From Single-Lead Electrocardiography Signal
CN115731597A (zh) * 2022-11-24 2023-03-03 四川轻化工大学 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
CN115908358A (zh) * 2022-12-07 2023-04-04 成都信息工程大学 一种基于多任务学习的心肌图像分割和分类方法
CN116012958A (zh) * 2023-02-10 2023-04-25 华东理工大学 实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN109584254A (zh) * 2019-01-07 2019-04-05 浙江大学 一种基于深层全卷积神经网络的心脏左心室分割方法
CN111685740A (zh) * 2020-06-08 2020-09-22 上海交通大学 一种心脏功能参数检测方法及装置
US20220110576A1 (en) * 2020-10-09 2022-04-14 Guangdong University Of Technology Method For Extracting F Wave From Single-Lead Electrocardiography Signal
CN113902738A (zh) * 2021-11-23 2022-01-07 电子科技大学 一种心脏mri分割方法及系统
CN115731597A (zh) * 2022-11-24 2023-03-03 四川轻化工大学 一种人脸口罩掩膜图像自动分割与修复管理平台及方法
CN115908358A (zh) * 2022-12-07 2023-04-04 成都信息工程大学 一种基于多任务学习的心肌图像分割和分类方法
CN116012958A (zh) * 2023-02-10 2023-04-25 华东理工大学 实现深度伪造人脸鉴别的方法、系统、装置、处理器及其计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
XUECHUN CHEN, DEJIN XUN, RUZHANG ZHENG, LU ZHAO, YUQING LU, JUN HUANG, RUI WANG, * AND YI WANG*: "Deep一Learning-Assisted Assessment of DNA Damage Based on Foci Images and Its Application in High-Content Screening of Lead Compounds", 《ANALYTICAL CHEMISTRY》, vol. 92, no. 20, pages 14267 - 14277 *
ZHENHAO LI, YINGQIU SHI, XIAOHUI ZHANG, JING XU, HANBO WANG, LU ZHAO AND YI WANG: "Screening Immunoactive Compounds of Ganoderma lucidum Spores by Mass Spectrometry Molecular Networking Combined With in vivo Zebrafish Assays", 《FRONTIERS IN PHARMACOLOGY》, vol. 11 *
朱冰;肖峰;尉迟民;: "神经网络心率预测器", 计算机与数字工程, no. 07 *
李翔宇: "基于时序卷积神经网络的心电R峰检测", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, no. 3 *
黄惠琳;刘华钢;蒙怡;苏丽娜;金秋;: "氯化两面针碱对斑马鱼胚胎心脏影响的初步研究", 广西医学, no. 05 *

Also Published As

Publication number Publication date
CN116385468B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
Li et al. A deep learning method for change detection in synthetic aperture radar images
CN115018824B (zh) 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法
Toet Computational versus psychophysical bottom-up image saliency: A comparative evaluation study
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
CN101546428A (zh) 基于区域分割的序列红外与可见光图像融合
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
Arif et al. [Retracted] Automated Detection of Nonmelanoma Skin Cancer Based on Deep Convolutional Neural Network
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
Wang et al. The PAN and MS image fusion algorithm based on adaptive guided filtering and gradient information regulation
Heryadi et al. The effect of resnet model as feature extractor network to performance of DeepLabV3 model for semantic satellite image segmentation
KR20200083303A (ko) 패치 정합을 이용한 학습 데이터 증가 장치 및 방법
Liu et al. Multi-Scale Contourlet Knowledge Guide Learning Segmentation
Wang et al. Infrared and visible image fusion based on Laplacian pyramid and generative adversarial network.
Zhao et al. Infrared small target detection based on adjustable sensitivity strategy and multi-scale fusion
Yin et al. Super resolution reconstruction of CT images based on multi-scale attention mechanism
Li et al. A dual-fusion semantic segmentation framework with gan for sar images
CN116385468B (zh) 一种基于斑马鱼心脏参数图像分析软件生成的系统
CN115909438A (zh) 基于深度时空域卷积神经网络的疼痛表情识别系统
Rao et al. Image Classification of Ischemic Stroke Blood Clot Origin using Stacked EfficientNet-B0, VGG19 and ResNet-152
Arpacı et al. LUPU-Net: a new improvement proposal for encoder-decoder architecture
CN113963427A (zh) 一种快速活体检测的方法与系统
Liu et al. Vessel segmentation using principal component based threshold algorithm
Zhang et al. Study on the classification of Gaofen-3 polarimetric SAR images using deep neural network
CN117953349B (zh) 一种中药材的病虫害检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant