CN111368793B - 一种基于荧光视频的神经元胞体自动识别系统 - Google Patents

Abstract

本发明公开一种基于荧光视频的神经元胞体自动识别系统，使用构造视频模块将荧光视频转换为高信噪比的构造视频，采用胞体识别分割模块识别并区分存在空间投影重叠的胞体区域，并为使用者提供友好方便的用户偏好设置，最终提供稳定准确的神经元胞体自动识别结果。

Description

一种基于荧光视频的神经元胞体自动识别系统

技术领域

本发明涉及生物图像处理领域，具体涉及一种基于荧光视频的神经元胞体自动识别系统。

背景技术

荧光成像是当前神经科学领域研究神经元群体动力学行为的主要手段之一。在使用荧光显微镜采集到神经元的荧光视频后，研究者们通过辨识神经元的胞体，提取胞体的信号曲线，进而对神经元的个体及群体动力学行为进行分析。然而，目前经典的神经元胞体自动识别系统仍容易受到荧光视频的信噪比、显微镜成像时的深度分辨率的影响，所得到的自动识别结果仍会出现较多的胞体漏识别、错识别情况，这往往需要研究者们对胞体自动识别结果进行较大量的手工校正，从而导致高额的人力成本和时间成本。近年来也有一些基于人工智能的神经元胞体自动识别系统，但是这些系统往往需要大量的人工标签才能得到较良好的胞体识别效果，同样存在高额的人力成本。除此之外，这些系统存在没有充分显式利用先验知识，自动识别方法在不同数据集上泛化性较差、缺乏可解释性等问题。

发明内容

为了有效解决荧光视频中胞体自动识别结果漏识别、错识别的问题，本发明公开一种基于荧光视频的神经元胞体自动识别系统，用于减少神经元胞体自动识别算法对荧光视频高信噪比的依赖，同时区分由于显微镜成像深度分辨率不足导致的具有空间投影重叠的胞体区域，尤其是为研究者提供了友好方便的用户偏好设置，提供了稳定准确的神经元胞体自动识别结果。

本发明提供的技术方案如下：一种基于荧光视频的神经元胞体自动识别系统，由构造视频模块Z₁、胞体识别分割模块Z₂和用户偏好设置模块Z₃组成。

为了减少神经元胞体识别算法对输入的荧光视频的高信噪比依赖，提高神经元胞体自动识别系统的泛化能力，本发明提供了构造视频模块Z₁，构造视频模块Z₁的输入是荧光视频V₀[X，Y，T₀]，输出为视频重构后的构造视频V[X，Y，T]，其中，构造视频V[X，Y，T]的宽度X、高度Y与荧光视频V₀[X，Y，T₀]相同，视频重构由视频随机打乱模块Z₁₁、信号非线性归一化放大器Z₁₂和特征整合模块Z₁₃组成，且符号V[X，Y，T]表示为视频V的宽度、高度和时间长度分别为X，Y和T，下述的表示均相同。Z₁的具体步骤如下：

(1)、视频随机打乱模块Z₁₁将双光子荧光视频V₀[X，Y，T₀]在时间方向随机打乱K次，作为优选的，随机打乱算法采用的是不重复的重排采样，进而生成随机打乱荧光视频并输出到信号非线性归一化放大器Z₁₂，由于神经元胞体区域的活动信号在随机打乱前后的变化大于背景噪声区域活动信号随机打乱前后的变化，因此通过对荧光视频进行随机打乱能更容易将胞体区域和背景噪声区域区分开。

(2)、信号非线性归一化放大器Z₁₂首先对荧光视频V₀[X，Y，T₀]进行处理：为了不遗漏不同时间段内的胞体信号变化，Z₁₂根据视频时长自适应得到滑窗长度w和步长s，并将V₀[X，Y，T₀]划分成视频序列V_0，P{V_0，p[X，Y，w]，p＝1，...，T}，其中T＝(T₀-w)/s+1，V_0，p[X，Y，w]为视频序列V_0，P的第p个视频，且作为优选的，滑窗长度w大于等于步长s且满足(T₀-w)/s+1为正整数。随后Z₁₂将视频序列中每个视频V_0，p[X，Y，w]转化为信号非线性归一化放大视频作为优选的，转化公式为/>其中，I_0，p为V_0，p的归一化特征图，优选的，归一化特征图设定为V_0，p[X，Y，w]沿时间方向的最大值特征图；a为非线性放大指数，优选的，a为大于1的正整数，得到非线性归一化放大视频序列/>

相似的，为了突出胞体区域和背景噪声区域的差异，Z₁₂也对随机打乱的荧光视频进行处理：根据自适应的滑窗长度w和步长s，将V_r[X，Y，T₀]划分成视频序列V_r，P{V_r，p[X，Y，w]，p＝1，...，T}，其中T＝(T₀-w)/s+1，作为优选的，滑窗长度w大于等于步长s且满足(T₀-w)/s+1为正整数。随后将视频序列中每个视频V_r，p[X，Y，w]转化为信号非线性归一化放大视频/>作为优选的，转化公式为/> 其中I_r，p为V_r，p的归一化特征图，优选的，归一化特征图为V_r，p[X，Y，w]沿时间方向的最大值特征图；a为非线性放大指数，优选的，a为大于1的正整数，并和对V₀[X，Y，T₀]进行处理的a值相同，得到非线性归一化放大视频序列/>最后，将 均输出到特征整合模块Z₁₃。信号非线性归一化放大器Z₁₂将胞体活跃的信号活动变化现象和胞体的基线信号活动变化的幅值差进行非线性放大，并通过归一化的处理进一步拉大了胞体区域信号强度与背景噪声区域的基线值差异。

(3)、特征整合模块Z₁₃首先视频序列中每一个视频进行降维计算得到特征图，作为优选的，降维计算特征图的方式为计算视频沿时间方向的局部相关特征图，进而依次得到特征图序列/>相似地，Z₁₃随后对视频序列/>中每一个视频进行降维计算得到特征图，进而依次得到特征图序列/>最后Z₁₃对/>和/>进行特征加权整合，作为优选的，特征加权整合方式为取两个视频相同帧的最大值特征图，从而得到构造视频V[X，Y，T]并输出到胞体识别分割模块Z₂；通过将荧光视频、随机打乱视频分别得到的两个构造特征图序列加权特征整合成一个构造视频，得到整体信噪比很高、胞体区域和背景噪声区域具有很高对比度的视频，降低荧光视频的低信噪比区域对胞体自动识别算法的影响，有助于减少神经元胞体自动识别算法错识别、漏识别的数量。

为了有效区分荧光视频中具有空间投影重叠的胞体区域，并准确地获得神经元胞体的轮廓边界，本发明提供了胞体识别分割模块Z₂，Z₂通过三维管状滤波模块Z₂₁和连通域典型截面提取模块Z₂₂，将构造视频V[X，Y，T]转化为疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}，具体步骤如下：

(1)三维管状滤波模块Z₂₁对构造视频V[X，Y，T]进行三维管状滤波，作为优选的，将三维的FastFlux管状滤波算法作用于V[X，Y，T]，得到滤波视频V_L[X，Y，T]并输出到连通域典型界面提取模块Z₂₂，三维管状滤波模块能够有效分离三维中存在黏连的管状结构，并去除构造视频中的孤立噪声，为下一步连通域典型截面提取模块Z₂₂提供更高信噪比的具有若干管状结构的滤波视频。

(2)连通域典型截面提取模块Z₂₂将V_L[X，Y，T]进行自适应二值化处理和三维分水岭处理，作为优选的，阈值化方法采用Otsu二值化算法，三维分水岭处理中计算距离变换时采用“cityblock”形状作为距离变换边界，得到三维连通域集合L{l_i，i＝1，...，n}，并对集合L中每一个连通域l_i进行距离变换，优选的，采用“euclidean”形状作为距离变换边界，并选择距离变换最大值所在截面作为连通域的典型截面，得到疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}并输出到用户偏好设置模块Z3，其有益效果是能够区分在空间投影重叠的胞体区域，并且得到胞体的完整轮廓边界。

为了满足不同使用者对于神经元胞体的个性化筛选要求，本发明在神经元自动识别系统中加入了可自动获得或手动选择权重系数的用户偏好设置模块Z₃。用户偏好设置模块Z₃首先对全部的疑似胞体区域计算灵敏度指标P₁{p_1i，i＝1，...，n}、特异度指标P₂{p_2i，i＝1，...，n}和可信度指标P₃{p_3i，i＝1，...，n}，其中，灵敏度指标p_1i为第i个疑似神经元胞体区域的信噪比指标，作为优选的，信噪比指标为胞体处于明显活动时段和荧光视频背景区域处于基线时段的信号归一化均值比值；特异度指标p_2i为第i个疑似神经元胞体区域的局部时空一致性指标，作为优选的，局部时空一致性指标为单个疑似神经元胞体区域内部全部像素的信号曲线的标准差曲线的均值；可信度指标p_3i为第i个疑似神经元胞体区域的几何特征指标，作为优选的，几何特征指标为疑似胞体区域的圆形度。Z3根据用户设定的灵敏度权重w₁、特异度权重w₂和可信度w₃，将加权结果w₁P₁+w₂P₂+w₃P₃作为全部疑似神经元胞体区域的判别指标，并保留判别指标大于自适应阈值的疑似神经元胞体区域，最终输出神经元胞体识别结果作为优选的，灵敏度权重w₁、特异度权重w₂和可信度权重w₃均默认为1，自适应阈值为全部疑似神经元胞体区域判别指标的分布曲线的均值和三倍标准差的差值；其有益效果是，用户可以根据个性化的任务，通过选择灵敏度权重、特异度权重和胞体可信度权重来筛选神经元胞体识别结果。

与现有的神经元胞体自动识别系统相比，本发明提供一种基于荧光视频的神经元胞体自动识别系统，能为研究者提供稳定准确的神经元胞体自动识别结果。本发明具有以下优点：

(1)本发明能够通过构造视频模块Z₁重构了能将神经元激活信号和背景基线信号差异进行非线性放大的构造视频，突出了胞体区域和背景噪声区域的差异，减少胞体识别算法结果直接受到荧光视频信噪比的影响，从而在低信噪比的荧光视频也能稳定准确地识别到神经元胞体。

(2)本发明的胞体识别分割模块Z₂能够有效识别神经元胞体的荧光活动事件，从而有效区分由于显微镜成像深度分辨率不足导致的具有空间投影重叠的神经元胞体区域，得到神经元胞体准确的位置信息和轮廓边界信息。

(3)本发明为使用者提供了友好方便的偏好设置，可对胞体识别结果进行个性化调整，有助于用户筛选需要的神经元胞体识别结果。

附图说明

图1为本发明的系统框架图；

图2为本发明的具体实施例结果图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

如图1所示，本发明所述的一种基于荧光视频的神经元胞体自动识别系统，包括构造视频模块Z₁、胞体识别分割模块Z₂和用户偏好设置模块Z₃。其中，构造视频模块Z₁由视频随机打乱模块Z₁₁、信号非线性归一化放大器Z₁₂和特征整合模块Z₁₃组成，胞体识别分割模块Z2由三维管状滤波模块Z₂₁和连通域典型截面提取模块Z₂₂组成。

在一种具体的实施方式中，如图2所示，采集的双光子钙成像荧光视频V₀[X，Y，T₀]首先传递到构造视频模块Z₁。在构造视频模块Z₁中，视频随机打乱模块Z₁₁对V₀[X，Y，T₀]采用不重样的重排采样算法随机打乱K次，K＝10，生成随机打乱荧光视频随后在信号非线性归一化放大器Z₁₂中，以V₀[X，Y，T₀]为例，V₀[X，Y，T₀]先根据自适应的滑窗长度w和步长s划分成视频序列V_0，P{V_0，p[X，Y，w]，p＝1，...，T}，其中T＝(T₀-w)/s+1，之后对视频序列V_0，P中每一个视频进行非线性归一化放大，计算公式为/>I_0，p为V_0，p[X，Y，w]沿时间方向的最大值特征图，a＝10，得到非线性归一化放大视频序列V_r[X，Y，T₀]与V₀[X，Y，T₀]在信号非线性归一化放大器Z12中的处理相似，从而得到非线性归一化放大视频序列/>特征整合模块Z₁₃首先对视频序列/>中的每一个视频进行降维计算，即计算沿时间方向的局部相关特征图，依次得到特征图序列/>相似的，Z₁₃对/>进行了相同的处理，计算视频序列中每一个视频沿时间方向的局部相关特征图，并依次得到特征图序列/>最后Z₁₃对和/>的每一个相同帧都进行了最大值特征图整合，得到构造视频V[X，Y，T]，并输出到胞体识别分割模块Z₂。

在胞体识别分割模块Z₂中，构造视频V[X，Y，T]先在三维管状滤波模块Z₂₁中采用三维FastFlux进行管状滤波，得到滤波视频V_L[X，Y，T]。随后，在连通域典型截面提取模块Z₂₂中，先对V_L[X，Y，T]进行基于Otsu阈值选择的自适应阈值化，再使用基于“cityblock”形状距离变换的三维分水岭方法分离阈值化后视频的三维连通域，得到三维连通域集合L{l_i，i＝1，...，n}。最后对L中每一个连通域li根据“educlidean”形状进行距离变换，并选择距离变换最大值所在深度的连通域截面作为疑似神经元胞体区域m_i[X，Y]，{i＝1，...，n}，得到疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}，并输出到用户偏好设置模块Z₃。

在用户偏好设置模块Z₃中，首先根据M进行了计算：计算每一个疑似神经元胞体区域m_i[X，Y]处于明显钙活动时段和荧光视频背景区域处于基线时段的信号归一化均值比值，得到灵敏度指标p_1i；计算m_i[X，Y]内部全部像素的钙信号曲线的标准差曲线的均值，得到特异度指标p₂i；计算m_i[X，Y]轮廓的圆形度，得到可信度指标p_3i。通过上述计算获得了疑似神经元胞体区域集合的灵敏度指标P₁{p_1i，i＝1，...，n₀}、特异度指标P₂{p_2i，i＝1，...，n₀}和可信度指标P₃{p_3i，i＝1，...，n₀}，并根据用户设定的灵敏度权重w₁、特异度权重w₂和可信度权重w₃，加权计算w₁P₁+w₂P₂+w₃P₃得到全部疑似神经元胞体区域的判别指标，并保留大于自适应阈值的疑似神经元胞体区域，得到神经元胞体识别结果其中自适应阈值为全部疑似神经元胞体区域判别指标的分布曲线的均值和三倍标准差的差值。其中，图2中神经元识别结果图为/>在一个平面上的投影图。

需要注意的是，本发明公布实施例的目的在于帮助进一步理解本发明，而任何本领域的技术人员在不脱离本发明技术方案范围及所附权利要求的精神和范围内，都可利用上述揭示的方法对本发明的技术方案进行部分替换和修饰，或修改为等同变化的等效实施例。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种基于荧光视频的神经元胞体自动识别系统，其特征在于该系统由构造视频模块Z₁、胞体识别分割模块Z₂和用户偏好设置模块Z₃组成，其中：

构造视频模块Z₁将输入的荧光视频V₀[X，Y，T₀]重构为构造视频V[X，Y，T]，并输出到胞体识别分割模块Z₂，其中X、Y、T₀分别为荧光视频V₀[X，Y，T₀]的宽度、高度和视频时长，T为构造视频V[X，Y，T]的视频时长；

胞体识别分割模块Z₂从构造视频V[X，Y，T]中识别分割得到疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}，并将M输出到用户偏好设置模块Z₃，其中m_i[X，Y]为第i个疑似神经元胞体区域，n为疑似神经元胞体区域集合中的识别结果数量；

用户偏好设置模块Z₃根据用户设定的灵敏度权重w₁、特异度权重w₂和可信度权重w₃，将疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}按照加权判定方法输出神经元胞体识别结果集合其中/>为第j个神经元胞体识别结果，n^*为神经元胞体识别结果集合中识别结果的数量。

2.如权利要求1所述的一种基于荧光视频的神经元胞体自动识别系统，其特征在于构造视频模块Z₁由视频随机打乱模块Z₁₁、信号非线性归一化放大器Z₁₂和特征整合模块Z₁₃组成，其中：

视频随机打乱模块Z₁₁将荧光视频V₀[X，Y，T₀]在时间方向上随机打乱K次，生成随机打乱的荧光视频并输出到信号非线性归一化放大器Z₁₂；

信号非线性归一化放大器Z₁₂根据自适应的滑窗长度w和步长s，将V₀[X，Y，T₀]划分成视频序列V_0，P{V_0，p[X，Y，w]，p＝1，...，T}，其中V_0，p为视频序列V_0，P的第p个视频、T＝(T₀-w)/s+1，随后将每一个视频V_0，p转化为信号非线性归一化放大视频得到非线性归一化放大视频序列/>并输出到传递到特征整合模块Z₁₃，同时Z₁₂根据自适应的滑窗长度w和步长s，将/>划分成视频序列V_r，P{V_r，p[X，Y，w]，p＝1，...，T}，并将每一个视频V_r，p转化为信号非线性归一化放大视频/>得到非线性归一化放大视频序列/>并输出到特征整合模块Z₁₃；

特征整合模块Z₁₃将视频序列中每一个视频通过降维计算得到一张特征图，依次得到特征图序列/>特征整合模块Z₁₃同时将视频序列中每一个视频通过降维计算得到一张特征图，进而依次得到特征图序列/>特征整合模块Z₁₃对特征图序列/>的每一帧进行特征加权整合，最后得到一个构造视频V[X，Y，T]并输出到胞体识别分割模块Z₂。

3.如权利要求1所述的一种基于荧光视频的神经元胞体自动识别系统，其特征在于所述的胞体识别分割模块Z₂由三维管状滤波模块Z₂₁和连通域典型截面提取模块Z₂₂组成，其中：

三维管状滤波模块Z₂₁对构造视频V[X，Y，T]进行三维管状滤波，得到滤波视频V_L[X，Y，T]，并输出到连通域典型截面提取模块Z₂₂；

连通域典型截面提取模块Z₂₂将V_L[X，Y，T]进行自适应二值化处理和三维分水岭处理，得到三维连通域集合L{l_i，i＝1，...，n}，对集合L中每一个连通域l_i进行距离变换，选择距离变换最大值所在截面作为疑似神经元胞体区域m_i[X，Y]，{i＝1，...，n}，进而得到疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}，并输出到用户偏好设置模块Z₃。

4.如权利要求1所述的一种基于荧光视频的神经元胞体自动识别系统，其特征在于所述的用户偏好设置模块Z₃采用加权判定方法为计算全部疑似神经元胞体区域集合M{m_i[X，Y]，i＝1，...，n}的灵敏度指标P₁{p_1i，i＝1，...，n}、特异度指标P₂{p_2i，i＝1，...，n}和可信度指标P₃{p_3i，i＝1，...，n}，根据用户设定的灵敏度权重w₁、特异度权重w₂和可信度权重w₃，将加权结果W₁P₁+N₂P₂+w₃P₃作为全部疑似神经元胞体区域的判别指标，并保留判别指标大于自适应阈值的疑似神经元胞体区域，最终得到神经元胞体识别结果其中自适应阈值为全部疑似神经元胞体区域判别指标的分布曲线的均值和三倍标准差的差值，灵敏度指标p_1i为第i个疑似神经元胞体区域的信噪比指标，特异度指标p_2i为第i个疑似神经元胞体区域的局部时空一致性指标，可信度指标p_3i为第i个疑似神经元胞体区域的几何特征指标。