CN117612164B - 基于双重边缘检测的细胞分裂均衡度检测方法 - Google Patents

基于双重边缘检测的细胞分裂均衡度检测方法 Download PDF

Info

Publication number
CN117612164B
CN117612164B CN202410080466.0A CN202410080466A CN117612164B CN 117612164 B CN117612164 B CN 117612164B CN 202410080466 A CN202410080466 A CN 202410080466A CN 117612164 B CN117612164 B CN 117612164B
Authority
CN
China
Prior art keywords
features
feature
cell
edge detection
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410080466.0A
Other languages
English (en)
Other versions
CN117612164A (zh
Inventor
谭威
周龙阳
陈长胜
云新
彭松林
熊祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Mutual United Technology Co ltd
Original Assignee
Wuhan Mutual United Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Mutual United Technology Co ltd filed Critical Wuhan Mutual United Technology Co ltd
Priority to CN202410080466.0A priority Critical patent/CN117612164B/zh
Publication of CN117612164A publication Critical patent/CN117612164A/zh
Application granted granted Critical
Publication of CN117612164B publication Critical patent/CN117612164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供了一种基于双重边缘检测的细胞分裂均衡度检测方法，包括以下步骤：步骤S1：提取胚胎ROI区域的原图特征、梯度边缘特征和深度语义边缘特征；步骤S2：将所述原图特征、梯度边缘特征和深度语义边缘特征通过注意力机制进行融合，得到全局特征；步骤S3：基于所述全局特征提取所有单个细胞所在区域的细胞特征；步骤S4：将所述全局特征和细胞特征沿特征维度拼接融合后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。通过将梯度边缘特征和深度语义边缘特征的双重边缘特征进行融合，能够有效的解决细胞内语义空洞的问题，通过边缘信息判断细胞均衡度。

Description

基于双重边缘检测的细胞分裂均衡度检测方法
技术领域
本发明涉及细胞检测技术领域，具体涉及一种基于双重边缘检测的细胞分裂均衡度检测方法。
背景技术
细胞均衡度是评估卵裂期胚胎优劣的重要的评估指标。胚胎内的细胞面积往往能反映胚胎内细胞的生长状况，通过对比各胚胎内细胞的面积能基本体现细胞之间发育状况的差距，实现对细胞发育状态的监控与评估。同时培养箱不仅为细胞提供稳定的体外培养环境，还具备周期性地获取细胞分裂的全过程图像。结合培养箱中记录的细胞拍照时间，细胞学家需要根据个人的经验对每张细胞图像进行判别，以获取细胞的分裂均衡度。这显著增加了细胞学家的工作量。因此，如何利用计算机视觉方法辅助细胞学家快速检测细胞分裂过程中的均衡度具有重要的研究意义。尽管目前存在一些图像分割方法来计算细胞的面积以评估细胞分裂均衡度，但在实际应用中，胚胎细胞分裂均衡度的智能预测仍然存在以下问题：
1）针对于显微镜下的胚胎细胞往往存在透明度高，重叠度大的问题。针对一般的深度学习，由于胚胎细胞结构性特征不明显，与背景之间的差异小，仅有边缘轮廓信息能作为检测胚胎细胞的有效信息导致难以检测出细胞的准确位置。因此，如何有效的收集边缘轮廓信息和语义信息，成为解决细胞均衡度问题的关键；
2）常见的深度学习模型无法解决细胞均衡度问题，图像分割方法只能对像素实现单分类，能够对图片进行实例分割，统计实例内像素的个数来得到细胞的大小，但是由于细胞在胚胎内的生长空间有限，经过分裂之后会产生堆叠。因此，如何直接利用深度模型强大的拟合能力去快捷有效地解决细胞均衡度问题，目前如何针对细胞均衡度问题，形成一套适用于胚胎图像性质的神经网络模型还没有一个比较好的方案。
发明内容
本发明提出了一种基于双重边缘检测的细胞分裂均衡度检测方法，以解决现有技术仅采用边缘轮廓难以提取单个细胞完整特征，切对于细胞重叠无法有效识别的技术问题。
为解决上述技术问题，本发明提供了一种基于双重边缘检测的细胞分裂均衡度检测方法，包括以下步骤：
步骤S1：提取胚胎ROI区域的原图特征、梯度边缘特征和深度语义边缘特征；
步骤S2：将所述原图特征、梯度边缘特征和深度语义边缘特征通过注意力机制进行融合，得到全局特征；
步骤S3：基于所述全局特征提取所有单个细胞所在区域的细胞特征；
步骤S4：将所述全局特征和细胞特征沿特征维度拼接融合后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。
优选地，所述胚胎ROI区域和单个细胞区域通过目标检测网络进行提取
优选地，所述目标检测网络进行提取的方法包括：
步骤S111：通过特征提取网络进行特征提取；
步骤S112：通过区域提取网络判断设定的区域是否和细胞组织吻合，并对预设区域回归出一个偏移值来获得精确位置；
步骤S113：通过区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息；
步骤S114：将区域池化网络输出的特征进行回归调整和约束，得到目标。
优选地，所述特征提取网络采用ResNet作为主干网络。
优选地，所述ResNet网络通过3×3的卷积层和池化层对输入图像进行特征提取，并通过残差连接层提取语义信息。
优选地，所述梯度边缘特征采用边缘检测算子canny进行提取。
优选地，所述深度语义边缘特征采用边缘检测模型HED进行提取。
优选地，所述全局特征f通过以下公式进行融合：
；；
；
；
式中，Q表示查询向量，K表示键向量，V表示值向量，表示原图坐标为x和y的特征，/>表示对应原图位置x和y的梯度边缘特征，/>表示对应原图位置x和y的深度语义边缘特征，/>表示与对应边缘检测图的特征进行注意力操作，/>分别表示的网络权重，/>表示平衡超参数，
优选地，步骤S3包括以下步骤：提取所述全局特征内单个细胞所在区域的位置信息和偏移信息，将区域的图像输入到特征提取器中，提取得到Kc维的细胞特征/>，K表示提取到的细胞区域数目。
优选地，步骤S4中将全局特征和细胞特征进行融合的方法包括：将全局特征进行降采样的得到降采样全局特征/>，其中/>是/>经过降采样之后特征图的宽度，是/>经过降采样之后特征图的高度，c表示通道数；将降采样全局特征/>展开经过分组池化之后得到特征向量/>，M表示池化后的特征维度；将全局特征和细胞特征进行展开并沿着特征维度进行拼接得到融合特征。
本发明的有益效果至少包括：
1）本发明通过提取了图像中细胞的高层次语义特征，取代了传统方法繁复的流程，通过提取边缘特征能够有效的解决细胞内语义空洞的问题，通过边缘信息判断细胞均衡度；
2）本发明通过融合高层次的语义特征和梯度边缘特征，有效的将两种边缘特征在原图特征中进行表示，排除其他无效信息的干扰，实现对胚胎内细胞大小的准确评估；
3）本发明通过提取所有单个细胞所在区域的细胞特征，用目标区域代替传统的细胞目标检测；并通过将区域框的细胞特征和融合边缘信息后的全局特征进行融合，使得最后获取的特征即包括边缘信息、原图信息和目标区域信息，解决的细胞重叠而导致的细胞检测不准确的问题，提高了最后均衡度检测的有效性。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的目标提取网络结构示意图；
图3为本发明实施例的梯度边缘图和深度语义边缘图的示意图；
图4为本发明实施例的梯度边缘图和深度语义边缘图的检测结果对比示意图；
图5为本发明实施例的特征融合后的胚胎ROI区域示意图；
图6为本发明实施例的方法提取单个细胞和传统方案提取单个系统的对比示意图；
图7为本发明实施例的全局特征和细胞特征融合网络结构示意图；
图8为本发明实施例的均衡度判定的分类网络的结构示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。细胞分裂的过程中，由于细胞的生长空间有限，导致在一定分裂次数不可避免地导致胚胎内细胞产生重叠从而导致部分面积被掩盖，无法准确判断细胞的面积。显微镜中细胞本身和胚胎背景的差异较小导致缺少结构性信息，导致在本问题中边缘信息成为细胞检测的关键性信息。如何有效的利用边缘信息，排除其他无效信息的干扰，实现对胚胎内细胞大小的评估是本发明需要解决的关键技术问题。
因此，如图1所示，本发明实施例提供了一种基于双重边缘检测的细胞分裂均衡度检测方法，包括以下步骤：
步骤S1：提取胚胎ROI区域的原图特征、梯度边缘特征和深度语义边缘特征。
示例性地，细胞组织的胚胎ROI区域提取，运用人工智能技术提取细胞的高层次特征，检测图像中细胞簇的位置，对显微镜图像进行预处理。由于细胞均衡度评价问题仅需关注胚胎ROI区域，通过深度学习的目标检测算法，能够有效的排除胚胎区域外的噪声，实现对拍摄图像的预处理。以下仅作为示例进行说明，不作为本发明的限制，具体地，将设定拍摄细胞的图像张数为n，分别对应于第i张图像所对应的细胞分裂图像，步骤如下：
1）收集细胞分裂全过程中的细胞图像，标注每一张图像中细胞中心的位置，将标注好的图像划分为训练集、验证集和测试集，对训练集中的细胞图像进行翻转、旋转、平移等预处理操作，扩充数据集；
2）采用标注的训练集对模型进行训练；
3）根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
4）运用保存的模型检测拍摄的第张图像，输出对图像各细胞中心的预测结果。
本发明实施例采用通用的目标检测网络作为网络框架，包括yolo、FastRCNN等，检测图像中胚胎区域。以下采用FasterRCNN为例进行说明，其网络结构如图2所示。
具体地，将细胞图像输入FasterRCNN网络中，进行胚胎区域的选定，去除图像中的碎片，颗粒细胞等杂质的干扰。FasterRCNN主要由四个网络部分组成，分别是特征提取网络、区域提取网络、区域池化网络和分类网络构成：
1）特征提取网络：使用ResNet50作为特征提取网络。ResNet通过引入残差块的结构，从而有效地训练更深层次的神经网络。主要由3×3的卷积层和池化层用于对输入图像进行特征提取；残差连接层用来增加网络的深度，提取更多的语义信息；
2）区域提取网络：区域提取网络主要用来判断预先设定的区域是否和胚胎区域吻合，对预设区域回归一个偏移值获得精确的位置。
3）区域池化网络：区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息，综合这些信息之后得到新的特征。
4）分类网络：由于细胞组织检测是单类别检测问题。最后将特征输入分类网络再进行一次回归调整和约束，并输出胚胎ROI区域的检测结果。
在胚胎ROI区域提取后，对细胞的边缘进行提取，但是由于胚胎细胞内缺少结构性的信息，并且胚胎细胞的透明度较高，难以对细胞内外进行区分，因此，如何边缘信息的提取和如何利用好边缘信息成为了解决好细胞均衡度问题的核心因素。
对于边缘信息的提取，本发明实施例主要提取胚胎ROI区域的梯度边缘特征和深度语义边缘特征，示例性地，以下通过传统边缘检测算子canny提取梯度边缘特征，通过边缘检测模型HED提取深度语义边缘特征对本发明实施例进行说明。
传统边缘检测算子canny对于细节部分的检测效果较好，能够尽可能地保留尽量多地细节信息。基于深度学习地边缘检测方法得到的边缘能够融合更多的语义信息，相对传统方法而言能够更加有效的捕获全局语义信息，避免噪声对边缘检测的干扰，但是也因此获取到的边缘相对传统方法较宽。hed模型得到的结果更加侧重于全局信息，canny边缘检测结果则更加侧重于细节信息但同样会引入噪声，其提取结果如图3和图4所示，可以看出canny会对左边的正方形中的圆弧细节检测更为完整，但是hed引入了更少的噪声信息，因此需要步骤S2的方法将两种边缘特征融合进原图中，共同提高边缘检测的效果。
步骤S2：将所述原图特征、梯度边缘特征和深度语义边缘特征通过注意力机制进行融合，得到全局特征。
具体地，本发明实施例在进行融合时，针对三张不同的图片，分别是原图，canny的边缘检测结果和与hed模型边缘检测结果。对其进行等分辨率的升维。得到特征，其中/>是原图的特征，/>是canny边缘检测结果的特征，/>是hed模型边缘检测结果的特征，/>是图片的高度，/>是图片的宽度，/>是特征的通道数，在本发明中被设置为128；针对原图中的像素找到分别在canny边缘检测结果中的位置和hed模型中的位置；令查询向量/>，键向量/>，值向量/>，得到融合后的特征f的表达式为：
；
；
式中，表示在原图中的坐标位置，/>表示与对应边缘检测图的特征进行注意力操作，即以/>为中心偏移区域的大小，当/>在边缘时，对边缘进行强度为0的特征的填充；/>分别是/>的网络权重，/>为平衡超参数。
通过对原图中的每一个像素与所属区域的边缘检测特征图进行注意力操作，目的是使得边缘信息能够融入到原图特征当中，从而更好的对细胞均衡度进行判断，有助于神经网络的收敛，其融合后的结果如图5所示。
步骤S3：基于所述全局特征提取所有单个细胞所在区域的细胞特征。
具体地，利用经过融合边缘信息之后的全局特征，提取细胞区域的位置信息和偏移信息，将该区域的图像输入到特征提取器中，提取得到Kc维的特征向量/>，其中K是提取到的区域数目。其检测结果如图6所示，图6的左边为采用我们的方法进行目标检测的结果，图6的右边为未进行边缘特征融合，直接输入原图进行目标检测的结果，可以很明显的看出，由于细胞之间的重叠，且没有进行边缘检测的双重融合，右边的图像中存在一个未检测出的细胞目标。
步骤S4：将所述全局特征和细胞特征沿特征维度拼接融合后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞。
具体地，如图7所示，将经过边缘特征融合之后的全局特征经过降采样的得到新的降采样全局特征/>，其中/>是/>经过降采样之后特征图的宽度，/>是/>经过降采样之后特征图的高度。将降采样全局特征/>展开经过分组池化之后得到特征向量，/>为池化后的特征维度。将向量展开将细胞特征与全局特征沿着特征维度拼接得到/>。
通过上述的方法可以提取得到含有足够边缘信息的特征，之后将经过融合之后的特征送入到分类网络中，输出胚胎细胞是否为均衡胚胎细胞的置信度，同时我们设定阈值/>，认为如果/>则认为是均衡胚胎细胞。否则认为不是均衡胚胎细胞。
本发明实施例中，分类网络的机构如图8所示，其训练过程简述如下：
1）收集细胞分裂全过程中的细胞图像，标注每一张图像中细胞的标签。包括细胞组织的预测框、单个细胞的预测框和细胞是否均衡的标注，用0和1表示。将标注好的图像划分为训练集、验证集和测试集，对训练集中的细胞图像进行翻转、旋转、平移等预处理操作，扩充数据集；
2）采用标注的训练集对模型进行训练；
3）根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
4）运用保存的模型检测拍摄的第张图像，输出对图像均衡度的预测结果。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：包括以下步骤：
步骤S1：提取胚胎ROI区域的原图特征、梯度边缘特征和深度语义边缘特征；
步骤S2：将所述原图特征、梯度边缘特征和深度语义边缘特征通过注意力机制进行融合，得到全局特征；
步骤S3：基于所述全局特征提取所有单个细胞所在区域的细胞特征；
步骤S4：将所述全局特征和细胞特征沿特征维度拼接融合后输入分类网络，得到细胞均衡置信度，当置信度大于设定阈值时细胞为均衡细胞；
在进行全局特征和细胞特征沿特征维度拼接融合时，针对三张不同的图片，分别是原图，canny的边缘检测结果和hed模型边缘检测结果，对其进行等分辨率的升维，得到特征f1,f2,f3∈RH×W×C，其中f1是原图的特征，f2是canny边缘检测结果的特征，f3是hed模型边缘检测结果的特征，H是图片的高度，W是图片的宽度，C是特征的通道数；针对原图中的像素找到分别在canny边缘检测结果中的位置和hed模型中的位置；令查询向量Q＝wqf1(x,y)，键向量K＝wkfi(x±l,y±l),i＝2,3，值向量V＝wvfi,i＝2,3，得到融合后的特征f的表达式为：
f＝attention(Q,K,V)(i＝1)+αattention(Q,K,V)(i＝2)+αattention(Q,K,V)(i＝3)；
Q＝wqf1(x,y)；
K＝wkfi(x±l,y±l),i＝2,3；
V＝wvfi,i＝2,3；
式中，Q表示查询向量，K表示键向量，V表示值向量，f1(x,y)表示原图坐标为x和y的特征，f2(x,y)表示对应原图位置x和y的梯度边缘特征，f3(x,y)表示对应原图位置x和y的深度语义边缘特征，l表示与对应边缘检测图的特征进行注意力操作，即以(x,y)为中心偏移区域的大小，wq,wk,wv分别表示Q,K,V的网络权重，α表示平衡超参数，attention表示注意力机制。
2.根据权利要求1所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：所述胚胎ROI区域和单个细胞区域通过目标检测网络进行提取。
3.根据权利要求2所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：所述目标检测网络进行提取的方法包括：
步骤S111：通过特征提取网络进行特征提取；
步骤S112：通过区域提取网络判断设定的区域是否和细胞组织吻合，并对预设区域回归出一个偏移值来获得精确位置；
步骤S113：通过区域池化网络收集特征提取网络输出的全局特征和区域提取网络输出的区域信息；
步骤S114：将区域池化网络输出的特征进行回归调整和约束，得到目标。
4.根据权利要求3所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：所述特征提取网络采用ResNet作为主干网络。
5.根据权利要求4所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：所述ResNet网络通过3×3的卷积层和池化层对输入图像进行特征提取，并通过残差连接层提取语义信息。
6.根据权利要求1所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：所述梯度边缘特征采用边缘检测算子canny进行提取。
7.根据权利要求6所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：所述深度语义边缘特征采用边缘检测模型HED进行提取。
8.根据权利要求1所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：步骤S3包括以下步骤：提取所述全局特征内单个细胞所在区域的位置信息和偏移信息，将区域的图像输入到特征提取器中，提取得到K*c维的细胞特征fcell∈RK×c，K表示提取到的细胞区域数目。
9.根据权利要求1所述的一种基于双重边缘检测的细胞分裂均衡度检测方法，其特征在于：步骤S4中将全局特征和细胞特征进行融合的方法包括：将全局特征f进行降采样的得到降采样全局特征其中ws是f经过降采样之后特征图的宽度，hs是f经过降采样之后特征图的高度，c表示通道数；将降采样全局特征fs展开经过分组池化之后得到特征向量fpool∈RM×c，M表示池化后的特征维度；将全局特征和细胞特征进行展开并沿着特征维度进行拼接得到融合特征。
CN202410080466.0A 2024-01-19 2024-01-19 基于双重边缘检测的细胞分裂均衡度检测方法 Active CN117612164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410080466.0A CN117612164B (zh) 2024-01-19 2024-01-19 基于双重边缘检测的细胞分裂均衡度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410080466.0A CN117612164B (zh) 2024-01-19 2024-01-19 基于双重边缘检测的细胞分裂均衡度检测方法

Publications (2)

Publication Number Publication Date
CN117612164A CN117612164A (zh) 2024-02-27
CN117612164B true CN117612164B (zh) 2024-04-30

Family

ID=89950271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410080466.0A Active CN117612164B (zh) 2024-01-19 2024-01-19 基于双重边缘检测的细胞分裂均衡度检测方法

Country Status (1)

Country Link
CN (1) CN117612164B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118379288B (zh) * 2024-06-21 2024-09-06 武汉互创联合科技有限公司 基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112802039A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于全局边缘注意力的全景分割方法
CN115937082A (zh) * 2022-09-30 2023-04-07 湘潭大学 基于深度学习的胚胎质量智能评估系统及评估方法
WO2023138188A1 (zh) * 2022-01-24 2023-07-27 腾讯科技（深圳）有限公司 特征融合模型训练及样本检索方法、装置和计算机设备
CN116844143A (zh) * 2023-09-01 2023-10-03 武汉互创联合科技有限公司 基于边缘增强的胚胎发育阶段预测与质量评估系统
CN117095180A (zh) * 2023-09-01 2023-11-21 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790633B2 (en) * 2021-07-01 2023-10-17 Nvidia Corporation Image processing using coupled segmentation and edge learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112802039A (zh) * 2021-01-26 2021-05-14 桂林电子科技大学 一种基于全局边缘注意力的全景分割方法
WO2023138188A1 (zh) * 2022-01-24 2023-07-27 腾讯科技（深圳）有限公司 特征融合模型训练及样本检索方法、装置和计算机设备
CN115937082A (zh) * 2022-09-30 2023-04-07 湘潭大学 基于深度学习的胚胎质量智能评估系统及评估方法
CN116844143A (zh) * 2023-09-01 2023-10-03 武汉互创联合科技有限公司 基于边缘增强的胚胎发育阶段预测与质量评估系统
CN117095180A (zh) * 2023-09-01 2023-11-21 武汉互创联合科技有限公司 基于分期识别的胚胎发育阶段预测与质量评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Semi-supervised nuclei segmentation based on multi-edge features fusion attention network;Huachang Li et al.;《PLoS ONE》;20230525;全文 *
基于HED与Canny方法融合的孔类零件边缘检测方法;徐文龙等;《制造业自动化》;20220531;摘要 *

Also Published As

Publication number Publication date
CN117612164A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN117612164B (zh) 基于双重边缘检测的细胞分裂均衡度检测方法
CN113112519B (zh) 基于感兴趣目标分布的关键帧筛选方法
CN112419295B (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN112365586B (zh) 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
CN110009628A (zh) 一种针对连续二维图像中多形态目标的自动检测方法
JP2011003180A (ja) 画像収集装置に用いる天空検出装置及び方法
Yang et al. Insulator identification and self-shattering detection based on mask region with convolutional neural network
CN114140623A (zh) 一种图像特征点提取方法及系统
CN117649660B (zh) 基于全局信息融合的细胞分裂均衡度评估方法及终端
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN117975267A (zh) 一种基于孪生多尺度交叉注意的遥感影像变化检测方法
CN117576029A (zh) 基于双目视觉的零部件缺陷检测和评价方法以及装置
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
Cheng et al. An effective microscopic detection method for automated silicon-substrate ultra-microtome (ASUM)
CN117152601A (zh) 一种基于动态感知区域路由的水下目标检测方法及系统
CN116543432A (zh) 一种基于辅助网络的高效人脸检测方法
JP6676563B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN116912154A (zh) 一种皮损检测网络的相关方法、装置、设备和存储介质
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant