CN112508955B - 基于深度神经网络对活体细胞形态检测的方法及相关产品 - Google Patents

基于深度神经网络对活体细胞形态检测的方法及相关产品 Download PDF

Info

Publication number
CN112508955B
CN112508955B CN202110169830.7A CN202110169830A CN112508955B CN 112508955 B CN112508955 B CN 112508955B CN 202110169830 A CN202110169830 A CN 202110169830A CN 112508955 B CN112508955 B CN 112508955B
Authority
CN
China
Prior art keywords
image
single cell
living
cell
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110169830.7A
Other languages
English (en)
Other versions
CN112508955A (zh
Inventor
刘国乐
靳杰
石浩
降雨强
杨戈
杨涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingzhe Biotechnology Co ltd
Original Assignee
Predator Beijing Biotechnology Co ltd
Institute of Automation of Chinese Academy of Science
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Predator Beijing Biotechnology Co ltd, Institute of Automation of Chinese Academy of Science, University of Chinese Academy of Sciences filed Critical Predator Beijing Biotechnology Co ltd
Priority to CN202210394273.3A priority Critical patent/CN114913126A/zh
Priority to CN202110169830.7A priority patent/CN112508955B/zh
Publication of CN112508955A publication Critical patent/CN112508955A/zh
Priority to EP22749284.0A priority patent/EP4290451A1/en
Priority to US18/276,350 priority patent/US20240119747A1/en
Priority to PCT/CN2022/084777 priority patent/WO2022167005A1/zh
Application granted granted Critical
Publication of CN112508955B publication Critical patent/CN112508955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biotechnology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度神经网络对活体细胞形态检测的方法及相关产品，其中所述方法包括：使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像；使用基于深度神经网络的细胞分割模型对所述活体单细胞图像进行分割，以获取活体单细胞的特征部位；以及根据所述特征部位，分析并确定所述活体单细胞的形态参数。根据本发明的方法，能够保证被检测细胞的活性，并能够实现对活体细胞形态的无损、精确和快速的检测，有利于被检测细胞的临床应用和研究。

Description

基于深度神经网络对活体细胞形态检测的方法及相关产品
技术领域
本发明一般地涉及神经网络技术领域。更具体地，本发明涉及一种基于深度神经网络对活体细胞形态检测的方法及相关产品。
背景技术
细胞形态检测对于评估细胞状态以及细胞质量等具有重要意义。但是目前的用于细胞形态检测的方法多是基于固定和染色的细胞的图像进行识别，而无法实现对于活体细胞，特别是活动的活体细胞的在线检测。
以精子细胞为例，目前对于精子形态检测的常规方法是通过将精液标本进行离心、涂片、染色等预处理，然后将精子涂片放到显微镜下进行人工观察，并根据检验人员经验对精子形态进行分类，或者使用计算机辅助分类技术对精子涂片的图像进行分类。然而，固定染色的流程和方法会对精子的形态结构造成一定影响，从而可能影响形态检测的结果准确性。并且对精子细胞进行涂片、染色等预处理会破坏精子的生理功能及其DNA，造成精子失活，使得被测精子无法用于临床，因此上述方法存在较大的应用局限性。例如试管婴儿技术中必须使用活体精子细胞，由于缺少针对活体细胞形态检测的方法，因此目前试管婴儿技术所需的活体精子筛选工作仍然需要依靠临床人员手工进行，这非常依赖于临床人员的经验，从而使得检测过程存在主观性强、标准不统一、效率低等问题。因此，如何能够实现无损、快速、准确地对活体细胞形态进行检测是目前亟需解决的技术问题。
发明内容
鉴于上面所提到的技术问题，本发明的技术方案在多个方面提供一种基于深度神经网络来进行活体细胞形态检测的方法、装置、设备、系统和计算机存储介质。
在本发明的第一方面中，提供一种基于深度神经网络来进行活体细胞形态检测的方法，包括：使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像；使用基于深度神经网络的细胞分割模型对所述活体单细胞图像进行分割，以获取活体单细胞的特征部位；以及根据所述特征部位，分析并确定所述活体单细胞的形态参数。
根据本发明的一个实施例，在使用目标检测模型对所述待检测图像进行识别和定位之前，所述方法还包括：获取大样本的活体细胞图像，并对所述活体细胞图像中的单个细胞进行第一标注；以及使用带第一标注的所述活体细胞图像训练第一深度神经网络模型，以便得到所述目标检测模型。
根据本发明的另一个实施例，在使用细胞分割模型对所述活体单细胞图像进行分割之前，所述方法还包括：对获取的活体细胞图像中的单个细胞的特征部位进行第二标注；以及使用带第二标注的所述活体细胞图像训练第二深度神经网络模型，以便得到所述细胞分割模型。
根据本发明的又一个实施例，在对所述第一深度神经网络模型进行训练时，所述方法包括对所述活体细胞图像采用图像数据增强处理，其中所述图像数据增强处理包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理中的至少一种。
根据本发明的一个实施例，在对所述第二深度神经网络模型进行训练时，所述方法包括对所述活体细胞图像采用图像数据增强处理，其中所述图像数据增强处理包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理中的至少一种。
根据本发明的另一个实施例，所述细胞分割模型的输出部分采用单分支多类分割结构或者多分支单类分割结构。
根据本发明的又一个实施例，所述活体细胞包括活体精子，并且所述特征部位包括精子头部、空泡、中段和尾部中的至少一个。
根据本发明的一个实施例，在使用细胞分割模型对活体单细胞图像进行分割之前，所述方法还包括：对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像；并且所述对活体单细胞图像进行分割包括：对所述位于聚焦平面范围内的单细胞图像进行分割。
根据本发明的另一个实施例，对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像包括：对采集得到的细胞样本在不同焦面的样本图像进行分类，并作为焦面图像样本数据集；使用所述焦面图像样本数据集训练第三深度神经网络模型，得到焦面分类模型；以及使用所述焦面分类模型对所述活体单细胞图像进行焦面成像分类，以筛选出位于所述聚焦平面范围内的单细胞图像。
根据本发明的又一个实施例，在对所述第三深度神经网络模型进行训练时，所述方法包括对所述焦面图像样本数据集采用图像数据增强处理，其中所述图像数据增强处理包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理中的至少一种。
根据本发明的一个实施例，进一步包括：在使用所述目标检测模型、所述细胞分割模型或所述焦面分类模型前，通过使用网络结构加速、模型推理加速和/或模型剪枝加速对所述目标检测模型、所述细胞分割模型或所述焦面分类模型中的至少一个模型进行加速。
根据本发明的另一个实施例，所述分析并确定所述活体单细胞的形态参数包括：对分割得到的所述活体单细胞的特征部位进行形态分析，以得到所述特征部位的几何参数；对所述活体单细胞图像进行清晰化度量，以便进一步筛选出形态清晰的单细胞图像；以及根据所述几何参数和清晰化度量结果，确定所述活体单细胞的形态参数。
根据本发明的又一个实施例，对所述活体单细胞图像进行清晰化度量包括：采用一个或多个聚焦评价算子来评价所述活体单细胞图像的清晰度。
根据本发明的一个实施例，根据所述几何参数和清晰化度量结果确定所述活体单细胞的形态参数包括：基于所述几何参数的大小，对所述活体单细胞图像进行第一排序；基于清晰度的大小，对所述活体单细胞图像进行第二排序；以及根据排序结果，筛选出在所述第一排序和所述第二排序中均位于前列的一张或多张图像，并将所述一张或多张图像的几何参数的平均值作为所述活体单细胞的形态参数。
根据本发明的另一个实施例，所述几何参数包括长度、宽度、面积、椭圆率、数量以及位置中的至少一项。
根据本发明的一个实施例，所述待检测图像包括微分干涉差图像、相衬图像、明场图像和暗场图像中的至少一种。
在本发明的第二方面中，提供一种基于深度神经网络来进行活体细胞形态检测的装置，包括，定位模块，其配置用于使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像；分割模块，其配置用于使用基于深度神经网络的细胞分割模型对所述活体单细胞图像进行分割，以获取活体单细胞的特征部位；以及形态分析模块，其配置用于根据分割结果，分析并确定所述活体单细胞的形态参数。
根据本发明的一个实施例，还包括：焦面分类模块，其配置用于对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像；以及所述分割模块还配置用于对所述位于聚焦平面范围内的单细胞图像进行分割。
在本发明的第三方面中，提供一种基于深度神经网络来进行活体细胞形态检测的设备，包括，至少一个处理器；存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据本发明的第一方面中的任意一项所述的方法。
在本发明的第四方面中，提供一种计算机可读存储介质，其存储有用于活体细胞形态检测的程序，当所述程序由处理器来运行时，执行根据本发明的第一方面中的任意一项所述的方法。
在本发明的第五方面中，提供一种基于深度神经网络来进行活体细胞形态检测的系统，包括：图像采集单元，其用于采集包含活体细胞的待检测图像；控制终端，其与所述图像采集单元连接，并用于接收所述图像采集单元发送的所述待检测图像；以及如本发明第三方面中所述的设备，其与所述控制终端连接，用于接收由所述控制终端发送的所述待检测图像以对所述待检测图像进行检测，并将检测结果发送至所述控制终端。
根据本发明的一个实施例，所述设备包括推理机。
通过上述对本发明的技术方案及其多个实施例的描述，本领域技术人员可以理解本发明的基于深度神经网络来进行活体细胞形态检测的方法通过使用目标检测模型来定位和提取待检测图像中的活体单细胞，并使用细胞分割模型对活体单细胞进行分割以及根据分割得到的特征部位进行分析等步骤来确定活体单细胞的形态参数。根据本发明的方法，能够保证被检测细胞的活性，并实现对活体细胞形态的无损、准确和快速检测，有利于被检测细胞的临床应用和研究，具有重要的意义和应用价值。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
图1是总体上示出根据本发明的基于深度神经网络来进行活体细胞形态检测的方法的流程图；
图2是示出根据本发明实施例的同一活体精子的不同位姿的眀场图像的示意图；
图3是示出对图2中所示活体精子的定位结果的示意图；
图4示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的方法的详细流程图；
图5a是示出根据本发明实施例的单分支多类分割结构的示意图；
图5b是示出根据本发明实施例的多分支单类分割结构的示意图
图6是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的方法的另一个流程图；
图7是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的方法的另一个详细流程图；
图8是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的设备示意图；以及
图9是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
活体细胞形态检测的实现在技术上存在诸多困难：例如，活体细胞不是静态目标，对其进行定位存在较大难度；细胞活动时经常脱离聚焦平面，而脱焦图像因为模糊无法用于形态检测；以及活体细胞图像的对比度较染色图像低得多，从而增加了细胞形态参数检测的难度。本发明针对现有技术的不足，提供了一种全新的可实现的解决方案。特别的，本发明的基于深度神经网络来进行活体细胞形态检测的方法可以通过对包含活体细胞的待检测图像进行识别定位和特征部位分割等步骤，能够在保证活体细胞活性的同时实现对其形态的无损检测。通过下面的描述，本领域技术人员可以理解的是，本发明还在多个实施例中提供了进一步提高检测准确性和检测效率的方式，例如在分割前对活体单细胞图像进行焦面成像分类等步骤，还例如可以对目标检测模型、细胞分割模型或焦面分类模型中的至少一个模型进行加速来进一步提高检测速度和效率。下面结合附图来详细描述本发明的具体实施方式。
图1是总体上示出根据本发明的用于活体细胞形态检测的方法的流程图。如图1中所示，在步骤102处，方法100可以使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像。在一个实施例中，基于深度神经网络的目标检测模型可以采用例如Yolo、Faster R-CNN等模型中的至少一种。待检测图像可以通过例如显微镜、摄像机等设备采集得到。在一个实施例中，所述待检测图像可以包括微分干涉差图像、相衬图像、明场图像和暗场图像等中的至少一种。待检测图像中可以包含一个或多个活体细胞的图像。根据本发明的另一个实施例，所述活体细胞可以包括例如活体精子细胞、癌细胞等。对待检测图像进行识别和定位可以是包括识别和定位待检测图像中的每一个目标活体细胞，以提取活体单细胞图像，并排除杂质等因素的影响。在一个实施例中，以目标活体细胞是活体精子细胞为例，方法100可以在待检测图像中识别出哪些或者哪个是活体精子细胞，并对其进行定位和提取，以排除其他类型细胞或杂质的影响。在另一个实施例中，方法100可以提取到包含具有多头等畸形形态的活体单细胞的活体单细胞图像。
根据本发明的一个实施例，方法100可以从待检测图像中提取到一个活体单细胞图像。根据本发明的另一个实施例，方法100可以从待检测图像中提取到多个活体单细胞图像，并可以在后续步骤中对其进行分别检测和分析等。在一个实施例中，当待检测图像中包含多个活体细胞时，方法100可以对多个活体细胞进行编号，从而可以对不同帧的待检测图像中的活体细胞进行跟踪。
方法100对待检测图像中的活体单细胞进行识别和定位可以是通过识别整个活体单细胞，也可以是通过识别活体单细胞的特征部位来实现对活体单细胞的定位。为了便于理解，以下以活体精子为例并结合图2和图3进行说明。
图2是示出根据本发明实施例的同一活体精子的不同位姿的眀场图像的示意图。如图2中的a、b和c所示，由于活体精子能够游动和翻转，因此在采集待检测图像时常会出现采集到同一活体精子的不同位姿的多个图像的情况，这增加了识别和定位活体精子的难度。根据本发明的方法对图2所示的不同位姿的活体精子图像进行识别和定位，可以获得如图3所示的定位结果。
图3中的a、b和c是示出对图2中的a、b和c的图像的定位结果，根据本实施例，方法100可以通过识别活体精子的特征部位（例如图示中的头部）来识别和定位活体精子。如图3中所示，在一个实施例中，方法100可以使用标注框标注的方式显示定位结果。根据本发明的方法对包含活体细胞的待检测图像进行识别和定位，能够实现对不同位姿的活体细胞的识别和定位，并且能够显著提高定位的准确性和可靠性。
下面返回图1中继续描述，如图1中所示，在步骤104处，方法100可以使用基于深度神经网络的细胞分割模型对所述活体单细胞图像进行分割，以获取活体单细胞的特征部位。在一个实施例中，基于深度神经网络的细胞分割模型可以包括例如U-net、FCN、DeepLab、E-net等模型中的至少一种。方法100对活体单细胞图像的分割结果可以根据活体单细胞的种类不同而不同，即可以根据活体单细胞的种类来确定需要分割得到的特征部位。活体单细胞的特征部位可以包括一个或多个。例如在一个实施例中，活体细胞可以包括活体精子，并且所述特征部位可以包括精子的头部、空泡、中段和尾部等中的至少一个。
根据本发明的另一个实施例，方法100在使用所述目标检测模型或所述细胞分割模型前，可以通过使用例如网络结构加速、模型推理加速和/或模型剪枝加速等对所述目标检测模型和所述细胞分割模型中的至少一个模型进行加速。
上文所述的网络结构加速可以是通过使用结构更加简单的深度神经网络来实现，例如可以使用适用于移动端的轻量级神经网络MobileNet、ShuffleNet等。与普通卷积神经网络相比，MobileNet使用深度级可分离卷积的方法减少了模型参数量。模型推理加速可以是通过优化和重构网络结构、降低参数精度等方式来进行加速。优化和重构网络结构可以包括将网络中无用的输出层消除以减小计算量、网络结构的垂直整合（即可以将主要神经网络的卷积层conv、批归一化BN、修正线性单元Relu三个层融合为一个固态码率CBR结构）、网络结构的水平整合（即可以将结构相同但权值不同的层合并成一个更宽的层）等。降低参数精度可以是在对模型进行推理时，将浮点数Float32转成半精度浮点数Float16或整数INT8来对模型的推理进行加速。更低的数据精度将会使内存占用和延迟更低，使得模型体积更小。模型剪枝加速可以是在模型推理时，获取每一层以及每个神经元的输出，其中由于输出为0或近似0的单元在推理时不起作用，因此可以通过将其剪掉来减少推理过程的计算量，从而实现对模型进行加速的目的。
接着，流程前进到步骤106处，方法100可以根据所述特征部位，分析并确定所述活体单细胞的形态参数。方法100可以通过分析特征部位的形态来确定活体单细胞的形态参数。例如，根据本发明的一个实施例，方法100分析并确定所述活体单细胞的形态参数可以包括：对分割得到的所述活体单细胞的特征部位进行形态分析，以得到所述特征部位的几何参数；对所述活体单细胞图像进行清晰化度量，以便进一步筛选出形态清晰的单细胞图像；以及根据所述几何参数和清晰化度量结果，确定所述活体单细胞的形态参数。
以上结合图1总体上对根据本发明的基于深度神经网络的活体细胞形态检测的方法进行了示例性的描述，本领域技术人员可以理解的是，以上描述是示例性的而非限制性的，本领域技术人员可以根据需要进行调整。例如，活体单细胞的特征部位可以根据活体单细胞的类型进行调整和设置。还例如，在另一个实施例中，方法100可以通过例如对目标检测模型或细胞分割模型的优化、以及对活体单细胞图像的筛选等方式来进一步提高活体细胞形态检测的准确性和效率，以下将结合图4对根据本发明的基于深度神经网络的活体细胞形态检测的方法的具体实施例进行示例性的描述。
图4是示出根据本发明实施例的基于深度神经网络的活体细胞形态检测的方法200的详细流程图。通过下文的描述，本领域技术人员将理解到方法200是图1所示方法100的一种具体化形式，因此前文关于图1中方法100的描述也同样适用于方法200。
如图4中所示，在步骤201处，方法200可以直接或者间接的从例如显微镜或者摄像机等处获取包含活体细胞的待检测图像。接着，在步骤204处，方法200可以使用基于深度神经网络的目标检测模型对待检测图像中的所述活体细胞进行识别和定位，以提取活体单细胞图像。为了进一步提高识别和定位的准确性，本发明实施例还提供了目标检测模型的优选构建方式，例如图4中进一步示出的，在步骤204之前，方法200还可以包括步骤202和步骤203，下面将进行详细说明。
在步骤202处，方法200可以获取大样本的活体细胞图像，并对所述活体细胞图像中的单个细胞进行第一标注。大样本的活体细胞图像可以包括一定数量的活体细胞图像，其数量越大越有利于提高目标检测模型的检测准确性。在一个实施例中，方法200对活体细胞图像中的单个细胞进行第一标注可以包括标注单个细胞的特征部位。在另一个实施例中，方法200对活体细胞图像中的单个细胞进行第一标注可以通过例如人工标注或者机器标注的方式实现。在又一个实施例中，方法200可以通过使用标注模型实现对活体细胞图像中的单个细胞的第一标注。
接着，在步骤203处，方法200可以使用带第一标注的所述活体细胞图像训练第一深度神经网络模型，以便得到所述目标检测模型。在一个实施例中，第一深度神经网络模型可以是基于例如Yolo、Faster R-CNN等模型中的至少一种构建的。通过使用带第一标注的所述活体细胞图像训练第一深度神经网络模型，可以不断优化第一深度神经网络模型的参数和权值。方法200使用带第一标注的活体细胞图像训练第一深度神经网络模型得到训练后的第一深度神经网络模型，并可以将训练后的第一深度神经网络模型称为目标检测模型。
根据本发明的另一个实施例，在步骤203处，方法200在对所述第一深度神经网络模型进行训练时，还可以包括对所述活体细胞图像采用图像数据增强处理，其中所述图像数据增强处理可以包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理等中的至少一种。空间变换处理可以包括例如缩放、旋转、透视变换等图像处理方式。比例缩放处理可以包括等比例缩放或者不等比例缩放等图像处理方式。图像亮度调节处理可以包括例如对图像整体或局部进行变亮或者变暗的图像处理方式。
需要说明的是，方法200执行步骤202或步骤203与执行步骤201可以不分先后顺序，可以同时进行。在另一个实施例中，方法200执行步骤204时，也可以同时执行步骤202和步骤203，以不断优化目标检测模型的参数等，从而能够持续性的调整和提高识别和定位的准确性。
进一步地，方法200在执行步骤204后，可以接着执行步骤207。在步骤207中，方法200可以使用基于深度神经网络的细胞分割模型对所述活体单细胞图像进行分割，以获取所述特征部位。为了进一步提高特征部位分割的准确性，本发明实施例还提供了细胞分割模型的优选构建方式，例如图4中进一步示出的，在步骤207之前，方法200还可以包括步骤205和步骤206，下面将进行详细说明。
如图4中所示，在步骤205处，方法200可以对获取的活体细胞图像中的单个细胞的特征部位进行第二标注。特征部位已经在前文中结合图1进行了详细的描述，此处不再赘述。在一个实施例中，步骤205中获取的活体细胞图像可以采用步骤202中获取的大样本的活体细胞图像，第二标注可以是在步骤202中的第一标注的单个细胞的基础上进行特征部位的标注。根据这样的设置，可以在保证训练样本数量的同时减少获取活体细胞图像的数量以及图像处理次数，进而能够降低设备损耗以及提高训练速度等。在另一个实施例中，步骤205中获取的活体细胞图像可以是区别于步骤202而单独获取的活体细胞图像。在又一个实施例中，方法200对活体细胞图像中的单个细胞的特征部位进行第二标注可以通过例如人工标注或者机器标注的方式实现。在一个实施例中，方法200可以通过使用标注模型实现对活体细胞图像中的单个细胞的特征部位的第二标注。
接着，流程前进到步骤206处，方法200可以使用带第二标注的所述活体细胞图像训练第二深度神经网络模型，以便得到所述细胞分割模型。在一个实施例中，第二深度神经网络模型可以是基于例如U-net、FCN、DeepLab、E-net等模型中的至少一种构建的。通过使用带第二标注的所述活体细胞图像训练第二深度神经网络模型，可以不断优化第二深度神经网络模型的参数和权值。方法200使用带第二标注的所述活体细胞图像训练第二深度神经网络模型得到训练后的第二深度神经网络模型，并可以将训练后的第二深度神经网络模型称为细胞分割模型。
根据本发明的又一个实施例，在步骤206处，方法200在对所述第二深度神经网络模型进行训练时，还可以包括对所述活体细胞图像采用图像数据增强处理，其中所述图像数据增强处理可以包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理等中的至少一种。
需要说明的是，方法200执行步骤205或步骤206与执行步骤204等可以不分先后顺序，可以同时进行。在另一个实施例中，方法200执行步骤207时，也可以同时执行步骤205和步骤206，以不断优化和更新细胞分割模型的参数等，从而能够持续性的调整和提高对特征部位分割的准确性。
根据本发明的一个实施例，所述细胞分割模型的输出部分可以采用单分支多类分割结构或者多分支单类分割结构。为了便于理解，下面将结合图5a和图5b进行示例性的描述。
图5a是示出根据本发明实施例的单分支多类分割结构的示意图。如图5a中所示，将活体单细胞图像输入到细胞分割模型中，并在输出时采用softmax函数进行分类，可以得到多个特征部位的分割结果。在一个实施例中，活体单细胞可以是活体单精子，图5a中所示的类别1~类别n可以分别代表活体单精子的头部、空泡、中段等特征部位的相关信息。
图5b是示出根据本发明实施例的多分支单类分割结构的示意图。如图5b中所示，可以将活体单细胞图像输入到细胞分割模型中，并在输出时采用多个sigmoid函数进行分类，可以得到多个特征部位的分割结果。在一个实施例中，活体单细胞可以是活体单精子，图5b中所示的类别1~类别n可以分别代表活体单精子的头部、空泡、中段等特征部位的相关信息。图5a和图5b中所示的输出结构可以根据需要进行选择。
下面返回图4中继续描述。根据下面的描述，本领域技术人员可以理解的是，方法200中的步骤208、步骤209以及步骤210可以是图1中所示步骤106的一种具体化实施方式，因此前文关于图1中步骤106的描述也同样适用于步骤208、步骤209以及步骤210。
如图4中所示，在步骤208处，方法200可以对分割得到的所述活体单细胞的特征部位进行形态分析，以得到所述特征部位的几何参数。例如，在一个实施例中，所述几何参数可以包括长度、宽度、面积、椭圆率、数量以及位置等中的至少一项。几何参数可以是由特征部位的形态特点决定。在另一个实施例中，活体单细胞可以是活体单精子，其特征部位可以包括例如单精子的头部和空泡等，方法200对单精子的头部和空泡进行形态分析，可以得到例如头部长度、头部宽度、头部面积和椭圆率等关于头部的几何参数，以及例如空泡面积、空泡个数和空泡位置等关于空泡的几何参数。
如图4中进一步示出的，在步骤209处，方法200可以对所述活体单细胞图像进行清晰化度量，以便筛选出形态清晰的单细胞图像。方法200可以对步骤204处提取的活体单细胞图像进行清晰化度量，以便筛选出一张或多张形态清晰的单细胞图像。清晰化度量可以有效排除活体单细胞活动翻转或者上下浮动（即脱离聚焦平面）时采集到的活体单细胞图像，由于这类图像清晰度较低或者图像中的活体单细胞位姿形态不利于检测和分析，因此排除这类图像而筛选出形态清晰的单细胞图像不仅能够减少后续图像分析时的数据量，还能够有效提高最终确定的活体单细胞的形态参数的准确度。
根据本发明的一个实施例，在步骤209处，方法200对所述活体单细胞图像进行清晰化度量可以包括：采用一个或多个聚焦评价算子来评价所述活体单细胞图像的清晰度。聚焦评价算子可以包括例如图像的灰度值方差（GLVA）、归一化的图像灰度值方差（GLVN）和绝对中心距（ACMO）等中的至少一种。为了便于理解，下面将对上述聚焦评价算子进行示例性的说明。
上文中所述的图像的灰度值方差（GLVA）的计算公式如下：
Figure 607128DEST_PATH_IMAGE001
Figure 461952DEST_PATH_IMAGE002
其中，
Figure 694219DEST_PATH_IMAGE003
表示灰度图像I的平均值，图像I的尺寸为
Figure 495953DEST_PATH_IMAGE004
，
Figure 575904DEST_PATH_IMAGE005
表示像素为（i，j）时的图像的灰度值。GLVA的值越小表示图像I的清晰度越好。
上文中所述的归一化的图像灰度值方差（GLVN）的计算公式如下：
Figure 355291DEST_PATH_IMAGE006
其中，
Figure 560008DEST_PATH_IMAGE007
表示灰度图像I的平均值，图像I的尺寸为
Figure 945858DEST_PATH_IMAGE004
，
Figure 755683DEST_PATH_IMAGE008
表示像素为（i，j）时的图像的灰度值。GLVN的值越小表示图像I的清晰度越好。
进一步地，绝对中心距（ACMO）的计算公式如下：
Figure 280205DEST_PATH_IMAGE009
其中，ACMO是基于灰度直方图H的一种度量，
Figure 988529DEST_PATH_IMAGE010
表示灰度直方图H的平均值，L表示灰度直方图H的灰度级别数，Pk表示第k级灰度的频数。ACMO的值越小表示图像的清晰度越好。
接着，返回到图4中继续描述，在步骤210处，方法200可以根据所述几何参数和清晰化度量结果，确定所述活体单细胞的形态参数。在一个实施例中，方法200可以基于步骤209中筛选出的形态清晰的单细胞图像的特征部位的几何参数来确定活体单细胞的形态参数。根据本发明的另一个实施例，在步骤210处，方法200可以包括：基于所述几何参数的大小，对所述活体单细胞图像进行第一排序；基于清晰度的大小，对所述活体单细胞图像进行第二排序；以及根据排序结果，筛选出在所述第一排序和所述第二排序中均位于前列的一张或多张图像，并将所述一张或多张图像的几何参数的平均值作为所述活体单细胞的形态参数。在又一个实施例中，方法200可以根据几何参数的种类，确定第一排序的组数。为了便于理解，以下将结合具体示例进行描述。
在一个具体实施例中，以活体单细胞为活体单精子为例，其特征部位可以采用单精子的头部，头部的几何参数可以设置为头部面积、头部长度和头部宽度，方法200可以基于头部面积、头部长度和头部宽度的大小，对活体单细胞图像进行三组第一排序，即可以是基于头部面积由大到小的第一组第一排序、基于头部长度由大到小的第二组第一排序和基于头部宽度由大到小的第三组第一排序。方法200还可以基于活体单细胞图像的清晰度大小进行第二排序，例如，方法200可以根据活体单细胞图像的聚焦评价算子值由小到大进行第二排序。然后，方法200可以根据三组第一排序和一组第二排序（简称四组排序），筛选出四组排序中均位于前列的一张或多张图像。例如，在一个实施例中，方法200可以筛选出在四组排序的前十位中均出现的图像。接着，方法200可以将筛选出的一张或多张图像的几何参数的平均值作为活体单细胞的形态参数。
以上结合图4对根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的方法200进行了描述，本领域技术人员应该理解的是，以上描述是示例性的而非限制性的。例如，步骤209可以不限于图示中的位置，其还可以根据需要调整为在步骤208之前执行，可以有利于减少形态分析时的图像数量。还例如，步骤207中的分割可以不限于对活体单细胞图像进行分割，在一个实施例中，还可以对位于聚焦平面范围内的单细胞图像进行分割。下面将结合图6和图7进行示例性的描述。
图6是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的方法的另一个流程图。通过下面的描述，可以理解的是，图6所示的方法是图1所示方法的另一个具体实施例。如图6中所示，在步骤102处，方法100可以使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像。步骤102已经在前文中结合图1进行了详细说明，此处不再赘述。
接着，在步骤103处，方法100可以对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像。由于活体细胞活动时可能经常脱离聚焦平面，而脱焦图像因为模糊无法用于形态检测，因此在步骤103处，方法100可以对活体单细胞图像中的活体单细胞成像时偏离焦面的程度进行分类，以筛选出位于聚焦平面范围内的成像清晰的单细胞图像。在一个实施例中，聚焦平面（或称焦面）可以是例如显微镜采集待检测图像时的聚焦平面。
上文中所述的聚焦平面范围可以是以聚焦平面为中心的可清晰成像的平面范围。例如，在另一个实施例中，聚焦平面范围可以是从聚焦平面以上1微米到聚焦平面以下1微米之间的平面范围。根据本发明的又一个实施例，在步骤103中，方法100可以使用焦面分类模型对活体单细胞图像进行焦面成像分类。根据本发明的方法100在使用细胞分割模型对活体单细胞图像进行分割之前对活体单细胞图像进行焦面成像分类，可以排除大部分成像模糊的活体单细胞图像，从而能够有效降低后续步骤的图像处理量以及提高处理速度。相比于通过清晰化度量排除脱焦图像的实施方式，通过焦面成像分类方法筛选出位于聚焦平面范围内的单细胞图像将更加准确和直观。
然后，流程前进到步骤1041处，方法100可以使用基于深度神经网络的细胞分割模型对所述位于聚焦平面范围内的单细胞图像进行分割，以获取活体单细胞的特征部位。由于位于聚焦平面范围内的单细胞图像较为清晰，因此方法100对位于聚焦平面范围内的单细胞图像进行分割不仅可以减少图像处理量，还有利于提高分割结果的准确性和分割效率。通过上面的描述，可以理解的是，步骤1041可以是图1中所示步骤104的一个具体实施例，因此前文中关于步骤104及其实施例的描述也同样适用于步骤1041。
如图6中进一步示出的，在步骤106处，方法100可以根据特征部位，分析并确定活体单细胞的形态参数。该步骤已经在前文中结合图1进行了详细的描述，此处不再赘述。
以上结合图6对根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的另一个方法进行了示例性的描述。本领域技术人员可以理解的是，以上描述是示例性的而非限制性的，例如，聚焦平面范围可以根据需要进行调整和选择，例如可以根据活体细胞的种类、尺寸和成像效果等因素进行选择。在另一个实施例中，方法100还可以基于深度神经网络模型实现对活体单细胞图像进行焦面成像分类等步骤，以下将结合图7进行示例性的描述。
图7是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的方法的另一个详细流程图。通过下面的描述，本领域技术人员可以理解的是，图7中所示的方法200可以是图6中所示的方法100的一个具体实现形式，也是基于图4所示方法200的一个优选实施例，因此前文中结合图6所示的方法100和结合图4所示方法200的描述同样适用于下面的描述。
如图7中所示，步骤201、步骤202、步骤203以及步骤204与前文中结合图4所描述的相同或相似，此处不再赘述。方法200在执行步骤204后，可以接着执行步骤213。在步骤213中，方法200可以使用所述焦面分类模型对所述活体单细胞图像进行焦面成像分类，以筛选出位于所述聚焦平面范围内的单细胞图像。在一个实施例中，焦面分类模型可以采用例如Resnet以及Densenet等分类模型中的至少一种。在另一个实施例中，方法200在使用焦面分类模型前，可以通过使用例如网络结构加速、模型推理加速和/或模型剪枝加速等对所述焦面分类模型进行加速。网络结构加速、模型推理加速和模型剪枝加速已经在前文中结合图1进行了详细描述，此处不再赘述。进一步地，为了提高焦面成像分类的准确性，本发明实施例还提供了焦面分类模型的优选构建方式，例如图7中进一步示出的，在步骤213之前，方法200还可以包括步骤211和步骤212，下面将进行详细说明。
在步骤211处，方法200可以对采集得到的细胞样本在不同焦面的样本图像进行分类，并作为焦面图像样本数据集。这里所述的细胞样本可以包括位置相对固定的细胞。例如，在一个实施例中，细胞样本可以包括冷冻细胞，即可以通过冷冻的方式使细胞样本在不失活的前提下保持位置固定。方法200可以通过将细胞样本移动到不同的聚焦位置来获取在不同焦面的样本图像，并可以根据样本图像采集时的聚焦平面的物理位置来对不同焦面的样本图像进行分类以及分类标注等。焦面图像样本数据集可以包括一个或多个样本图像及其分类标注等信息。
接着，在步骤212处，方法200可以使用所述焦面图像样本数据集训练第三深度神经网络模型，得到焦面分类模型。在一个实施例中，第三深度神经网络模型可以是基于例如Resnet、Densenet等模型中的至少一种构建的。通过使用焦面图像样本数据集训练第三深度神经网络模型，可以不断优化第三深度神经网络模型的参数和权值。方法200使用焦面图像样本数据集训练第三深度神经网络模型得到训练后的第三深度神经网络模型，并可以将训练后的第三深度神经网络模型称为焦面分类模型。
根据本发明的一个实施例，在步骤212中，方法200在对所述第三深度神经网络模型进行训练时，还可以包括对所述焦面图像样本数据集采用图像数据增强处理，其中所述图像数据增强处理可以包括对图像的空间变换处理、比例缩放处理和图像亮度调节等处理中的至少一种。
需要说明的是，方法200执行步骤211或步骤212与执行步骤204可以不分先后顺序，可以同时进行。在另一个实施例中，方法200执行步骤213时，也可以同时执行步骤211和步骤212，以不断优化焦面分类模型的参数等，从而能够持续性的调整和提高焦面分类的准确性。
进一步地，方法200在执行步骤213后，可以接着执行步骤2071。在步骤2071处，方法200可以使用细胞分割模型对位于聚焦平面范围内的单细胞图像进行分割，以获取位于聚焦平面范围内的活体单细胞的特征部位。可以理解的是，在步骤2071中，方法200仅需要对位于聚焦平面范围内的单细胞图像进行特征部位分割，可以减少图像数据处理量以及提高分割效率和准确度等。在一个实施例中，步骤2071中的细胞分割模型可以通过方法200执行步骤205和步骤206得到，其中步骤205和步骤206已经在前文中结合图4进行了详细的描述，此处不再赘述。
然后，流程可以前进到步骤2081处，方法200可以对分割得到的位于聚焦平面范围内的活体单细胞的特征部位进行形态分析，以得到特征部位的几何参数。形态分析的方法可以参考前文中关于图4中步骤208的描述。
如图7中进一步示出的，在步骤2091处，方法200可以对位于聚焦平面范围内的单细胞图像进行清晰化度量，以便进一步筛选出形态清晰的单细胞图像。方法200可以对步骤213处筛选出位于聚焦平面范围内的单细胞图像进行清晰化度量，以便筛选出一张或多张位姿形态清晰的单细胞图像。在一些场景中，这里的清晰化度量可以理解为用于筛选出活体单细胞的正面图像，以排除活体单细胞活动翻转时获得的活体单细胞图像（例如侧面图像等）。由于活体单细胞的位姿形态影响检测和分析的效果，因此排除位姿形态不好的图像不仅能够进一步减少后续图像分析时的数据量，还能够有效提高最终确定的活体单细胞的形态参数的准确度。根据本发明的一个实施例，在步骤2091处，方法200对位于聚焦平面范围内的单细胞图像进行清晰化度量可以包括：采用一个或多个聚焦评价算子来评价所述单细胞图像的清晰度。
进一步地，在步骤210处，方法200可以根据步骤2081中得到的几何参数和步骤2091中得到的清晰化度量结果，确定活体单细胞的形态参数。确定形态参数的方式可以参考图4中关于步骤210的相关描述，此处不再赘述。
通过上面对本发明的用于活体细胞形态检测的方法的技术方案以及多个实施例的描述，本领域技术人员可以理解的是，本发明的方法通过对包含活体细胞的待检测图像进行识别、定位和特征部位分割等操作，能够实现对活体细胞形态的无损和精确检测，从而能够降低人工检测的主观误差，并可以辅助用于或者部分替代医生的临床诊断和评估等工作。以精子形态检测为例，与基于失活精子形态检测的现有技术相比，本发明的方法能够保持精子的生理功能和DNA遗传物质的完整性，且无需进行染色涂片等制作，因此能够消除涂片染色脱水等干扰因素对检测结果的影响，并具有准确性和稳定性高、流程简单、用时短等特点。尤为重要的是，经过本发明的方法筛选的活体精子可以用于临床（例如试管婴儿等）。在上述的本发明的实施例中，还提供了例如焦面成像分类、清晰化度量等实施方案，能够准确筛选出成像清晰、位姿合适的形态清晰的图像，以便于进一步提高检测结果的准确性和可靠性，以及降低图像处理量从而提高检测速率等。
进一步地，在上面的描述中，本发明还提供了使用目标检测模型、细胞分割模型以及焦面分类模型等基于深度学习的实施例，其特征逐级抽象和自主学习的原理更接近人脑工作方式，因此能够提取到传统方法无法捕获的特征信息，从而能够提高活体细胞形态检测的准确性。在一些实施例中，使用大样本的活体细胞图像训练得到的目标检测模型、细胞分割模型等能够显著增强活体细胞识别、定位和分割等的泛化能力和鲁棒性，并且能够大幅减少拍摄环境、亮度、杂质等干扰因素对形态分析的影响，具有较好的适应性和扩展性。通过训练和不断的迭代更新，本发明的目标检测模型、细胞分割模型以及焦面分类模型等能够满足对活体细胞不同特征部位检测（例如精子头部、中段或尾部等）、不同的焦面分类方式、不同成像方式（例如微分干涉差、眀场、暗场、相衬等）以及不同放大倍率条件下的活体细胞形态分析的需求。
在本发明的第二方面中，提供一种基于深度神经网络来进行活体细胞形态检测的装置，可以包括，定位模块，其可以配置用于使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像；分割模块，其可以配置用于使用基于深度神经网络的细胞分割模型对所述活体单细胞图像进行分割，以获取活体单细胞的特征部位；以及形态分析模块，其可以配置用于根据分割结果，分析并确定所述活体单细胞的形态参数。
根据本发明的一个实施例，根据本发明的用于活体细胞形态检测的装置还可以包括：焦面分类模块，其可以配置用于对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像；以及所述分割模块还可以配置用于对所述位于聚焦平面范围内的单细胞图像进行分割。
在本发明的第三方面中，提供一种基于深度神经网络来进行活体细胞形态检测的设备，可以包括，至少一个处理器；存储器，其可以存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据本发明的第一方面中的任意一项所述的方法。以下将结合图8进行示例性的描述。
图8是示出根据本发明实施例的基于深度神经网络来进行活体细胞形态检测的设备示意图。该设备800可以用于对包含活体细胞的待检测图像进行识别和定位、特征部位分割以及确定形态参数等操作，以实现前述结合图1-图7所述的本发明的活体细胞形态检测方案。
如图8中所示，设备800可以包括CPU 801，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备800还可以包括大容量存储器802和只读存储器ROM 803，其中大容量存储器802可以配置用于存储各类数据，包括例如目标检测模型、细胞分割模型等所需要的各种程序，ROM 803可以配置成存储对于设备800的活体细胞形态检测装置中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
进一步，设备800还可以包括其他的硬件或组件，例如示出的图形处理器（“GPU”）804和现场可编程逻辑门阵列（“FPGA”）805等。可以理解的是，尽管在设备800中示出了多种硬件或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。
本发明的设备800还可以包括通信接口806，从而可以通过该通信接口806连接到局域网/无线局域网（LAN/WLAN），进而可以通过LAN/WLAN连接到例如控制终端或连接到因特网（“Internet”）。替代地或附加地，本发明的设备800还可以通过通信接口806基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代（“3G”）、第四代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本发明的设备800还可以根据需要访问外部网络的服务器以及可能的数据库，以便获得各种已知信息、数据和模块等，并且可以远程地存储检测的各种数据。
本发明的设备800的上述CPU 801、大容量存储器802、只读存储器（“ROM”） 803、GPU 804、FPGA 805和通信接口806可以通过总线807相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线807，CPU 801可以控制设备800中的其他硬件组件及其外围设备。
在工作中，本发明的设备800的处理器CPU 801或图形处理器GPU 804可以通过总线807接收数据，并调取存储于存储器802中的计算机程序指令或代码（例如涉及基于深度神经网络来进行活体细胞形态检测的代码），以对接收到的待检测图像进行检测。具体地，CPU 801或GPU 804可以执行基于深度神经网络的目标检测模型对待检测图像进行识别和定位，以获得活体单细胞图像等。同时，设备800的CPU 801或者GPU 804还可以执行细胞分割模型来对活体单细胞图像的特征部位进行分割。接着，处理器CPU 801或GPU 804可以根据特征部位来分析和确定活体单细胞的形态参数。在CPU 801或GPU 804通过执行检测程序确定了活体单细胞的形态参数结果后，可以通过例如通信接口806将所述结果上传至网络，例如远程的数据库或者外接的控制终端等。
还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
在本发明的第四方面中，提供一种计算机可读存储介质，其可以存储有基于深度神经网络来进行活体细胞形态检测的程序，当所述程序由处理器来运行时，执行根据本发明的第一方面中的任意一项所述的方法。
计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（DynamicRandom Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
在本发明的第五方面中，提供一种基于深度神经网络来进行活体细胞形态检测的系统900，如图9中所示，可以包括：图像采集单元901，其可以用于采集包含活体细胞的待检测图像；控制终端902，其可以与所述图像采集单元901连接，并用于接收所述图像采集单元901发送的所述待检测图像；以及如本发明第三方面中所述的设备800，其可以与所述控制终端902连接，用于接收由所述控制终端902发送的所述待检测图像以对所述待检测图像进行检测，并将检测结果发送至所述控制终端902。
根据本发明的一个实施例，图像采集单元901可以包括光学显微成像设备（例如显微镜）、摄像机、光源装置等中的至少一种。控制终端902与图像采集单元901之间可以通过有线或者无线的方式连接。在另一个实施例中，控制终端902可以包括例如台式机、笔记本电脑、平板电脑、智能手机等中的一种或多种。设备800与控制终端902之间可以通过有线或者无线的方式连接并实现信息交互。设备800可以向控制终端902发送例如获取待检测图像的控制信息以及可以将检测结果发送至控制终端902。控制终端902可以实时地向设备800发送待检测图像信息以及状态信息等。根据本发明的一个实施例，所述设备800可以包括推理机。在一个具体实施例中，在使用目标检测模型、细胞分割模型或焦面分类模型前，可以通过使用例如网络结构加速、模型推理加速和/或模型剪枝加速等对目标检测模型、焦面分类模型以及细胞分割模型等中的一个或多个模型进行加速，然后在推理机上运行以对接收到的待检测图像进行检测，有利于提高目标检测模型、细胞分割模型或焦面分类模型的推理速度以及对待检测图像的检测速度。
在一些应用场景中，图像采集单元901、控制终端902以及设备800可以采用内部网络部署方式，例如可以通过路由器或者交换机等使其连接在同一内网中。根据这样的设置，可以避免本发明的系统被公开访问，从而能够更好的保护系统内的信息安全，特别是在医学图像等涉及个人隐私的信息方面，本发明的系统具有较好的部署价值和应用前景。进一步地，在一些实施例中，设备800可以通过远程连接服务器等，以便接受远程更新等操作，这样的设置能够更好的实现系统的更新和维护，以及降低现场维护的时间和成本。在另一些实施例中，设备800可以通过本地自学习的方式，不断迭代更新模型参数，从而使其能够更好的服务于本地连接的控制终端以及更好的适配于本地采集的图像数据和检测环境等，以保证检测的准确性和可靠性。
在一个具体实施例中，在设备800和控制终端902的信息交互中，可以定义网络数据包格式为 32bits数据大小+16bits数据ID+数据，其中32bits数据大小可以确保程序知晓数据的开始与接收范围，16bits数据ID可以确保程序根据不同数据类型来进行不同的处理，数据部分可以根据数据类型进行对应的解码。根据本发明的系统可以通过多进程多队列来实现实时性的需求，以下将进行示例性的描述。
具体地，设备800上可以使用五个进程队列保存不同阶段的数据，包括：第一阶段，网络进程实时接收网络数据流，保存到buffer_queue进程队列；第二阶段，使用一个buffer_worker进程实时处理接收到buffer_queue数据，解析成网络消息包，传入msg_queue进程队列；第三阶段，msg_worker进程实时处理msg_queue数据，解析出控制命令及图像数据，将图像数据传入img_queue进程队列；第四阶段，batch_worker进程实时处理img_queue数据，将batch_size个图像组合成一个数据传入batch_queue进程队列；以及第五阶段，tensor_worker进程实时处理batch_queue数据，进行预处理转换为设备800可使用的tensor数据，进而推理得到最后结果。设备800的检测结果可以传输回控制终端进行结果展示。
虽然本发明的实施例如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (17)

1.一种基于深度神经网络来进行活体细胞形态检测的方法，包括：
使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像；
使用基于深度神经网络的焦面分类模型对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像；
使用基于深度神经网络的细胞分割模型对所述位于聚焦平面范围内的单细胞图像进行分割，以获取活体单细胞的特征部位；
对所述位于聚焦平面范围内的单细胞图像进行清晰化度量，包括采用一个或多个聚焦评价算子来评价所述单细胞图像的清晰度，以便筛选出位姿形态清晰的单细胞图像，其中所述聚焦评价算子包括图像灰度值方差、归一化的图像灰度值方差和绝对中心距中的至少一种；
对分割得到的所述活体单细胞的特征部位进行形态分析，以得到所述特征部位的几何参数；以及
根据所述几何参数和清晰化度量结果，确定所述活体单细胞的形态参数，
其中根据所述几何参数和清晰化度量结果确定所述活体单细胞的形态参数包括：
基于所述几何参数的大小，对所述单细胞图像进行第一排序；
基于清晰度的大小，对所述单细胞图像进行第二排序；
根据排序结果，筛选出在所述第一排序和所述第二排序中均位于前列的一张图像或多张图像；以及
将所述一张图像的几何参数或多张图像的几何参数的平均值作为所述活体单细胞的形态参数。
2.根据权利要求1所述的方法，其中在使用目标检测模型对所述待检测图像进行识别和定位之前，所述方法还包括：
获取大样本的活体细胞图像，并对所述活体细胞图像中的单个细胞进行第一标注；以及
使用带第一标注的所述活体细胞图像训练第一深度神经网络模型，以便得到所述目标检测模型。
3.根据权利要求1或2所述的方法，其中在使用细胞分割模型对所述位于聚焦平面范围内的单细胞图像进行分割之前，所述方法还包括：
对获取的活体细胞图像中的单个细胞的特征部位进行第二标注；以及
使用带第二标注的所述活体细胞图像训练第二深度神经网络模型，以便得到所述细胞分割模型。
4.根据权利要求2所述的方法，其中在对所述第一深度神经网络模型进行训练时，所述方法包括对所述活体细胞图像采用图像数据增强处理，其中
所述图像数据增强处理包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理中的至少一种。
5.根据权利要求3所述的方法，其中在对所述第二深度神经网络模型进行训练时，所述方法包括对所述活体细胞图像采用图像数据增强处理，其中
所述图像数据增强处理包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理中的至少一种。
6.根据权利要求1所述的方法，其中所述细胞分割模型的输出部分采用单分支多类分割结构或者多分支单类分割结构。
7.根据权利要求1所述的方法，其中所述活体细胞包括活体精子，并且所述特征部位包括精子头部、空泡、中段和尾部中的至少一个。
8.根据权利要求1所述的方法，其中对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像包括：
对采集得到的细胞样本在不同焦面的样本图像进行分类，并作为焦面图像样本数据集；
使用所述焦面图像样本数据集训练第三深度神经网络模型，得到焦面分类模型；以及
使用所述焦面分类模型对所述活体单细胞图像进行焦面成像分类，以筛选出位于所述聚焦平面范围内的单细胞图像。
9.根据权利要求8所述的方法，其中在对所述第三深度神经网络模型进行训练时，所述方法包括对所述焦面图像样本数据集采用图像数据增强处理，其中
所述图像数据增强处理包括对图像的空间变换处理、比例缩放处理和图像亮度调节处理中的至少一种。
10.根据权利要求8所述的方法，进一步包括：
在使用所述目标检测模型、所述细胞分割模型或所述焦面分类模型前，通过使用网络结构加速、模型推理加速和/或模型剪枝加速对所述目标检测模型、所述细胞分割模型和所述焦面分类模型中的至少一个模型进行加速。
11.根据权利要求1所述的方法，其中所述几何参数包括长度、宽度、面积、椭圆率、数量以及位置中的至少一项。
12.根据权利要求1所述的方法，其中所述待检测图像包括微分干涉差图像、相衬图像、明场图像和暗场图像中的至少一种。
13.一种基于深度神经网络来进行活体细胞形态检测的装置，包括，
定位模块，其配置用于使用基于深度神经网络的目标检测模型对采集的包含活体细胞的待检测图像进行识别和定位，以提取活体单细胞图像；
焦面分类模块，其配置用于使用基于深度神经网络的焦面分类模型对所述活体单细胞图像进行焦面成像分类，以筛选出位于聚焦平面范围内的单细胞图像；
分割模块，其配置用于使用基于深度神经网络的细胞分割模型对所述位于聚焦平面范围内的单细胞图像进行分割，以获取活体单细胞的特征部位；以及
形态分析模块，其配置用于
对所述位于聚焦平面范围内的单细胞图像进行清晰化度量，包括采用一个或多个聚焦评价算子来评价所述单细胞图像的清晰度，以便筛选出位姿形态清晰的单细胞图像，其中所述聚焦评价算子包括图像灰度值方差、归一化的图像灰度值方差和绝对中心距中的至少一种；
对分割得到的所述活体单细胞的特征部位进行形态分析，以得到所述特征部位的几何参数；以及
根据所述几何参数和清晰化度量结果，确定所述活体单细胞的形态参数，
其中根据所述几何参数和清晰化度量结果确定所述活体单细胞的形态参数包括：
基于所述几何参数的大小，对所述单细胞图像进行第一排序；
基于清晰度的大小，对所述单细胞图像进行第二排序；
根据排序结果，筛选出在所述第一排序和所述第二排序中均位于前列的一张图像或多张图像；以及
将所述一张图像的几何参数或多张图像的几何参数的平均值作为所述活体单细胞的形态参数。
14.一种基于深度神经网络来进行活体细胞形态检测的设备，包括，
至少一个处理器；
存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据权利要求1-12的任意一项所述的方法。
15.一种计算机可读存储介质，其存储有基于深度神经网络来进行活体细胞形态检测的程序，当所述程序由处理器来运行时，执行根据权利要求1-12的任意一项所述的方法。
16.一种基于深度神经网络来进行活体细胞形态检测的系统，包括：
图像采集单元，其用于采集包含活体细胞的待检测图像；
控制终端，其与所述图像采集单元连接，并用于接收所述图像采集单元发送的所述待检测图像；以及
如权利要求14所述的设备，其与所述控制终端连接，用于接收由所述控制终端发送的所述待检测图像以对所述待检测图像进行检测，并将检测结果发送至所述控制终端。
17.根据权利要求16所述的系统，其中所述设备包括推理机。
CN202110169830.7A 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品 Active CN112508955B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202210394273.3A CN114913126A (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN202110169830.7A CN112508955B (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品
EP22749284.0A EP4290451A1 (en) 2021-02-08 2022-04-01 Deep neural network-based method for detecting living cell morphology, and related product
US18/276,350 US20240119747A1 (en) 2021-02-08 2022-04-01 Deep neural network-based method for detecting living cell morphology, and related product
PCT/CN2022/084777 WO2022167005A1 (zh) 2021-02-08 2022-04-01 基于深度神经网络对活体细胞形态检测的方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110169830.7A CN112508955B (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210394273.3A Division CN114913126A (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品

Publications (2)

Publication Number Publication Date
CN112508955A CN112508955A (zh) 2021-03-16
CN112508955B true CN112508955B (zh) 2022-05-10

Family

ID=74953036

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210394273.3A Pending CN114913126A (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN202110169830.7A Active CN112508955B (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210394273.3A Pending CN114913126A (zh) 2021-02-08 2021-02-08 基于深度神经网络对活体细胞形态检测的方法及相关产品

Country Status (4)

Country Link
US (1) US20240119747A1 (zh)
EP (1) EP4290451A1 (zh)
CN (2) CN114913126A (zh)
WO (1) WO2022167005A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913126A (zh) * 2021-02-08 2022-08-16 中国科学院自动化研究所 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN113706481A (zh) * 2021-08-13 2021-11-26 苏州贝康智能制造有限公司 精子质量检测方法、装置、计算机设备和存储介质
CN113780145A (zh) * 2021-09-06 2021-12-10 苏州贝康智能制造有限公司 精子形态检测方法、装置、计算机设备和存储介质
CN114037857B (zh) * 2021-10-21 2022-09-23 中国科学院大学 图像分类精度提升方法
CN114187296B (zh) * 2021-11-09 2022-12-13 元化智能科技(深圳)有限公司 胶囊内窥镜图像病灶分割方法、服务器及系统
CN116912155A (zh) * 2022-11-28 2023-10-20 苏州博致医疗科技有限公司 一种准确测量活精子形态的方法
CN115861719B (zh) * 2023-02-23 2023-05-30 北京肿瘤医院(北京大学肿瘤医院) 一种可迁移细胞识别工具

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120095649A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 촬영 장치 및 그 촬영 방법
US10255693B2 (en) * 2017-05-02 2019-04-09 Techcyte, Inc. Machine learning classification and training for digital microscopy images
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
CN108913599B (zh) * 2018-08-10 2021-08-17 清华大学 一种活细胞原位培养长时程多模信息检测方法及系统
CA3114584A1 (en) * 2018-09-28 2020-04-02 The Brigham And Women's Hospital, Inc. Automated evaluation of sperm morphology
CN110458821A (zh) * 2019-08-07 2019-11-15 屈晨 一种基于深度神经网络模型的精子形态分析方法
CN110705639B (zh) * 2019-09-30 2022-03-15 吉林大学 一种基于深度学习的医学精子图像识别系统
CN111563550B (zh) * 2020-04-30 2023-08-25 北京百度网讯科技有限公司 基于图像技术的精子形态检测方法和装置
CN112135048B (zh) * 2020-09-23 2022-02-15 创新奇智(西安)科技有限公司 一种目标对象的自动对焦方法以及装置
CN112036384B (zh) * 2020-11-04 2021-02-05 成都朴华科技有限公司 精子头部形态识别方法、装置及设备
CN114913126A (zh) * 2021-02-08 2022-08-16 中国科学院自动化研究所 基于深度神经网络对活体细胞形态检测的方法及相关产品

Also Published As

Publication number Publication date
CN112508955A (zh) 2021-03-16
CN114913126A (zh) 2022-08-16
US20240119747A1 (en) 2024-04-11
EP4290451A1 (en) 2023-12-13
WO2022167005A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
CN112508955B (zh) 基于深度神经网络对活体细胞形态检测的方法及相关产品
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
CN111462076B (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN108090906B (zh) 一种基于区域提名的宫颈图像处理方法及装置
US20220215548A1 (en) Method and device for identifying abnormal cell in to-be-detected sample, and storage medium
CN106204642B (zh) 一种基于深度神经网络的细胞追踪方法
CN106780498A (zh) 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
CN112036384B (zh) 精子头部形态识别方法、装置及设备
CN111340019A (zh) 基于Faster R-CNN的粮仓害虫检测方法
CN112464933A (zh) 一种地基凝视红外成像弱小目标智能识别方法
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN112329893A (zh) 基于数据驱动的异源多目标智能检测方法及系统
Mayerich et al. Fast cell detection in high-throughput imagery using GPU-accelerated machine learning
CN114612738B (zh) 细胞电镜图像分割模型的训练方法和细胞器互作分析方法
Hernández-Ferrándiz et al. SCASA: From synthetic to real computer-aided sperm analysis
Gao et al. Improved Cervical Cell Segmentation Algorithm Based on Cascade Mask RCNN
CN112084889A (zh) 一种图像行为识别方法、装置、计算设备及存储介质
CN111476129A (zh) 一种基于深度学习的土壤杂质检测方法
CN110796127A (zh) 基于遮挡感知的胚胎原核检测系统、存储介质及终端
Ma et al. Visual detection of cells in brain tissue slice for patch clamp system
CN118052814B (zh) 基于ai技术的全自动标本前处理系统及方法
Dai et al. Microscopic image recognition method of stomata in living leaves based on improved YOLO-X
Diyasa et al. Abnormality Determination of Spermatozoa Motility Using Gaussian Mixture Model and Matching-based Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220818

Address after: No. 5055, 5th Floor, No. 101, South West Fourth Ring Road, Fengtai District, Beijing 100161

Patentee after: PREDATOR (BEIJING) BIOTECHNOLOGY Co.,Ltd.

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee before: University OF CHINESE ACADEMY OF SCIENCES

Patentee before: PREDATOR (BEIJING) BIOTECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220915

Address after: Room 607-2, 5th Floor, Building 6, Yard 26, Yongwang West Road, Daxing District, Beijing, 102600 (cluster registration)

Patentee after: Beijing Jingzhe Biotechnology Co.,Ltd.

Address before: No. 5055, 5th Floor, No. 101, South West Fourth Ring Road, Fengtai District, Beijing 100161

Patentee before: PREDATOR (BEIJING) BIOTECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right