CN113128455A - 一种细胞图像重构模型训练方法和系统 - Google Patents

一种细胞图像重构模型训练方法和系统 Download PDF

Info

Publication number
CN113128455A
CN113128455A CN202110484049.9A CN202110484049A CN113128455A CN 113128455 A CN113128455 A CN 113128455A CN 202110484049 A CN202110484049 A CN 202110484049A CN 113128455 A CN113128455 A CN 113128455A
Authority
CN
China
Prior art keywords
cell image
training
image
model
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110484049.9A
Other languages
English (en)
Other versions
CN113128455B (zh
Inventor
范伟亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ruiyu Biotech Co Ltd
Original Assignee
Shanghai Ruiyu Biotech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ruiyu Biotech Co Ltd filed Critical Shanghai Ruiyu Biotech Co Ltd
Priority to CN202110484049.9A priority Critical patent/CN113128455B/zh
Publication of CN113128455A publication Critical patent/CN113128455A/zh
Application granted granted Critical
Publication of CN113128455B publication Critical patent/CN113128455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能细胞图像处理领域，特别涉及一种细胞图像重构模型训练方法和系统。该方法包括：获取初始细胞图像；对所述初始细胞图像进行变形处理，得到训练细胞图像；基于所述训练细胞图像对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型；所述细胞图像重构模型包括特征提取单元和图像重建单元；所述特征提取单元基于所述训练细胞图像得到图像的特征信息；所述图像重建单元基于所述特征信息得到重建细胞图像，所述重建细胞图像维度与所述初始细胞图像的维度相同。

Description

一种细胞图像重构模型训练方法和系统
技术领域
本申请涉及人工智能细胞图像处理领域，特别涉及一种细胞图像重构模型训练方法和系统。
背景技术
细胞图像检测是医学上的一项常规检测手段,如何快速有效的识别显微细胞图像有形成分是显微细胞检测的关键所在，但由于细胞图像的特殊性，采用人眼对其进行识别和分析难度较大，对检测人员的经验要求较高。
因此，希望借助深度学习技术对细胞图像检测提供帮助，但目前暂时没有深度学习模型可以直接使用于细胞图像检测的场景。
发明内容
本申请实施例之一提供一种细胞图像重构模型训练方法，包括：获取初始细胞图像；对所述初始细胞图像进行变形处理，得到训练细胞图像；基于所述训练细胞图像对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型；所述细胞图像重构模型包括特征提取单元和图像重建单元；所述特征提取单元基于所述训练细胞图像得到图像的特征信息；所述图像重建单元基于所述特征信息得到重建细胞图像，所述重建细胞图像维度与所述训练细胞图像的维度相同；其中，所述第一损失函数基于所述重建细胞图像和所述初始细胞图像确定；所述特征提取单元基于所述训练细胞图像得到图像的特征信息至少包括对所述训练细胞图像进行卷积处理。
本申请实施例之一提供一种细胞图像重构模型训练系统，包括：初始图像获取模块，用于获取初始细胞图像；图像变形模块，用于对所述初始细胞图像进行变形处理，得到训练细胞图像；模型训练模块，用于基于所述训练细胞图像对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型；所述细胞图像重构模型包括特征提取单元和图像重建单元；所述特征提取单元基于所述训练细胞图像得到图像的特征信息；所述图像重建单元基于所述特征信息得到重建细胞图像，所述重建细胞图像维度与所述初始细胞图像的维度相同；其中，所述第一损失函数基于所述重建细胞图像和所述初始细胞图像确定；所述特征提取单元基于所述训练细胞图像得到图像的特征信息至少包括对所述训练细胞图像进行卷积处理。
本申请实施例之一提供一种细胞图像重构模型训练装置，包括处理器，其特征在于，所述处理器用于执行上述的细胞图像重构模型训练方法。
附图说明
本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本申请一些实施例所示的检测模型训练系统的应用场景示意图；
图2是根据本申请一些实施例所示的细胞图像重构模型的训练方法的示例性流程图；
图3是根据本申请一些实施例所示的细胞图像重构模型的训练方法的示意图；
图4是根据本申请一些实施例所示的细胞图像重构模型联合训练的示例性流程图；
图5是根据本申请一些实施例所示的细胞图像重构模型的训练系统的模块图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
现有深度学习模型在训练过程中会需要大量训练样本，在训练样本不充足的情况下，训练得到的模型效果不佳。有鉴于此，在一些实施例中，提供了一种通过预训练增加训练样本数量同时又能够保证训练样本质量的方法。
图1是根据本申请一些实施例所示的检测模型训练系统的应用场景示意图。
检测模型训练系统100可以包括服务器110、网络120、数据库130和服务器140。
服务器110可以用于管理资源以及处理来自本系统至少一个组件或外部数据源(例如，云数据中心)的数据和/或信息。在一些实施例中，服务器110可以是一个单个的服务器或者一个服务器群。服务器群可以是集中式的或分布式的(例如，服务器110可以是一分布式的系统)。在一些实施例中，服务器110可以是本地的或远程的。在一些实施例中，服务器110可以在一个云端平台上实现，或者以虚拟方式提供。仅仅作为示例，云端平台可以包括私有云、公共云、混合云、社区云、分布云、跨云、多云等或上述举例的任意组合。在一些实施例中，服务器110可以在一个计算设备上实现，该计算设备可以包括一个或多个部件。在一些实施例中，服务器110可以用于对细胞检测模型进行训练或执行。
在一些实施例中，服务器110可以包括处理设备112。处理设备112可以处理与训练数据生成相关的信息和/或数据以执行本说明书中描述的一个或多个功能。在一些实施例中，处理设备112可以包括一个或多个处理器(例如，单晶片处理器或多晶片处理器)。仅仅作为示例，处理设备112可以包括一个或多个硬件处理器，例如中央处理器(CPU)、专用积体电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数位讯号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑装置(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或上述举例的任意组合。
网络120可以连接系统100的各组成部分和/或连接系统100与外部资源部分。网络120使得各组成部分之间，以及与系统100之外其他部分之间可以进行通讯，促进数据和/或信息的交换。在一些实施例中，网络120可以是有线网络或无线网络中的任意一种，或其组合。仅仅作为示例，网络120可以包括电缆网络、有线网络、光纤网络、远端通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共开关电话网络(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或上述举例的任意组合。在一些实施例中，网络120可以包括一个或多个网络交换点。在一些实施例中，服务器110可以通过网络120获取训练样本以实现模型的训练。
数据库130可以用于储存数据和/或指令。在一些实施例中，数据库130可以在单个中央服务器、通过通信链路连接的多个服务器或多个个人设备中实现。在一些实施例中，数据库130可以包括大容量存储器、可以移动存储器、挥发性读写存储器(例如，随机存取存储器RAM)、只读存储器(ROM)等或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。在一些实施例中，数据库130可以在一个云端平台上实现。仅仅作为示例，云端平台可以包括私有云、公共云、混合云、社区云、分布云、跨云、多云等或上述举例的任意组合。在一些实施例中，数据库130中可以包括用于模型训练的图像信息以及其他数据。
在一些实施例中，服务器140与服务器110类似，在一些实施例中，服务器140可以用于训练或执行细胞变形模型。
在一些实施例中，服务器110可以通过网络120与训练数据生成细胞检测模型的训练系统100的其他组件(如数据库130和/或其他数据源150等)通信，以获取其中的信息和/或数据。例如，服务器110可以通过网络120获取储存于数据库130中的训练数据。在一些实施例中，数据库130可以与网络120连接以与训练数据生成系统100中的一个或多个部件(例如，服务器110)通信。在一些实施例中，细胞检测模型的训练系统100中的一个或多个部件可以通过网络120访问储存于数据库130和/或其他数据源150中的数据或指令。在一些实施例中，数据库130可以直接与系统100中的一个或多个部件(例如，服务器110)连接或通信。在一些实施例中，数据库130可以是服务器110的一部分。在一些实施例中，训练数据生成系统100的一个或多个部件(例如，服务器110)可以拥有存取数据库130的许可。
图2是根据本申请一些实施例所示的细胞检测模型的训练方法的示例性流程图。
图3是根据本申请一些实施例所示的细胞检测模型的训练方法的示意图。
在一些实施例中，细胞图像重构模型的训练方法200可以由处理设备112执行，包括：
步骤210，获取初始细胞图像310。在一些实施例中，步骤210可以由初始图像获取模块510执行。
在模型训练阶段，初始细胞图像310可以是经过筛选的显微细胞图像，将筛选后的图像用于模型的训练，可以减少无用信息对模型的干扰，提高模型训练的效率。在一些实施例中，细胞图像可以是具有标签或不具有标签的。
在一些实施例中，初始细胞图像310可以直接作为训练样本对细胞图像重构模型进行训练，但由于初始细胞图像310需要经过一定程度上的筛选，因此初始细胞图像310的数量可能不足以完成模型的训练，故在一些实施例中，需要基于该初始细胞图像310扩充训练样本的数量。
步骤220，对所述初始细胞图像310进行变形处理，得到训练细胞图像320。在一些实施例中，步骤220可以由图像变形模块520执行。
在一些实施例中，初始细胞图像310中可能包括多张图片以及每张图片上包括多个细胞的图像，对初始细胞图像310进行变形处理意在对图片上细胞图像进行变形，在一些实施例中，可以直接对图片进行变形处理，从而对图片上的细胞的图像进行变形处理。
在一些实施例中，在初始细胞图像310进行变形处理的过程中，细胞的图像可以同时进行一种或多种变形处理，此外，在具有多个细胞的图像中，每个细胞可以分别进行不同的变形处理。
在一些实施例中，可以将变形处理后的图像作为训练细胞图像320，以便对模型进行训练，在一些实施例中，还可以连同初始细胞图像310以及变形处理后的图像一同作为训练细胞图像320。
在一些实施例中，为了避免在变形处理过程中造成细胞图像中特征信息的丢失和篡改，所述变形处理包括对初始细胞图像310进行良性仿射变换。良性仿射变换指不会对图像原始特征产生变化的变换方式，如进行旋转变换、翻转变换和平移变换等，变换后的图像仍然与初始图像特征及属性保持一致。
示例性的，当细胞图像进行旋转变换时，细胞图像旋转的角度可以是45度、90度、270度等；当细胞图像进行翻转变换时，翻转的轴线可以是图像中的任意位置，翻转的方式包括垂直翻转和水平翻转等，在一些实施例中，细胞图像的变形处理还可以是镜像变换等。初始细胞图像310在经过上述良性仿射变换后细胞的类别、形态、灰度值和纹理等特征和属性均未发生变化。
细胞在受到外力作用下较容易产生形变，如在外部压力下出现伸展或挤压变形。在实际场景中，细胞图像重构模型输入的细胞图像可能是在检测或其他步骤中受到了一定外力从而细胞产生了有限的形变，为了能够使模型能够准确的识别受到有限外力的细胞图像的特征，在一些实施例中，通过细胞变形模型对所述初始细胞图像310进行变形处理，得到所述训练细胞图像320。
在一些实施例中，所述细胞变形模型用于生成在有限外力作用下的细胞图像。示例性的，如细胞在变性或破裂前能够承受的压强为300Pa，可以通过该细胞变形模型，基于初始细胞图像310，生成压强分别为50Pa、90Pa、150Pa和200Pa时的细胞图像，作为变形后的细胞图像。
在一些实施例中，细胞变形模型可以包括基于神经网络的深度学习模型。示例性的，可以是基于卷积神经网络(Convolutional Neural Networks,CNN)、循环神经网络(Recurrent Neural Network，RNN)、R-CNN(包括RCNN、Fast RCNN、Faster RCNN)、全卷积网络(Fully Convolutional Networks，FCN)或其他类似的神经网络构建的深度学习模型。
在一些实施例中，所述细胞变形模型通过以拍摄的细胞图像作为训练数据以及细胞受力信息作为标签对初始模型进行训练得到。具体的，可以将拍摄的细胞图像输入细胞变形模型，得到细胞受力信息的预测值，调整模型参数，以降低预测值与标签之间的差异值。当差异值低于某一阈值或迭代次数达到限制时，停止模型的训练，得到训练完成的细胞变形模型。
在一些实施例中，用于模型训练的细胞图像在被拍摄时受有限外力作用发生有限形变。继续采用上述示例，如细胞在变性或破裂前能够承受的压强为300Pa，即在对细胞施加压力过程中，可以连续拍摄采集细胞图像，具体的，可以在施加压力过程中，每增加10Pa获取一次细胞图像。在一些实施例中，可以记录拍摄时的压强，并以此作为细胞变形模型训练时的标签。
步骤230，基于所述初始细胞图像310对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型。在一些实施例中，步骤230可以由模型训练模块530执行。
在一些实施例中，以最小化第一损失函数为目标对初始细胞图像重构模型进行训练，在迭代过程中对模型参数进行更新，当第一损失函数小于预设阈值或迭代次数大于预设次数时，停止训练已获取训练好的细胞图像重构模型。
如图3所示，细胞图像重构模型可以包括特征提取单元330和图像重建单元340。在一些实施例中，特征提取单元330可以基于所述训练细胞图像320得到图像的特征信息。
在一些实施例中，特征提取单元330基于训练细胞图像320得到图像的特征信息至少包括对训练细胞图像320进行卷积处理，在一些其他实施例中，特征提取的方法还可以包括局部二值模式(Local Binary Pattern，LBP)、方向梯度直方图(Histogram of OrientedGradient，HOG)、几何距灰度共生矩阵等方法中的一个或多个。
在一些实施例中，特征提取单元330包括5个残差块，每个残差块包括1个池化层和2个可分离卷积层。在一些实施例中，池化层可以是最大池化层(Max-pooling)。在一些实施例中，通过残差层和1×1的瓶颈层将每个残差块的输入和输出连接，并通过上述最大池化层连接，随着网络层数的深化，特征提取单元330对图像表征能力也在增强。需要说明的是，在一些其他实施例中，根据实际模型的情况，上述残差块的数量还可以根据情况增加或减少，此外，特征提取单元330还可以包括其他神经网络层。
进一步的，每个可分离卷积层包括3×3的卷积核、BN(批标准化)层和ReLU层。需要说明的是，在一些其他实施例中，还可以通过其他非线性激活单元替换上述BN层和ReLU层，如logistic函数层或tanh函数层。通过该可分离卷积层对输入的细胞图像数据进行卷积处理，其训练参数个数是常规卷积的约1/3。因此，在参数量相同的前提下，采用可分离卷积层的模型的层数可以做的更深，避免出现梯度爆炸的问题。示例性的，若在第一个残差块中卷积核的通道数为64，卷积核通道每经过1次池化操作都翻倍，容易得知，在第五个残差块中，卷积核的通道数为1024，具有较强的特征提取能力。
在一些实施例中，特征提取单元330所获取的图像的特征信息可以是特征矩阵或参数等形式。
在一些实施例中，所述图像重建单元340基于所述特征信息得到重建细胞图像350，所述重建细胞图像350维度与所述初始细胞图像310的维度相同。
在一些实施例中，图像重建单元340可以包括3个残差块，并且块与块间通过上采样层衔接。在一些实施例中，上采样层可以采用双线性插值算法(Bilinearinterpolation)。需要说明的是，在一些其他实施例中，上述图像重建单元340中残差块的数量可以根据实际情况增加或减少，此外，图像重建单元340中可以包括其他网络层；上采样层在一些实施例中还可以包括最邻近差值算法(Nearest)或反池化层(Unpooling)。
在一些实施例中，为了更好地考虑图像的空间信息，图像重建单元340通过残差连接的方式，将浅层信息与特征提取单元330对应的特征进行融合，使得浅层上下文信息能够传播到更高的分辨率层，从而将深层抽象特征与浅层表象特征组合起来以获取图像中的更多信息。
图像重建单元340生成的重建细胞图像350维度与所述初始细胞图像310的维度相同，可以更加容易将初始细胞图像310和输出的重建细胞图像350之间进行对比。在一些实施例中，训练细胞图像320也可以与初始细胞图像310的纬度相同。在一些实施例中，第一损失函数基于所述重建细胞图像350和所述初始细胞图像310确定，可以理解的是，第一损失函数表示初始细胞图像310和重建细胞图像350之间的差异，即通过对模型的训练，降低该模型重建图像与输入图像的差异。
在一些实施例中，可以采用L1损失作为第一损失函数，表示为：
Figure BDA0003049616910000091
式(1)中，j表示网络的第j层，CjHjWj表示第j层特征图的大小；IHR初始细胞图像310；ISR表示重建细胞图像350。
在一些实施例中，使用L1损失，可以获得更加清晰的重建细胞图像350，在一些实施例中，第一损失函数还可以是其他损失函数，如均方误差损失函数。
在一些实施例中，当通过细胞变形模型对所述初始细胞图像310进行变形处理时，细胞的受力信息的大小与所述细胞图像重构模型中的所述第一损失函数中的正则化项正相关。具体的，当细胞受力越大时，细胞的变形越大，此时增大第一损失函数中的正则化项，使得训练过程中对于重建细胞图像350的相似度要求降低，以避免模型的训练过程中出现过拟合。在一些实施例中，令与细胞的受力信息的大小的正则化系数为λ，此时基于式(1)，第一损失函数可以进一步表示为：
Figure BDA0003049616910000101
图4是根据本申请一些实施例所示的细胞图像重构模型联合损失函数的示意图。
在一些实施例中，模型的训练方法200可以进一步包括：
基于第二损失函数与所述第一损失函数构造联合损失函数，基于所述联合损失函数对所述训练模型进行联合训练。
在一些实施例中，为了使重建细胞图像350中获取到初始细胞图像310的特征，所述第二损失函数基于所述初始细胞图像310和所述重建细胞图像350确定，用于反映生成判别损失，即利用鉴别器识别生成器重建图像，以无法区分是否为重建图像为目标进行训练。
在一些实施例中，采用对抗损失作为第二损失函数，使得模型能够生成更加清晰、真实的纹理。在一些实施例中，利用Ladv表示第二损失函数，第二损失函数与第一损失函数所构造联合损失函数可以表示为：
Lall＝α1Lrec+α2Ladv (3)；
式3中，α1和α2为权重系数，在共同确定联合损失函数时可以为两者赋予权重，例如两者的加权平均(即α1和α2均为0.5)。在一些实施例中，权重系数可以预先设定，以反映对于第一损失函数和第二损失函数的作用的重视程度。
在一些实施例中，为了增加模型对细胞图像的重建效果，提高人眼对重建图像中细节的识别，引入感知损失函数对模型参数进行调整。基于此，模型的训练方法200还可以进一步包括：
获取感知损失函数。
在一些实施例中，感知损失函数用于所述模型的联合训练，即可以基于第一损失函数、第二损失函数和感知损失函数构造联合损失函数，对模型进行联合训练，在一些实施例中，利用Lper表示感知损失函数，联合损失函数可以进一步表示为：
Lall＝α1Lrec+α2Ladv+α3Lper (4)；
式(4)中，α3与α1和α2类似，为权重系数，在此不再赘述。
在一些实施例中，感知损失函数基于第三损失函数和第四损失函数构造。其中，第三损失函数基于所述初始细胞图像重构模型的参数确定，第三损失函数用于反应初始特征提取单元330的信息；所述第四损失函数基于所述重建细胞图像350和初始细胞图像310确定，用于反映在训练中模型学习中的迁移特征。在一些实施例中，感知损失函数可以表示为：
Figure BDA0003049616910000111
式(5)中，
Figure BDA0003049616910000112
表示损失网络，在一些实施例中，采用vgg16网络作为特征提取单元330的网络，即表示为
Figure BDA0003049616910000113
表示图像重建单元340的网络；T表示模型学习中的迁移特征。
在一些实施例中，通过第一损失函数、第二损失函数和感知损失函数构造联合损失函数并对模型进行训练，训练得到的模型可以兼具上述三种损失函数在图像上带来的效果提升。
在一些实施例中，训练完成的细胞图像重构模型中，特征提取单元330和图像重建单元340可以相互分离，并分别使用。
在一些实施例中，由于对细胞图像进行人工标注较为耗费时间，且成本较高，因此在实际对模型训练过程中，无法提供较多带有标注的细胞图像信息。因此，期望通过少量带有标签信息(即标注过)的细胞图像信息对模型进行微调，将图像特征知识进行迁移，以提高模型的效果。在一些实施例中，标签信息可以是人工标注得到的，标签信息包括但不仅限于细胞的类型、存活时间和状态信息等。
在一些实施例中，训练好的细胞图像重构模型可以基于实际细胞图像，通过所述特征提取单元330得到实际细胞图像特征信息。所述实际细胞图像特征信息用于反映所述实际细胞图像的分类结果，即单独利用特征提取单元330细胞图像的特征，并进行分类操作。在一些其他实施例中，还可以将该特征提取单元330用于其他模型上，以对细胞图像进行特征提取，并基于所提取的特征信息做进一步处理。
在一些实施例中，训练好的细胞图像重构模型通过所述图像重建单元340基于所述实际细胞图像特征信息得到重建实际细胞图像。图像重建单元340输出的所述重建实际细胞图像至少反映所述实际细胞图像语义分割结果，在一些实施例中，重建实际细胞图像还可以包括目标检测结果以及特征提取单元330实现的分割结果等。
在一些实施例中，在进行微调时，分类任务可以的损失函数根据标签不同，选择不同的损失函数，如二分类交叉熵、多分类交叉熵等。需要说明的是，在一些实施例中，分割任务训练时，也可以使用多分类交叉熵和dice损失等。
可以理解的是，训练好的模型在输入实际细胞图像后，能够基于少量带标签数据实现的功能包括细胞分类、细胞图像语义分割和目标检测等。
图5是根据本申请一些实施例所示的细胞图像重构模型的训练系统的模块图。
如图5所示，细胞图像重构模型的训练系统500包括初始图像获取模块510、图像变形模块520和模型训练模块530。
初始图像获取模块510可以用于获取初始细胞图像310。
在一些实施例中，关于初始细胞图像310的更多描述可以参见步骤210及相关内容，在此不再赘述。
图像变形模块520可以用于对所述初始细胞图像310进行变形处理，得到训练细胞图像320。
在一些实施例中，关于训练细胞图像320的更多描述可以参见步骤220及相关内容，在此不再赘述。
模型训练模块530可以用于基于所述训练细胞图像320对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型；所述细胞图像重构模型包括特征提取单元330和图像重建单元340；所述特征提取单元330基于所述训练细胞图像320得到图像的特征信息；所述图像重建单元340基于所述特征信息得到重建细胞图像350，所述重建细胞图像350维度与所述初始细胞图像310的维度相同。
在一些实施例中，关于细胞图像重构模型的更多描述可以参见步骤230及相关内容，在此不再赘述。
应当理解，图5示的装置及其模块可以利用各种方式来实现。例如，在一些实施例中，装置及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行装置，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和装置可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的装置及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。
本申请实施例可能带来的有益效果包括但不限于：(1)通过变形处理，拓展了训练样本，使得模型训练效果得到增加；(2)利用细胞变形模型对初始细胞图像进行变形，得到受力状态下的细胞图像，以此训练检测模型，使得模型的性能进一步得到提高；(3)通过无监督自训练学习方法，无需标注样本即可完成训练；(4)训练完成的模型，特征提取单元和图像重建单元可以单独使用或一起使用，通过迁移学习，无需大量带标签的数据，就能够实现细胞分类、细胞图像语义分割和目标检测等功能。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。
最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (11)

1.一种细胞图像重构模型训练方法，其特征在于，包括：
获取初始细胞图像；
对所述初始细胞图像进行变形处理，得到训练细胞图像；
基于所述训练细胞图像对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型；
所述细胞图像重构模型包括特征提取单元和图像重建单元；
所述特征提取单元基于所述训练细胞图像得到图像的特征信息；
所述图像重建单元基于所述特征信息得到重建细胞图像，所述重建细胞图像维度与所述初始细胞图像的维度相同；
其中，所述第一损失函数基于所述重建细胞图像和所述初始细胞图像确定；
所述特征提取单元基于所述训练细胞图像得到图像的特征信息至少包括对所述训练细胞图像进行卷积处理。
2.如权利要求1所述的方法，其特征在于，还包括：
基于实际细胞图像，通过所述特征提取单元得到实际细胞图像特征信息；
所述实际细胞图像特征信息用于反映所述实际细胞图像的分类结果。
3.如权利要求2所述的方法，其特征在于，还包括：
通过所述图像重建单元基于所述实际细胞图像特征信息得到重建实际细胞图像；
所述重建实际细胞图像至少反映所述实际细胞图像语义分割结果。
4.如权利要求1所述的方法，其特征在于，其中：
所述变形处理包括对所述初始细胞图像进行良性仿射变换。
5.如权利要求1所述的方法，其特征在于，所述对所述初始细胞图像进行变形处理，得到训练细胞图像，包括：
通过细胞变形模型对所述初始细胞图像进行变形处理，得到所述训练细胞图像；其中，所述细胞变形模型用于生成在有限外力作用下的细胞图像。
6.如权利要求5所述的方法，其特征在于，其中：
所述细胞变形模型通过以拍摄的细胞图像作为训练数据以及细胞受力信息作为标签对初始模型进行训练得到；所述细胞图像在被拍摄时受有限外力作用发生有限形变。
7.如权利要求6所述的方法，其特征在于，其中：
所述受力信息的大小与所述细胞图像重构模型中的所述第一损失函数中的正则化项正相关。
8.如权利要求1所述的方法，其特征在于，还包括：
基于第二损失函数与所述第一损失函数构造联合损失函数，基于所述联合损失函数对所述初始细胞图像重构模型进行联合训练；其中，
所述第二损失函数基于所述初始细胞图像和所述重建细胞图像确定，用于反映生成判别损失。
9.如权利要求8所述的方法，其特征在于，还包括：
获取感知损失函数；所述感知损失函数用于所述模型的联合训练；
其中，所述感知损失函数基于第三损失函数和第四损失函数构造；所述第三损失函数基于所述初始细胞图像重构模型的参数确定；所述第四损失函数基于所述重建细胞图像和所述初始细胞图像确定，用于反映在训练中的迁移特征。
10.一种细胞图像重构模型训练系统，其特征在于，包括：
初始图像获取模块，用于获取初始细胞图像；
图像变形模块，用于对所述初始细胞图像进行变形处理，得到训练细胞图像；
模型训练模块，用于基于所述训练细胞图像对初始细胞图像重构模型进行训练，通过优化第一损失函数，对模型参数进行更新，得到训练好的细胞图像重构模型；
所述细胞图像重构模型包括特征提取单元和图像重建单元；
所述特征提取单元基于所述训练细胞图像得到图像的特征信息；
所述图像重建单元基于所述特征信息得到重建细胞图像，所述重建细胞图像维度与所述初始细胞图像的维度相同；
其中，所述第一损失函数基于所述重建细胞图像和所述初始细胞图像确定；
所述特征提取单元基于所述训练细胞图像得到图像的特征信息至少包括对所述训练细胞图像进行卷积处理。
11.一种细胞图像重构模型训练装置，包括处理器，其特征在于，所述处理器用于执行如权利要求1～9任一项所述的细胞图像重构模型训练方法。
CN202110484049.9A 2021-04-30 2021-04-30 一种细胞图像重构模型训练方法和系统 Active CN113128455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484049.9A CN113128455B (zh) 2021-04-30 2021-04-30 一种细胞图像重构模型训练方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484049.9A CN113128455B (zh) 2021-04-30 2021-04-30 一种细胞图像重构模型训练方法和系统

Publications (2)

Publication Number Publication Date
CN113128455A true CN113128455A (zh) 2021-07-16
CN113128455B CN113128455B (zh) 2023-04-28

Family

ID=76780786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484049.9A Active CN113128455B (zh) 2021-04-30 2021-04-30 一种细胞图像重构模型训练方法和系统

Country Status (1)

Country Link
CN (1) CN113128455B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113782093A (zh) * 2021-09-16 2021-12-10 平安科技（深圳）有限公司 一种基因表达填充数据的获取方法及装置、存储介质
CN115086121A (zh) * 2022-06-15 2022-09-20 Oppo广东移动通信有限公司 预失真参数值的确定方法、装置、终端及存储介质
CN117274869A (zh) * 2023-09-25 2023-12-22 北方工业大学 一种基于形变场提取的细胞形变动态分类方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288605A (zh) * 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
CN110807821A (zh) * 2019-10-12 2020-02-18 上海联影医疗科技有限公司 一种图像重建方法和系统
CN111951384A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建方法和系统
CN112633276A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 训练方法、识别方法、装置、设备、介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288605A (zh) * 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
CN110807821A (zh) * 2019-10-12 2020-02-18 上海联影医疗科技有限公司 一种图像重建方法和系统
CN111951384A (zh) * 2020-08-13 2020-11-17 科大乾延科技有限公司 一种基于单张人脸图片的三维人脸重建方法和系统
CN112633276A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 训练方法、识别方法、装置、设备、介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUSTIN JOHNSON 等: "Perceptual Losses for Real-Time Style Transfer and Super-Resolution", 《ARXIV》 *
VAHID GHODRATI 等: "MR image reconstruction using deep learning：evaluation of network structure and loss functions", 《QUANTITATIVE IMAGING IN MEDICINE AND SURGERY》 *
肖文 等: "基于USENet实现数字全息细胞再现相位像超分辨重构", 《光子学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113782093A (zh) * 2021-09-16 2021-12-10 平安科技（深圳）有限公司 一种基因表达填充数据的获取方法及装置、存储介质
CN113782093B (zh) * 2021-09-16 2024-03-05 平安科技（深圳）有限公司 一种基因表达填充数据的获取方法及装置、存储介质
CN115086121A (zh) * 2022-06-15 2022-09-20 Oppo广东移动通信有限公司 预失真参数值的确定方法、装置、终端及存储介质
CN117274869A (zh) * 2023-09-25 2023-12-22 北方工业大学 一种基于形变场提取的细胞形变动态分类方法及系统
CN117274869B (zh) * 2023-09-25 2024-03-26 北方工业大学 一种基于形变场提取的细胞形变动态分类方法及系统

Also Published As

Publication number Publication date
CN113128455B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN112396002B (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
US10846566B2 (en) Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN108764292B (zh) 基于弱监督信息的深度学习图像目标映射及定位方法
CN113128455A (zh) 一种细胞图像重构模型训练方法和系统
CN112115783A (zh) 基于深度知识迁移的人脸特征点检测方法、装置及设备
Patel et al. A generative adversarial network for tone mapping hdr images
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
Liu et al. Deep adaptive inference networks for single image super-resolution
CN113205449A (zh) 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN112183602B (zh) 一种带有并行卷积块的多层特征融合细粒度图像分类方法
CN113780249A (zh) 表情识别模型的处理方法、装置、设备、介质和程序产品
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN114299304B (zh) 一种图像处理方法及相关设备
CN116168197A (zh) 一种基于Transformer分割网络和正则化训练的图像分割方法
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN107184224B (zh) 一种基于双模态极限学习机的肺结节诊断方法
CN116977315A (zh) 异常检测模型处理方法、异常对象检测方法、装置和设备
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
Bricman et al. CocoNet: A deep neural network for mapping pixel coordinates to color values
CN116152645A (zh) 一种融合多种表征平衡策略的室内场景视觉识别方法及系统
CN112884022B (zh) 一种基于图像平移的无监督深度表征学习方法及系统
Liang Unrestricted Face Recognition Algorithm Based on Transfer Learning on Self‐Pickup Cabinet
Cai et al. An ancient murals inpainting method based on bidirectional feature adaptation and adversarial generative networks
Guo et al. Face illumination normalization based on generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant