CN116309192A - 基因测序图像对焦矫正方法及装置、设备、存储介质 - Google Patents
基因测序图像对焦矫正方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116309192A CN116309192A CN202310577532.0A CN202310577532A CN116309192A CN 116309192 A CN116309192 A CN 116309192A CN 202310577532 A CN202310577532 A CN 202310577532A CN 116309192 A CN116309192 A CN 116309192A
- Authority
- CN
- China
- Prior art keywords
- image
- gene
- focusing
- correction
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 108090000623 proteins and genes Proteins 0.000 title claims abstract description 128
- 238000012937 correction Methods 0.000 title claims abstract description 125
- 238000012163 sequencing technique Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims description 7
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000013135 deep learning Methods 0.000 claims description 36
- 238000013507 mapping Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000002068 genetic effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 14
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 108010001267 Protein Subunits Proteins 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B20/00—ICT specially adapted for functional genomics or proteomics, e.g. genotype-phenotype associations
- G16B20/30—Detection of binding sites or motifs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Analytical Chemistry (AREA)
- Artificial Intelligence (AREA)
- Genetics & Genomics (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于生物信息学技术领域，公开了一种基因测序图像对焦矫正方法，通过对样本图像进行傅里叶变换获得频域信息，接着以样本图像及其频域信息为输入，进行有监督模型训练获得对焦矫正模型，由于模型训练中融合了样本图像的频域信息，因此训练样本集中既含有通过拍摄得到的空间域上的图像信息，又有通过傅里叶变换得到的频域上的图像信息，可以保留更多、更好的样本原始图像信息，从而可以减少矫正产生的伪造信息，进而提高矫正后成像结果的可信度。只需将待处理基因测序图像输入对焦矫正模型，根据对焦矫正模型矫正图像即可确定矫正后的清晰图像，能弥补因对焦不充分的成像结果导致画质不清晰的缺点。
Description
技术领域
本发明属于生物信息学技术领域，具体涉及一种基因测序图像对焦矫正方法及装置、设备、存储介质。
背景技术
基因测序是指在微观层面上，通过一定技术手段对基因样本进行识别与分析的过程。其中，基因测序仪是基因测序中主要使用的设备，通过基因测序仪的成像镜头捕捉基因样本的光学信息进行成像，得到微观尺度上肉眼可识别的基因测序图像。传统基因测序仪的成像镜头需要机械对焦，即通过硬件设备的优化设计得到聚焦更好、更清晰的基因测序图像。但是，由于测序时间的限制以及硬件本身设计的问题，时常出现对焦不充分，画质不清晰的问题。
除了进一步优化硬件设计外，也有采用一些软件控制方法进行对焦矫正，即通过软件控制机械设备找到一个合适的对焦方位，再通过移动镜头到对焦方位拍摄测序样本的图像，获得成像结果，以解决镜头未充分对焦影响图像清晰度的问题。但是，依然存在理想最佳对焦方位寻找不一定每次都精准，容易产生定位误差；或者，受基因测序时间限制，未移动到理想最佳对焦方位就已开始成像；或者，由于移动过程中带来的机械抖动，影响对焦效果等等问题。
目前现有技术中提出一些通过深度学习技术训练矫正模型的方法，通过训练后的矫正模型对拍摄到的图像进行对焦矫正处理，以获得更加清晰的矫正图像。但是现有对焦矫正模型适用于普通镜头，如手机、相机的镜头，并不适用于基因测序仪的镜头。原因在于，普通镜头的优化目标为人的肉眼和主观感受，只需要让人感觉到照片有变清晰即可。
但其实它所使用的矫正成像结果含有非常多的伪造信息，这些伪造信息可能利于照片形成清晰的错觉，而实际信息已经失真。相比于普通镜头，基因测序仪镜头的对焦矫正对信息的真实性要求非常高，因此如果将现有对焦矫正模型应用于微观领域尤其是基因测序图像，则可能会让矫正后产生的伪造信息干扰了基因测序的识别结果，也即，矫正产生的伪造信息干扰原始图像的真实性，导致对焦矫正后的成像结果可信度较低。
发明内容
本发明的目的在于提供一种基因测序图像对焦矫正方法及装置、设备、存储介质，可以减少矫正产生的伪造信息，进而提高矫正后成像结果的可信度。
本发明第一方面公开一种基因测序图像对焦矫正方法，包括：
获取基因测序仪的物镜拍摄到的标签图像和样本图像；
对所述样本图像进行傅里叶变换，获得所述样本图像的频域信息；
以所述样本图像及其频域信息为输入、所述标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型；
将待处理基因测序图像输入所述对焦矫正模型，获得所述对焦矫正模型的矫正图像；
根据所述矫正图像，确定目标基因测序图像。
在一些实施例中，所述初始化的深度学习神经网络包括第一卷积模块、第二卷积模块和注意力模块；
所述以所述样本图像及其频域信息为输入、所述标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型，包括：
将所述样本图像输入第一卷积模块，以对所述样本图像进行卷积计算获得第一特征图；
将所述样本图像的频域信息输入注意力模块，以使所述注意力模块根据所述频域信息学习得到权重系数；
将所述第一特征图和所述权重系数输入第二卷积模块，以使所述第二卷积模块根据所述权重系数对第一特征图进行更新获得第二特征图；
计算所述第二特征图与标签图像之间的损失值；
当所述损失值小于设定值时，判定深度学习神经网络训练完成获得对焦矫正模型。
在一些实施例中，所述根据所述矫正图像，确定目标基因测序图像，包括：
根据所述矫正图像，确定测序序列；
将所述测序序列与基因库中的基因序列进行比对，计算得到Mapping率；
当Mapping率达到预设比值时，确定所述矫正图像为目标基因测序图像。
在一些实施例中，获取基因测序仪的物镜拍摄到的标签图像和样本图像，包括：
控制基因测序仪的物镜移动至预设最佳位置，并拍摄获得标签图像；
控制基因测序仪的物镜移动至随机采样位置，并拍摄获得样本图像；其中，所述随机采样位置与所述预设最佳位置的距离满足预设距离范围。
在一些实施例中，所述预设距离范围包括第一距离范围和第二距离范围，所述第二距离范围大于所述第一距离范围；以及，所述控制基因测序仪的物镜移动至随机采样位置，并拍摄获得样本图像，包括：
控制基因测序仪的物镜由预设最佳位置向前移动至第一距离范围内的任意随机采样位置，并拍摄获得第一图像；
控制基因测序仪的物镜由第一距离范围内的任意随机采样位置向后移动至第二距离范围内的任意随机采样位置，并拍摄获得第二图像；
根据所述第一图像和所述第二图像，确定样本图像。
本发明第二方面公开一种基因测序图像对焦矫正装置，包括：
采集单元，用于获取基因测序仪的物镜拍摄到的标签图像和样本图像；
变换单元，用于对所述样本图像进行傅里叶变换，获得所述样本图像的频域信息；
训练单元，用于以所述样本图像及其频域信息为输入、所述标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型；
处理单元，用于将待处理基因测序图像输入所述对焦矫正模型，获得所述对焦矫正模型的矫正图像；
确定单元，用于根据所述矫正图像，确定目标基因测序图像。
在一些实施例中，所述初始化的深度学习神经网络包括第一卷积模块、第二卷积模块和注意力模块；以及，所述训练单元包括：
第一卷积子单元，用于将所述样本图像输入第一卷积模块，以对所述样本图像进行卷积计算获得第一特征图；
注意力子单元，用于将所述样本图像的频域信息输入注意力模块，以使所述注意力模块根据所述频域信息学习得到权重系数；
融合子单元，用于将所述第一特征图和所述权重系数输入第二卷积模块，以使所述第二卷积模块根据所述权重系数对第一特征图进行更新获得第二特征图；
计算子单元，用于计算所述第二特征图与标签图像之间的损失值；
判定子单元，用于在所述损失值小于设定值时，判定深度学习神经网络训练完成获得对焦矫正模型。
在一些实施例中，所述确定单元包括：
第一确定子单元，用于根据所述矫正图像，确定测序序列；
比对子单元，用于将所述测序序列与基因库中的基因序列进行比对，计算得到Mapping率；
第二确定子单元，用于在Mapping率达到预设比值时，确定所述矫正图像为目标基因测序图像。
本发明第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的基因测序图像对焦矫正方法。
本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的基因测序图像对焦矫正方法。
本发明的有益效果在于，通过对样本图像进行傅里叶变换获得样本图像的频域信息，接着以样本图像及其频域信息为输入、标签图像为标签，进行模型训练获得对焦矫正模型，由于模型训练中融合了样本图像的频域信息，因此训练样本集中既含有通过拍摄得到的空间域上的图像信息，又有通过傅里叶变换得到的频域上的图像信息，可以保留更多、更好的样本原始图像信息，从而可以减少矫正产生的伪造信息，进而提高矫正后成像结果的可信度。在实际应用中只需将待处理基因测序图像输入对焦矫正模型，获得对焦矫正模型的矫正图像，根据矫正图像即可确定目标基因测序图像，即矫正后的清晰图像，能弥补因对焦不充分的成像结果导致画质不清晰的缺点，使得基因测序仪产生高质量的成像图片以供后续分析与研究。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是本发明实施例公开的一种基因测序图像对焦矫正方法的流程图；
图2是本发明实施例公开的一种基因测序图像对焦矫正模型的结构示意图；
图3是本发明实施例公开的一种基因测序图像对焦矫正装置的结构示意图；
图4是本发明实施例公开的一种电子设备的结构示意图。
附图标记说明：
301、采集单元；302、变换单元；303、训练单元；304、处理单元；305、确定单元；401、存储器；402、处理器。
具体实施方式
为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和／或”包括一个或多个相关的所列项目的任意的和所有的组合。
需要说明的是，当元件被认为“固定于”另一个元件，它可以是直接固定在另一个元件上，也可以是存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件，也可以是同时存在居中元件；当一个元件被认为是“安装在”另一个元件，它可以是直接安装在另一个元件，也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件，它可以是直接设在另一个元件，也可以是同时存在居中元件。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。此外，本文所使用的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开一种基因测序图像对焦矫正方法。该方法的执行主体可为如基因测序仪、计算机电脑、笔记本电脑、平板电脑等电子设备，或内嵌于电子设备中的基因测序图像对焦矫正装置，本发明对此不作限定。该方法可以根据基因测序仪在理想对焦情况下与未对焦情况下拍摄的图像制作数据集，用于训练深度学习神经网络。通过深度学习与硬件结合，弥补未对焦结果的画质缺点，拟合出清晰对焦的画质，实现在基因测序仪上进行未对焦图像的矫正，其运行速度在图形处理器上速度快，能够与不同硬件结合，适用性强。可以广泛适用于不同品牌型号的镜头。
如图1所示，该基因测序图像对焦矫正方法包括以下步骤110~150：
110、获取基因测序仪的物镜拍摄到的标签图像和样本图像。
在本发明实施例中，可先进行数据集制作，获得训练深度学习神经网络所需的样本图像和标签图像。其中，样本图像可包括有若干个，且每一样本图像均对应有标签图像。标签图像也可以包括有多个，需要说明的是，同一个标签图像可以对应有多个不同的样本图像。在训练中，逐一重复将样本图像输入深度学习神经网络，并基于网络输出结果与其对应的标签图像进行损失计算，以实现反向传播优化网络参数。
具体的，步骤110可以包括以下步骤1101~1102：
1101、控制基因测序仪的物镜移动至预设最佳位置，并拍摄获得标签图像。
首先可以计算出基因测序仪的物镜的理想最佳对焦方位，此理想最佳对焦方位可根据物镜参数以及其当前拍摄图像的情况而计算。理想最佳对焦方位的计算方法为，在移动物镜的过程中，实时计算通过物镜获得当前图像的Score值，当移动到某一位置的Score值最高时，此位置即为理想最佳对焦方位。Score值的计算方法为：将当前图像的信噪比与当前图像的点的全宽半高值进行加权计算。信噪比衡量当前图像的质量，为标准图像评价方法。全宽半高为光学系统中分辨率的标准计算方法。或者，也可由人工调节参数，以找到理想最佳对焦方位。将理想最佳对焦方位设定为预设最佳位置。
在确定预设最佳位置之后，还需获取基因测序仪的物镜的当前位置，并根据当前位置与预设最佳位置之间的相对位置关系确定物镜的移动参数，然后根据该移动参数生成对应的控制指令，向物镜的驱动机构发送该控制指令，以控制驱动机构驱动物镜移动至预设最佳位置。在物镜到达预设最佳位置后进行拍摄，所拍图像为理想对焦图像，可作为数据集的标签图像。
优选的，驱动机构设置为机械臂，基因测序仪的显微镜头（即物镜）装载于机械臂上，通过控制机械臂驱动物镜移动至不同距离位置以拍摄理想对焦图像和未对焦图像。同一时刻不同位置拍摄的理想对焦图像与未对焦图像作为一组训练数据，理想对焦图像作为标签图像，未对焦图像作为输入的样本图像。
1102、控制基因测序仪的物镜移动至随机采样位置，并拍摄获得样本图像。其中，随机采样位置与预设最佳位置的距离满足预设距离范围。
随机采样位置指的是在预设最佳位置附近的随机距离的位置，随机距离情况下拍摄可以模拟在不同焦距情况下图像模糊的结果，为数据集增加鲁棒性与适应性。也即，在这些随机采样位置所拍图像视为未充分对焦图像。
作为一种优选的实施方式，预设距离范围包括第一距离范围和第二距离范围，且第二距离范围大于第一距离范围，那么步骤1102可以包括以下步骤11021~11023：
11021、控制基因测序仪的物镜由预设最佳位置向前移动至第一距离范围内的任意随机采样位置，并拍摄获得第一图像。
11022、控制基因测序仪的物镜由预设最佳位置向后移动至第二距离范围内的任意随机采样位置，并拍摄获得第二图像。
11023、根据第一图像和第二图像，确定样本图像。
例如，第一距离范围设定为0.05~0.5cm，第二距离范围设定为0.1~1cm。
在基因测序仪的物镜在预设最佳位置拍摄后，控制基因测序仪的物镜由预设最佳位置向前移动至0.05~0.5cm内的任意随机采样位置，并拍摄获得第一图像；然后，控制基因测序仪的物镜由0.05~0.5cm内的任意随机采样位置向后移动至0.1~1cm内的任意随机采样位置，并拍摄获得第二图像。第一图像和第二图像均视为未充分对焦图像。
最后根据第一图像和第二图像，确定样本图像。具体的，以未对焦图像作为输入的样本图像、理想对焦图像作为标签图像，制作用于训练深度学习神经网络的数据集。数据集按照总量20%随机划分出测试集，80%划分出训练集。其中，训练集用于训练深度学习神经网络，测试集用于评估深度学习神经网络的训练效果。
120、对样本图像进行傅里叶变换，获得样本图像的频域信息。
图像的傅里叶变换（Fast Fourier Transform，FFT）计算公式如下：
对于一幅
的灰度图像/>
，其二维 FFT 变换为：
其中，
和/>
分别表示频率域中的横向和纵向坐标，/>
为虚数单位。
反过来，对于一个复数矩阵
，其逆变换为：
其中，
和/>
分别表示图像的宽度和高度。
步骤120具体可以包括：将样本图像转换为灰度图像，再通过以上公式（1）计算获得灰度图像的复数矩阵，将该复数矩阵确定为频域信息。傅立叶变换获得的频域信息主要用于模型注意力机制，对模型生成结果进行约束，对每个区域赋予不同的权重。
130、以样本图像及其频域信息为输入、标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型。
在本发明实施例中，创建深度学习神经网络模型，并初始化网络权重。随机抽取数据集中训练集中的样本图像作为模型输入，模型输出计算结果，计算结果为与输入的样本图像同样大小的图像。根据计算结果与输入的样本图像进行反向传播训练。模型训练即为优化深度学习神经网络模型内包含的多个卷积模块中的卷积核参数。
具体的，如图2所示，初始化的深度学习神经网络包括相连接的两个卷积模块，分别为第一卷积模块、第二卷积模块，以及和第二卷积模块连接的注意力模块。因此步骤130可以包括以下步骤1301~1305：
1301、将样本图像输入第一卷积模块，以对样本图像进行卷积计算获得第一特征图。
样本图像通过第一卷积模块中不同大小的多个卷积核进行卷积计算操作，将样本图像按照不同大小的卷积核提取得到多个第一特征图，第一特征图包含输入的样本图像可被深度学习神经网络处理的特征信息，多个第一特征图可对应于样本图像的不同区域。
在提取出第一特征图之后，可以直接将第一特征图输入第二卷积模块。
或者优选的，在一些可能的实施例中，在第一卷积模块与第二卷积模块之间，还可以包括依次连接的激活函数、归一化模块和池化模块；因此在第一卷积模块输出第一特征图之后，还可以通过激活函数进行非线性映射，例如使用Relu激活函数。通过激活函数后，进一步输入归一化模块，在归一化模块中进行归一化操作，避免处理过程中数值骤升或者骤降。紧接着通过池化模块提取主要特征，丢弃冗余信息，精简参数量。最后再将池化模块输出的新的第一特征图输入第二卷积模块。
1302、将样本图像的频域信息输入注意力模块，以使注意力模块根据频域信息学习得到权重系数。
注意力模块与第二卷积模块相连接，注意力模块根据对样本图像进行傅里叶变换所获得的频域信息，可以学习并赋予不同第一特征图以不同的权重，对于高频信息较多的第一特征图，赋予较高的权重系数。此做法可以更多的保证矫正后的真实信息少失真，约束人造伪影的产生。
1303、将第一特征图和权重系数输入第二卷积模块，以使第二卷积模块根据权重系数对第一特征图进行更新获得第二特征图。
然后将第一特征图和注意力模块通过注意力机制学习到的权重系数再次通过第二卷积模块进行进一步特征提取，在第二卷积模块之后还连接有激活函数，经过激活函数后输出第二特征图。
1304、计算第二特征图与标签图像之间的损失值。
在训练过程中，根据设定的损失函数，计算模型生成图像与数据集的训练集中的对应标签图像的差异。差异的衡量方式为计算两者之间的损失值，在本发明实施例中，采用均方误差(Mean Squared Error，MSE)来确定两者的损失值。MSE的计算方式如下式（3）所示：
式中，n代表样本图像的数量，
代表第i个样本图像，/>
代表第i个样本图像的生成图像。
1305、当损失值小于设定值时，判定深度学习神经网络训练完成获得对焦矫正模型。
判断此损失值是否小于设定值。如果损失值小于设定值，则表明网络误差在允许范围内，可判定已经训练完成，结束训练。如果损失值大于设定值，则表明网络尚未完全具有拟合标签的能力，其生成图像与标签图像的误差较大，根据误差进行反向传播，优化并改变模型参数，然后重复随机选取样本图像进行再次训练。
经过设计，本发明实施例中训练完成的对焦矫正模型，适用于具有荧光反应、高信噪比、高复杂度生物结构的微观显微镜图像（包括但不限于基因测序图像），对于生物特征中的边缘、细节敏感，对于图像中的噪声不敏感。利用图像的傅里叶变换结果对深度学习结果进行指导矫正，生成的结果真实可信，人造伪影较少且可控。能在镜头未充分对焦的情况下，通过深度学习图像处理算法，生成清晰度高、对焦充分、可信度高的对焦矫正图像。
140、将待处理基因测序图像输入对焦矫正模型，获得对焦矫正模型的矫正图像。
在训练完成后，即可利用训练完成的对焦矫正模型对基因测序仪拍摄到的原始图像进行对焦矫正。在实际应用中，通过计算理想最佳对焦方位，然后下发控制指令给机械臂，以使机械臂驱动物镜移动至理想最佳对焦方位，拍摄获得待处理基因测序图像，此情况下获得的图像为理想情况下的对焦图像，但实际获得的图像可能因为抖动等原因不能充分对焦导致图像模糊。因此将待处理基因测序图像输入对焦矫正模型，使用已训练完成的对焦矫正模型进行推理，获得对焦矫正模型输出的矫正图像。模型推理即为根据已有的卷积核参数，对待处理基因测序图像进行对焦矫正使其变清晰的过程。
150、根据矫正图像，确定目标基因测序图像。
在本发明实施例中，可以将对焦矫正模型的矫正图像直接作为目标基因测序图像，即对焦矫正后的清晰图像。或者，在其他一些可能的实施例中，也可以根据矫正图像与基因库中基因序列进行比较，计算Mapping率并以此进一步衡量是否确定矫正图像为目标基因测序图像。也即，步骤150具体包括以下步骤1501~1503：
1501、根据矫正图像，确定测序序列。
其中，测序序列指通过矫正图像测得的基因序列（reads）。
1502、将测序序列与基因库中的基因序列进行比对，计算得到Mapping率。
Mapping率（Mappingrate）指的是基因测序仪的获得的测序序列与人类基因库中的基于序列的匹配率。Mapping率计算方法为：通过mapping把reads与组装好的基因组（包括基因库中的多个基因序列）进行alignment（对齐），然后分析mapped reads（成功比对的序列数）的sam/bam格式文件，统计Mapping率来评估基因组组装质量。期望Mapping率越接近100%，组装质量越高。Mapping率 = Mapped reads/ Total reads。也即是说，Mapping率等于基因组中与测序序列成功比对上的序列数占基因组中所有序列数的比值。
1503、当Mapping率达到预设比值时，确定矫正图像为目标基因测序图像。
其中，预设比值可设置为80%、85%或者90%等数值。通过采用Mapping率进行衡量，而不是普通镜头的主观感受，可以更加精准地衡量对焦矫正模型矫正图像的真实性、可信度。
考虑到每台测序仪使用的镜头与硬件部分均有差异，同一参数的深度学习神经网络模型在不同测序仪上结果可能有差异。优选的，在一些实施例中，若Mapping率达到小于预设比值，则可以进一步从多个候选矫正模型中选择出备用矫正模型；其中，多个候选矫正模型与对焦矫正模型的超参数各不相同，多个候选矫正模型与对焦矫正模型采用同样的标签图像和样本图像训练而得到；然后，将待处理基因测序图像输入备用矫正模型，获得备用矫正模型输出的新的矫正图像；再对新的矫正图像重新执行步骤1501~1503，如此重复执行，直至Mapping率达到预设比值，输出最新的矫正图像为目标基因测序图像。
通过该实施方式，当Mapping率低于预设比值时，还可以更换深度学习神经网络模型，选取Mapping率达到预设比值的深度学习神经网络模型作为此台测序仪的最终使用模型。使得本对焦矫正方法的自适应力更高，灵活性更强。
可见，实施本发明实施例，通过对样本图像进行傅里叶变换获得样本图像的频域信息，接着以样本图像及其频域信息为输入、标签图像为标签，进行模型训练获得对焦矫正模型，由于模型训练中融合了样本图像的频域信息，因此训练样本集中既含有通过拍摄得到的空间域上的图像信息，又有通过傅里叶变换得到的频域上的图像信息，可以保留更多、更好的样本原始图像信息，从而可以减少矫正产生的伪造信息，进而提高矫正后成像结果的可信度。在实际应用中只需将待处理基因测序图像输入对焦矫正模型，获得对焦矫正模型的矫正图像，根据矫正图像即可确定目标基因测序图像，即矫正后的清晰图像，能弥补因对焦不充分的成像结果导致画质不清晰的缺点，使得基因测序仪产生高质量的成像图片以供后续分析与研究。
如图3所示，本发明实施例公开一种基因测序图像对焦矫正装置，包括采集单元301、变换单元302、训练单元303、处理单元304、确定单元305：
采集单元301，用于获取基因测序仪的物镜拍摄到的标签图像和样本图像；
变换单元302，用于对样本图像进行傅里叶变换获得样本图像的频域信息；
训练单元303，用于以样本图像及其频域信息为输入、标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型；
处理单元304，用于将待处理基因测序图像输入对焦矫正模型，获得对焦矫正模型的矫正图像；
确定单元305，用于根据矫正图像，确定目标基因测序图像。
作为一种可选的实施方式，初始化的深度学习神经网络包括第一卷积模块、第二卷积模块和注意力模块；训练单元303可以包括以下未图示的子单元：
第一卷积子单元，用于将样本图像输入第一卷积模块，以对样本图像进行卷积计算获得第一特征图；
注意力子单元，用于将样本图像的频域信息输入注意力模块，以使注意力模块根据频域信息学习得到权重系数；
融合子单元，用于将第一特征图和权重系数输入第二卷积模块，以使第二卷积模块根据权重系数对第一特征图进行更新获得第二特征图；
计算子单元，用于计算第二特征图与标签图像之间的损失值；
判定子单元，用于在损失值小于设定值时，判定深度学习神经网络训练完成获得对焦矫正模型。
作为一种可选的实施方式，确定单元305可以包括以下未图示的子单元：
第一确定子单元，用于根据矫正图像，确定测序序列；
比对子单元，用于将测序序列与基因库中的基因序列进行比对，计算得到Mapping率；
第二确定子单元，用于在Mapping率达到预设比值时，确定矫正图像为目标基因测序图像。
进一步可选的，确定单元305还可以包括以下未图示的子单元：
更换子单元，用于在比对子单元计算得到Mapping率之后，若Mapping率达到小于预设比值，从多个候选矫正模型中选择出备用矫正模型；其中，多个候选矫正模型与对焦矫正模型的超参数各不相同，多个候选矫正模型与对焦矫正模型采用同样的标签图像和样本图像训练而得到；
处理子单元，用于将待处理基因测序图像输入备用矫正模型，获得备用矫正模型输出的新的矫正图像；以及触发第一确定子单元对新的矫正图像执行根据矫正图像确定测序序列的操作。
作为一种可选的实施方式，采集单元301可以包括以下未图示的子单元：
第一拍摄子单元，用于控制基因测序仪的物镜移动至预设最佳位置，并拍摄获得标签图像；
第二拍摄子单元，用于控制基因测序仪的物镜移动至随机采样位置并拍摄获得样本图像；其中，随机采样位置与预设最佳位置的距离满足预设距离范围。
进一步可选的，预设距离范围包括第一距离范围和第二距离范围，第二距离范围大于第一距离范围；以及，上述第二拍摄子单元，具体用于控制基因测序仪的物镜由预设最佳位置向前移动至第一距离范围内的任意随机采样位置，并拍摄获得第一图像；以及，控制基因测序仪的物镜由第一距离范围内的任意随机采样位置向后移动至第二距离范围内的任意随机采样位置，并拍摄获得第二图像；根据第一图像和第二图像，确定样本图像。
如图4所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器401以及与存储器401耦合的处理器402；
其中，处理器402调用存储器401中存储的可执行程序代码，执行上述各实施例中描述的基因测序图像对焦矫正方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的基因测序图像对焦矫正方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。
Claims (10)
1.基因测序图像对焦矫正方法，其特征在于，包括：
获取基因测序仪的物镜拍摄到的标签图像和样本图像；
对所述样本图像进行傅里叶变换，获得所述样本图像的频域信息；
以所述样本图像及其频域信息为输入、所述标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型；
将待处理基因测序图像输入所述对焦矫正模型，获得所述对焦矫正模型的矫正图像；
根据所述矫正图像，确定目标基因测序图像。
2.如权利要求1所述的基因测序图像对焦矫正方法，其特征在于，所述初始化的深度学习神经网络包括第一卷积模块、第二卷积模块和注意力模块；
以所述样本图像及其频域信息为输入、所述标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型，包括：
将所述样本图像输入所述第一卷积模块，以对所述样本图像进行卷积计算获得第一特征图；
将所述样本图像的频域信息输入所述注意力模块，以使所述注意力模块根据所述频域信息学习得到权重系数；
将所述第一特征图和所述权重系数输入所述第二卷积模块，以使所述第二卷积模块根据所述权重系数对第一特征图进行更新获得第二特征图；
计算所述第二特征图与标签图像之间的损失值；
当所述损失值小于设定值时，判定深度学习神经网络训练完成获得对焦矫正模型。
3.如权利要求1所述的基因测序图像对焦矫正方法，其特征在于，所述根据所述矫正图像，确定目标基因测序图像，包括：
根据所述矫正图像，确定测序序列；
将所述测序序列与基因库中的基因序列进行比对，计算得到Mapping率；
当Mapping率达到预设比值时，确定所述矫正图像为目标基因测序图像。
4.如权利要求1至3任一项所述的基因测序图像对焦矫正方法，其特征在于，获取基因测序仪的物镜拍摄到的标签图像和样本图像，包括：
控制基因测序仪的物镜移动至预设最佳位置，并拍摄获得标签图像；
控制基因测序仪的物镜移动至随机采样位置，并拍摄获得样本图像；其中，所述随机采样位置与所述预设最佳位置的距离满足预设距离范围。
5.如权利要求4所述的基因测序图像对焦矫正方法，其特征在于，所述预设距离范围包括第一距离范围和第二距离范围，所述第二距离范围大于所述第一距离范围；以及，所述控制基因测序仪的物镜移动至随机采样位置，并拍摄获得样本图像，包括：
控制基因测序仪的物镜由预设最佳位置向前移动至第一距离范围内的任意随机采样位置，并拍摄获得第一图像；
控制基因测序仪的物镜由第一距离范围内的任意随机采样位置向后移动至第二距离范围内的任意随机采样位置，并拍摄获得第二图像；
根据所述第一图像和所述第二图像，确定样本图像。
6.基因测序图像对焦矫正装置，其特征在于，包括：
采集单元，用于获取基因测序仪的物镜拍摄到的标签图像和样本图像；
变换单元，用于对所述样本图像进行傅里叶变换，获得所述样本图像的频域信息；
训练单元，用于以所述样本图像及其频域信息为输入、所述标签图像为标签，对初始化的深度学习神经网络进行训练获得对焦矫正模型；
处理单元，用于将待处理基因测序图像输入所述对焦矫正模型，获得所述对焦矫正模型的矫正图像；
确定单元，用于根据所述矫正图像，确定目标基因测序图像。
7.如权利要求6所述的基因测序图像对焦矫正装置，其特征在于，所述初始化的深度学习神经网络包括第一卷积模块、第二卷积模块和注意力模块；以及，所述训练单元包括：
第一卷积子单元，用于将所述样本图像输入第一卷积模块，以对所述样本图像进行卷积计算获得第一特征图；
注意力子单元，用于将所述样本图像的频域信息输入注意力模块，以使所述注意力模块根据所述频域信息学习得到权重系数；
融合子单元，用于将所述第一特征图和所述权重系数输入第二卷积模块，以使所述第二卷积模块根据所述权重系数对第一特征图进行更新获得第二特征图；
计算子单元，用于计算所述第二特征图与标签图像之间的损失值；
判定子单元，用于在所述损失值小于设定值时，判定深度学习神经网络训练完成获得对焦矫正模型。
8.如权利要求6所述的基因测序图像对焦矫正装置，其特征在于，所述确定单元包括：
第一确定子单元，用于根据所述矫正图像，确定测序序列；
比对子单元，用于将所述测序序列与基因库中的基因序列进行比对，计算得到Mapping率；
第二确定子单元，用于在Mapping率达到预设比值时，确定所述矫正图像为目标基因测序图像。
9.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至5任一项所述的基因测序图像对焦矫正方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至5任一项所述的基因测序图像对焦矫正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577532.0A CN116309192B (zh) | 2023-05-22 | 2023-05-22 | 基因测序图像对焦矫正方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577532.0A CN116309192B (zh) | 2023-05-22 | 2023-05-22 | 基因测序图像对焦矫正方法及装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309192A true CN116309192A (zh) | 2023-06-23 |
| CN116309192B CN116309192B (zh) | 2023-08-01 |
Family
ID=86803566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310577532.0A Active CN116309192B (zh) | 2023-05-22 | 2023-05-22 | 基因测序图像对焦矫正方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309192B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681980A (zh) * | 2023-07-31 | 2023-09-01 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN117132646A (zh) * | 2023-10-26 | 2023-11-28 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习的分裂相自动对焦系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130308094A1 (en) * | 2013-07-29 | 2013-11-21 | Bausch & Lomb Incorporated | Use of an optical system simulating behavior of human eye to generate retinal images and an image quality metric to evaluate same |
| CN112837232A (zh) * | 2021-01-13 | 2021-05-25 | 山东省科学院海洋仪器仪表研究所 | 一种水下图像增强及细节恢复的方法 |
| CN113658317A (zh) * | 2020-04-28 | 2021-11-16 | 华南农业大学 | 电子显微镜连拍图像处理方法和装置 |
| CN115278089A (zh) * | 2022-09-26 | 2022-11-01 | 合肥岭雁科技有限公司 | 人脸模糊图像对焦矫正方法、装置、设备和存储介质 |
| CN116051411A (zh) * | 2023-02-06 | 2023-05-02 | 东北大学 | 基于深度卷积网络的显微图像模糊核提取与离焦复原方法 |
-
2023
- 2023-05-22 CN CN202310577532.0A patent/CN116309192B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130308094A1 (en) * | 2013-07-29 | 2013-11-21 | Bausch & Lomb Incorporated | Use of an optical system simulating behavior of human eye to generate retinal images and an image quality metric to evaluate same |
| CN113658317A (zh) * | 2020-04-28 | 2021-11-16 | 华南农业大学 | 电子显微镜连拍图像处理方法和装置 |
| CN112837232A (zh) * | 2021-01-13 | 2021-05-25 | 山东省科学院海洋仪器仪表研究所 | 一种水下图像增强及细节恢复的方法 |
| CN115278089A (zh) * | 2022-09-26 | 2022-11-01 | 合肥岭雁科技有限公司 | 人脸模糊图像对焦矫正方法、装置、设备和存储介质 |
| CN116051411A (zh) * | 2023-02-06 | 2023-05-02 | 东北大学 | 基于深度卷积网络的显微图像模糊核提取与离焦复原方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681980A (zh) * | 2023-07-31 | 2023-09-01 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN116681980B (zh) * | 2023-07-31 | 2023-10-20 | 北京建筑大学 | 基于深度学习的大缺失率图像修复方法、装置和存储介质 |
| CN117132646A (zh) * | 2023-10-26 | 2023-11-28 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习的分裂相自动对焦系统 |
| CN117132646B (zh) * | 2023-10-26 | 2024-01-05 | 湖南自兴智慧医疗科技有限公司 | 基于深度学习的分裂相自动对焦系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309192B (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116309192B (zh) | 基因测序图像对焦矫正方法及装置、设备、存储介质 | |
| CN109255322B (zh) | 一种人脸活体检测方法及装置 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN107818554B (zh) | 信息处理设备和信息处理方法 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN110458829B (zh) | 基于人工智能的图像质控方法、装置、设备及存储介质 | |
| CN109085113A (zh) | 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置 | |
| CN114925748B (zh) | 模型训练及模态信息的预测方法、相关装置、设备、介质 | |
| CN108364305B (zh) | 基于改进型dsst的车载摄像视频目标跟踪方法 | |
| CN102855489A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN114581432A (zh) | 一种基于深度学习的舌象仪舌象分割方法 | |
| CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
| CN113269256A (zh) | 一种MiSrc-GAN模型的构建方法及应用 | |
| CN112926508B (zh) | 活体检测模型的训练方法和装置 | |
| CN113313633A (zh) | 超分网络模型的训练方法、装置和电子设备 | |
| CN111553250B (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
| CN116958736A (zh) | 一种基于跨模态边缘引导的rgb-d显著性目标检测方法 | |
| CN115862119A (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
| Uchigasaki et al. | Deep image compression using scene text quality assessment | |
| CN114898447A (zh) | 一种基于自注意力机制的个性化注视点检测方法及装置 | |
| CN111553249B (zh) | 一种cv下基于h-b分级的精准面瘫程度评测方法及装置 | |
| CN112580689A (zh) | 神经网络模型的训练方法、应用方法、装置和电子设备 | |
| CN112991266A (zh) | 用于小样本医疗影像的语义分割方法及系统 | |
| CN112734707A (zh) | 一种3d内窥镜辅助检测方法、系统、装置及存储介质 | |
| TWI841803B (zh) | 圖像處理方法及裝置、記憶媒體、電子設備 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |