CN115272779A - 液滴识别方法、装置、计算机设备和存储介质 - Google Patents

液滴识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115272779A
CN115272779A CN202211190001.8A CN202211190001A CN115272779A CN 115272779 A CN115272779 A CN 115272779A CN 202211190001 A CN202211190001 A CN 202211190001A CN 115272779 A CN115272779 A CN 115272779A
Authority
CN
China
Prior art keywords
droplet
image
liquid drop
feature
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211190001.8A
Other languages
English (en)
Other versions
CN115272779B (zh
Inventor
王素娟
朱凌
廖丽敏
曾杰生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Dingzhi Biotechnology Co ltd
Guangdong Shunde Industrial Design Institute
Original Assignee
Foshan Dingzhi Biotechnology Co ltd
Guangdong Shunde Industrial Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Dingzhi Biotechnology Co ltd, Guangdong Shunde Industrial Design Institute filed Critical Foshan Dingzhi Biotechnology Co ltd
Priority to CN202211190001.8A priority Critical patent/CN115272779B/zh
Publication of CN115272779A publication Critical patent/CN115272779A/zh
Application granted granted Critical
Publication of CN115272779B publication Critical patent/CN115272779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种液滴识别方法、装置、计算机设备和计算机可读存储介质，可以提高液滴识别的效率。所述方法包括：获取液滴图像，将液滴图像输入第一液滴识别模型，确定液滴图像中液滴的排列方向，根据排列方向调整不同尺度卷积核的旋转角度，利用旋转后的卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，根据多个第一液滴图像特征获取第一液滴识别结果；将液滴图像输入第二液滴识别模型，预测针对液滴图像中液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征；根据第二液滴图像特征获取第二液滴识别结果；基于两个液滴识别结果，确定最终液滴识别结果。

Description

液滴识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种液滴识别方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着核酸检测技术的发展，聚合酶链式反应技术成为核酸检测的主流手段。该方法在检测过程中需要统计核酸样本中的液滴数量，而每个样本中液滴数量较大，因此对液滴识别的效率有较高要求。
目前液滴识别主要采用数字PCR仪，该仪器通过将液滴充分稀释后逐滴识别的方式，对核酸样本中的液滴数量进行统计。然而目前的识别方法存在识别效率不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种液滴识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种液滴识别方法。所述方法包括：
获取液滴图像；
将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
在其中一个实施例中，所述根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果，包括：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道关系参数；
确定与所述多个通道关系参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
在其中一个实施例中，在所述获得融合特征之后，还包括：
将所述融合特征输入到用于生成卷积核权重的生成器中，由所述生成器获取所述融合特征对应的卷积核权重；
根据所述卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对所述融合特征进行特征提取，获得滤波特征；
获取所述滤波特征对应的回归结果和分类结果；所述回归结果包括所述液滴的中心点坐标、中心点偏移量和所述液滴对应的目标检测框的宽和高，所述分类结果用于指示所述目标检测框中是否有液滴；
根据所述分类结果和所述回归结果，得到所述液滴图像的第一液滴识别结果。
在其中一个实施例中，所述根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果，包括：
利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征；
根据所述方向敏感特征和所述方向不变特征，得到所述液滴图像的第二液滴识别结果。
在其中一个实施例中，所述利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征，包括：
获取多个旋转角度，并根据所述旋转角度对预设的特征提取器的特征提取角度进行调整；
利用调整后的特征提取器对所述第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果；
基于所述多个旋转角度下的卷积结果获得方向敏感特征，以及，确定所述多个旋转角度下的卷积结果中的最大卷积结果，并将所述最大卷积结果作为方向不变特征。
在其中一个实施例中，所述基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果，包括：
根据所述第一液滴识别结果和所述第二液滴识别结果，确定针对所述液滴图像中的液滴多个检测框和每个检测框的置信度；
根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；所述当前的待融合检测框为首个检测框以外的其他检测框；
将所述当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；所述至少一个液滴当前的检测框至少包括所述首个检测框；
将当前待融合检测框与所述目标液滴当前的检测框进行融合，根据融合后的检测框更新所述目标液滴当前的检测框，并返回执行所述根据排列顺序确定当前的待融合检测框的步骤，直到所述多个检测框中每个检测框都进行融合；根据融合后得到的多个检测框，得到所述液滴图像的最终液滴识别结果。
第二方面，本申请还提供了一种液滴识别装置。所述装置包括：
图像获取模块，用于获取液滴图像；
第一液滴识别模块，用于将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
第二液滴识别模块，用于将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
结果融合模块，用于基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
上述液滴识别方法、装置、计算机设备、存储介质和计算机程序产品，获取液滴图像，将液滴图像输入到训练好的第一液滴识别模型，由第一液滴识别模型确定液滴图像中的液滴的排列方向，根据排列方向调整不同尺度的多个卷积核的旋转角度，并利用旋转后的多个卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，并根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果；将液滴图像输入到训练好的第二液滴识别模型，由第二液滴识别模型预测针对液滴图像中的液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据第二液滴图像特征获取液滴图像的第二液滴识别结果；基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果。本申请的方案中，通过将液滴图像输入到两个液滴识别模型中，一方面，第一液滴识别模型可以根据液滴排列方向调整卷积核的旋转角度，使卷积核的感受野与液滴排列方向匹配；另一方面，第二液滴识别模型可以根据锚框的方向调整特征偏移量，使轴向特征转换为基于相应锚框的偏移特征，进而可以结合两个液滴识别模型的液滴识别结果，能够快速得到可靠的液滴识别结果，提高了液滴识别的效率。
附图说明
图1为一个实施例中液滴识别方法的流程示意图；
图2为一个实施例中融合第一液滴特征的步骤的流程示意图；
图3为一个实施例中利用融合特征获得第一液滴识别结果的步骤的流程示意图；
图4为一个实施例中得到第二液滴识别结果的步骤的流程示意图；
图5为一个实施例中得到方向敏感特征和方向不变特征的步骤的流程示意图；
图6为一个实施例中融合第一液滴识别结果和第二液滴识别结果的步骤的流程示意图；
图7（a）为明场原始液滴输入图像；
图7（b）为明场液滴检测图像；
图8为一个实施例中液滴识别装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种液滴识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S101，获取液滴图像。
作为一示例，液滴图像可以是聚合酶链式反应技术（Polymerase ChainReaction，PCR）图像，也可以是其他需要识别的液滴图像，该液滴图像中具有一个或多个液滴。
在实际应用中，可以预先获取液滴图像，该液滴图像可以是被用于后续的识别的液滴图像。
S102，将液滴图像输入到训练好的第一液滴识别模型，由第一液滴识别模型确定液滴图像中的液滴的排列方向，根据排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，并根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果。
示例性地，第一液滴识别模型可以是一个单一或者复合的模型，例如可以是一个以CenterNet为基线网络，包含具有不同尺度的可旋转卷积核的特征提取模块，以及对特征提取模块提取到的特征进行识别的模块的复合模型。液滴图像中的液滴的排列方向可以由CenterNet网络预测得到，该结果是一个具体的角度。为便于与下文的其他液滴识别结果进行区分，可以将第一液滴识别模型的液滴识别结果称为第一液滴识别结果，第一液滴识别结果用于指示液滴图像中液滴的识别情况，例如可以指示液滴图像中每个液滴的大小和所在位置。
具体实现中，可以将液滴图像输入第一液滴识别模型，第一液滴识别模型可以确定液滴图像中液滴的排列方向。例如，第一液滴识别模型中可以包含CenterNet网络，该网络接收到液滴图像后，可以预测出各个液滴的中心点坐标、偏移位置以及针对各个液滴的检测框的宽和高，其中，偏移位置是指预测的液滴中心点坐标相对于实际液滴中心点坐标在横坐标和纵坐标上可能的偏移位置。利用以上数据，可以计算出各个目标检测框旋转后的四个角点，并根据四个角点回归出液滴的排列方向，该排列方向可以用一个具体的角度来表示，可以称为回归角度。在训练CenterNet网络的时候，可以运用损失函数实现对该网络的优化和调整。具体例如，通过CenterNet网络计算目标检测框旋转后的四个角点的公式可以如下所示：
Figure 719324DEST_PATH_IMAGE002
其中，
Figure 307432DEST_PATH_IMAGE004
表示检测框旋转后的四个角点，即检测框左上方、右上方、 左下方和右下方的顶点，
Figure 231525DEST_PATH_IMAGE006
表示旋转矩阵，
Figure 304917DEST_PATH_IMAGE008
表示检测框的宽和高，
Figure 808711DEST_PATH_IMAGE010
表示中心点 横纵坐标，
Figure 251324DEST_PATH_IMAGE012
表示中心点的偏移位置。
该网络的总体损失函数可以表示为：
Figure 611899DEST_PATH_IMAGE014
其中，
Figure 169657DEST_PATH_IMAGE016
分别表示中心点检测的损失、检测框宽和高的损失、中 心点偏移量的损失和回归角度的损失。
Figure 477141DEST_PATH_IMAGE018
分别表示检测框宽和高、中心点偏移 量和回归角度的可学习因子，示例性地，可以均设置为0.15。
对于其中的回归角度损失，可以通过如下所示的损失函数确定：
Figure 570999DEST_PATH_IMAGE020
其中，
Figure 305737DEST_PATH_IMAGE022
表示分别为目标和预测的旋转角度，
Figure 353721DEST_PATH_IMAGE024
为液滴图像中的液滴数目。
在确定排列方向后，可以将排列方向作为不同尺度的可旋转卷积核的旋转角度， 利用旋转后的卷积核对液滴图像进行特征提取，将每个卷积核提取到的特征作为多个第一 液滴图像特征。例如，在进行卷积操作前，可以先获取到液滴图像，也可以获取经过 CenterNet网络处理后的液体图像特征
Figure 730475DEST_PATH_IMAGE026
，其中H表示图像特征的高度，W表示图像 特征的宽度，C表示图像特征的通道数。利用卷积核为
Figure 678840DEST_PATH_IMAGE028
的卷积层对特征
Figure DEST_PATH_IMAGE029_51A
进行 压缩，再对压缩后特征进行批归一化处理，并输入非线性激活函数ReLU对处理后特征进行 聚合。
接着，可以利用具有不同尺度卷积核的旋转卷积层(Rotating Convolution Layers, RCLs)对聚合后的特征进行多尺度特征提取，每个旋转卷积层包含一个3*3的卷积 核、一个1*3的卷积核，一个3*1的卷积核和一个1*1的卷积核，且不同尺度的卷积核负责提 取不同尺度的液滴信息，可以将不同尺度的卷积提取出的特征称为第一液滴图像特征，定 义为
Figure 20697DEST_PATH_IMAGE031
。其中，旋转卷积层在扩张结构上类似于可变形卷积网络，但可 以始终保持一个1*1的卷积操作以实现特征信息的压缩和稀释，对于卷积核为3*3的卷积具 体的扩张操作规则，具体可以如下所示：
Figure DEST_PATH_IMAGE033_77A
其中，
Figure DEST_PATH_IMAGE035_69A
表示每个
Figure DEST_PATH_IMAGE037_51A
卷积核的扩张域和接受域；
Figure DEST_PATH_IMAGE039_43A
表示卷积核第
Figure DEST_PATH_IMAGE041_38A
个位置 的预定义偏移量；
Figure DEST_PATH_IMAGE043_47A
表示上文中的旋转矩阵；
Figure DEST_PATH_IMAGE045_66A
表示CenterNet网络回归出的角度。
Figure DEST_PATH_IMAGE047_51A
表示该卷积核第
Figure DEST_PATH_IMAGE049_59A
个位置学习到的偏移量。对于第一液滴图像特征
Figure DEST_PATH_IMAGE051_45A
中的每个位置
Figure DEST_PATH_IMAGE053_35A
，具 体可以如下列公式所示：
Figure DEST_PATH_IMAGE055_38A
其中，
Figure DEST_PATH_IMAGE057_36A
表示卷积核中心点的位置；
Figure DEST_PATH_IMAGE059_23A
表示卷积核权重。
基于多个第一液滴图像特征，可以对特征进行分析，得到液滴图像的第一液滴识别结果。例如，可以将多个第一液滴图像特征输入一个识别模块，得到第一液滴识别结果，也可以对多个第一液滴图像特征进一步处理，对处理后的特征再进一步进行识别，得到第一液滴识别结果。
S103，将液滴图像输入到训练好的第二液滴识别模型，由第二液滴识别模型预测针对液滴图像中的液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据第二液滴图像特征获取液滴图像的第二液滴识别结果。
可选地，第二液滴识别模型可以是一个单一或者复合的模型，例如可以包含对液滴图像进行多尺度特征提取的骨干网络，以及基于骨干网络提取到的特征进行识别的模块。锚框可以是针对液滴的检测框。特征偏移量可以是特征图上各个特征点的偏移量。第二液滴识别结果用于指示液滴图像中液滴的识别情况，例如可以指示液滴图像中每个液滴的大小和所在位置。
在实际应用中，获取液滴图像输入第二液滴识别模型，液滴识别模型可以预测针对液滴图像中液滴的锚框，根据锚框的信息确定与锚框对应的特征偏移量，利用特征偏移量处理液滴图像后，再对偏移后的液滴图像进行卷积，获得第二液滴图像特征。例如，第二液滴识别模型可以直接预测液滴图像中的滴液的锚框，也可以先采用深度残差网络和双向特征金字塔网络作为骨干网络进行密集液滴的多尺度特征提取，再将提取到的特征输入锚点细化模块，该锚点细化模块可以回归出针对液滴图像中的液滴的锚框的中心点、宽、高和偏移角度。接着获取回归的结果，计算出与锚框对应的特征偏移量，将特征偏移量和骨干网络提取到的特征输入特征对齐卷积层，特征对齐卷积层可以根据特征偏移量，随机抽取9个特征点进行偏移处理，并对偏移后的特征点进行卷积特征提取，获得第二液滴图像特征。
S104，基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果。
作为一示例，液滴图像的最终液滴识别结果可以是指示液滴图像中每个液滴大小、所在位置信息的图像，也可以是指示液滴图像中每个液滴对应的检测框的信息，例如中心点坐标、检测框的宽和高。
具体实施中，获取第一液滴识别结果和第二液滴识别结果，对第一液滴识别结果和第二液滴识别结果进行分析，确定液滴图像的最终液滴识别结果。
上述液滴识别方法中，获取液滴图像，将液滴图像输入到训练好的第一液滴识别模型，由第一液滴识别模型确定液滴图像中的液滴的排列方向，根据排列方向调整不同尺度的多个卷积核的旋转角度，并利用旋转后的多个卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，并根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果；将液滴图像输入到训练好的第二液滴识别模型，由第二液滴识别模型预测针对液滴图像中的液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据第二液滴图像特征获取液滴图像的第二液滴识别结果；基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果。本申请的方案中，通过将液滴图像输入到两个液滴识别模型中，一方面，第一液滴识别模型可以根据液滴排列方向调整卷积核的旋转角度，使卷积核的感受野与液滴排列方向匹配；另一方面，第二液滴识别模型可以根据锚框的方向调整特征偏移量，使轴向特征转换为基于相应锚框的偏移特征，进而可以结合两个液滴识别模型的液滴识别结果，能够快速得到可靠的液滴识别结果，提高了液滴识别的效率。
在一个实施例中，如图2所示，根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果，包括：
S201，将多个第一液滴图像特征输入注意力模块，由注意力模块获取每个第一液滴图像特征对应的多个通道关系参数。
示例性地，注意力模块可以用于实现特征的融合和筛选，可以包括一个
Figure DEST_PATH_IMAGE061_25A
卷积操 作、批量归一化操作和ReLU序列。通道关系参数可以是表示特征图中各个通道的重要性的 信息。
在实际应用中，获取多个第一液滴图像特征，可以由注意力模块对多个第一液滴 图像特征进行处理，获得与多个第一液滴图像特征对应的多个通道关系参数。例如，注意力 模块对多个第一液滴图像特征进行
Figure DEST_PATH_IMAGE062_78A
卷积操作、批量归一化操作和ReLU序列处理，从中 获取通道关系参数
Figure DEST_PATH_IMAGE064_82A
。
S202，确定与多个通道关系参数对应的特征权重，并根据特征权重，对多个第一液滴图像特征进行融合，获得融合特征。
可选地，特征权重可以指示每个通道关系参数的占比权重，可以通过公式计算，也可以将每个通道关系参数输入模型生成。
具体实现中，可以获取多个通道关系参数，根据多个通道关系参数生成特征权重，并基于特征权重，对多个第一液滴图像特征进行融合，获得融合特征。例如，可以将多个通道关系参数输入SoftMax函数，得到特征权重，具体公式可以如下所示：
Figure DEST_PATH_IMAGE066_88A
对多个第一液滴图像特征进行融合，获得融合特征的公式可以如下所示：
Figure DEST_PATH_IMAGE068_90A
其中，
Figure DEST_PATH_IMAGE070_71A
表示融合特征，
Figure DEST_PATH_IMAGE072_54A
表示特征权重，
Figure DEST_PATH_IMAGE074_47A
表示第一液滴图像特 征。
S203，根据融合特征，获得液滴图像的第一液滴识别结果。
在实际应用中，第一液滴模型可以基于融合特征进行相应的处理，获得液滴图像的第一液滴识别结果。
本实施例中，通过根据通道关系参数的权重来融合多个第一液滴图像特征，基于融合特征获得液滴图像的第一液滴识别结果，能够使得第一液滴识别结果基于筛选过关键信息后的融合特征生成，提高了第一液滴识别结果的可靠性。
在一个实施例中，如图3所示，在获得融合特征之后，还包括：
S301，将融合特征输入到用于生成卷积核权重的生成器中，由生成器获取融合特征对应的卷积核权重。
示例性地，生成卷积核权重的生成器可以是根据输入特征的不同，自适应地生成相应的卷积核权重的生成器，例如可以是动态滤波器生成器，具有一个参数集，可以根据输入特征自行选择不同的参数生成对应的卷积核权重。卷积核权重可以是每个卷积核在卷积提取特征时该卷积核的卷积结果在最终结果中所占的比重。
在实际应用中，获取融合特征输入到生成卷积核权重的生成器中，生成器根据融合特征进行一定调整，生成融合特征对应的卷积核权重。例如，可以将融合特征输入到动态滤波器生成器中，动态滤波器生成器根据融合特征从参数集中选择一定的参数，生成相应的卷积核权重。
S302，根据卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对融合特征进行特征提取，获得滤波特征。
可选地，滤波特征可以是由调整后的卷积核对融合特征进行特征提取获得的特征，也可以是先对融合特征进一步处理，再用调整后的卷积核对该处理结果进行特征提取。
具体实施中，获取卷积核权重对预先确定的卷积核进行调整，再利用调整后的卷 积核对特征进行特征提取，获得滤波特征，其中，调整后的卷积核也可以称为卷积滤波器。 例如，可以是先对融合特征进行卷积核为
Figure DEST_PATH_IMAGE075_34A
的卷积、归一化处理和输入激活函数ReLU的 处理，得到精细化特征，再利用调整后的卷积核去对该精细化特征进行卷积，获得滤波特 征。具体实现可以如以下公式所示：
Figure DEST_PATH_IMAGE077_17A
其中，
Figure DEST_PATH_IMAGE078_47A
是融合特征，
Figure DEST_PATH_IMAGE080_41A
表示
Figure DEST_PATH_IMAGE078_48A
经过卷积核
Figure DEST_PATH_IMAGE075_35A
为的卷积、归一化处理 和激活函数ReLU之后的精细化特征。
Figure DEST_PATH_IMAGE082_33A
表示卷积操作；
Figure DEST_PATH_IMAGE084_44A
表示调整后的卷积核；
Figure DEST_PATH_IMAGE086_42A
表示 动态滤波器生成器；
Figure DEST_PATH_IMAGE088_49A
表示滤波器的参数集。
S303，获取滤波特征对应的回归结果和分类结果；回归结果包括液滴的中心点坐标、中心点偏移量和液滴对应的目标检测框的宽和高，分类结果用于指示目标检测框中是否有液滴。
作为一示例，回归结果和分类结果可以是由模型分析得到，也可以是由一个预设好的分类器生成。回归结果可以是在原液滴图像的基础上标注了液滴的中心点坐标、中心点偏移量和液滴对应的目标检测框的宽和高的图像，分类结果可以是高斯热力图，当目标检测框中有液滴时，可以对应到高斯热力图中的一个高斯点。
在实际应用中，基于滤波特征，生成回归结果和分类结果。例如，可以利用分类器生成分类结果，具体公式可以如下所示：
Figure DEST_PATH_IMAGE090_49A
其中，
Figure DEST_PATH_IMAGE092_42A
表示分类结果，
Figure DEST_PATH_IMAGE094_53A
表示参数为
Figure DEST_PATH_IMAGE096_49A
的分类器，
Figure DEST_PATH_IMAGE098_26A
为模数运算，
Figure DEST_PATH_IMAGE100_35A
表 示滤波特征，
Figure DEST_PATH_IMAGE101_24A
表示精细化特征。同时，为了进一步获得更有效的特征和预测表示，将根 据精细化特征
Figure DEST_PATH_IMAGE101_25A
的长度自适应地进行精炼化处理，
Figure DEST_PATH_IMAGE103_24A
表示一个常数，旨在控制精炼范围。
同样地，可以用回归器生成回归结果，具体公式可以如下所示：
Figure DEST_PATH_IMAGE105_23A
其中，
Figure DEST_PATH_IMAGE107_25A
表示回归生成器，
Figure DEST_PATH_IMAGE109_43A
表示回归生成器参数；
Figure DEST_PATH_IMAGE111_24A
表示回归细化因子；
Figure DEST_PATH_IMAGE113_21A
表示激活函数，
Figure DEST_PATH_IMAGE115_26A
是将精细化特征进一步处理得到的特征，
Figure DEST_PATH_IMAGE117_34A
表示滤波特征。为 了防止过拟合现象的发生，本申请中回归细化因子可以设置为0.15。
S304，根据分类结果和回归结果，得到液滴图像的第一液滴识别结果。
示例性地，第一液滴识别结果可以是分类结果和回归结果的拼接，也可以是基于分类结果和回归结果进行特定计算得到的结果。
具体实现中，获取分类结果和回归结果，对分类结果和回归结果进行处理，可以得到液滴图像的第一液滴识别结果。例如可以由分类结果和回归结果计算出每个检测框四个角点的坐标、中心点、检测框置信度作为液滴图像的第一液滴识别结果。
在本实施例中，通过将融合特征输入到用于生成卷积核权重的生成器中，得到融合特征对应的卷积核权重，使第一液滴模型能够对每个液滴样本的唯一性和特殊性进行建模，并以动态且精炼的方式对结果进行预测。
在一个实施例中，如图4所示，根据第二液滴图像特征获取液滴图像的第二液滴识别结果，包括：
S401，利用旋转的特征提取器对第二液滴图像特征进行特征提取，并基于特征提取器的特征提取结果获取方向敏感特征和方向不变特征。
作为一示例，旋转的特征提取器可以是一个可旋转的卷积核，在卷积过程中可以主动旋转。方向敏感特征可以是旋转的特征提取器在每一次旋转中提取到的特征的集合。方向不变特征可以基于方向敏感特征生成。
在实际应用中，可以利用旋转的特征提取器，对第二液滴图像特征进行特征提取，并基于特征提取结果获得方向敏感特征，在方向敏感特征基础上获得方向不变特征。
S402，根据方向敏感特征和方向不变特征，得到液滴图像的第二液滴识别结果。
可选地，第二液滴识别结果可以用于指示液滴图像的液滴识别情况，可以包括液滴图像中每个检测框四个角点的坐标、中心点、检测框置信度等信息。第二液滴识别结果的获取可以是经过模型的分析得到，也可以是由特定的分类器、回归器生成的。
具体实施中，基于方向敏感特征和方向不变特征，可以生成液滴图像的第二液滴识别结果。例如，可以将方向敏感特征和方向不变特征输入到两个自子网络中，其中一个是分析子网络，一个是回归子网络。根据两个子网络的输出结果，可以计算生成第二液滴识别结果。
在本实施例中，通过生成方向敏感特征和方向不变特征，基于方向敏感特征和方向不变特征得到第二液滴识别结果，改善了密集液滴的检测精度。
在一个实施例中，如图5所示，利用旋转的特征提取器对第二液滴图像特征进行特征提取，并基于特征提取器的特征提取结果获取方向敏感特征和方向不变特征，包括：
S501，获取多个旋转角度，并根据旋转角度对预设的特征提取器的特征提取角度进行调整。
示例性地，旋转角度可以是指特征提取器在提取特征时相对于原始状态偏转的角度。特征提取器可以是多通道的可旋转卷积核。
在实际应用中，先获取多个旋转角度，再根据旋转角度去设置特征提取器每次提 取特征时的特征提取角度。例如，特征提取器可以是旋转滤波器（Active Rotating Filters ，ARF），它是一个
Figure DEST_PATH_IMAGE119_38A
的卷积核，在卷积过程中会主动旋转
Figure DEST_PATH_IMAGE121_53A
次，所以可 以获取
Figure DEST_PATH_IMAGE121_54A
个旋转角度，根据旋转角度对ARF过滤器进行设置。
S502，利用调整后的特征提取器对第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果。
作为一示例，特征提取器每以一个特征提取角度进行特征提取时，都能产生该角度对应的卷积结果。
具体实施中，调整后的特征提取器可以对第二液滴图像特征进行卷积，每次卷积 都产生一个对应的卷积结果，由多个旋转角度，可以得到多个旋转角度下的卷积结果。例 如，特征提取器可以是旋转滤波器（Active Rotating Filters ，ARF），获得
Figure DEST_PATH_IMAGE121_55A
个旋转角 度，旋转
Figure DEST_PATH_IMAGE121_56A
次，得到了
Figure DEST_PATH_IMAGE121_57A
个卷积结果。
S503，基于多个旋转角度下的卷积结果获得方向敏感特征，以及，确定多个旋转角度下的卷积结果中的最大卷积结果，并将最大卷积结果作为方向不变特征。
可选地，方向敏感特征可以由多个旋转角度下的卷积结果简单叠加得到，也可以由多个旋转角度下的卷积结果经过融合得到。最大卷积结果可以指卷积结果中特征图尺寸最大的结果。
在实际应用中，根据多个旋转角度下的卷积结果，确定方向敏感特征，再基于多个 旋转角度下的卷积结果筛选出最大卷积结果，作为方向不变特征。例如，特征提取器是一个
Figure DEST_PATH_IMAGE122_13A
可旋转卷积核，获得
Figure DEST_PATH_IMAGE123_25A
个旋转角度，旋转
Figure DEST_PATH_IMAGE124_29A
次，可以得到
Figure DEST_PATH_IMAGE124_30A
个卷积结 果，将
Figure DEST_PATH_IMAGE124_31A
个卷积结果简单叠加，得到一个具有
Figure DEST_PATH_IMAGE125_22A
个通道的特征，作为方向敏感特征。 为了获得具有明确编码方向信息的方向敏感特征，还可以给方向敏感特征进行编码，具体 过程可以如下列公式所示：
Figure DEST_PATH_IMAGE127_48A
其中，
Figure DEST_PATH_IMAGE129_27A
表示特征提取器旋转第
Figure DEST_PATH_IMAGE131_20A
次的提取到特征编码。
Figure DEST_PATH_IMAGE124_32A
表示特征提取器 主动旋转的次数，
Figure DEST_PATH_IMAGE133_23A
表示第二液滴图像特征
Figure DEST_PATH_IMAGE135_16A
顺时针旋转
Figure DEST_PATH_IMAGE137_26A
后的特征图，
Figure DEST_PATH_IMAGE139_19A
表示特征提 取器的旋转角度，旋转范围为
Figure DEST_PATH_IMAGE141_28A
，
Figure DEST_PATH_IMAGE143_26A
表示方向敏感特征。
在
Figure DEST_PATH_IMAGE125_23A
个卷积结果中，选择特征图尺寸最大的卷积结果作为方向不变特征。具体 可以如以下公式所示：
Figure DEST_PATH_IMAGE145_26A
其中，
Figure DEST_PATH_IMAGE147_25A
表示方向不变特征，
Figure DEST_PATH_IMAGE148_11A
表示方向敏感特征，
Figure DEST_PATH_IMAGE150_14A
表示特征选择函 数，即取特征图尺寸最大的卷积结果。
在第二液滴模型包括负责多尺度特征提取的骨干网络、锚点细化网络、分类子网 络和回归子网络的情况下，在训练的第二液滴模型时候，可以使用了多重损失函数进行优 化。即锚点细化网络的损失
Figure 831612DEST_PATH_IMAGE152
和分类子网络、回归子网络的损失
Figure DEST_PATH_IMAGE154_18A
。总损失
Figure 480899DEST_PATH_IMAGE156
如公式所示：
Figure DEST_PATH_IMAGE158_10A
其中，
Figure DEST_PATH_IMAGE160_23A
表示可学习的平衡因子，
Figure 860934DEST_PATH_IMAGE162
和
Figure 265370DEST_PATH_IMAGE164
均表示液滴数量，
Figure DEST_PATH_IMAGE166_9A
表示指 数函数，
Figure DEST_PATH_IMAGE168_10A
表示第
Figure DEST_PATH_IMAGE169_15A
个锚点在锚点细化网络中的预测和细化位置，
Figure DEST_PATH_IMAGE171_13A
分别表示分类 子网络中目标类别和回归子网络中检测框的位置，
Figure DEST_PATH_IMAGE173_8A
分别表示锚点的真实类别和位 置，
Figure DEST_PATH_IMAGE175_9A
表示分类损失和回归损失，其中
Figure DEST_PATH_IMAGE177_16A
可以为Focal Loss函数。
在本实施例中，通过利用旋转的特征提取器获取方向敏感特征和方向不变特征，实现将密集液滴特征进一步精细化处理，提高了后续识别结果的可靠性。
在一个实施例中，如图6所示，基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果，包括：
S601，根据第一液滴识别结果和第二液滴识别结果，确定针对液滴图像中的液滴多个检测框和每个检测框的置信度。
作为一示例，液滴图像中的每个液滴可以对应一个或多个检测框，每个检测框都有对应的置信度，置信度可以描述模型认为此检测框包含液滴的概率，可以是介于0和1之间的数值。
在实际应用中，获取第一液滴识别结果和第二液滴识别结果中的检测框和该检测框的置信度。例如，可以获取第一液滴识别结果和第二液滴识别结果中所有检测框的中心点坐标、宽和高，或者检测框四个角点的坐标，以及该检测框的置信度。
S602，根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；当前的待融合检测框为首个检测框以外的其他检测框。
可选地，当前的待融合检测框可以是接下来操作中需要与同类检测框相融合的检测框。
具体实施中，根据置信度从高到低对多个检测框进行排列，从第二个检测框开始，按照排列顺序，每次将一个检测框作为当前的待融合检测框。
S603，将当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；至少一个液滴当前的检测框至少包括首个检测框。
示例性地，检测框之间的匹配可以是进行交并比的计算，也可以是比对两个检测框的宽和高。
在实际应用中，可以将当前的待融合检测框依次与每个液滴当前检测框匹配，当匹配成功则停止匹配。若匹配成功，可以根据匹配结果确定当前的待融合检测框所针对的目标液滴。例如，可以将当前的待融合检测框依次与每个液滴当前检测框进行交并比计算，设置交并比阈值为0.45，若当前的待融合检测框与某个液滴当前检测框的交并比计算结果大于0.45，则该液滴当前检测框所对应的液滴，就是当前的待融合检测框所针对的目标液滴。
在一个示例中，在检测框匹配完毕后，可以对检测框的置信度进行更新，具体例如，若针对当前待融合的检测框，获取到了匹配成功的检测框，则可以将当前待融合的检测框添加至匹配成功的检测框对应的列表L中。此时，列表L中可以包括多个检测框，此时可以对列表L中检测框的置信度分数D将进行重新调整，具体可以如下公式所示：
Figure 350263DEST_PATH_IMAGE179
其中，
Figure DEST_PATH_IMAGE181_10A
表示该位置的全部检测框；
Figure DEST_PATH_IMAGE183_9A
表示第
Figure DEST_PATH_IMAGE184_25A
个位置检测框的置信度分 数。
S604，将当前待融合检测框与目标液滴当前的检测框进行融合，根据融合后的检测框更新目标液滴当前的检测框，并返回执行根据排列顺序确定当前的待融合检测框的步骤，直到多个检测框中每个检测框都进行融合；根据融合后得到的多个检测框，得到液滴图像的最终液滴识别结果。
作为一示例，检测框之间的融合可以是加权融合，也可以是通过非线性的计算。液滴图像的最终液滴识别结果可以是输出的液滴图像中每个液滴只对应一个检测框。
具体实施中，确定了当前的待融合检测框所针对的目标液滴后，可以将当前待融合检测框与目标液滴当前的检测框进行融合，得到融合后的检测框。例如，可以将当前待融合检测框和目标液滴当前的检测框的四个角点坐标分别进行加权融合计算，可以根据当前待融合检测框和目标液滴当前的检测框的置信度决定加权融合的权重，计算得到融合后的检测框。
若所有模型对该位置液滴的检测置信度均很低，则可以降低该位置液滴的置信度分数，加权融合方式可以如以下公式所示：
Figure DEST_PATH_IMAGE186_13A
其中，
Figure DEST_PATH_IMAGE188_14A
表示参与密集液滴检测的模型数量，本申请可以使用双模型融合，满足
Figure DEST_PATH_IMAGE190_17A
。
将融合后的检测框作为新的目标液滴当前的检测框，并返回确定下一个当前的待融合检测框，重复执行S602~S604的步骤，直到多个检测框中每个检测框都进行融合，得到所有液滴当前的检测框，可以作为液滴图像的最终液滴识别结果。
在本实施例中，基于检测框的置信度融合第一液滴识别结果和第二液滴识别结果中的检测框，提高了最终液滴识别结果的可靠性。
在一个实施例中，可以对第一液滴模型和第二液滴模型进行训练。在训练过程中，使用SGD左右优化器，动量值设置为0.9，衰减权重设置为0.0001，学习率设置为0.0025，批处理设置为2，每个模型迭代次数为100。为了确保实验数据的一致性，以及实验结果的有效性，将原始图像固定为600*600，而测试时则会进行拼接处理恢复原始图像大小。
DANets模型中，图像的输入为400*600，500*600和600*600，并添加了多尺度测试 500*600和600*600，而角度软化非极大值抑制(Angle-Soft Non-Maximum Suppression, Angle-SoftNMS)的
Figure DEST_PATH_IMAGE192_13A
值分别设置为0.5和0.03，最后，在解码定向包围盒前，加入水平翻 转和平均网络预测。
MsFANets模型中，对于金字塔结构的
Figure DEST_PATH_IMAGE194_10A
，为PCR图像中每个液滴位置预先设 置一个正矩形锚点，其比例分别为32、64、128、256、512，损失函数
Figure 835865DEST_PATH_IMAGE195
中的可学习平衡 因子
Figure DEST_PATH_IMAGE196_9A
设置为0.9，
Figure DEST_PATH_IMAGE198_7A
中的参数
Figure DEST_PATH_IMAGE200_7A
分别为0.25和2.0。
为了论证本申请所提出的多模型融合算法的有效性，在PCR数据集上进行了验证测试。实验结果可以如表1所示：
Figure 858354DEST_PATH_IMAGE202
其中骨干网络表示初始的特征提取器，mAP表示全类平均正确率，FPS表示每秒帧数，本章中表示每秒处理图像数量，根据表1可以得出以下结论：
(1)特征提取器为ResNet-101-FPN时的效果要优于ResNet-50-FPN，如Faster-RCNN中ResNet-101-FPN的mAP相比于ResNet-50-FPN提高了2.37%，DANets和MsFANets分别提高了1.36%和1.96%。其主要原因是，PCR图像的质量较差，浅层的特征提取器并不能有效捕获密集液滴的细节特征。
(2)本实施例所提多模型融合密集液滴检测算法DMFM取得了最优检测效果，而FPS却最小，即每秒处理图像数量，FPS较差的原因是，多模型融合算法在检测过程中会加载多个模型，因此降低了检测效率，但在可接受范围内，提高精度的情况下可适当降低效率。
(3)相比于DANets和MsFANets液滴检测模型，本章使用的融合模型分别提高了1.45%和1.72%。其主要原因是，使用的加权融合方法在一定程度上形成了互补，即DANets中未能检测到的液滴，MsFANets则有检测。
为了验证各个模块对组合模型整体性能的影响，在PCR数据集上进行了消融实验验证，这里使用CE替换所有模型中的Focal Loss损失函数。实验结果可以如表2所示：
表2 不同模块的实验结果
Figure DEST_PATH_IMAGE204A
其中，ACC表示准确率，Recall表示召回率。
结合表2和表1可以发现：使用CE替换所有模型中的Focal Loss进行调整优化时，降低了多模型融合算法的检测精度，可能的原因是PCR图像中密集液滴与背景存在一定的数据不平衡问题，而CE并不能起到有效的平衡作用。
相比于BiFPN，FPN的检测效果在所有模型上均低于BiFPN。如ResNet-101-FPN-CE的ACC、Recall和mAP比ResNet-101-BiFPN-CE分别降低了0.64%、0.86%和0.82%。这也证明了双向的特征金字塔结构能获取更好地液滴特征，即从正反两个方向对PCR图像中液滴的全局语义进行了探索，并建立了一定的依赖关系，从而提高了密集液滴的检测效果。
为了进一步展示所提多模型融合算法DMFM在小规模数据集上的检测效果，使用不同规模的数据集进行测试验证。具体实验结果可以如表3所示：
表3 不同样本量的实验结果
Figure DEST_PATH_IMAGE206_7A
根据表3可以发现，随着训练样本的增加，密集液滴的检测精度也增加，如30%的mAP最低为34.19%，比10%的mAP增加了10.07%。主要原因是随着样本数量的增加，融合模型能学习到更多的液滴细节，能更好地获取密集液滴的边缘或物理外观等低层属性，同时，提取了更多的高阶局部和全局上下文语义，改善了特征对液滴的表示，虽然所提模型主要是针对于暗场PCR液滴图像的检测，将此模型运用到明场PCR液滴图像的检测也取得了较好的结果。为了直观展示所提融合模型的有效性，所提模型的明场液滴图像检测效果如图7（a）和图7（b）所示，其中，图中droplets表示检测框检测到液滴，数字表示该检测框的置信度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的液滴识别方法的液滴识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个液滴识别装置实施例中的具体限定可以参见上文中对于液滴识别方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种液滴识别装置，包括：
图像获取模块701，用于获取液滴图像；
第一液滴识别模块702，用于将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
第二液滴识别模块703，用于将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
结果融合模块704，用于基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
在一个实施例中，所述第一液滴识别模块，具体用于：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道参数；
确定与多个通道参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
在一个实施例中，所述装置还包括：
权重生成模块，将所述融合特征输入到用于生成卷积核权重的生成器中，由所述生成器获取所述融合特征对应的卷积核权重；
滤波特征提取模块，根据所述卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对所述融合特征进行特征提取，获得滤波特征；
回归分类模块，获取所述滤波特征对应的回归结果和分类结果；所述回归结果包括所述液滴的中心点坐标、中心点偏移量和所述液滴对应的目标检测框的宽和高，所述分类结果用于指示所述目标检测框中是否有液滴；
结果获取模块，根据所述分类结果和所述回归结果，得到所述液滴图像的第一液滴识别结果。
在一个实施例中，所述第二液滴识别模块，具体用于：
利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征；
根据所述方向敏感特征和所述方向不变特征，得到所述液滴图像的第二液滴识别结果。
在一个实施例中，所述装置还包括：
特征提取器调整模块，获取多个旋转角度，并根据所述旋转角度对预设的特征提取器的特征提取角度进行调整；
多角度卷积模块，利用调整后的特征提取器对所述第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果；
特征生成模块，基于所述多个旋转角度下的卷积结果获得方向敏感特征，以及，确定所述多个旋转角度下的卷积结果中的最大卷积结果，并将所述最大卷积结果作为方向不变特征。
在一个实施例中，所述结果融合模块，具体用于：
根据所述第一液滴识别结果和所述第二液滴识别结果，确定针对所述液滴图像中的液滴多个检测框和每个检测框的置信度；
根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；所述当前的待融合检测框为首个检测框以外的其他检测框；
将所述当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；所述至少一个液滴当前的检测框至少包括所述首个检测框；
将当前待融合检测框与所述目标液滴当前的检测框进行融合，根据融合后的检测框更新所述目标液滴当前的检测框，并返回执行所述根据排列顺序确定当前的待融合检测框的步骤，直到所述多个检测框中每个检测框都进行融合；
根据融合后得到的多个检测框，得到所述液滴图像的最终液滴识别结果。
上述液滴识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储液滴识别数据 。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种液滴识别方法。
在另一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种液滴识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取液滴图像；
将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种液滴识别方法，其特征在于，所述方法包括：
获取液滴图像；
将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果，包括：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道参数；
确定与多个通道参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
3.根据权利要求2所述的方法，其特征在于，在所述获得融合特征之后，还包括：
将所述融合特征输入到用于生成卷积核权重的生成器中，由所述生成器获取所述融合特征对应的卷积核权重；
根据所述卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对所述融合特征进行特征提取，获得滤波特征；
获取所述滤波特征对应的回归结果和分类结果；所述回归结果包括所述液滴的中心点坐标、中心点偏移量和所述液滴对应的目标检测框的宽和高，所述分类结果用于指示所述目标检测框中是否有液滴；
根据所述分类结果和所述回归结果，得到所述液滴图像的第一液滴识别结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果，包括：
利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征；
根据所述方向敏感特征和所述方向不变特征，得到所述液滴图像的第二液滴识别结果。
5.根据权利要求4所述的方法，其特征在于，所述利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征，包括：
获取多个旋转角度，并根据所述旋转角度对预设的特征提取器的特征提取角度进行调整；
利用调整后的特征提取器对所述第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果；
基于所述多个旋转角度下的卷积结果获得方向敏感特征，以及，确定所述多个旋转角度下的卷积结果中的最大卷积结果，并将所述最大卷积结果作为方向不变特征。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果，包括：
根据所述第一液滴识别结果和所述第二液滴识别结果，确定针对所述液滴图像中的液滴多个检测框和每个检测框的置信度；
根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；所述当前的待融合检测框为首个检测框以外的其他检测框；
将所述当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；所述至少一个液滴当前的检测框至少包括所述首个检测框；
将当前待融合检测框与所述目标液滴当前的检测框进行融合，根据融合后的检测框更新所述目标液滴当前的检测框，并返回执行所述根据排列顺序确定当前的待融合检测框的步骤，直到所述多个检测框中每个检测框都进行融合；根据融合后得到的多个检测框，得到所述液滴图像的最终液滴识别结果。
7.一种液滴识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取液滴图像；
第一液滴识别模块，用于将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
第二液滴识别模块，用于将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
结果融合模块，用于基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
8.根据权利要求7所述的装置，其特征在于，所述第一液滴识别模块，具体用于：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道参数；
确定与多个通道参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211190001.8A 2022-09-28 2022-09-28 液滴识别方法、装置、计算机设备和存储介质 Active CN115272779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211190001.8A CN115272779B (zh) 2022-09-28 2022-09-28 液滴识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211190001.8A CN115272779B (zh) 2022-09-28 2022-09-28 液滴识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN115272779A true CN115272779A (zh) 2022-11-01
CN115272779B CN115272779B (zh) 2022-12-27

Family

ID=83756716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211190001.8A Active CN115272779B (zh) 2022-09-28 2022-09-28 液滴识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115272779B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113564026A (zh) * 2021-06-30 2021-10-29 佛山丁智生物科技有限公司 微滴进样机构、装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160085A1 (en) * 2018-11-21 2020-05-21 Vivotek Inc. Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device
CN111680678A (zh) * 2020-05-25 2020-09-18 腾讯科技（深圳）有限公司 目标区域识别方法、装置、设备及可读存储介质
WO2021129691A1 (zh) * 2019-12-23 2021-07-01 长沙智能驾驶研究院有限公司 一种对目标检测方法以及相应装置
CN113129338A (zh) * 2021-04-21 2021-07-16 平安国际智慧城市科技股份有限公司 基于多目标跟踪算法的图像处理方法、装置、设备及介质
CN114639101A (zh) * 2022-03-21 2022-06-17 陕西科技大学 一种乳状液液滴识别系统、方法、计算机设备及存储介质
CN114898131A (zh) * 2022-06-17 2022-08-12 北京师范大学 一种基于自然引导和数据增强的违禁物品检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160085A1 (en) * 2018-11-21 2020-05-21 Vivotek Inc. Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device
WO2021129691A1 (zh) * 2019-12-23 2021-07-01 长沙智能驾驶研究院有限公司 一种对目标检测方法以及相应装置
CN111680678A (zh) * 2020-05-25 2020-09-18 腾讯科技（深圳）有限公司 目标区域识别方法、装置、设备及可读存储介质
CN113129338A (zh) * 2021-04-21 2021-07-16 平安国际智慧城市科技股份有限公司 基于多目标跟踪算法的图像处理方法、装置、设备及介质
CN114639101A (zh) * 2022-03-21 2022-06-17 陕西科技大学 一种乳状液液滴识别系统、方法、计算机设备及存储介质
CN114898131A (zh) * 2022-06-17 2022-08-12 北京师范大学 一种基于自然引导和数据增强的违禁物品检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113564026A (zh) * 2021-06-30 2021-10-29 佛山丁智生物科技有限公司 微滴进样机构、装置及方法
CN113564026B (zh) * 2021-06-30 2024-04-26 佛山丁智生物科技有限公司 微滴进样机构、装置及方法

Also Published As

Publication number Publication date
CN115272779B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN109376615B (zh) 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110852447B (zh) 元学习方法和装置、初始化方法、计算设备和存储介质
WO2017143921A1 (zh) 一种多重抽样模型训练方法及装置
WO2020155300A1 (zh) 一种模型预测方法及装置
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN115272779B (zh) 液滴识别方法、装置、计算机设备和存储介质
US10956976B2 (en) Recommending shared products
CN111783997A (zh) 一种数据处理方法、装置及设备
CN113065593A (zh) 模型训练方法、装置、计算机设备和存储介质
CN113538070A (zh) 用户生命价值周期检测方法、装置和计算机设备
CN115545103A (zh) 异常数据识别、标签识别方法和异常数据识别装置
CN110580171A (zh) App分类方法、相关装置及产品
CN112232951B (zh) 基于多维度交叉特征的信用评价方法、装置、设备及介质
CN116630630B (zh) 语义分割方法、装置、计算机设备及计算机可读存储介质
CN111783088B (zh) 一种恶意代码家族聚类方法、装置和计算机设备
CN113762579A (zh) 一种模型训练方法、装置、计算机存储介质及设备
WO2024027068A1 (zh) 评估目标检测模型鲁棒性的攻击方法和装置
CN116894721A (zh) 一种指标预测方法、装置、计算机设备
CN115758271A (zh) 数据处理方法、装置、计算机设备和存储介质
CN115237097A (zh) 自动驾驶仿真测试方法、装置、计算机设备和存储介质
CN115314239A (zh) 基于多模型融合的隐匿恶意行为的分析方法和相关设备
CN112364258B (zh) 基于图谱的推荐方法、系统、存储介质及电子设备
CN111383716B (zh) 基因对的筛选方法、装置、计算机设备和存储介质
CN113762520B (zh) 一种数据处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant