CN115272779A - 液滴识别方法、装置、计算机设备和存储介质 - Google Patents
液滴识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115272779A CN115272779A CN202211190001.8A CN202211190001A CN115272779A CN 115272779 A CN115272779 A CN 115272779A CN 202211190001 A CN202211190001 A CN 202211190001A CN 115272779 A CN115272779 A CN 115272779A
- Authority
- CN
- China
- Prior art keywords
- droplet
- image
- liquid drop
- feature
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000007788 liquid Substances 0.000 claims abstract description 153
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 186
- 230000004927 fusion Effects 0.000 claims description 58
- 238000004590 computer program Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 238000003752 polymerase chain reaction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 150000007523 nucleic acids Chemical class 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007847 digital PCR Methods 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种液滴识别方法、装置、计算机设备和计算机可读存储介质，可以提高液滴识别的效率。所述方法包括：获取液滴图像，将液滴图像输入第一液滴识别模型，确定液滴图像中液滴的排列方向，根据排列方向调整不同尺度卷积核的旋转角度，利用旋转后的卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，根据多个第一液滴图像特征获取第一液滴识别结果；将液滴图像输入第二液滴识别模型，预测针对液滴图像中液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征；根据第二液滴图像特征获取第二液滴识别结果；基于两个液滴识别结果，确定最终液滴识别结果。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种液滴识别方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着核酸检测技术的发展，聚合酶链式反应技术成为核酸检测的主流手段。该方法在检测过程中需要统计核酸样本中的液滴数量，而每个样本中液滴数量较大，因此对液滴识别的效率有较高要求。
目前液滴识别主要采用数字PCR仪，该仪器通过将液滴充分稀释后逐滴识别的方式，对核酸样本中的液滴数量进行统计。然而目前的识别方法存在识别效率不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种液滴识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种液滴识别方法。所述方法包括：
获取液滴图像；
将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
在其中一个实施例中，所述根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果，包括：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道关系参数；
确定与所述多个通道关系参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
在其中一个实施例中，在所述获得融合特征之后，还包括：
将所述融合特征输入到用于生成卷积核权重的生成器中，由所述生成器获取所述融合特征对应的卷积核权重；
根据所述卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对所述融合特征进行特征提取，获得滤波特征；
获取所述滤波特征对应的回归结果和分类结果；所述回归结果包括所述液滴的中心点坐标、中心点偏移量和所述液滴对应的目标检测框的宽和高，所述分类结果用于指示所述目标检测框中是否有液滴；
根据所述分类结果和所述回归结果，得到所述液滴图像的第一液滴识别结果。
在其中一个实施例中，所述根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果，包括：
利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征；
根据所述方向敏感特征和所述方向不变特征，得到所述液滴图像的第二液滴识别结果。
在其中一个实施例中，所述利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征，包括：
获取多个旋转角度，并根据所述旋转角度对预设的特征提取器的特征提取角度进行调整；
利用调整后的特征提取器对所述第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果；
基于所述多个旋转角度下的卷积结果获得方向敏感特征，以及，确定所述多个旋转角度下的卷积结果中的最大卷积结果，并将所述最大卷积结果作为方向不变特征。
在其中一个实施例中，所述基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果，包括：
根据所述第一液滴识别结果和所述第二液滴识别结果，确定针对所述液滴图像中的液滴多个检测框和每个检测框的置信度；
根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；所述当前的待融合检测框为首个检测框以外的其他检测框；
将所述当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；所述至少一个液滴当前的检测框至少包括所述首个检测框；
将当前待融合检测框与所述目标液滴当前的检测框进行融合，根据融合后的检测框更新所述目标液滴当前的检测框，并返回执行所述根据排列顺序确定当前的待融合检测框的步骤，直到所述多个检测框中每个检测框都进行融合；根据融合后得到的多个检测框，得到所述液滴图像的最终液滴识别结果。
第二方面，本申请还提供了一种液滴识别装置。所述装置包括：
图像获取模块，用于获取液滴图像；
第一液滴识别模块，用于将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
第二液滴识别模块，用于将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
结果融合模块，用于基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项所述的方法的步骤。
上述液滴识别方法、装置、计算机设备、存储介质和计算机程序产品，获取液滴图像，将液滴图像输入到训练好的第一液滴识别模型，由第一液滴识别模型确定液滴图像中的液滴的排列方向，根据排列方向调整不同尺度的多个卷积核的旋转角度，并利用旋转后的多个卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，并根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果；将液滴图像输入到训练好的第二液滴识别模型，由第二液滴识别模型预测针对液滴图像中的液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据第二液滴图像特征获取液滴图像的第二液滴识别结果；基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果。本申请的方案中，通过将液滴图像输入到两个液滴识别模型中，一方面，第一液滴识别模型可以根据液滴排列方向调整卷积核的旋转角度，使卷积核的感受野与液滴排列方向匹配；另一方面，第二液滴识别模型可以根据锚框的方向调整特征偏移量，使轴向特征转换为基于相应锚框的偏移特征，进而可以结合两个液滴识别模型的液滴识别结果，能够快速得到可靠的液滴识别结果，提高了液滴识别的效率。
附图说明
图1为一个实施例中液滴识别方法的流程示意图；
图2为一个实施例中融合第一液滴特征的步骤的流程示意图；
图3为一个实施例中利用融合特征获得第一液滴识别结果的步骤的流程示意图；
图4为一个实施例中得到第二液滴识别结果的步骤的流程示意图；
图5为一个实施例中得到方向敏感特征和方向不变特征的步骤的流程示意图；
图6为一个实施例中融合第一液滴识别结果和第二液滴识别结果的步骤的流程示意图；
图7（a）为明场原始液滴输入图像；
图7（b）为明场液滴检测图像；
图8为一个实施例中液滴识别装置的结构框图；
图9为一个实施例中计算机设备的内部结构图；
图10为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种液滴识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S101，获取液滴图像。
作为一示例，液滴图像可以是聚合酶链式反应技术（Polymerase ChainReaction，PCR）图像，也可以是其他需要识别的液滴图像，该液滴图像中具有一个或多个液滴。
在实际应用中，可以预先获取液滴图像，该液滴图像可以是被用于后续的识别的液滴图像。
S102，将液滴图像输入到训练好的第一液滴识别模型，由第一液滴识别模型确定液滴图像中的液滴的排列方向，根据排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，并根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果。
示例性地，第一液滴识别模型可以是一个单一或者复合的模型，例如可以是一个以CenterNet为基线网络，包含具有不同尺度的可旋转卷积核的特征提取模块，以及对特征提取模块提取到的特征进行识别的模块的复合模型。液滴图像中的液滴的排列方向可以由CenterNet网络预测得到，该结果是一个具体的角度。为便于与下文的其他液滴识别结果进行区分，可以将第一液滴识别模型的液滴识别结果称为第一液滴识别结果，第一液滴识别结果用于指示液滴图像中液滴的识别情况，例如可以指示液滴图像中每个液滴的大小和所在位置。
具体实现中，可以将液滴图像输入第一液滴识别模型，第一液滴识别模型可以确定液滴图像中液滴的排列方向。例如，第一液滴识别模型中可以包含CenterNet网络，该网络接收到液滴图像后，可以预测出各个液滴的中心点坐标、偏移位置以及针对各个液滴的检测框的宽和高，其中，偏移位置是指预测的液滴中心点坐标相对于实际液滴中心点坐标在横坐标和纵坐标上可能的偏移位置。利用以上数据，可以计算出各个目标检测框旋转后的四个角点，并根据四个角点回归出液滴的排列方向，该排列方向可以用一个具体的角度来表示，可以称为回归角度。在训练CenterNet网络的时候，可以运用损失函数实现对该网络的优化和调整。具体例如，通过CenterNet网络计算目标检测框旋转后的四个角点的公式可以如下所示：
其中，
表示检测框旋转后的四个角点，即检测框左上方、右上方、
左下方和右下方的顶点，
表示旋转矩阵，
表示检测框的宽和高，
表示中心点
横纵坐标，
表示中心点的偏移位置。
该网络的总体损失函数可以表示为：
其中，
分别表示中心点检测的损失、检测框宽和高的损失、中
心点偏移量的损失和回归角度的损失。
分别表示检测框宽和高、中心点偏移
量和回归角度的可学习因子，示例性地，可以均设置为0.15。
对于其中的回归角度损失，可以通过如下所示的损失函数确定：
其中，
表示分别为目标和预测的旋转角度，
为液滴图像中的液滴数目。
在确定排列方向后，可以将排列方向作为不同尺度的可旋转卷积核的旋转角度，
利用旋转后的卷积核对液滴图像进行特征提取，将每个卷积核提取到的特征作为多个第一
液滴图像特征。例如，在进行卷积操作前，可以先获取到液滴图像，也可以获取经过
CenterNet网络处理后的液体图像特征
，其中H表示图像特征的高度，W表示图像
特征的宽度，C表示图像特征的通道数。利用卷积核为
的卷积层对特征
进行
压缩，再对压缩后特征进行批归一化处理，并输入非线性激活函数ReLU对处理后特征进行
聚合。
接着，可以利用具有不同尺度卷积核的旋转卷积层(Rotating Convolution
Layers, RCLs)对聚合后的特征进行多尺度特征提取，每个旋转卷积层包含一个3*3的卷积
核、一个1*3的卷积核，一个3*1的卷积核和一个1*1的卷积核，且不同尺度的卷积核负责提
取不同尺度的液滴信息，可以将不同尺度的卷积提取出的特征称为第一液滴图像特征，定
义为
。其中，旋转卷积层在扩张结构上类似于可变形卷积网络，但可
以始终保持一个1*1的卷积操作以实现特征信息的压缩和稀释，对于卷积核为3*3的卷积具
体的扩张操作规则，具体可以如下所示：
其中，
表示每个
卷积核的扩张域和接受域；
表示卷积核第
个位置
的预定义偏移量；
表示上文中的旋转矩阵；
表示CenterNet网络回归出的角度。
表示该卷积核第
个位置学习到的偏移量。对于第一液滴图像特征
中的每个位置
，具
体可以如下列公式所示：
其中，
表示卷积核中心点的位置；
表示卷积核权重。
基于多个第一液滴图像特征，可以对特征进行分析，得到液滴图像的第一液滴识别结果。例如，可以将多个第一液滴图像特征输入一个识别模块，得到第一液滴识别结果，也可以对多个第一液滴图像特征进一步处理，对处理后的特征再进一步进行识别，得到第一液滴识别结果。
S103，将液滴图像输入到训练好的第二液滴识别模型，由第二液滴识别模型预测针对液滴图像中的液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据第二液滴图像特征获取液滴图像的第二液滴识别结果。
可选地，第二液滴识别模型可以是一个单一或者复合的模型，例如可以包含对液滴图像进行多尺度特征提取的骨干网络，以及基于骨干网络提取到的特征进行识别的模块。锚框可以是针对液滴的检测框。特征偏移量可以是特征图上各个特征点的偏移量。第二液滴识别结果用于指示液滴图像中液滴的识别情况，例如可以指示液滴图像中每个液滴的大小和所在位置。
在实际应用中，获取液滴图像输入第二液滴识别模型，液滴识别模型可以预测针对液滴图像中液滴的锚框，根据锚框的信息确定与锚框对应的特征偏移量，利用特征偏移量处理液滴图像后，再对偏移后的液滴图像进行卷积，获得第二液滴图像特征。例如，第二液滴识别模型可以直接预测液滴图像中的滴液的锚框，也可以先采用深度残差网络和双向特征金字塔网络作为骨干网络进行密集液滴的多尺度特征提取，再将提取到的特征输入锚点细化模块，该锚点细化模块可以回归出针对液滴图像中的液滴的锚框的中心点、宽、高和偏移角度。接着获取回归的结果，计算出与锚框对应的特征偏移量，将特征偏移量和骨干网络提取到的特征输入特征对齐卷积层，特征对齐卷积层可以根据特征偏移量，随机抽取9个特征点进行偏移处理，并对偏移后的特征点进行卷积特征提取，获得第二液滴图像特征。
S104，基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果。
作为一示例，液滴图像的最终液滴识别结果可以是指示液滴图像中每个液滴大小、所在位置信息的图像，也可以是指示液滴图像中每个液滴对应的检测框的信息，例如中心点坐标、检测框的宽和高。
具体实施中，获取第一液滴识别结果和第二液滴识别结果，对第一液滴识别结果和第二液滴识别结果进行分析，确定液滴图像的最终液滴识别结果。
上述液滴识别方法中，获取液滴图像，将液滴图像输入到训练好的第一液滴识别模型，由第一液滴识别模型确定液滴图像中的液滴的排列方向，根据排列方向调整不同尺度的多个卷积核的旋转角度，并利用旋转后的多个卷积核对液滴图像进行特征提取，得到多个第一液滴图像特征，并根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果；将液滴图像输入到训练好的第二液滴识别模型，由第二液滴识别模型预测针对液滴图像中的液滴的锚框，确定与锚框对应的特征偏移量，根据特征偏移量，对识别出锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据第二液滴图像特征获取液滴图像的第二液滴识别结果；基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果。本申请的方案中，通过将液滴图像输入到两个液滴识别模型中，一方面，第一液滴识别模型可以根据液滴排列方向调整卷积核的旋转角度，使卷积核的感受野与液滴排列方向匹配；另一方面，第二液滴识别模型可以根据锚框的方向调整特征偏移量，使轴向特征转换为基于相应锚框的偏移特征，进而可以结合两个液滴识别模型的液滴识别结果，能够快速得到可靠的液滴识别结果，提高了液滴识别的效率。
在一个实施例中，如图2所示，根据多个第一液滴图像特征获取液滴图像的第一液滴识别结果，包括：
S201，将多个第一液滴图像特征输入注意力模块，由注意力模块获取每个第一液滴图像特征对应的多个通道关系参数。
示例性地，注意力模块可以用于实现特征的融合和筛选，可以包括一个
卷积操
作、批量归一化操作和ReLU序列。通道关系参数可以是表示特征图中各个通道的重要性的
信息。
在实际应用中，获取多个第一液滴图像特征，可以由注意力模块对多个第一液滴
图像特征进行处理，获得与多个第一液滴图像特征对应的多个通道关系参数。例如，注意力
模块对多个第一液滴图像特征进行
卷积操作、批量归一化操作和ReLU序列处理，从中
获取通道关系参数
。
S202，确定与多个通道关系参数对应的特征权重，并根据特征权重，对多个第一液滴图像特征进行融合，获得融合特征。
可选地，特征权重可以指示每个通道关系参数的占比权重，可以通过公式计算，也可以将每个通道关系参数输入模型生成。
具体实现中，可以获取多个通道关系参数，根据多个通道关系参数生成特征权重，并基于特征权重，对多个第一液滴图像特征进行融合，获得融合特征。例如，可以将多个通道关系参数输入SoftMax函数，得到特征权重，具体公式可以如下所示：
对多个第一液滴图像特征进行融合，获得融合特征的公式可以如下所示：
其中，
表示融合特征，
表示特征权重，
表示第一液滴图像特
征。
S203，根据融合特征，获得液滴图像的第一液滴识别结果。
在实际应用中，第一液滴模型可以基于融合特征进行相应的处理，获得液滴图像的第一液滴识别结果。
本实施例中，通过根据通道关系参数的权重来融合多个第一液滴图像特征，基于融合特征获得液滴图像的第一液滴识别结果，能够使得第一液滴识别结果基于筛选过关键信息后的融合特征生成，提高了第一液滴识别结果的可靠性。
在一个实施例中，如图3所示，在获得融合特征之后，还包括：
S301，将融合特征输入到用于生成卷积核权重的生成器中，由生成器获取融合特征对应的卷积核权重。
示例性地，生成卷积核权重的生成器可以是根据输入特征的不同，自适应地生成相应的卷积核权重的生成器，例如可以是动态滤波器生成器，具有一个参数集，可以根据输入特征自行选择不同的参数生成对应的卷积核权重。卷积核权重可以是每个卷积核在卷积提取特征时该卷积核的卷积结果在最终结果中所占的比重。
在实际应用中，获取融合特征输入到生成卷积核权重的生成器中，生成器根据融合特征进行一定调整，生成融合特征对应的卷积核权重。例如，可以将融合特征输入到动态滤波器生成器中，动态滤波器生成器根据融合特征从参数集中选择一定的参数，生成相应的卷积核权重。
S302，根据卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对融合特征进行特征提取，获得滤波特征。
可选地，滤波特征可以是由调整后的卷积核对融合特征进行特征提取获得的特征，也可以是先对融合特征进一步处理，再用调整后的卷积核对该处理结果进行特征提取。
具体实施中，获取卷积核权重对预先确定的卷积核进行调整，再利用调整后的卷
积核对特征进行特征提取，获得滤波特征，其中，调整后的卷积核也可以称为卷积滤波器。
例如，可以是先对融合特征进行卷积核为
的卷积、归一化处理和输入激活函数ReLU的
处理，得到精细化特征，再利用调整后的卷积核去对该精细化特征进行卷积，获得滤波特
征。具体实现可以如以下公式所示：
其中，
是融合特征，
表示
经过卷积核
为的卷积、归一化处理
和激活函数ReLU之后的精细化特征。
表示卷积操作；
表示调整后的卷积核；
表示
动态滤波器生成器；
表示滤波器的参数集。
S303，获取滤波特征对应的回归结果和分类结果；回归结果包括液滴的中心点坐标、中心点偏移量和液滴对应的目标检测框的宽和高，分类结果用于指示目标检测框中是否有液滴。
作为一示例，回归结果和分类结果可以是由模型分析得到，也可以是由一个预设好的分类器生成。回归结果可以是在原液滴图像的基础上标注了液滴的中心点坐标、中心点偏移量和液滴对应的目标检测框的宽和高的图像，分类结果可以是高斯热力图，当目标检测框中有液滴时，可以对应到高斯热力图中的一个高斯点。
在实际应用中，基于滤波特征，生成回归结果和分类结果。例如，可以利用分类器生成分类结果，具体公式可以如下所示：
其中，
表示分类结果，
表示参数为
的分类器，
为模数运算，
表
示滤波特征，
表示精细化特征。同时，为了进一步获得更有效的特征和预测表示，将根
据精细化特征
的长度自适应地进行精炼化处理，
表示一个常数，旨在控制精炼范围。
同样地，可以用回归器生成回归结果，具体公式可以如下所示：
其中，
表示回归生成器，
表示回归生成器参数；
表示回归细化因子；
表示激活函数，
是将精细化特征进一步处理得到的特征，
表示滤波特征。为
了防止过拟合现象的发生，本申请中回归细化因子可以设置为0.15。
S304，根据分类结果和回归结果，得到液滴图像的第一液滴识别结果。
示例性地，第一液滴识别结果可以是分类结果和回归结果的拼接，也可以是基于分类结果和回归结果进行特定计算得到的结果。
具体实现中，获取分类结果和回归结果，对分类结果和回归结果进行处理，可以得到液滴图像的第一液滴识别结果。例如可以由分类结果和回归结果计算出每个检测框四个角点的坐标、中心点、检测框置信度作为液滴图像的第一液滴识别结果。
在本实施例中，通过将融合特征输入到用于生成卷积核权重的生成器中，得到融合特征对应的卷积核权重，使第一液滴模型能够对每个液滴样本的唯一性和特殊性进行建模，并以动态且精炼的方式对结果进行预测。
在一个实施例中，如图4所示，根据第二液滴图像特征获取液滴图像的第二液滴识别结果，包括：
S401，利用旋转的特征提取器对第二液滴图像特征进行特征提取，并基于特征提取器的特征提取结果获取方向敏感特征和方向不变特征。
作为一示例，旋转的特征提取器可以是一个可旋转的卷积核，在卷积过程中可以主动旋转。方向敏感特征可以是旋转的特征提取器在每一次旋转中提取到的特征的集合。方向不变特征可以基于方向敏感特征生成。
在实际应用中，可以利用旋转的特征提取器，对第二液滴图像特征进行特征提取，并基于特征提取结果获得方向敏感特征，在方向敏感特征基础上获得方向不变特征。
S402，根据方向敏感特征和方向不变特征，得到液滴图像的第二液滴识别结果。
可选地，第二液滴识别结果可以用于指示液滴图像的液滴识别情况，可以包括液滴图像中每个检测框四个角点的坐标、中心点、检测框置信度等信息。第二液滴识别结果的获取可以是经过模型的分析得到，也可以是由特定的分类器、回归器生成的。
具体实施中，基于方向敏感特征和方向不变特征，可以生成液滴图像的第二液滴识别结果。例如，可以将方向敏感特征和方向不变特征输入到两个自子网络中，其中一个是分析子网络，一个是回归子网络。根据两个子网络的输出结果，可以计算生成第二液滴识别结果。
在本实施例中，通过生成方向敏感特征和方向不变特征，基于方向敏感特征和方向不变特征得到第二液滴识别结果，改善了密集液滴的检测精度。
在一个实施例中，如图5所示，利用旋转的特征提取器对第二液滴图像特征进行特征提取，并基于特征提取器的特征提取结果获取方向敏感特征和方向不变特征，包括：
S501，获取多个旋转角度，并根据旋转角度对预设的特征提取器的特征提取角度进行调整。
示例性地，旋转角度可以是指特征提取器在提取特征时相对于原始状态偏转的角度。特征提取器可以是多通道的可旋转卷积核。
在实际应用中，先获取多个旋转角度，再根据旋转角度去设置特征提取器每次提
取特征时的特征提取角度。例如，特征提取器可以是旋转滤波器（Active Rotating
Filters ，ARF），它是一个
的卷积核，在卷积过程中会主动旋转
次，所以可
以获取
个旋转角度，根据旋转角度对ARF过滤器进行设置。
S502，利用调整后的特征提取器对第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果。
作为一示例，特征提取器每以一个特征提取角度进行特征提取时，都能产生该角度对应的卷积结果。
具体实施中，调整后的特征提取器可以对第二液滴图像特征进行卷积，每次卷积
都产生一个对应的卷积结果，由多个旋转角度，可以得到多个旋转角度下的卷积结果。例
如，特征提取器可以是旋转滤波器（Active Rotating Filters ，ARF），获得
个旋转角
度，旋转
次，得到了
个卷积结果。
S503，基于多个旋转角度下的卷积结果获得方向敏感特征，以及，确定多个旋转角度下的卷积结果中的最大卷积结果，并将最大卷积结果作为方向不变特征。
可选地，方向敏感特征可以由多个旋转角度下的卷积结果简单叠加得到，也可以由多个旋转角度下的卷积结果经过融合得到。最大卷积结果可以指卷积结果中特征图尺寸最大的结果。
在实际应用中，根据多个旋转角度下的卷积结果，确定方向敏感特征，再基于多个
旋转角度下的卷积结果筛选出最大卷积结果，作为方向不变特征。例如，特征提取器是一个
可旋转卷积核，获得
个旋转角度，旋转
次，可以得到
个卷积结
果，将
个卷积结果简单叠加，得到一个具有
个通道的特征，作为方向敏感特征。
为了获得具有明确编码方向信息的方向敏感特征，还可以给方向敏感特征进行编码，具体
过程可以如下列公式所示：
其中，
表示特征提取器旋转第
次的提取到特征编码。
表示特征提取器
主动旋转的次数，
表示第二液滴图像特征
顺时针旋转
后的特征图，
表示特征提
取器的旋转角度，旋转范围为
，
表示方向敏感特征。
在
个卷积结果中，选择特征图尺寸最大的卷积结果作为方向不变特征。具体
可以如以下公式所示：
其中，
表示方向不变特征，
表示方向敏感特征，
表示特征选择函
数，即取特征图尺寸最大的卷积结果。
在第二液滴模型包括负责多尺度特征提取的骨干网络、锚点细化网络、分类子网
络和回归子网络的情况下，在训练的第二液滴模型时候，可以使用了多重损失函数进行优
化。即锚点细化网络的损失
和分类子网络、回归子网络的损失
。总损失
如公式所示：
其中，
表示可学习的平衡因子，
和
均表示液滴数量，
表示指
数函数，
表示第
个锚点在锚点细化网络中的预测和细化位置，
分别表示分类
子网络中目标类别和回归子网络中检测框的位置，
分别表示锚点的真实类别和位
置，
表示分类损失和回归损失，其中
可以为Focal Loss函数。
在本实施例中，通过利用旋转的特征提取器获取方向敏感特征和方向不变特征，实现将密集液滴特征进一步精细化处理，提高了后续识别结果的可靠性。
在一个实施例中，如图6所示，基于第一液滴识别结果和第二液滴识别结果，确定液滴图像的最终液滴识别结果，包括：
S601，根据第一液滴识别结果和第二液滴识别结果，确定针对液滴图像中的液滴多个检测框和每个检测框的置信度。
作为一示例，液滴图像中的每个液滴可以对应一个或多个检测框，每个检测框都有对应的置信度，置信度可以描述模型认为此检测框包含液滴的概率，可以是介于0和1之间的数值。
在实际应用中，获取第一液滴识别结果和第二液滴识别结果中的检测框和该检测框的置信度。例如，可以获取第一液滴识别结果和第二液滴识别结果中所有检测框的中心点坐标、宽和高，或者检测框四个角点的坐标，以及该检测框的置信度。
S602，根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；当前的待融合检测框为首个检测框以外的其他检测框。
可选地，当前的待融合检测框可以是接下来操作中需要与同类检测框相融合的检测框。
具体实施中，根据置信度从高到低对多个检测框进行排列，从第二个检测框开始，按照排列顺序，每次将一个检测框作为当前的待融合检测框。
S603，将当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；至少一个液滴当前的检测框至少包括首个检测框。
示例性地，检测框之间的匹配可以是进行交并比的计算，也可以是比对两个检测框的宽和高。
在实际应用中，可以将当前的待融合检测框依次与每个液滴当前检测框匹配，当匹配成功则停止匹配。若匹配成功，可以根据匹配结果确定当前的待融合检测框所针对的目标液滴。例如，可以将当前的待融合检测框依次与每个液滴当前检测框进行交并比计算，设置交并比阈值为0.45，若当前的待融合检测框与某个液滴当前检测框的交并比计算结果大于0.45，则该液滴当前检测框所对应的液滴，就是当前的待融合检测框所针对的目标液滴。
在一个示例中，在检测框匹配完毕后，可以对检测框的置信度进行更新，具体例如，若针对当前待融合的检测框，获取到了匹配成功的检测框，则可以将当前待融合的检测框添加至匹配成功的检测框对应的列表L中。此时，列表L中可以包括多个检测框，此时可以对列表L中检测框的置信度分数D将进行重新调整，具体可以如下公式所示：
其中，
表示该位置的全部检测框；
表示第
个位置检测框的置信度分
数。
S604，将当前待融合检测框与目标液滴当前的检测框进行融合，根据融合后的检测框更新目标液滴当前的检测框，并返回执行根据排列顺序确定当前的待融合检测框的步骤，直到多个检测框中每个检测框都进行融合；根据融合后得到的多个检测框，得到液滴图像的最终液滴识别结果。
作为一示例，检测框之间的融合可以是加权融合，也可以是通过非线性的计算。液滴图像的最终液滴识别结果可以是输出的液滴图像中每个液滴只对应一个检测框。
具体实施中，确定了当前的待融合检测框所针对的目标液滴后，可以将当前待融合检测框与目标液滴当前的检测框进行融合，得到融合后的检测框。例如，可以将当前待融合检测框和目标液滴当前的检测框的四个角点坐标分别进行加权融合计算，可以根据当前待融合检测框和目标液滴当前的检测框的置信度决定加权融合的权重，计算得到融合后的检测框。
若所有模型对该位置液滴的检测置信度均很低，则可以降低该位置液滴的置信度分数，加权融合方式可以如以下公式所示：
其中，
表示参与密集液滴检测的模型数量，本申请可以使用双模型融合，满足
。
将融合后的检测框作为新的目标液滴当前的检测框，并返回确定下一个当前的待融合检测框，重复执行S602~S604的步骤，直到多个检测框中每个检测框都进行融合，得到所有液滴当前的检测框，可以作为液滴图像的最终液滴识别结果。
在本实施例中，基于检测框的置信度融合第一液滴识别结果和第二液滴识别结果中的检测框，提高了最终液滴识别结果的可靠性。
在一个实施例中，可以对第一液滴模型和第二液滴模型进行训练。在训练过程中，使用SGD左右优化器，动量值设置为0.9，衰减权重设置为0.0001，学习率设置为0.0025，批处理设置为2，每个模型迭代次数为100。为了确保实验数据的一致性，以及实验结果的有效性，将原始图像固定为600*600，而测试时则会进行拼接处理恢复原始图像大小。
DANets模型中，图像的输入为400*600，500*600和600*600，并添加了多尺度测试
500*600和600*600，而角度软化非极大值抑制(Angle-Soft Non-Maximum Suppression,
Angle-SoftNMS)的
值分别设置为0.5和0.03，最后，在解码定向包围盒前，加入水平翻
转和平均网络预测。
MsFANets模型中，对于金字塔结构的
，为PCR图像中每个液滴位置预先设
置一个正矩形锚点，其比例分别为32、64、128、256、512，损失函数
中的可学习平衡
因子
设置为0.9，
中的参数
分别为0.25和2.0。
为了论证本申请所提出的多模型融合算法的有效性，在PCR数据集上进行了验证测试。实验结果可以如表1所示：
其中骨干网络表示初始的特征提取器，mAP表示全类平均正确率，FPS表示每秒帧数，本章中表示每秒处理图像数量，根据表1可以得出以下结论：
(1)特征提取器为ResNet-101-FPN时的效果要优于ResNet-50-FPN，如Faster-RCNN中ResNet-101-FPN的mAP相比于ResNet-50-FPN提高了2.37%，DANets和MsFANets分别提高了1.36%和1.96%。其主要原因是，PCR图像的质量较差，浅层的特征提取器并不能有效捕获密集液滴的细节特征。
(2)本实施例所提多模型融合密集液滴检测算法DMFM取得了最优检测效果，而FPS却最小，即每秒处理图像数量，FPS较差的原因是，多模型融合算法在检测过程中会加载多个模型，因此降低了检测效率，但在可接受范围内，提高精度的情况下可适当降低效率。
(3)相比于DANets和MsFANets液滴检测模型，本章使用的融合模型分别提高了1.45%和1.72%。其主要原因是，使用的加权融合方法在一定程度上形成了互补，即DANets中未能检测到的液滴，MsFANets则有检测。
为了验证各个模块对组合模型整体性能的影响，在PCR数据集上进行了消融实验验证，这里使用CE替换所有模型中的Focal Loss损失函数。实验结果可以如表2所示：
表2 不同模块的实验结果
其中，ACC表示准确率，Recall表示召回率。
结合表2和表1可以发现：使用CE替换所有模型中的Focal Loss进行调整优化时，降低了多模型融合算法的检测精度，可能的原因是PCR图像中密集液滴与背景存在一定的数据不平衡问题，而CE并不能起到有效的平衡作用。
相比于BiFPN，FPN的检测效果在所有模型上均低于BiFPN。如ResNet-101-FPN-CE的ACC、Recall和mAP比ResNet-101-BiFPN-CE分别降低了0.64%、0.86%和0.82%。这也证明了双向的特征金字塔结构能获取更好地液滴特征，即从正反两个方向对PCR图像中液滴的全局语义进行了探索，并建立了一定的依赖关系，从而提高了密集液滴的检测效果。
为了进一步展示所提多模型融合算法DMFM在小规模数据集上的检测效果，使用不同规模的数据集进行测试验证。具体实验结果可以如表3所示：
表3 不同样本量的实验结果
根据表3可以发现，随着训练样本的增加，密集液滴的检测精度也增加，如30%的mAP最低为34.19%，比10%的mAP增加了10.07%。主要原因是随着样本数量的增加，融合模型能学习到更多的液滴细节，能更好地获取密集液滴的边缘或物理外观等低层属性，同时，提取了更多的高阶局部和全局上下文语义，改善了特征对液滴的表示，虽然所提模型主要是针对于暗场PCR液滴图像的检测，将此模型运用到明场PCR液滴图像的检测也取得了较好的结果。为了直观展示所提融合模型的有效性，所提模型的明场液滴图像检测效果如图7（a）和图7（b）所示，其中，图中droplets表示检测框检测到液滴，数字表示该检测框的置信度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的液滴识别方法的液滴识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个液滴识别装置实施例中的具体限定可以参见上文中对于液滴识别方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种液滴识别装置，包括：
图像获取模块701，用于获取液滴图像；
第一液滴识别模块702，用于将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
第二液滴识别模块703，用于将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
结果融合模块704，用于基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
在一个实施例中，所述第一液滴识别模块，具体用于：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道参数；
确定与多个通道参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
在一个实施例中，所述装置还包括：
权重生成模块，将所述融合特征输入到用于生成卷积核权重的生成器中，由所述生成器获取所述融合特征对应的卷积核权重；
滤波特征提取模块，根据所述卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对所述融合特征进行特征提取，获得滤波特征；
回归分类模块，获取所述滤波特征对应的回归结果和分类结果；所述回归结果包括所述液滴的中心点坐标、中心点偏移量和所述液滴对应的目标检测框的宽和高，所述分类结果用于指示所述目标检测框中是否有液滴；
结果获取模块，根据所述分类结果和所述回归结果，得到所述液滴图像的第一液滴识别结果。
在一个实施例中，所述第二液滴识别模块，具体用于：
利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征；
根据所述方向敏感特征和所述方向不变特征，得到所述液滴图像的第二液滴识别结果。
在一个实施例中，所述装置还包括：
特征提取器调整模块，获取多个旋转角度，并根据所述旋转角度对预设的特征提取器的特征提取角度进行调整；
多角度卷积模块，利用调整后的特征提取器对所述第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果；
特征生成模块，基于所述多个旋转角度下的卷积结果获得方向敏感特征，以及，确定所述多个旋转角度下的卷积结果中的最大卷积结果，并将所述最大卷积结果作为方向不变特征。
在一个实施例中，所述结果融合模块，具体用于：
根据所述第一液滴识别结果和所述第二液滴识别结果，确定针对所述液滴图像中的液滴多个检测框和每个检测框的置信度；
根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；所述当前的待融合检测框为首个检测框以外的其他检测框；
将所述当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；所述至少一个液滴当前的检测框至少包括所述首个检测框；
将当前待融合检测框与所述目标液滴当前的检测框进行融合，根据融合后的检测框更新所述目标液滴当前的检测框，并返回执行所述根据排列顺序确定当前的待融合检测框的步骤，直到所述多个检测框中每个检测框都进行融合；
根据融合后得到的多个检测框，得到所述液滴图像的最终液滴识别结果。
上述液滴识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储液滴识别数据 。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种液滴识别方法。
在另一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种液滴识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取液滴图像；
将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
在一个实施例中，处理器执行计算机程序时还实现上述其他实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种液滴识别方法，其特征在于，所述方法包括：
获取液滴图像；
将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果，包括：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道参数；
确定与多个通道参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
3.根据权利要求2所述的方法，其特征在于，在所述获得融合特征之后，还包括：
将所述融合特征输入到用于生成卷积核权重的生成器中，由所述生成器获取所述融合特征对应的卷积核权重；
根据所述卷积核权重调整预先确定的卷积核，并利用调整后的卷积核对所述融合特征进行特征提取，获得滤波特征；
获取所述滤波特征对应的回归结果和分类结果；所述回归结果包括所述液滴的中心点坐标、中心点偏移量和所述液滴对应的目标检测框的宽和高，所述分类结果用于指示所述目标检测框中是否有液滴；
根据所述分类结果和所述回归结果，得到所述液滴图像的第一液滴识别结果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果，包括：
利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征；
根据所述方向敏感特征和所述方向不变特征，得到所述液滴图像的第二液滴识别结果。
5.根据权利要求4所述的方法，其特征在于，所述利用旋转的特征提取器对所述第二液滴图像特征进行特征提取，并基于所述特征提取器的特征提取结果获取方向敏感特征和方向不变特征，包括：
获取多个旋转角度，并根据所述旋转角度对预设的特征提取器的特征提取角度进行调整；
利用调整后的特征提取器对所述第二液滴图像特征进行卷积处理，得到多个旋转角度下的卷积结果；
基于所述多个旋转角度下的卷积结果获得方向敏感特征，以及，确定所述多个旋转角度下的卷积结果中的最大卷积结果，并将所述最大卷积结果作为方向不变特征。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果，包括：
根据所述第一液滴识别结果和所述第二液滴识别结果，确定针对所述液滴图像中的液滴多个检测框和每个检测框的置信度；
根据各个检测框的置信度对多个检测框进行降序排列，并根据排列顺序确定当前的待融合检测框；所述当前的待融合检测框为首个检测框以外的其他检测框；
将所述当前的待融合检测框与至少一个液滴当前的检测框匹配，并根据匹配结果确定当前的待融合检测框所针对的目标液滴；所述至少一个液滴当前的检测框至少包括所述首个检测框；
将当前待融合检测框与所述目标液滴当前的检测框进行融合，根据融合后的检测框更新所述目标液滴当前的检测框，并返回执行所述根据排列顺序确定当前的待融合检测框的步骤，直到所述多个检测框中每个检测框都进行融合；根据融合后得到的多个检测框，得到所述液滴图像的最终液滴识别结果。
7.一种液滴识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取液滴图像；
第一液滴识别模块，用于将所述液滴图像输入到训练好的第一液滴识别模型，由所述第一液滴识别模型确定所述液滴图像中的液滴的排列方向，根据所述排列方向调整不同尺度的多个卷积核的旋转角度，利用旋转后的多个卷积核对所述液滴图像进行特征提取，得到多个第一液滴图像特征，并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果；
第二液滴识别模块，用于将所述液滴图像输入到训练好的第二液滴识别模型，由所述第二液滴识别模型预测针对所述液滴图像中的液滴的锚框，确定与所述锚框对应的特征偏移量，根据所述特征偏移量，对识别出所述锚框的特征图进行变形卷积，得到第二液滴图像特征，并根据所述第二液滴图像特征获取所述液滴图像的第二液滴识别结果；
结果融合模块，用于基于所述第一液滴识别结果和所述第二液滴识别结果，确定所述液滴图像的最终液滴识别结果。
8.根据权利要求7所述的装置，其特征在于，所述第一液滴识别模块，具体用于：
将所述多个第一液滴图像特征输入注意力模块，由所述注意力模块获取每个第一液滴图像特征对应的多个通道参数；
确定与多个通道参数对应的特征权重，并根据所述特征权重，对所述多个第一液滴图像特征进行融合，获得融合特征；
根据所述融合特征，获得所述液滴图像的第一液滴识别结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211190001.8A CN115272779B (zh) | 2022-09-28 | 2022-09-28 | 液滴识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211190001.8A CN115272779B (zh) | 2022-09-28 | 2022-09-28 | 液滴识别方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115272779A true CN115272779A (zh) | 2022-11-01 |
| CN115272779B CN115272779B (zh) | 2022-12-27 |
Family
ID=83756716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211190001.8A Active CN115272779B (zh) | 2022-09-28 | 2022-09-28 | 液滴识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272779B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113564026A (zh) * | 2021-06-30 | 2021-10-29 | 佛山丁智生物科技有限公司 | 微滴进样机构、装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200160085A1 (en) * | 2018-11-21 | 2020-05-21 | Vivotek Inc. | Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device |
| CN111680678A (zh) * | 2020-05-25 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 目标区域识别方法、装置、设备及可读存储介质 |
| WO2021129691A1 (zh) * | 2019-12-23 | 2021-07-01 | 长沙智能驾驶研究院有限公司 | 一种对目标检测方法以及相应装置 |
| CN113129338A (zh) * | 2021-04-21 | 2021-07-16 | 平安国际智慧城市科技股份有限公司 | 基于多目标跟踪算法的图像处理方法、装置、设备及介质 |
| CN114639101A (zh) * | 2022-03-21 | 2022-06-17 | 陕西科技大学 | 一种乳状液液滴识别系统、方法、计算机设备及存储介质 |
| CN114898131A (zh) * | 2022-06-17 | 2022-08-12 | 北京师范大学 | 一种基于自然引导和数据增强的违禁物品检测方法及系统 |
-
2022
- 2022-09-28 CN CN202211190001.8A patent/CN115272779B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200160085A1 (en) * | 2018-11-21 | 2020-05-21 | Vivotek Inc. | Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device |
| WO2021129691A1 (zh) * | 2019-12-23 | 2021-07-01 | 长沙智能驾驶研究院有限公司 | 一种对目标检测方法以及相应装置 |
| CN111680678A (zh) * | 2020-05-25 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 目标区域识别方法、装置、设备及可读存储介质 |
| CN113129338A (zh) * | 2021-04-21 | 2021-07-16 | 平安国际智慧城市科技股份有限公司 | 基于多目标跟踪算法的图像处理方法、装置、设备及介质 |
| CN114639101A (zh) * | 2022-03-21 | 2022-06-17 | 陕西科技大学 | 一种乳状液液滴识别系统、方法、计算机设备及存储介质 |
| CN114898131A (zh) * | 2022-06-17 | 2022-08-12 | 北京师范大学 | 一种基于自然引导和数据增强的违禁物品检测方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113564026A (zh) * | 2021-06-30 | 2021-10-29 | 佛山丁智生物科技有限公司 | 微滴进样机构、装置及方法 |
| CN113564026B (zh) * | 2021-06-30 | 2024-04-26 | 佛山丁智生物科技有限公司 | 微滴进样机构、装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115272779B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978893B (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
| CN110852447B (zh) | 元学习方法和装置、初始化方法、计算设备和存储介质 | |
| CN109376615B (zh) | 用于提升深度学习网络预测性能的方法、装置及存储介质 | |
| US20200202430A1 (en) | Recommending shared products | |
| CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
| CN115659177A (zh) | 数据推荐模型的生成方法、装置和计算机设备 | |
| CN115272779B (zh) | 液滴识别方法、装置、计算机设备和存储介质 | |
| CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN112232951B (zh) | 基于多维度交叉特征的信用评价方法、装置、设备及介质 | |
| CN110852425A (zh) | 基于优化的神经网络的处理方法、装置和电子系统 | |
| CN113762579A (zh) | 一种模型训练方法、装置、计算机存储介质及设备 | |
| CN111783997A (zh) | 一种数据处理方法、装置及设备 | |
| CN115545103A (zh) | 异常数据识别、标签识别方法和异常数据识别装置 | |
| CN116630630B (zh) | 语义分割方法、装置、计算机设备及计算机可读存储介质 | |
| CN111783088B (zh) | 一种恶意代码家族聚类方法、装置和计算机设备 | |
| WO2024027068A1 (zh) | 评估目标检测模型鲁棒性的攻击方法和装置 | |
| CN116894721A (zh) | 一种指标预测方法、装置、计算机设备 | |
| CN113762520B (zh) | 一种数据处理方法、装置及设备 | |
| CN115758271A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN115345257A (zh) | 飞行轨迹分类模型训练方法、分类方法、装置及存储介质 | |
| CN115314239A (zh) | 基于多模型融合的隐匿恶意行为的分析方法和相关设备 | |
| CN111383716B (zh) | 基因对的筛选方法、装置、计算机设备和存储介质 | |
| CN113901514A (zh) | 数据攻击的防御方法及其模型的训练方法、系统 | |
| CN113409014A (zh) | 基于人工智能的大数据业务处理方法及人工智能服务器 | |
| CN111797863A (zh) | 模型训练方法、数据处理方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |