CN116636660A - 一种电子烟烟油信息处理方法、系统及电子烟 - Google Patents

Abstract

本发明公开了一种电子烟烟油信息处理方法、系统及电子烟；其首先获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像，接着，基于所述剩余烟油图像，确定剩余烟油量，然后，将所述剩余烟油量发送至移动终端设备显示；其通过对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值，并将所述剩余烟油量的估计值发送至移动终端设备显示，以在移动终端实时地看到剩余烟油量。

Description

一种电子烟烟油信息处理方法、系统及电子烟

技术领域

本发明涉及信息处理领域，且更为具体地，涉及一种电子烟烟油信息处理方法、系统及电子烟。

背景技术

电子烟又名虚拟香烟，主要是用于在不影响健康的前提下模拟吸烟的感觉，以供戒烟或替代香烟使用。现有的电子烟，烟弹为消耗品，吸烟时主要消耗的是烟弹内部的烟油，用户在平时使用过程中，需要了解烟弹内部烟油的剩余量，以便决定何时购买新的烟弹。目前，大部分的电子烟产品将烟弹做成半透明或者的透明的效果，用户可以通过肉眼观察剩余烟油量。但是，这种方式由于不容易观察，若用户未及时观察到剩余烟油量信息，会造成用户没有烟弹可用，而且，烟油变少或耗尽时，继续抽烟会导致产生异味的情况发生，从而给用户带来很不好的体验。

因此，期待一种电子烟烟油信息处理方案。

发明内容

为了解决上述技术问题，提出了本发明。本发明的实施例提供了一种电子烟烟油信息处理方法、系统及电子烟。其通过对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值，并将所述剩余烟油量的估计值发送至移动终端设备显示，以在移动终端实时地看到剩余烟油量。

根据本发明的一个方面，提供了一种电子烟烟油信息处理方法，其包括：

获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像；

基于所述剩余烟油图像，确定剩余烟油量；

以及将所述剩余烟油量发送至移动终端设备显示。

根据本发明的另一个方面，提供了一种电子烟烟油信息处理系统，其包括：

图像采集模块，用于获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像；

剩余烟油量确定模块，用于基于所述剩余烟油图像，确定剩余烟油量；

以及显示模块，用于将所述剩余烟油量发送至移动终端设备显示。

根据本发明的另一个方面，提供了一种电子烟，所述电子烟以上述所述的电子烟烟油信息处理方法来检测剩余烟油量。

与现有技术相比，本发明提供的电子烟烟油信息处理方法、系统及电子烟，其首先获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像，接着，基于所述剩余烟油图像，确定剩余烟油量，然后，将所述剩余烟油量发送至移动终端设备显示。其通过对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值，并将所述剩余烟油量的估计值发送至移动终端设备显示，以在移动终端实时地看到剩余烟油量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本发明的主旨。

图1为根据本发明实施例的电子烟烟油信息处理方法的流程图。

图2为根据本发明实施例的电子烟烟油信息处理方法的架构示意图。

图3为根据本发明实施例的电子烟烟油信息处理方法的子步骤S120的流程图。

图4为根据本发明实施例的电子烟烟油信息处理方法的子步骤S121的流程图。

图5为根据本发明实施例的自适应融合模块的结构示意图。

图6为根据本发明实施例的电子烟烟油信息处理方法的子步骤S1213的流程图。

图7为根据本发明实施例的电子烟烟油信息处理方法的子步骤S12131的流程图。

图8为根据本发明实施例的电子烟烟油信息处理方法的子步骤S12132的流程图。

图9为根据本发明实施例的电子烟烟油信息处理系统的框图。

图10为根据本发明实施例的电子烟烟油信息处理方法的应用场景图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本发明保护的范围。

如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。

针对上述技术问题，本发明的技术构思为在电子烟的烟弹内部署电子眼以通过所述电子眼来采集剩余烟油图像，因所述电子眼部署于烟弹内部，因此相较于人眼从外部观察，所述电子眼可以清晰地采集剩余烟油量的状态信息。在获得所述剩余烟油图像后，对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值，并将所述剩余烟油量的估计值发送至移动终端设备显示，这样用户就可以在移动终端实时地看到剩余烟油量。

图1为根据本发明实施例的电子烟烟油信息处理方法的流程图。图2为根据本发明实施例的电子烟烟油信息处理方法的架构示意图。如图1和图2所示，根据本发明实施例的电子烟烟油信息处理方法，包括步骤：S110，获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像；S120，基于所述剩余烟油图像，确定剩余烟油量；以及，S130，将所述剩余烟油量发送至移动终端设备显示。

具体地，在本发明的技术方案中，首先获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像。应可以理解，因所述电子眼部署于烟弹内部，因此相较于人眼从外部观察，所述电子眼可以清晰地采集剩余烟油量的状态信息。在本发明一个具体的示例中，所述电子眼部署于所述烟弹的顶部位置，这样所述电子眼能够以俯视的方式清晰地采集到所述剩余烟油的状态信息。

应可以理解，在本发明的实施例中，电子眼是指一种用于采集图像或视频的摄像设备或传感器，其由一个光学镜头和一个图像传感器组成，可以捕捉到烟弹内部的剩余烟油图像。本发明的电子眼被部署在烟弹的顶部位置，以俯视的方式清晰地采集剩余烟油的状态信息。因此，在这本实施例中，电子眼需要具备以下性能：1.清晰度，电子眼需要有足够的分辨率和清晰度，以捕捉到烟弹内部剩余烟油的细节和状态信息；2.视野角度，电子眼需要具备足够的视野角度，以俯视整个烟弹内部，确保能够完整地捕捉到剩余烟油的图像；3.灵敏度，电子眼需要具备足够的感光度，以在不同光线条件下准确地捕捉到剩余烟油的图像；4.实时性，电子眼需要具备较高的帧率和快速的图像处理能力，以实时获取和处理剩余烟油的图像信息。这些性能要求可以根据实际需求和设计进行调整和优化，以确保电子眼能够准确地采集到剩余烟油的状态信息。

接着，基于所述剩余烟油图像，确定剩余烟油量。也就是，对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值。具体地，首先对所述剩余烟油图像进行图像处理和分析以从所述剩余烟油图像中提取到用于反映剩余烟油量的图像特征信息，并通过解码器来构建剩余烟油量的图像特征信息与剩余烟油量的估计值之间的映射关系，并在得到剩余烟油量的估计值后，将所述剩余烟油量发送至移动终端设备显示，这样用户就可以在手机终端看到剩余烟油量信息。相应地，在本发明的一个实施例中，如图3所示，基于所述剩余烟油图像，确定剩余烟油量，包括：S121，对所述剩余烟油图像进行图像处理和分析以得到剩余烟油特征表示；以及，S122，基于所述剩余烟油特征表示，确定所述剩余烟油量。

进一步地，如图4所示，对所述剩余烟油图像进行图像处理和分析以得到剩余烟油特征表示，包括：S1211，将所述剩余烟油图像通过基于金字塔网络的图像特征提取器以得到剩余烟油浅层特征图、剩余烟油中层特征图和剩余烟油深层特征图；S1212，通过自适应融合模块融合所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图以得到多尺度剩余烟油特征图；以及，S1213，将所述多尺度剩余烟油特征图通过解码器以得到解码值，所述解码值用于表示剩余烟油量。应可以理解，金字塔网络（PyramidNetwork）是一种用于图像处理和分析的深度学习网络结构，其由多个并行的子网络组成，每个子网络处理不同尺度的输入图像，这些子网络可以共享参数，以提取不同层次的特征。在这个场景中，金字塔网络被用于提取剩余烟油图像的特征表示，通过基于金字塔网络的图像特征提取器，分别生成剩余烟油的浅层特征图、中层特征图和深层特征图，这些特征图对应不同的尺度，可以捕捉到不同层次的图像信息。接下来，通过自适应融合模块，将这些特征图进行融合，得到多尺度的剩余烟油特征图。这样做的目的是综合利用不同尺度的特征信息，提高对剩余烟油的表示能力。最后，将多尺度的剩余烟油特征图输入解码器，得到解码值，用于表示剩余烟油的量。解码值可以理解为对剩余烟油的量化表示，可以用于后续的分析和处理。通过金字塔网络和解码器的组合，可以提取并表示剩余烟油的特征信息，进而实现对剩余烟油的分析和量化。

具体地，对所述剩余烟油图像进行图像处理和分析以从所述剩余烟油图像中提取到用于反映剩余烟油量的图像特征信息的过程，包括：首先将所述剩余烟油图像通过基于金字塔网络的图像特征提取器以得到剩余烟油浅层特征图、剩余烟油中层特征图和剩余烟油深层特征图。本领域普通技术人员应知晓，金字塔网络是传统卷积神经网络模型的一种变种和优化版本，其能够保留在卷积编码过程中不同特征深度的剩余烟油特征图，以保留更多尺度的特征信息。具体地，在本发明一个具体地示例中，选择保留所述剩余烟油图像层剩余烟油浅层特征图、剩余烟油中层特征图和剩余烟油深层特征图，其中，不同深度的剩余烟油特征图能够反映出所述剩余烟油的不同层面的信息，其中浅层特征图聚焦于形状、线条、边缘等信息，中层特征图聚焦于纹理等信息，而深层特征图则聚焦于结构、性质等信息。

值得一提的是，卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，主要用于图像识别和图像处理任务。卷积神经网络的核心思想是通过卷积操作来提取图像的特征，然后通过池化操作来减小特征图的尺寸并保留关键信息，卷积神经网络由多个卷积层、池化层和全连接层组成。卷积层通过卷积操作对输入图像进行特征提取，利用卷积核（一种小的可学习参数矩阵）在图像上滑动，将局部感受野的特征提取出来。卷积操作可以捕捉到图像的局部特征，例如边缘、纹理等。池化层通过降采样操作减小特征图的尺寸，并保留重要的特征。常用的池化操作有最大池化和平均池化，池化操作可以减少特征图的大小，提高模型的计算效率并增强模型的鲁棒性。全连接层将池化层输出的特征图展平，并连接到一个或多个全连接层（也称为密集连接层）。全连接层通过学习权重参数，将特征映射到最终的输出类别或预测结果。卷积神经网络模型通过反向传播算法进行训练，通过最小化损失函数来优化模型的权重参数，在训练过程中，卷积神经网络模型可以学习到图像的高级特征表示，从而实现对图像的分类、识别和分割等任务。换言之，卷积神经网络模型是一种专门用于图像处理的深度学习模型，通过卷积操作和池化操作提取图像的特征，并通过全连接层进行分类或预测，卷积神经网络模型在图像识别和图像处理领域具有很强的表达能力和优异的性能。

在得到所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图后，通过自适应融合模块融合所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图以得到多尺度剩余烟油特征图。所述自适应融合模块能够在不增加过多参数的情况下保持原有的通道数不变，也能够进行多层次的特征融合，充分利用多层次信息，其中，所述自适应融合模块的结构示意图，如图5所示。

进而，将所述多尺度剩余烟油特征图通过解码器以得到解码值，所述解码值用于表示剩余烟油量。特别地，考虑到在所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵中不同通道维度的特征信息对于最终的解码回归的贡献度不同，为了充分利用通道显著性信息，在本发明的技术方案中，在将所述多尺度剩余烟油特征图输入所述解码器进行解码回归之前，将所述多尺度剩余烟油特征图通过通道注意力模块以得到通道强化多尺度剩余烟油特征图，并将所述通道强化多尺度剩余烟油特征图输入所述解码器进行解码回归以得到所述解码值，所述解码值用于表示剩余烟油量。

这样，在电子烟的烟弹内部署电子眼以通过所述电子眼来采集剩余烟油图像，因所述电子眼部署于烟弹内部，因此相较于人眼从外部观察，所述电子眼可以清晰地采集剩余烟油量的状态信息。在获得所述剩余烟油图像后，对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值，并将所述剩余烟油量的估计值发送至移动终端设备显示，这样用户就可以在移动终端实时地看到剩余烟油量。

相应地，在本发明的一个实施例中，如图6所示，将所述多尺度剩余烟油特征图通过解码器以得到解码值，所述解码值用于表示剩余烟油量，包括：S12131，对所述多尺度剩余烟油特征图进行全局特征分布关联强化以得到优化多尺度剩余烟油特征图；S12132，将所述优化多尺度剩余烟油特征图通过通道注意力模块以得到通道强化多尺度剩余烟油特征图；以及，S12133，将所述通道强化多尺度剩余烟油特征图输入所述解码器进行解码回归以得到所述解码值，所述解码值用于表示剩余烟油量。

更具体地，如图7所示，对所述多尺度剩余烟油特征图进行全局特征分布关联强化以得到优化多尺度剩余烟油特征图，包括：S121311，对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行自调谐结构化以得到加权特征向量；以及，S121312，以所述加权特征向量对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行加权以得到所述优化多尺度剩余烟油特征图。应可以理解，在S121311子步骤中，通过自调谐结构化对多尺度剩余烟油特征图的各个特征矩阵进行加权，得到加权特征向量，这意味着对于每个特征矩阵，根据其自身的特征分布情况进行加权，以得到更具代表性和有区分度的特征向量。接下来，在S121312子步骤中，使用加权特征向量对多尺度剩余烟油特征图的各个特征矩阵进行加权，这意味着根据加权特征向量中的权重，对每个特征矩阵进行加权，以得到优化的多尺度剩余烟油特征图。这样可以增强特征图的表达能力和区分度，从而提高剩余烟油特征的提取和分析效果。换言之，子步骤S121311和子步骤S121312阶段的操作可以增强多尺度剩余烟油特征图的表达能力和区分度，提高剩余烟油特征的提取和分析效果，进而对于剩余烟油的处理和分析任务具有积极的作用。

更具体地，如图8所示，将所述优化多尺度剩余烟油特征图通过通道注意力模块以得到通道强化多尺度剩余烟油特征图，包括：S121321，计算所述优化多尺度剩余烟油特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；S121322，将所述通道特征向量输入Softmax激活函数以得到通道注意力加权向量；以及，S121323，以所述通道注意力加权向量中各个位置的特征值作为权重分别对所述优化多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道强化多尺度剩余烟油特征图。

值得一提的是，通道注意力模块是一种用于增强多尺度剩余烟油特征图的模块，它通过计算特征矩阵的全局均值，并将其输入到Softmax激活函数中，得到通道注意力加权向量。然后，使用通道注意力加权向量中的特征值作为权重，对优化的多尺度剩余烟油特征图的各个特征矩阵进行加权，从而得到通道强化的多尺度剩余烟油特征图。通道注意力模块的作用是根据全局特征分布关联，对不同通道的特征进行加权。通过计算全局均值并使用Softmax激活函数，通道注意力模块能够自适应地学习每个通道的重要性。通过加权不同通道的特征，模块能够强化对重要特征的关注，从而提高多尺度剩余烟油特征图的表示能力和区分度。通道注意力模块的引入可以提高模型在剩余烟油特征图中提取重要信息的能力，从而增强了模型的性能和准确性。通道注意力模块在图像处理和分析任务中具有广泛的应用，可以用于图像分类、目标检测、图像分割等任务中。

特别地，在本发明的技术方案中，所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图分别表达所述剩余烟油图像的浅层、中层和深层图像语义特征，且由于其是从基于金字塔网络的特征提取器得到的，因此所述浅层、中层和深层图像语义特征还对应于不同的特征提取尺度。在这种情况下，通过自适应模块融合所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图得到所述多尺度剩余烟油特征图时，由于所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图的各个特征矩阵之间的表达尺度和表达深度之间的差异，在通过增加通道数来丰富特征矩阵的特征表示时，也会由于各个特征矩阵的整体分布差异导致所述多尺度剩余烟油特征图的全局特征分布关联效果较差，虽然通过通道注意力可以强化所述多尺度剩余烟油特征图的各个通道的特征矩阵之间的显著性但全局特征分布关联效果较差的问题依旧没有得到缓解，从而影响了所述通道强化多尺度剩余烟油特征图通过分类器得到的分类结果的准确性。

基于此，可以通过沿通道对所述多尺度剩余烟油特征图的各个特征矩阵进行加权的方式来提升所述多尺度剩余烟油特征图的全局特征分布关联效果，并且，所述加权特征向量通过每个特征矩阵的静态场景来进行约束的定向偏导，以对特征矩阵进行自调谐结构化来计算。

相应地，在本发明的一个实施例中，对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行自调谐结构化以得到加权特征向量，包括：以如下加权公式对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行自调谐结构化以得到所述加权特征向量；其中，所述加权公式为：

；

其中，首先将所述多尺度剩余烟油特征图的每个特征矩阵通道线性变换转换为的正方矩阵，/>是所述多尺度剩余烟油特征图的通道数，/>是转换后的所述多尺度剩余烟油特征图沿通道维度的第/>个特征矩阵，/>是所述转换后的所述多尺度剩余烟油特征图的每个特征矩阵全局池化得到的向量，/>是所述转换后的所述多尺度剩余烟油特征图的第/>个特征矩阵的第/>位置的特征值，/>表示按位置加法，/>表示按位置乘法，/>表示按位置减法，/>表示所述加权特征向量。

也就是，以所述加权特征向量对于所述多尺度剩余烟油特征图的各个特征矩阵进行加权时，可以通过所述多尺度剩余烟油特征图的沿通道维度的每个静态场景矩阵相对于通道控制向量/>的自结构化约束，来使用用于表达通道维度关联的定向偏导向量对静态特征场景进行支持性自调谐，从而基于所述多尺度剩余烟油特征图的高维特征流形的与各个特征矩阵所表达的特征场景对应的特定凸多面体族（convex polytopes family）来进行高维特征流形的结构化，以提升各个特征矩阵的场景化的图像语义表达与通道维度的模型特征提取表达之间的显式关联，从而提升所述多尺度剩余烟油特征图的全局特征分布时序关联效果。

应可以理解，自调谐结构化是一种对多尺度剩余烟油特征图的通道维度进行加权的方法，它的作用是根据每个特征矩阵自身的特征分布情况，对其进行加权，以得到加权特征向量。具体来说，自调谐结构化可以根据每个特征矩阵的特征分布情况，自动地学习和调整每个通道的权重，这样可以使得具有更高重要性或更具区分度的通道在加权特征向量中得到更大的权重，而那些不重要或不具区分度的通道则得到较小的权重。通过自调谐结构化，加权特征向量可以更好地表示多尺度剩余烟油特征图的信息，突出重要的特征并减少对无关特征的依赖。这样可以提高特征的表达能力和区分度，使得后续的处理和分析任务更加准确和有效。换言之，自调谐结构化通过对多尺度剩余烟油特征图的通道维度进行加权，可以自动学习和调整每个通道的权重，从而得到更具代表性和有区分度的加权特征向量。这种方法的作用是提高特征的表达能力和区分度，为后续的处理和分析任务提供更准确和有效的特征表示。

更具体地，将所述通道强化多尺度剩余烟油特征图输入所述解码器进行解码回归以得到所述解码值，所述解码值用于表示剩余烟油量，包括：使用所述解码器的多个全连接层以如下解码公式对所述通道强化多尺度剩余烟油特征图进行解码回归以获得所述解码值；其中，所述解码公式为：

；

其中，是所述通道强化多尺度剩余烟油特征图，/>是所述解码值，/>是权重矩阵，/>表示矩阵乘。

应可以理解，解码器是神经网络模型中的一部分，其作用是将输入的特征图或编码后的特征向量转换为具体的输出值或目标值，在本发明的实施例中，解码器的作用是将通道强化的多尺度剩余烟油特征图转换为表示剩余烟油量的解码值。解码回归是指使用解码器对输入的特征进行解码，并将其转换为连续值的回归任务，解码器通过多个全连接层来实现解码回归操作，全连接层是一种神经网络层，其中每个神经元都与上一层的所有神经元相连，通过权重和偏置来计算输出。通过解码器的多个全连接层，通道强化的多尺度剩余烟油特征图经过一系列的非线性变换和映射，最终得到解码值。这个解码值用于表示剩余烟油量，可以是一个连续的实数值或者是一个离散的分类标签，具体取决于任务的要求。换言之，解码器的作用是将经过通道强化的多尺度剩余烟油特征图转换为表示剩余烟油量的解码值，解码回归是通过解码器的多个全连接层实现的，将特征进行非线性映射和变换，最终得到具体的输出值。

更具体的，在步骤S130中，在得到用于表示剩余烟油量的解码值后，将所述剩余烟油量发送至移动终端设备显示。具体地，可以通过下述方式进行显示：数字显示方式，可以在移动终端设备上以数字的形式显示剩余烟油量，例如以毫升或百分比的形式显示；进度条显示方式，可以使用进度条来表示剩余烟油量，将整个烟油容量作为进度条的总长度，剩余烟油量作为当前进度条的长度；图形化显示方式，可以使用图形化的方式将剩余烟油量显示在移动终端设备上，例如使用柱状图、饼图或雷达图等形式进行可视化展示；文字提示方式，可以使用文字提示的方式将剩余烟油量以文字的形式显示在移动终端设备上，例如显示“剩余量充足”或“剩余量不足”等提示信息。应可以理解，这些示例只是一些常见的显示方式，具体的显示方式可以根据实际需求和设计进行定制。

综上，基于本发明实施例的电子烟烟油信息处理方法被阐明，其通过对所述剩余烟油图像进行图像处理和分析以得到剩余烟油量的估计值，并将所述剩余烟油量的估计值发送至移动终端设备显示，以在移动终端实时地看到剩余烟油量。

进一步地，本发明的实施例还提供一种电子烟，所述电子烟以前述任一所述的电子烟烟油信息处理方法来检测剩余烟油量。

图9为根据本发明实施例的电子烟烟油信息处理系统100的框图。如图9所示，根据本发明实施例的电子烟烟油信息处理系统100，包括：图像采集模块110，用于获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像；剩余烟油量确定模块120，用于基于所述剩余烟油图像，确定剩余烟油量；以及，显示模块130，用于将所述剩余烟油量发送至移动终端设备显示。

这里，本领域技术人员可以理解，上述电子烟烟油信息处理系统100中的各个模块的具体功能和操作已经在上面参考图1到图8的电子烟烟油信息处理方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本发明实施例的电子烟烟油信息处理系统100可以实现在各种无线终端中，例如具有电子烟烟油信息处理算法的服务器等。在一个示例中，根据本发明实施例的电子烟烟油信息处理系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该电子烟烟油信息处理系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该电子烟烟油信息处理系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该电子烟烟油信息处理系统100与该无线终端也可以是分立的设备，并且该电子烟烟油信息处理系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

图10为根据本发明实施例的电子烟烟油信息处理方法的应用场景图。如图10所示，在该应用场景中，首先，获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像（例如，图10中所示意的D），然后，将所述剩余烟油图像输入至部署有电子烟烟油信息处理算法的服务器中（例如，图10中所示意的S），其中，所述服务器能够使用所述电子烟烟油信息处理算法对所述剩余烟油图像进行处理以得到用于表示剩余烟油量的解码值。

此外，本领域技术人员可以理解，本发明的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本发明的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本发明的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (8)

1.一种电子烟烟油信息处理方法，其特征在于，包括：

获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像；

基于所述剩余烟油图像，确定剩余烟油量；以及

将所述剩余烟油量发送至移动终端设备显示；

基于所述剩余烟油图像，确定剩余烟油量，包括：

对所述剩余烟油图像进行图像处理和分析以得到剩余烟油特征表示；以及

基于所述剩余烟油特征表示，确定所述剩余烟油量；

对所述剩余烟油图像进行图像处理和分析以得到剩余烟油特征表示，包括：

将所述剩余烟油图像通过基于金字塔网络的图像特征提取器以得到剩余烟油浅层特征图、剩余烟油中层特征图和剩余烟油深层特征图；

通过自适应融合模块融合所述剩余烟油浅层特征图、所述剩余烟油中层特征图和所述剩余烟油深层特征图以得到多尺度剩余烟油特征图；以及

将所述多尺度剩余烟油特征图通过解码器以得到解码值，所述解码值用于表示剩余烟油量。

2.根据权利要求1所述的电子烟烟油信息处理方法，其特征在于，将所述多尺度剩余烟油特征图通过解码器以得到解码值，所述解码值用于表示剩余烟油量，包括：

对所述多尺度剩余烟油特征图进行全局特征分布关联强化以得到优化多尺度剩余烟油特征图；

将所述优化多尺度剩余烟油特征图通过通道注意力模块以得到通道强化多尺度剩余烟油特征图；以及

将所述通道强化多尺度剩余烟油特征图输入所述解码器进行解码回归以得到所述解码值，所述解码值用于表示剩余烟油量。

3.根据权利要求2所述的电子烟烟油信息处理方法，其特征在于，对所述多尺度剩余烟油特征图进行全局特征分布关联强化以得到优化多尺度剩余烟油特征图，包括：

对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行自调谐结构化以得到加权特征向量；以及

以所述加权特征向量对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行加权以得到所述优化多尺度剩余烟油特征图。

4.根据权利要求3所述的电子烟烟油信息处理方法，其特征在于，对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行自调谐结构化以得到加权特征向量，包括：

以如下加权公式对所述多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行自调谐结构化以得到所述加权特征向量；

其中，所述加权公式为：

；

其中，首先将所述多尺度剩余烟油特征图的每个特征矩阵通道线性变换转换为的正方矩阵，/>是所述多尺度剩余烟油特征图的通道数，/>是转换后的所述多尺度剩余烟油特征图沿通道维度的第/>个特征矩阵，/>是所述转换后的所述多尺度剩余烟油特征图的每个特征矩阵全局池化得到的向量，/>是所述转换后的所述多尺度剩余烟油特征图的第/>个特征矩阵的第/>位置的特征值，/>表示按位置加法，/>表示按位置乘法，/>表示按位置减法，/>表示所述加权特征向量。

5.根据权利要求4所述的电子烟烟油信息处理方法，其特征在于，将所述优化多尺度剩余烟油特征图通过通道注意力模块以得到通道强化多尺度剩余烟油特征图，包括：

计算所述优化多尺度剩余烟油特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；

将所述通道特征向量输入Softmax激活函数以得到通道注意力加权向量；以及

以所述通道注意力加权向量中各个位置的特征值作为权重分别对所述优化多尺度剩余烟油特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道强化多尺度剩余烟油特征图。

6.根据权利要求5所述的电子烟烟油信息处理方法，其特征在于，将所述通道强化多尺度剩余烟油特征图输入所述解码器进行解码回归以得到所述解码值，所述解码值用于表示剩余烟油量，包括：

使用所述解码器的多个全连接层以如下解码公式对所述通道强化多尺度剩余烟油特征图进行解码回归以获得所述解码值；

其中，所述解码公式为：

；

其中，是所述通道强化多尺度剩余烟油特征图，/>是所述解码值，/>是权重矩阵，表示矩阵乘。

7.一种电子烟烟油信息处理系统，其特征在于，包括：

图像采集模块，用于获取由部署于电子烟的烟弹内的电子眼采集的剩余烟油图像；

剩余烟油量确定模块，用于基于所述剩余烟油图像，确定剩余烟油量；以及

显示模块，用于将所述剩余烟油量发送至移动终端设备显示。

8.一种电子烟，其特征在于，所述电子烟以如权利要求1至6任一项所述的电子烟烟油信息处理方法来检测剩余烟油量。