CN109543596A - 一种水位监测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种水位监测方法、装置、电子设备及存储介质，该方法包括：将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定第一图像中水位尺预测框的第一位置信息；根据第一位置信息，从第一图像中提取所述水位尺对应的第二图像，并将第二图像输入到预先训练完成的第二卷积神经网络模型中，确定第二图像中水位尺上的数字预测框的第二位置信息，并根据第二位置信息，对每个数字预测框中的数字进行识别；根据识别出的数字，确定水面对应的目标数字，并根据目标数字以及目标数字的颜色，确定水位高度。由于在进行水位监测时无需进行繁琐的配置，且不受环境因素的影响，因此可以提高水位监测的适应性及准确性。

Description

一种水位监测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种水位监测方法、装置、电子设备及存储介质。

背景技术

水位监测对于江、河、水库等水体的监测具有重要意义。目前国内的大多数水文站在进行水位监测时常用的方法包括：水位尺人工监测、传感器监测以及图像识别监测。

其中，在采用水位尺人工监测的方法时，不但存在测量者的人身安全问题，而且容易受到天气影响，如遇到雨天或雾天，监测数据的准确性很难得到保证，监测的实时性不强，无法对洪汛灾害及时预警。

在采用传感器监测的方法时，需要安装水位监测系统对水位进行测量，因此存在水位监测系统安装复杂、配置繁琐，适应性不强的问题。

在采用图像识别监测的方法时，首先要基于单目摄像机进行图像采集，然后利用河流平面与河岸平面的光反射特性区别，最后基于水平像素投影算法来确定水位高度。因此该方法完全依赖于拍摄水位图像质量的好坏，且没有考虑倒影、折射或者正午时分有强烈光照等环境因素对水位刻度的影响，因此也会导致该方法准确性很难得到保证，适应性不强。

因此，如何提高现有技术中在进行水位监测时的适应性及准确性，是一个值得研究的问题。

发明内容

本发明公开了一种水位监测方法、装置、电子设备及存储介质，用于解决现有技术中在进行水位监测时因受到环境因素影响而导致的适应性及准确性较低的技术问题。

为克服上述技术问题，依据本发明的一个方面，提供了一种水位监测方法，所述方法包括：

将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

根据识别出的数字，确定水面对应的目标数字，并根据所述目标数字以及所述目标数字的颜色，确定水位高度。

具体地，预先训练所述第一卷积神经网络模型的过程包括：

获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；

将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

具体地，所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，所述方法还包括：

将所述第二图像缩放到预设尺寸；

所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中包括：

将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

具体地，所述根据所述第二位置信息，对每个数字预测框中的数字进行识别之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；

B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；

C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；

D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；

E：确定数字预测框中的数字识别正确，并执行后续步骤。

具体地，所述针对所述异常数字进行纠错处理包括：

根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；

判断所述标准分是否在第一预设范围内；

如果否，则将所述异常数字删除；

如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；

如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；

如果否，则判断所述差值是否小于第二预设范围中的最小值；

如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

具体地，所述第二卷积神经网络模型还确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别，所述确定数字预测框中的数字识别正确之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；

B：将该数字序列确定为目标序列，并执行后续步骤；

C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

具体地，所述根据识别出的数字，确定水面对应的目标数字包括：

将确定的目标序列中的末位数字确定为水面对应的目标数字。

具体地，预先训练所述第二卷积神经网络模型的过程包括：

获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；

将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

具体地，所述根据识别出的数字，确定水面对应的目标数字之后，所述方法还包括：

根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

具体地，预先训练所述第三卷积神经网络模型的过程包括：

获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；

将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

依据本发明的另一个方面，还提供了一种水位检测装置，所述装置包括：

第一确定模块，用于将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

识别模块，用于根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

第二确定模块，用于根据识别出的数字，确定水面对应的目标数字；

第三确定模块，用于根据所述目标数字以及所述目标数字的颜色，确定水位高度。

具体地，所述装置还包括：

第一训练模块，用于获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

具体地，所述装置还包括：

缩放模块，用于将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，将所述第二图像缩放到预设尺寸；

所述识别模块，具体用于将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

具体地，所述装置还包括：

校验模块，用于在所述识别模块之后，A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；E：确定数字预测框中的数字识别正确，触发所述第二确定模块。

具体地，所述校验模块，具体用于根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；判断所述标准分是否在第一预设范围内；如果否，则将所述异常数字删除；如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；如果否，则判断所述差值是否小于第二预设范围中的最小值；如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

具体地，所述装置还包括：增补模块，

所述识别模块，还用于确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别；

所述增补模块，用于在所述校验模块之后，A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；B：将该数字序列确定为目标序列，触发所述第二确定模块；C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

具体地，所述第二确定模块，具体用于将确定的目标序列中的末位数字确定为水面对应的目标数字。

具体地，所述装置还包括：

第二训练模块，用于获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

具体地，所述装置还包括：

第四确定模块，还用于在所述第二确定模块之后，根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

具体地，所述装置还包括：

第三训练模块，用于获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

依据本发明的另一个方面，还提供了一种电子设备，包括存储器和处理器；

所述处理器，用于读取所述存储器中的程序，执行上述水位监测方法中的步骤。

依据本发明的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述水位监测方法中的步骤。

本发明的有益效果如下：

本发明提供了一种水位监测方法、装置、电子设备及存储介质，该方法包括：将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；根据识别出的数字，确定水面对应的目标数字，并根据所述目标数字以及所述目标数字的颜色，确定水位高度。在本发明中，通过将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，可以准确检测到第一图像中水位尺预测框的第一位置信息，然后再基于该第一位置信息对从该第一图像中提取水位尺对应的第二图像，并将第二图像输入到预先训练完成的第二卷积神经网络模型中，可以对第二图像中水位尺上的数字进行准确识别，从而确定水面对应的目标数字，由于数字的不同颜色对应不同的水位高度，因此最终可根据目标数字以及目标数字的颜色，确定水位高度。由于本发明提供的水位监测方法无需进行繁琐的配置，使用更加灵活，且不受环境因素的影响，因此可以提高水位监测的适应性及准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供的水位监测方法的流程图；

图2为本发明实施例中提供的resnet网络结构示意图；

图3为本发明实施例中提供的VGG-16网络结构示意图；

图4为本发明实施例中提供的根据排序表进行数字校验的示意图之一；

图5为本发明实施例中提供的根据排序表进行数字校验的示意图之二；

图6为本发明实施例中提供的尺外误检的示意图；

图7为本发明实施例中提供的针对尺外误检进行修正后的修正效果图；

图8为本发明实施例中提供的尺内漏检的示意图；

图9为本发明实施例中提供的针对尺内漏检进行修正后的修正效果图；

图10为本发明实施例中提供的纠错流程图；

图11为本发明实施例中提供的图像的色相(H分量)对应的示意图；

图12为本发明实施例中提供的图像的饱和度(S分量)对应的示意图；

图13为本发明实施例中提供的水位监测流程图；

图14为本发明实施例中提供的水位尺场景图像的示意图；

图15为本发明实施例中提供的水位尺检测图的示意图；

图16为本发明实施例中提供的水位尺小图的示意图；

图17为本发明实施例中提供的水位尺识别图的示意图；

图18为本发明实施例中提供的ROI区域的示意图；

图19为本发明实施例中提供的标注效果图的示意图；

图20为本发明实施例中提供的水位检测装置的结构框图；

图21为本发明实施例中提供的一种电子设备。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

现有技术中采用图像识别方法直接计算水位值时，其准确性依赖于输入图像质量的好坏，且需要进行繁多图像预处理步骤，运行复杂易造成误差，精确度相对较低。因此本发明实施例基于卷积神经网络分别训练了检测模型(即第一卷积神经网络模型)，以实现对图像中的水位尺进行检测，和识别模型(即第二卷积神经网络模型和第三卷积神经网络模型)，以精确地对水位尺上的数字进行识别，然后结合数字颜色确定水位高度，以提高水位监测的精确度。

因此，依据本发明实施例的一个方面，提供了一种水位监测方法，如图1所示，该方法包括以下步骤：

S101：将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息。

本发明实施例提供的水位监测方法应用于电子设备，该电子设备可以为桌面计算机、便携式计算机、平板电脑等电子设备，在本发明实施例中并不进行具体限定。

在进行水位监测时，需确定水面对应的水位尺刻度，也就是水面对应的水位尺上的数字，然而由于水位尺上的数字在图像中的目标过小，不易识别，因此为保证能准确的识别出水位尺上的数字，首先需要对包含水位尺的第一图像进行检测，以确定水位尺在第一图像中的位置，然后再对水位尺上的数字进行识别。其中，在本发明实施例中，第一图像即为摄像机拍摄到的原始图像。

具体地，在将第一图像输入到预先训练完成的第一卷积神经网络模型中之后，由于该第一卷积神经网络模型包括若干层的卷积层和池化层，并且保存有训练完成的参数，因此可得到第一图像的特征图。由于该特征图上包含有水位尺预测框的位置信息，具体可以为水位尺预测框的坐标信息，另由于该特征图与第一图像具有映射关系，因此当获取到水位尺预测框在该特征图中的坐标信息之后，即可将该坐标信息确定为水位尺预测框在第一图像中的第一位置信息。

其中，在本发明实施例中，第一卷积神经网络模型采用的是SSD目标检测算法，并将进行改进后的restnet网络作为基础网络，其中resnet网络结构示意图如图2所示。由图2可知，resnet网络包括多个由卷积层(Conv层)和池化层(pooling层)构成的卷积网络层(即图2中的res层)，其中卷积层用于进行卷积操作，池化层用于进行池化操作，输入图像在与每一个卷积网络层的卷积层提取特征后，需要由池化层进行池化处理后输出。

由于在基于SSD目标检测算法进行特征提取时，在浅层卷积网络中得到的特征图分辨率高，原图信息更完整，保留了更多图片细节信息，适合用于检测小目标。而深层卷积网络中由于多次池化，特征图分辨率低，只保留了图像的主要信息，适合用于检测大目标。由于水位尺在第一图像中较为明显，因此在本发明实施例中，需采用靠后的两层卷积网络提取特征，并采用NMS(Non-Maximum Suppression，非极大值抑制)对水位尺预测框进行确定。由于在本发明实施例中针对第一卷积神经网络模型只抽取了res3b，res4b两层深层卷积网络，因此可以缩小模型，降低检测耗时。

S102：根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别。

由于本发明实施例的目的是要对摄像机拍摄到的原始图像中的水位尺上的数字进行识别，以确定水位高度，因此则需要进一步根据水位尺预测框在第一图像中的第一位置信息，提取到水位尺对应的第二图像，并基于第二卷积神经网络模型对水位尺上的数字进行识别。

具体地，在将第二图像输入到预先训练完成的第二卷积神经网络模型中之后，由于该第二卷积神经网络模型包括若干层的卷积层和池化层，并且也保存有训练完成的参数，因此也能够得到第二图像的特征图。由于该特征图上包含有数字预测框的位置信息，具体可以为数字预测框的坐标信息，另由于该特征图与第二图像具有映射关系，因此当获取到数字预测框在该特征图中的坐标信息之后，即可将该坐标信息确定为数字预测框在第二图像中的第二位置信息，然后基于获取到的第二位置信息，对每个数字预测框中的数字进行识别。其中，在本发明实施例中，第二图像即为根据第一位置信息，从第一图像中提取水位尺的图像。

其中，在本发明实施例中，第二卷积神经网络模型同样采用的是SSD目标检测算法，但是以VGG-16作为基础网络，其中VGG-16网络结构示意图如图3所示。由图3可知，VGG-16包括多个由卷积层(Conv层)和池化层(pooling层)构成的卷积网络层，其中卷积层用于进行卷积操作，池化层用于进行池化操作。由于水位尺上的数字在第二图像中的占比较小，因此在本发明实施例中，只需使用浅层卷积网络提取特征进行检测，即可以将VGG-16中原始的16层卷积网络删减至3层卷积网络，例如只选取conv2_2、conv3_2及conv4_2卷积网络提取特征，删减其他卷积网络层，然后同样采用NMS对数字预测框进行确定。由于在本发明实施例中针对第二卷积神经网络模型将VGG-16中原始的16层卷积网络删减了多层卷积网络，因此在保证数字识别率的同时，还缩小了模型大小，降低了识别耗时。

需要说明的是，在本发明实施例中，对应第一卷积神经网络模型和第二卷积神经网络模型中使用的卷积网络的层数，并不进行具体限定。

S103：根据识别出的数字，确定水面对应的目标数字，并根据所述目标数字以及所述目标数字的颜色，确定水位高度。

由于水位尺上的数字通常被红色与蓝色区分，而数字的不同颜色区分了不同水位段，因此数字颜色也是确定水位高度的一个重要信息，所以在本发明实施例中，在对水位尺上的数字进行识别后，增加了颜色识别算法，可有效避免由于光线照射，数字在水位尺中的背景颜色对颜色识别的影响，因此通过结合水面对应的目标数字和目标数字的颜色，对第一图像中的水位高度进行确定，具有更高的精确度。

因此，在本发明实施例中，通过将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，可以准确检测到第一图像中水位尺预测框的第一位置信息，然后再基于该第一位置信息对从该第一图像中提取水位尺对应的第二图像，并将第二图像输入到预先训练完成的第二卷积神经网络模型中，可以对第二图像中水位尺上的数字进行准确识别，从而确定水面对应的目标数字，由于数字的不同颜色对应不同的水位高度，因此最终可根据目标数字以及目标数字的颜色，确定水位高度。由于本发明提供的水位监测方法无需进行繁琐的配置，使用更加灵活，且不受环境因素的影响，因此可以提高水位监测的适应性及准确性。

实施例二：

为了得到第一卷积神经网络模型中训练完成的参数，因此需要对第一卷积神经网络模型进行训练，在上述各实施例的基础上，本发明实施例中，预先训练所述第一卷积神经网络模型的过程包括：

获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；

将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

在本发明实施例中，用于模型训练的电子设备可以为常用的计算机，但是由于模型训练过程中数据量较大，因此用于模型训练的电子设备还可以使用满足大数据深度学习的计算能力较强的电子设备。

由于第一卷积神经网络模型的目的是为了检测第一图像中的水位尺，因此在对第一卷积神经网络模型进行训练之前，首先需要对摄像机拍摄到的原始图像进行标注，以获取样本图像。具体地，可以在每个样本图像中标注出水位尺的位置信息，即水位尺预测框。

在具体实施中，每次输入一定数量的批量样本图像，采用前向传播、反向传播和权重更新等步骤对模型的参数进行更新。具体的训练过程：网络进行权值的初始化；输入样本图像经过卷积层、池化层的向前传播得到输出值；求出网络的输出值与目标值之间的误差；当误差大于我们得期望时，将误差传回网络中，依次求出各层的误差。各层的误差可以理解为对于网络的总误差，网络应承担多少；当误差等于或小于期望值时，训练结束；根据求得误差进行权值更新。不断输入批量样本图像重复以上步骤，不断调整参数，修正网络输出与期望值的误差，最后获得最优化的网络参数，即训练完成的第一卷积神经网络模型。

在训练过程中，由于原始restnet网络中控制预测框宽高比参数aspect_ratio并不适合本项目中水位尺的检测，因此需要根据水位尺特殊宽高比(高是宽的10倍甚至更多)特性进行定制。

具体地，可随机抽取300张样本图像，计算水位尺平均宽高比，将原始网络中aspect_ratio参数值设为[r均-N1，r均-N2，r均-c N3，r均+N4，r均+N5，r均+N6]，其中r均为水位尺平均宽高比，r均-Ni代表为：以水位尺平均宽高比为基准进行一定范围扩充，以适应不同高矮的水位尺的检测。其中需要说明的是，在本发明实施例中，N1—N6可以相同也可以不同，且N1—N6优选的取值范围为[1，5]。

由于在本发明实施例中，根据水位尺细长的特点修改了aspect_ratio参数，因此可使得第一卷积神经网络模型产生的预测框尽可能与真实水位尺相符，从而更容易框选到细长形状的目标，使得对水位尺的检测更加准确。

实施例三：

为了避免第二图像过小，导致在对第二图像中的数字进行识别时，造成数字误检或者漏检，因此为进一步提高数字识别率，在上述各实施例的基础上，本发明实施例中，所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，所述方法还包括：

将所述第二图像缩放到预设尺寸；

所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中包括：

将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

具体地，可能的一种实施方法为：在将第二图像输入到第二卷积神经网络模型之前，对该第二图像进行crop操作或者warp操作，将第二图像缩放到预设大小，其中预设大小为预先设定的，当然可以理解的是，在本发明实施例中，对于第二图像缩放的预设大小并不进行具体限定。

实施例四：

由于当水位尺占整图比例过小、尺子宽高比过大、或者水位尺背景有其他数字干扰时，可能会造成数字误检或者漏检，因此，在上述各实施例的基础上，本发明实施例中，所述根据所述第二位置信息，对每个数字预测框中的数字进行识别之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；

B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；

C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；

D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；

E：确定数字预测框中的数字识别正确，并执行后续步骤。

也就是说，在识别出水位尺上的数字之后，需要进一步对识别出来的数字进行校验，以保证识别出的数字的正确性，然后再确定水面对应的目标数字。在本发明实施例中，用于进行数字校验的电子设备可以为常用的计算机。

根据水位尺上数字排序的特点，当按照由上到下的顺序进行排序时，其对应的数字分别是9-0，然后又是9-0，如此间隔设置。因此在对水位尺上的数字进行校验时，可根据水位尺上数字排序固定的特点进行校验。

由于在进行数字识别时，先优先确定数字预测框的第二位置信息，然后在针对每个数字预测框中的数字进行识别，因此可根据确定的数字预测框的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，并确定与之对应的序列。然后依次针对数字序列中的每个数字，通过判断该数字与其相邻的下一数字是否连续，以确定对数字预测框中的数字识别是否正确。如果连续，则需要进一步判断该数字的下一位是否为数字序列中的末位数字，如果是，则说明该序列中的所有数字全部连续，此时则确定数字预测框中的数字识别正确，然后基于该识别正确的数字序列确定水面对应的目标数字。然而，如果不连续，则需要进一步判断是否因为水位尺上数字排序固定的原因导致，即当前判断数字为9，而下一数字为0，因此需要判断该数字是否为0，如果是，则针对下一数字继续判断，如果否，则将该数字确定为异常数字，并针对所述异常数字进行纠错处理。

其中，本发明实施例提供了一种判断该数字与其相邻的下一数字是否连续的方式，具体如下：

预先设置从9到0的排序表，其中该排序表如表1所示，针对根据数字预测框对应的第二位置信息按上到下的顺序确定的数字序列中的第一个数字，定位第一个数字在排序表中的位置，也就是在排序表确定与第一个数字相同的数字，然后依次判断第一个数字之后的其他数字是否与该位置之后的数字是否一一对应，由于排序表中的数字是连续，因此基于该种方法也能对数字是否连续进行识别。

表1

排序表：

9

8

7

6

5

4

3

2

1

0

如图4所示，假如第一个数字为‘7’，根据该排序表可知，第一个数字在排序表中的位置为3，若位置3之后位置上的数字与识别出的第二个数字对应，则认为第一个识别数字正确，然后再依次对第二个数字及其之后的数字进行判断。也就是说，在确定上一个数字正确之后，即可基于该数字对其对应位置的下一个位置上的数字进行判断。若后续数字均与对应位置上的数字一一对应，则确定数字预测框中的数字识别正确。

如图5所示，假如第一个数字为‘8’，根据该排序表可知，第一个数字在排序表中的位置为2，若位置2之后位置上的数字与识别出的第二个数字不对应，因此需要判断导致第一个数字与第二个数字不连续的原因是否是因为第一个数字与第二个数字处于水位尺上的间隔位置，所以需要判断第一个数字是否为0，然而由于当前识别到的第一个数字为‘8’，因此可以确定第一个数字与第二个数字不连续并不是因为水位尺上数字排序固定的原因导致，此时将第一个数字确定为异常数字，并针对第一个数字进行纠错处理，然后重新确定数字序列，针对重新确定的数字序列重复上述过程，直至确定数字预测框中的数字均识别正确。其中针对异常数字的纠错处理，将在后续实施例中进行详细说明。

其中，需要说明的是，上述以数字序列中的第一个数字为例说明如何对识别出来的数字进行校验。可以理解的是，针对数字序列中的后续数字，也可以采用上述的描述的方法进行校验。

由于在本发明实施例中，数字识别完成之后增加了校验过程，因此可进一步保证水位尺识别的准确性，提高水位监测的准确性。

实施例五：

由上述实施例可知，在对识别出的数字进行校验的过程中，可能会存在异常数字，而该异常数字有可能是因为误检导致，也有可能因为和后续数字之间漏检导致，由于导致该数字异常的原因不确定，所以在后续进行纠错处理时，需根据具体情况进行相应处理。

因此，在上述各实施例的基础上，本发明实施例中，所述针对所述异常数字进行纠错处理包括：

根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；

判断所述标准分是否在第一预设范围内；

如果否，则将所述异常数字删除；

如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；

如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；

如果否，则判断所述差值是否小于第二预设范围中的最小值；

如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

由于针对每一款水位尺来说，水位尺上每个数字对应的位置应具有成正态分布的特点，因此进行水位监测的电子设备可根据水位尺上每个数字对应位置计算并保存数字位置对应的平均值和标准差。在本发明实施例中，可以根据水位尺确定一直角坐标系，每个数字对应的位置信息可以为其所在数字预测框的坐标信息，在计算数字位置对应的平均值和标准差时，则可以将数字预设框上的某个角作为参考位置，并根据该参考位置对应的坐标进行计算。其中，该参考位置可以为数字预测框的左上角，其对应坐标则为左上角的X坐标。当然可以理解的是，在本发明实施例中，对此并不进行具体限定。

然后可根据正态分布的公式z＝(X-μ)/σ，计算获取异常数字的标准分。

其中，在上述公式中，X为异常数字的左上角的X坐标，μ为针对该水位尺预先保存的数字位置的平均值，σ为针对该水位尺预先保存的数字位置的方差，而z则反应了异常数字的左上角的X坐标与平均值的相对标准距离，因此能够提供对异常数字的评估。其中根据正态分布的性质，约有99％的数据的z分数会落在平均值的正负3个标注差之内，因此计算获取的z分数不在3个标注差对应的范围内，则判定该异常数字为离群值，也就是判定该异常数字为水位尺之外的数字，此时将该异常数字删除。其中，发生尺外误检的示意图如图6所示，而对其进行纠错处理后，其修正效果图如图7所示。

若计算获取的z分数在3个标注差对应的范围内，则说明该异常数字为水位尺上的数字，此时需要进一步根据该异常数字与其相邻数字之间的关系，进行进一步的纠错处理。

由于针对每一款水位尺来说，上下两个相邻数字之间的差值应该满足一定预设范围，因此可通过判断该异常数字对应的位置与其相邻数字对应的位置的差值(该差值指异常数字的左上角的Y坐标)，是否在预设范围内，判断该异常数字是否发生误检，如果是，则根据该异常数字之前的数字，对该异常数字纠正。较优的，当异常数字为数字序列中的第一个数字时，其相邻数字为其之后的下一位数字，当异常数字为数字序列中除第一个数字之外的其他数字时，其相邻数字优选为其之前的上一位数字。

具体地，在进行异常数字进行纠正时，也可参考预设的排序表进行纠正。假如水位尺中的数字‘9’被误检为数字‘3’，因为误检数字‘3’上一个识别正确的数字为‘0’，而数字‘0’在排序表中位置为10，下一位置的数字为‘9’，所以纠正过程中保留数字‘3’在排序表中的位置，将其修改为‘9’。

然而如果异常数字对应的位置与其相邻数字对应的位置的差值不在预设范围内，则说明异常数字与其相邻数字之间存在漏检或者误检，其中这里的误检是指在异常数字与其相邻数字之间多识别里其他数字，比如‘9’被识别为‘9’和‘0’。由于识别出两个数字，因此则导致一个数字有多个不同数字的数字预测框。此时为进一步判断异常数字与其相邻数字之间存在漏检还是误检，需要判断其差值是否小于预设范围中的最小值，如果是，则说明在异常数字与其相邻数字之间存在误检，判断为两个数字预测框对应一个数字，此时将该异常数字删除。

如果其差值不在预设范围内，也不小于预设范围中的最小值，则说明其差值大于预设范围中的最大值，此时则说明异常数字与其相邻数字之间存在漏检，此时可根据预先保存的数字位置的平均值，在异常数字所在的数字预测框的下方增补新数字预测框，并在新数字预测框内增补异常数字之后的对应数字。其中，发生尺内漏检的示意图如图8所示，而对其进行纠错处理后，其修正效果图如图9所示。

具体地，在进行纠错处理时，其纠错流程如图10所示，即：

针对每个异常数字，优先计算该异常数字对应的z分数，判断该异常数字是否为尺外误检，如果是，则将该异常数字删除，如果否，则确定为尺内误检，并进一步判断是否将该异常数字识别为其他数字，如果是，则根据预设的排序表纠正该异常数字，此时异常数字也就是误检数字，如果否，则进一步判断是否将该异常数字识别为多个数字，如果是，则将该异常数字删除，此时异常数字也就是多余检测数字，如果否，判定该异常数字之前是否存在漏检，此时需要增补相应数字，纠正处理过程结束。

由上述可知，在本发明实施例中，可以有效定位漏检、误检的位置，并纠正误检、增补漏检数字，因此可有效修正因被外界条件(如强烈光照、水位尺污渍)影响造成的误检、漏检的情况，保证水位尺检测识别的准确性，进一步提高水位监测的准确性。

实施例六：

由上述可知，虽然在数字识别完成之后增加了校验过程以及纠正处理过程，但是校验过程以及纠正处理过程仅能够判断出第一个数字是否识别错误，以及从第二个到最后一个识别数字，中间是否出现误漏检，并不能保证当前识别到的最后一个数字就是水面对应的目标数字，因此还需要判断最后一个识别数字之后是否出现漏检。

由于水位尺上除了数字之外，还有字符，而字符的排序具有的排序固定的特点，即如果在一个数字下方能够识别到两个‘E’及‘ヨ’，则说明该数字下方必然还存在数字，因此可据此判断当前识别到的是否为水面对应的目标数字。

鉴于还需要对水位尺上的字符进行识别，因此所述第二卷积神经网络模型还确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别。

在上述各实施例的基础上，本发明实施例中，所述确定数字预测框中的数字识别正确之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；

B：将该数字序列确定为目标序列，并执行后续步骤；

C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

也就是说，在校验和纠正过程完成后，若最后一个识别数字(也就是数字序列中的末位数字)之后连续识别到了水位尺字符‘E’及‘ヨ’，则判断最后一个识别数字之后仍存在漏检。此时需要根据字符‘E’及‘ヨ’对应的坐标确定一个新数字预测框，具体地，在确定新数字预测框时，可根据y补min＝yヨmin，y补max＝yヨmax，x补min＝xEmin，x补max＝xEmax进行确定。其中，y补min、y补max、x补min以及x补max即为新数字预测框对应的四个角的Y坐标和X坐标，yヨmin以及yヨmax为字符‘ヨ’对应的Y坐标，xEmin和xEmax为字符‘E’对应的X坐标。其中，在上述实施例五中，如果能识别出字符‘E’及‘ヨ’，那么在确定新数字预测框也能够采用该种方式进行确定。

由上述实施例可知，进行水位监测的电子设备上保存有数字位置对应的平均值，因此在确定新数字预测框时，也可以根据数字位置对应的平均值直接确定出新数字预测框对应的位置信息。

在确定出新数字预测框之后，需根据当前识别到的最后一个数字，对在新数字预测框内增补对应数字。其中在新数字预测框内增补对应数字之后，还应重新确定数字序列，并针对重新确定的数字序列重复该过程，直至在该数字序列的末位数字之后，不能识别到字符‘E’及‘ヨ’，此时将该数字序列确定为目标序列。

由于水位尺一部分露在水面，一部分在水下，而水下的部分无法识别，因此，所述根据识别出的数字，确定水面对应的目标数字包括：

将确定的目标序列中的末位数字确定为水面对应的目标数字。

也就是说，在确定水面对应的目标数字时，需将该水位尺露在水面的最后一个数字作为目标数字。

其中，由上述可知，通过进一步对根据识别出的数字对应的数字序列进行校验，可保证该数字序列的末位数字就是水面对应的目标数字，从而进一步保证了水位尺检测识别的准确性，提高了水位监测的准确性。

实施例七：

为了得到第二卷积神经网络模型中训练完成的参数，因此需要对第二卷积神经网络模型进行训练，在上述各实施例的基础上，本发明实施例中，预先训练所述第二卷积神经网络模型的过程包括：

获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；

将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

由于该第二卷积神经网络模型的目的是为了识别第二图像中水位尺上的数字和字符。因此在对该第二卷积神经网络模型进行训练之前，首先需要对水位尺对应的第二图像进行标注，以获取样本图像。具体地，可以在每个样本图像中标注出每个数字和字符的位置信息，即数字预测框和字符预测框，以及每个数字和字符对应的标签，即具体的数值和字符。其中对第二卷积神经网络模型进行训练的过程与对第一卷积神经网络模型进行训练的过程类似，故在本发明实施例中不再赘述。

实施例八：

由于在确定水位高度时，需结合目标数字和目标数字的颜色共同确定，因此还需要对目标数字的颜色进行识别，在上述各实施例的基础上，本发明实施例中，所述根据识别出的数字，确定水面对应的目标数字之后，所述方法还包括：

根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

在本发明实施例中，第三图像根据目标数字对应的第二位置信息，从第二图像中提取的目标数字对应的图像，因此根据第二位置信息确定的区域即为感兴趣区域ROI。

具体地，在进行颜色识别时，本发明实施例采用的方案为：将输入第三图像的颜色值从RGB空间转换为HSV空间。由于采用RGB颜色空间，外界光线变化会严重影响对数字的颜色判断。而当颜色值转换为HSV空间时，亮度分量与色度分量是分开的，V分量与图形的彩色信息无关，从而可以从图像的彩色信息中消除亮度分量的影响。因此在本发明实施例中，只提取色相(H分量)与饱和度(S分量)对颜色进行识别。其中，色相(H分量)对应的示意图如图11所示，饱和度(S分量)对应的示意图如图12所示。

然后针对进行转换后的第三图像，遍历第三图像中每一个像素，设置色相与饱和度阈值，以去除第三图像中背景像素点，只保留主体数字的像素点。然后分别对H、S分量值符合红色或者蓝色的阈值条件的主体像素点进行计数，统计主体数字区域分别在红色、蓝色中所占比重，按照占比大小判断该区域的颜色。若主体数字区域的蓝色占比重大，则判断为蓝色，否则为红色。

在确定目标数字对应的颜色之后，如果红色对应高水位段，蓝色对应低水位段，那么在确定水位高度时，若识别的最后一位数字为红色，则可根据公式水位值＝数字+100进行确定；若识别的最后一位数字为蓝色，则可根据公式水位值＝数字进行确定。

当然可以理解的是，在根据目标数字和目标数字的颜色确水位高度时，需结合实际场景，确定对应的计算公式，在本发明实施例中，并不进行具体限定。

由上述可知，在本发明实施例中，通过将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，可以准确检测到第一图像中水位尺预测框的第一位置信息，然后再基于该第一位置信息对从该第一图像中提取水位尺对应的第二图像，并将第二图像输入到预先训练完成的第二卷积神经网络模型中，可以对第二图像中水位尺上的数字进行准确识别，从而确定水面对应的目标数字，由于数字的不同颜色对应不同的水位高度，因此最终可根据目标数字以及目标数字的颜色，确定水位高度。由于本发明提供的水位监测方法无需进行繁琐的配置，使用更加灵活，且不受环境因素的影响，因此可以提高水位监测的适应性及准确性。

实施例九：

在上述各实施例的基础上，本发明实施例中，在实际应用中，对水位高度进行检测时，可根据图13中的流程图中的步骤执行，即：

步骤1：对水利球机拍摄的水位尺场景图像进行全图水位尺检测，获取标注有水位尺坐标的水位尺检测图，其中，水利球机拍摄的水位尺场景照片如图14所示，水位尺检测图如图15所示。

步骤2：对检测出的水位尺部分左右各扩充尺宽四分之一，上下扩充至原尺高，对其抠图，也就是对其进行裁剪，裁剪后的水位尺小图如图16所示。

步骤3：识别水位尺小图上的数字及刻度字符，获得对应数字和字符及相应的位置信息，其中水位尺识别图如图17所示，在识别后处理中添加逻辑算法，纠正检测识别中漏检误检情况，增加算法鲁棒性及准确率。

步骤4：根据识别数字的坐标获取ROI(感兴趣区域)区域，进行颜色识别，其中获取的ROI区域的图像如图18所示。

步骤5：最终将在水位尺小图中识别出的数字坐标映射在原始输入图像中，并根据映射后的坐标在原始图像中画出识别框，并在框边标出数字类别和颜色。其中最终输出效果图如图19所示，当然还可以在该图像中标注每个数字对应的置信度。

实施例十：

本发明实施例提供了一种水位检测装置，如图20所示，所述装置包括：

第一确定模块2001，用于将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

识别模块2002，用于根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

第二确定模块2003，用于根据识别出的数字，确定水面对应的目标数字；

第三确定模块2004，用于根据所述目标数字以及所述目标数字的颜色，确定水位高度。

具体地，所述装置还包括：

第一训练模块2005，用于获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

具体地，所述装置还包括：

缩放模块2006，用于将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，将所述第二图像缩放到预设尺寸；

所述识别模块2002，具体用于将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

具体地，所述装置还包括：

校验模块2007，用于在所述识别模块2002之后，A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；E：确定数字预测框中的数字识别正确，触发所述第二确定模块2003。

具体地，所述校验模块2007，具体用于根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；判断所述标准分是否在第一预设范围内；如果否，则将所述异常数字删除；如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；如果否，则判断所述差值是否小于第二预设范围中的最小值；如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

具体地，所述装置还包括：增补模块2008，

所述识别模块2002，还用于确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别；

所述增补模块2008，用于在所述校验模块2007之后，A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；B：将该数字序列确定为目标序列，触发所述第二确定模块；C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

具体地，所述第二确定模块2003，具体用于将确定的目标序列中的末位数字确定为水面对应的目标数字。

具体地，所述装置还包括：

第二训练模块2009，用于获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

具体地，所述装置还包括：

第四确定模块2010，还用于在所述第二确定模块2003之后，根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

具体地，所述装置还包括：

第三训练模块2011，用于获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

实施例十一：

在上述各实施例的基础上，本发明实施例还提供了电子设备，如图21所示，包括：处理器2101和存储器2102；

所述处理器2101，用于执行读取存储器2102中的程序，执行下列过程：

将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

根据识别出的数字，确定水面对应的目标数字，并根据所述目标数字以及所述目标数字的颜色，确定水位高度。

所述处理器2101，还用于获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

所述处理器2101，还用于将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，将所述第二图像缩放到预设尺寸；所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中包括：将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

所述处理器2101，还用于在所述根据所述第二位置信息，对每个数字预测框中的数字进行识别之后，所述根据识别出的数字，确定水面对应的目标数字之前，A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；E：确定数字预测框中的数字识别正确，并执行后续步骤。

所述处理器2101，具体用于根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；判断所述标准分是否在第一预设范围内；如果否，则将所述异常数字删除；如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；如果否，则判断所述差值是否小于第二预设范围中的最小值；如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

所述第二卷积神经网络模型还确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别，所述处理器2101，还用于在确定数字预测框中的数字识别正确之后，所述根据识别出的数字，确定水面对应的目标数字之前，A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；B：将该数字序列确定为目标序列，并执行后续步骤；C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

所述处理器2101，具体用于将确定的目标序列中的末位数字确定为水面对应的目标数字。

所述处理器2101，还用于获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

所述处理器2101，还用于在根据识别出的数字，确定水面对应的目标数字之后，根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

所述处理器2101，还用于获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

在图21中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器2101代表的一个或多个处理器和存储器2102代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。处理器2101负责管理总线架构和通常的处理，存储器2102可以存储处理器2101在执行操作时所使用的数据。

可选的，处理器2101可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。

实施例十二：

在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下方法中的步骤：

将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

根据识别出的数字，确定水面对应的目标数字，并根据所述目标数字以及所述目标数字的颜色，确定水位高度。

具体地，预先训练所述第一卷积神经网络模型的过程包括：

获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；

将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

具体地，所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，所述方法还包括：

将所述第二图像缩放到预设尺寸；

所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中包括：

将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

具体地，所述根据所述第二位置信息，对每个数字预测框中的数字进行识别之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；

B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；

C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；

D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；

E：确定数字预测框中的数字识别正确，并执行后续步骤。

具体地，所述针对所述异常数字进行纠错处理包括：

根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；

判断所述标准分是否在第一预设范围内；

如果否，则将所述异常数字删除；

如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；

如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；

如果否，则判断所述差值是否小于第二预设范围中的最小值；

如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

具体地，所述第二卷积神经网络模型还确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别，所述确定数字预测框中的数字识别正确之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；

B：将该数字序列确定为目标序列，并执行后续步骤；

C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

具体地，所述根据识别出的数字，确定水面对应的目标数字包括：

将确定的目标序列中的末位数字确定为水面对应的目标数字。

具体地，预先训练所述第二卷积神经网络模型的过程包括：

获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；

将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

具体地，所述根据识别出的数字，确定水面对应的目标数字之后，所述方法还包括：

根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

具体地，预先训练所述第三卷积神经网络模型的过程包括：

获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；

将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (22)

1.一种水位监测方法，其特征在于，所述方法包括：

将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

根据识别出的数字，确定水面对应的目标数字，并根据所述目标数字以及所述目标数字的颜色，确定水位高度。

2.如权利要求1所述的方法，其特征在于，预先训练所述第一卷积神经网络模型的过程包括：

获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；

将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

3.如权利要求1所述的方法，其特征在于，所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，所述方法还包括：

将所述第二图像缩放到预设尺寸；

所述将所述第二图像输入到预先训练完成的第二卷积神经网络模型中包括：

将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

4.如权利要求1所述的方法，其特征在于，所述根据所述第二位置信息，对每个数字预测框中的数字进行识别之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；

B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；

C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；

D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；

E：确定数字预测框中的数字识别正确，并执行后续步骤。

5.如权利要求4所述的方法，其特征在于，所述针对所述异常数字进行纠错处理包括：

根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；

判断所述标准分是否在第一预设范围内；

如果否，则将所述异常数字删除；

如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；

如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；

如果否，则判断所述差值是否小于第二预设范围中的最小值；

如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

6.如权利要求4或5所述的方法，其特征在于，所述第二卷积神经网络模型还确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别，所述确定数字预测框中的数字识别正确之后，所述根据识别出的数字，确定水面对应的目标数字之前，所述方法还包括：

A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；

B：将该数字序列确定为目标序列，并执行后续步骤；

C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

7.如权利要求6所述的方法，其特征在于，所述根据识别出的数字，确定水面对应的目标数字包括：

将确定的目标序列中的末位数字确定为水面对应的目标数字。

8.如权利要求6所述的方法，其特征在于，预先训练所述第二卷积神经网络模型的过程包括：

获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；

将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

9.如权利要求1所述的方法，其特征在于，所述根据识别出的数字，确定水面对应的目标数字之后，所述方法还包括：

根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

10.如权利要求9所述的方法，其特征在于，预先训练所述第三卷积神经网络模型的过程包括：

获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；

将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

11.一种水位检测装置，其特征在于，所述装置包括：

第一确定模块，用于将包含水位尺的第一图像输入到预先训练完成的第一卷积神经网络模型中，确定所述第一图像中水位尺预测框的第一位置信息；

识别模块，用于根据所述第一位置信息，从所述第一图像中提取所述水位尺对应的第二图像，并将所述第二图像输入到预先训练完成的第二卷积神经网络模型中，确定所述第二图像中所述水位尺上的数字预测框的第二位置信息，并根据所述第二位置信息，对每个数字预测框中的数字进行识别；

第二确定模块，用于根据识别出的数字，确定水面对应的目标数字；

第三确定模块，用于根据所述目标数字以及所述目标数字的颜色，确定水位高度。

12.如权利要求11所述的装置，其特征在于，所述装置还包括：

第一训练模块，用于获取第一样本图像，其中所述第一样本图像中标注了水位尺预测框的第四位置信息；将进行标注后的第一样本图像输入到所述第一卷积神经网络模型中，根据所述第一卷积神经网络模型的每个输出，对所述第一卷积神经网络模型进行训练。

13.如权利要求11所述的装置，其特征在于，所述装置还包括：

缩放模块，用于将所述第二图像输入到预先训练完成的第二卷积神经网络模型中之前，将所述第二图像缩放到预设尺寸；

所述识别模块，具体用于将缩放后的第二图像输入到预先训练完成的第二卷积神经网络模型中。

14.如权利要求11所述的装置，其特征在于，所述装置还包括：

校验模块，用于在所述识别模块之后，A：根据每个数字预测框对应的第二位置信息，按从上到下的顺序对从每个数字预测框中识别出的数字进行排序，确定与识别出的数字对应的数字序列；B：针对数字序列中的每个数字，判断该数字与其相邻的下一数字是否连续，如果是，执行C，如果否，执行D；C：判断该数字的下一数字是否为数字序列的末位数字，如果是，执行E，如果否，继续针对下一数字进行判断，返回B；D：判断该数字是否为0，如果是，继续针对下一数字进行判断，返回B，如果否，将该数字确定为异常数字，并针对所述异常数字进行纠错处理，返回A；E：确定数字预测框中的数字识别正确，触发所述第二确定模块。

15.如权利要求14所述的装置，其特征在于，所述校验模块，具体用于根据所述异常数字对应的第二位置信息，以及针对所述水位尺预先保存的数字位置的平均值和标准差，计算获取所述异常数字的标准分；判断所述标准分是否在第一预设范围内；如果否，则将所述异常数字删除；如果是，则获取所述异常数字对应的第二位置信息与所述异常数字的相邻数字对应的第二位置信息的差值，并判断所述差值是否在第二预设范围内；如果是，则根据数字序列中所述异常数字之前的数字，对所述异常数字纠正；如果否，则判断所述差值是否小于第二预设范围中的最小值；如果是，则将所述异常数字删除；如果否，则根据预先保存的数字位置的平均值，在所述异常数字所在的数字预测框的下方增补新数字预测框，并根据所述异常数字，在新数字预测框内增补对应数字。

16.如权利要求14或15所述的装置，其特征在于，所述装置还包括：增补模块，

所述识别模块，还用于确定所述第二图像中所述水位尺上的字符预测框的第三位置信息，并根据所述第三位置信息，对每个字符预测框中的字符进行识别；

所述增补模块，用于在所述校验模块之后，A：根据数字预测框的第二位置信息和字符预测框的第三位置信息，判断数字序列中的末位数字在所述水位尺上对应的位置下方是否存在预设字符，所述预设字符包括第一字符和第二字符，如果否，执行B，如果是，执行C；B：将该数字序列确定为目标序列，触发所述第二确定模块；C：根据第一字符对应的第三位置信息和第二字符对应的第三位置信息，在末位数字所在的数字预测框的下方增补新数字预测框，并根据数字序列的末位数字，在新数字预测框内增补对应数字，重新确定数字序列，返回A。

17.如权利要求16所述的装置，其特征在于，所述第二确定模块，具体用于将确定的目标序列中的末位数字确定为水面对应的目标数字。

18.如权利要求16所述的装置，其特征在于，所述装置还包括：

第二训练模块，用于获取第二样本图像，其中所述第二样本图像中标注了水位尺上的每个数字对应的数字标签信息、每个字符对应的字符标签信息、每个数字对应的数字预测框的第五位置信息以及每个字符对应的字符预测框的第六位置信息；将进行标注后的第二样本图像输入到所述第二卷积神经网络模型中，根据所述第二卷积神经网络模型的每个输出，对所述第二卷积神经网络模型进行训练。

19.如权利要求11所述的装置，其特征在于，所述装置还包括：

第四确定模块，还用于在所述第二确定模块之后，根据所述目标数字对应的第二位置信息，从所述第二图像中提取所述目标数字对应的第三图像，并将所述第三图像输入到预先训练完成的第三卷积神经网络模型中，确定所述目标数字的颜色。

20.如权利要求19所述的装置，其特征在于，所述装置还包括：

第三训练模块，用于获取第三样本图像，其中所述第三样本图像中标注了该样本中的数字对应的颜色标签信息；将进行标注后的第三样本图像输入到所述第三卷积神经网络模型中，根据所述第三卷积神经网络模型的每个输出，对所述第三卷积神经网络模型进行训练。

21.一种电子设备，其特征在于，包括存储器和处理器；

所述处理器，用于读取所述存储器中的程序，执行权利要求1～10任一项所述方法的步骤。

22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。