CN114881242B - 一种基于深度学习的图像描述方法及系统、介质和电子设备 - Google Patents

Abstract

本发明提供了一种基于深度学习的图像描述方法及系统、介质和电子设备。所述方法包括根据图像描述学习主机的输入数据，发出自动运行命令，并根据自动运行命令存储到待训练数据和等待数据；根据CPU处理状态判断是否发出自动输出命令和自动输出命令的发出时间；判断是否收到自动输出命令，生成训练时序数据组；根据训练时序数据组进行自动的模型运算，生成目标修正模型；实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；在存储空间中开辟数据区，存储目标点位值及其对应的横纵坐标。该方案基于深度学习算法，并通过结合图像输入状态、CPU运行状态和自适应训练，提供了一种进行图像描述方法，提升图像描述可靠性。

Description

一种基于深度学习的图像描述方法及系统、介质和电子设备

技术领域

本发明涉及图像分析技术领域，更具体地，涉及一种基于深度学习的图像描述方法及系统、介质和电子设备。

背景技术

随着新技术的不断发展和应用，越来越多的人开始使用深度学习算法在各个领域中。其中，由于图像处理和图像描述方面，有着数据量大，存货量大，特征无法人工提取的特点，也逐渐开始使用基于深度学习的算法。

在本发明技术之前，基于深度学习的算法在图像描述中已有应用，但是算法的运算的可靠性较差，而且容易产生运算错乱和运算结果有效性低的问题，原因主要是传统的基于深度学习的算法在图像描述方法中，过分注重算法的运行而忽略了如何根据设备的配合进行自适应的算法控制，导致图像描述可控性低，图像描述的可靠性差，无法保证针对各类输入均能够产生准确的评估。

发明内容

鉴于上述问题，本发明提出了一种基于深度学习的图像描述方法及系统、介质和电子设备，通过结合图像输入状态、CPU运行状态和自适应训练，基于深度学习算法，提供了一种进行图像描述方法，提升图像描述可靠性。

根据本发明实施例第一方面，提供一种基于深度学习的图像描述方法。

在一个或多个实施例中，优选地，所述一种基于深度学习的图像描述方法包括：

设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据；

获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间；

判断是否收到所述自动输出命令，生成训练时序数据组；

根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型；

获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；

获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标。

其中，根据所述图像描述学习主机的输入数据，发出所述自动运行命令，具体包括：

获得当前所述图像描述学习主机的实时学习输入数据；

对所述实时学习输入数据进行数据类型分析，根据对应数据类型进行划分，并计算所述数据类型对应的数据类型长度；

根据所述数据类型长度提取1秒内全部的所述实时学习输入数据的总长度，单位为KB；

根据所述实时学习输入数据的总长度，利用第一计算公式计算实时波动均值；

根据所述实时波动均值利用第二计算公式计算实时波动最小值；

根据所述实时波动均值利用第三计算公式计算实时波动最大值；

利用第四计算公式计算实时学习输入裕度；

根据第五计算公式自动判断所述实时学习输入数据的总长度是否满足所述实时学习输入裕度，若满足则发出所述自动运行命令；

所述第一计算公式为：

其中，y_i为所述实时波动均值，x_i为所述实时学习输入数据的总长度，a₁、a₂、a₃、a₄、a₅依次为第一、第二、第三、第四、第五预估系数，b₁、b₂、b₃、b₄、b₅依次为第六、第七、第八、第九、第十预估系数，x_i-1、x_i-2、x_i-3、x_i-4为前1秒、前2秒、前3秒和前4秒的实时学习输入数据总长度，y₁、y₂、y₃、y₄分别为第一、第二、第三、第四中间实时波动均值；

所述第二计算公式为：

Y_{min_i}＝min(y_i，y_i-1，…，y_i-L)

其中，y_i-1、…、y_i-L分别依次为前1秒、…、前L秒的所述实时波动均值，Y_{min_i}为所述实时波动最小值；

所述第三计算公式为：

Y_{max_i}＝max(y_i，y_i-1，…，y_i-L)

其中，Y_{max_i}为所述实时波动最大值；

所述第四计算公式为：

Yk_i＝0.8*(Y_{max_i}-Y_{min_i})+Y_{min_i}

其中，Yk_i为所述实时学习输入裕度；

所述第五计算公式为：

x_i＜Yk_i

在一个或多个实施例中，优选地，所述设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据，具体包括：

设置所述图像描述学习主机参数，所述图像描述学习主机参数包括所述等待数据上限；

根据所述图像描述学习主机的输入数据，发出所述自动运行命令；

当收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述待训练数据；

当未收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述等待数据。

在一个或多个实施例中，优选地，所述获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间，具体包括：

获取当前所述CPU处理状态，其中，所述CPU处理状态包括运行状态和静待状态；

利用第六计算公式计算当前CPU的实时运行空闲比例；

判断所述实时运行空闲比例是否满足第七计算公式，若满足则发出自动启动计算指令；

在收到所述自动启动计算指令后，利用第八计算公式计算起始训练指令发出时刻；

根据所述起始训练指令发出时刻，判断是否满足第九计算公式，若满足则发出所述自动输出命令；

所述第六计算公式为：

k_j＝(t_nj-T_kj)T_j

其中，k_j为所述实时运行空闲比例，T_j为第j个CPU实时运行周期，t_nj为所述第j个CPU实时运行周期的空闲截止时刻，T_kj为所述第j个CPU实时运行周期的空闲初始时刻；

所述第七计算公式为：

k_j＞20％

所述第八计算公式为：

T₀＝T_kj-0.1T_j

其中，T₀为所述起始训练指令发出时刻；

所述第九计算公式为：

(sx_j+T₀)/T_j＜1

其中，s为训练矫正系数。

在一个或多个实施例中，优选地，判断是否收到所述自动输出命令，生成训练时序数据组，具体包括：

当收到所述自动输出命令时，将所述等待数据转化为所述待训练数据；

根据所述待训练数据自动进行时间拆分，将1秒之前的所述待训练数据作为历史训练数据；

将当前的所述待训练数据进行点阵分析，生成为一组连续的训练时序数据组，其中，所述训练时序数据组带有时标。

在一个或多个实施例中，优选地，所述根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型，具体包括：

读取所述时序数据组，根据所述时序数据组还原为图像点阵数据；

根据所述图像点阵数据生成为实时准图像，对所述实时准图像进行灰度处理，生成为灰度图；

对所述灰度图进行自动的生成为图像点阵；

获取预设的最优修正指数，根据输入的所述图像点阵，生成修正目标描述矩阵和所述目标修正模型。

在一个或多个实施例中，优选地，所述获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示，具体包括：

根据所述目标修正模型计算所述实时目标描述矩阵；

根据所述实时目标描述矩阵进行拆分，将所述实时目标描述矩阵的行号生成为所述横坐标；

根据所述实时目标描述矩阵进行拆分，将所述实时目标描述矩阵的列号生成为所述纵坐标；

将所述实时目标描述矩阵的数值取绝对值，作为所述目标点位值；

当所述目标点位值超过第一预设阈度值时，根据该所述目标点位值对应的所述横坐标和所述纵坐标进行展示。

在一个或多个实施例中，优选地，所述获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标，具体包括：

获取所述目标点位值，当所述目标点位值超过第二预设阈度值时，发出存储命令；

在收到所述存储命令后，读取所述目标点位值的存储总数；

根据所述存储总数乘以三倍，在存储空间中开辟所述数据区，并将所述目标点位值及其对应的所述横坐标和所述纵坐标存储到所述数据区。

根据本发明实施例第二方面，提供一种基于深度学习的图像描述系统。

在一个或多个实施例中，优选地，所述一种基于深度学习的图像描述系统包括：

数据筛选模块，用于设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据；

CPU检测模块，用于获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间；

训练控制模块，用于判断是否收到所述自动输出命令，生成训练时序数据组；

模型生成模块，用于根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型；

实时描述模块，用于获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；

实时存储模块，用于获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标。

根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。

根据本发明实施例第四方面，提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现本发明实施例第一方面中任一项所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

提供了一种如何进行图像数据输入和CPU处理相互配合，数据输入与存储算法，提升基于深度学习的图像描述设备的利用效率，降低在自动的深度学习中数据出错概率。

提供了一种如何考虑CPU的实时波动性的自适应的深度学习图像描述算法，使得自动训练后获得的模型能够针对CPU实施运行情况自动的调整训练后的图像描述结果，提升图像描述可靠性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种基于深度学习的图像描述方法的流程图。

图2是本发明一个实施例的一种基于深度学习的图像描述方法中的设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据的流程图。

图3是本发明一个实施例的一种基于深度学习的图像描述方法中的获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间的流程图。

图4是本发明一个实施例的一种基于深度学习的图像描述方法中的判断是否收到所述自动输出命令，生成训练时序数据组的流程图。

图5是本发明一个实施例的一种基于深度学习的图像描述方法中的根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型的流程图。

图6是本发明一个实施例的一种基于深度学习的图像描述方法中的获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示的流程图。

图7是本发明一个实施例的一种基于深度学习的图像描述方法中的获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标的流程图。

图8是本发明一个实施例的一种基于深度学习的图像描述系统的结构图。

图9是本发明一个实施例中一种电子设备的结构图。

具体实施方式

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着新技术的不断发展和应用，越来越多的人开始使用深度学习算法在各个领域中。其中，由于图像处理和图像描述方面，有着数据量大，存货量大，特征无法人工提取的特点，也逐渐开始使用基于深度学习的算法。

在本发明技术之前，基于深度学习的算法在图像描述中已有应用，但是算法的运算的可靠性较差，而且容易产生运算错乱和运算结果有效性低的问题，原因主要是传统的基于深度学习的算法在图像描述方法中，过分注重算法的运行而忽略了如何根据设备的配合进行自适应的算法控制，导致图像描述可控性低，图像描述的可靠性差，无法保证针对各类输入均能够产生准确的评估。

本发明实施例中，提供了一种基于深度学习的图像描述方法及系统、介质和电子设备。该方案通过结合图像输入状态、CPU运行状态和自适应训练，基于深度学习算法，提供了一种进行图像描述方法，提升图像描述可靠性。

根据本发明实施例第一方面，提供一种基于深度学习的图像描述方法。

图1是本发明一个实施例的一种基于深度学习的图像描述方法的流程图。

在一个或多个实施例中，优选地，所述一种基于深度学习的图像描述方法包括：

S101、设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据；

S102、获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间；

S103、判断是否收到所述自动输出命令，生成训练时序数据组；

S104、根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型；

S105、获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；

S106、获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标。

其中，根据所述图像描述学习主机的输入数据，发出所述自动运行命令，具体包括：

获得当前所述图像描述学习主机的实时学习输入数据；

对所述实时学习输入数据进行数据类型分析，根据对应数据类型进行划分，并计算所述数据类型对应的数据类型长度；

根据所述数据类型长度提取1秒内全部的所述实时学习输入数据的总长度，单位为KB；

根据所述实时学习输入数据的总长度，利用第一计算公式计算实时波动均值；

根据所述实时波动均值利用第二计算公式计算实时波动最小值；

根据所述实时波动均值利用第三计算公式计算实时波动最大值；

利用第四计算公式计算实时学习输入裕度；

根据第五计算公式自动判断所述实时学习输入数据的总长度是否满足所述实时学习输入裕度，若满足则发出所述自动运行命令；

所述第一计算公式为：

其中，y_i为所述实时波动均值，x_i为所述实时学习输入数据的总长度，a₁、a₂、a₃、a₄、a₅依次为第一、第二、第三、第四、第五预估系数，b₁、b₂、b₃、b₄、b₅依次为第六、第七、第八、第九、第十预估系数，x_i-1、x_i-2、x_i-3、x_i-4为前1秒、前2秒、前3秒和前4秒的实时学习输入数据总长度，y₁、y₂、y₃、y₄分别为第一、第二、第三、第四中间实时波动均值；

所述第二计算公式为：

Y_{min_i}＝min(y_i，y_i-1，...，y_i-L)

其中，y_i-1、…、y_i-L分别依次为前1秒、…、前L秒的所述实时波动均值，Y_{min_i}为所述实时波动最小值；

所述第三计算公式为：

Y_{max_i}＝max(yi_，y_i-1，…，y_i-L)

其中，Y_{max_i}为所述实时波动最大值；

所述第四计算公式为：

Yk_i＝0.8*(Y_{max_i}-Y_{min_i})+Y_{min_i}

其中，Yk_i为所述实时学习输入裕度；

所述第五计算公式为：

x_i＜Yk_i

在本发明实施例中，提供了一种如何进行图像描述的具体防范。在这个具体方法中，还限定了如何提供了如何根据图像描述学习主机的输入数据进行自动的数据分析，当实时采集的数据处于最近的L秒内的一个较高的实时学习输入裕度时，实时的将数据分类存储到待训练数据和等待数据中，防止每次因为自动学习过程中的数据堆积产生而产生错误的图像描述。

图2是本发明一个实施例的一种基于深度学习的图像描述方法中的设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据的流程图。

如图2所示，在一个或多个实施例中，优选地，所述设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据，具体包括：

S201、设置所述图像描述学习主机参数，所述图像描述学习主机参数包括所述等待数据上限；

S202、根据所述图像描述学习主机的输入数据，发出所述自动运行命令；

S203、当收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述待训练数据；

S204、当未收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述等待数据。

在本发明实施例中，所述等待数据上限为等待开始学习数据的上限值，所述等待数据上限得设定原则为不超过数据存储空间总额的80％，举例说明，若数据存储空间总容量为10000个字节，每个数据占据的空间为10字节，则等待数据上限为0.8*10000/10,计算结果为800个。

在本发明实施例中，在进行具体的训练数据生成过程中，不同与传统的方式，结合了本发明中提供的第一计算公式到第五计算公式的方式，进行的算法运算，进而确定如何将输入的数据实时或非实时的送入进行训练的CPU中，提升了训练系统的运行效率和可靠性。

图3是本发明一个实施例的一种基于深度学习的图像描述方法中的获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间的流程图。

如图3所示，在一个或多个实施例中，优选地，所述获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间，具体包括：

S301、获取当前所述CPU处理状态，其中，所述CPU处理状态包括运行状态和静待状态；

S302、利用第六计算公式计算当前CPU的实时运行空闲比例；

S303、判断所述实时运行空闲比例是否满足第七计算公式，若满足则发出自动启动计算指令；

S304、在收到所述自动启动计算指令后，利用第八计算公式计算起始训练指令发出时刻；

S305、根据所述起始训练指令发出时刻，判断是否满足第九计算公式，若满足则发出所述自动输出命令；

所述第六计算公式为：

k_j＝(t_nj-T_kj)T_j

其中，k_j为所述实时运行空闲比例，T_j为第j个CPU实时运行周期，t_nj为所述第j个CPU实时运行周期的空闲截止时刻，T_kj为所述第j个CPU实时运行周期的空闲初始时刻；

所述第七计算公式为：

k_j＞20％

所述第八计算公式为：

k₀＝T_kj-0.1T_j

其中，T₀为所述起始训练指令发出时刻；

所述第九计算公式为：

(sx_j+T₀)/T_j＜1

其中，s为训练矫正系数。

在本发明实施例中，通过对于CPU处理状态的监视，实现高效准确的运算处理。这里需要明确的是图像描述学习主机是数据输入的节点，而CPU则是实际进行数据运算和训练的设备，因此，二者本身是不同的。对于CPU的运行状态进行了实时的监测，监测过程中产生了CPU的两种工作状态，并结合相应的算法给出了运算根据CPU状态，实时进行算法运算，生成了对应的自动输出命令的发送时间具体为所述起始训练指令发出时刻，还对应了自动输出命令的发出的标准即第九计算公式，通过此方式能实现结合图像描述训练的CPU的训练启动控制。

图4是本发明一个实施例的一种基于深度学习的图像描述方法中的判断是否收到所述自动输出命令，生成训练时序数据组的流程图。

如图4所示，在一个或多个实施例中，优选地，判断是否收到所述自动输出命令，生成训练时序数据组，具体包括：

S401、当收到所述自动输出命令时，将所述等待数据转化为所述待训练数据；

S402、根据所述待训练数据自动进行时间拆分，将1秒之前的所述待训练数据作为历史训练数据；

S403、将当前的所述待训练数据进行点阵分析，生成为一组连续的训练时序数据组，其中，所述训练时序数据组带有时标。

在本发明实施例中，在进行数据学习时，不适用历史训练数据，但是历史训练数据会被存储，这是因为随着训练的进行，原始的数据也将会变为历史数据，这些存储起来的历史数据是进行后续数据分析的必备信息。

图5是本发明一个实施例的一种基于深度学习的图像描述方法中的根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型的流程图。

如图5所示，在一个或多个实施例中，优选地，所述根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型，具体包括：

S501、读取所述时序数据组，根据所述时序数据组还原为图像点阵数据；

S502、根据所述图像点阵数据生成为实时准图像，对所述实时准图像进行灰度处理，生成为灰度图；

S503、对所述灰度图进行自动的生成为图像点阵；

S504、获取预设的最优修正指数，根据输入的所述图像点阵，生成修正目标描述矩阵和所述目标修正模型。

在本发明实施例中，在进行数据读取后，将会根据数据重新生成为点阵图像，而在CPU内计算时，除去进行数据处理为点阵形式，还进行了进一步的数据的反复更新和训练，生成一个目标修正模型，这个模型是进行后续的基于深度学习的图像描述的基础模型。

图6是本发明一个实施例的一种基于深度学习的图像描述方法中的获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示的流程图。

如图6所示，在一个或多个实施例中，优选地，所述获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示，具体包括：

S601、根据所述目标修正模型计算所述实时目标描述矩阵；

S602、根据所述实时目标描述矩阵进行拆分，将所述实时目标描述矩阵的行号生成为所述横坐标；

S603、根据所述实时目标描述矩阵进行拆分，将所述实时目标描述矩阵的列号生成为所述纵坐标；

S604、将所述实时目标描述矩阵的数值取绝对值，作为所述目标点位值；

S605、当所述目标点位值超过第一预设阈度值时，根据该所述目标点位值对应的所述横坐标和所述纵坐标进行展示。

在本发明实施例中，所述第一预设阈度值作为一个门槛值处理，根据期望展示的数据的多少进行设置，一般情况下，初始设置值设置为所有的目标点位值平均值为0.5到0.6倍之间的一个值。

在本发明实施例中，根据前面训练形成的目标修正模型，则可以继续进行实时获取的数据的分析，分析过程中进行了数据的拆分，将原始的数据形成了坐标点上对应的目标点位值，这个点位值可以以光点强弱或色点强弱形式展示在预先提供的显示屏幕上展示。

图7是本发明一个实施例的一种基于深度学习的图像描述方法中的获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标的流程图。

如图7所示，在一个或多个实施例中，优选地，所述获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标，具体包括：

S701、获取所述目标点位值，当所述目标点位值超过第二预设阈度值时，发出存储命令；

S702、在收到所述存储命令后，读取所述目标点位值的存储总数；

S703、根据所述存储总数乘以三倍，在存储空间中开辟所述数据区，并将所述目标点位值及其对应的所述横坐标和所述纵坐标存储到所述数据区。

在本发明实施例中，所述第二预设阈度值设置为一个比较低的值，主要是为了尽可能能的存储全面的数据，因此一般为0.001。

在本发明实施例中，除去能够展示外，还能够根据数据的目标点位值进行存储，但是存储需要每次开辟对应的数据区，保存存储数据没有浪费。

其中，获取预设的最优修正指数，根据输入的所述图像点阵，生成修正目标描述矩阵和目标修正模型，具体包括：

获取预设的最优修正指数，根据第十计算公式获得最优的目标优化常数、目标第一系数和目标第二系数；

根据所述第十一计算公式设置第n个修正指数估计值；

根据所述第十二计算公式计算特征对角阵；

根据所述特征对角阵利用第十三计算公式生成修正目标描述矩阵；

将带入最优的目标优化常数、目标第一系数和目标第二系数的所述第十一计算公式、第十二计算公式和第十三计算公式保存为目标修正模型；

所述第十计算公式为：

其中，C_n'为最优修正指数，M₀为目标优化常数，M₁为目标第一系数，M₂为目标第二系数，C_n-1为第n-1个修正指数估计值；

所述第十一计算公式为：

C_n＝M₀+M₁k_j+M₂C_n-1

其中，C_n为第n个修正指数估计值；

所述第十二计算公式为：

D＝S^TBS

其中，B为所述图像点阵，S为特征值矩阵，D为特征对角阵；

所述第十三计算公式为：

D_n＝DC_n

其中，D_n为第n个修正目标描述矩阵。

在本发明实施例中，在进行实时训练过程中，通过设置了一个能够结合实时运行空闲比例的一种训练方法，训练后的数据若与CPU的空闲状态无关联时，则最终训练的后的系数将为0，若有关系，则能够经图像训练中的设备波动信息结合考虑进入到整个训练过程中，形成一个更加准确的图像描述结果，因此，实现考虑对运行数据训练CPU的有效结合，提升图像描述可靠性。

根据本发明实施例第二方面，提供一种基于深度学习的图像描述系统。

图8是本发明一个实施例的一种基于深度学习的图像描述系统的结构图。

在一个或多个实施例中，优选地，所述一种基于深度学习的图像描述系统包括：

数据筛选模块801，用于设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据；

CPU检测模块802，用于获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间；

训练控制模块803，用于判断是否收到所述自动输出命令，生成训练时序数据组；

模型生成模块804，用于根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型；

实时描述模块805，用于获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；

实时存储模块806，用于获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标。

在本发明实施例中，提供了一种系统结构，这种结构下，能够实现模块化的进行深度学习的图像描述和描述信息的展示、描述信息的存储。

根据本发明实施例第三方面，提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本发明实施例第一方面中任一项所述的方法。

根据本发明实施例第四方面，提供一种电子设备。图9是本发明一个实施例中一种电子设备的结构图。图9所示的电子设备为通用基于深度学习的图像描述装置，其包括通用的计算机硬件结构，其至少包括处理器901和存储器902。处理器901和存储器902通过总线903连接。存储器902适于存储处理器901可执行的指令或程序。处理器901可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器901通过执行存储器902所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线903将上述多个组件连接在一起，同时将上述组件连接到显示控制器904和显示装置以及输入/输出(I/O)装置905。输入/输出(I/O)装置905可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置905通过输入/输出(I/O)控制器906与系统相连。

本发明的实施例提供的技术方案可以包括以下有益效果：

提供了一种如何进行图像数据输入和CPU处理相互配合，数据输入与存储算法，提升基于深度学习的图像描述设备的利用效率，降低在自动的深度学习中数据出错概率。

提供了一种如何考虑CPU的实时波动性的自适应的深度学习图像描述算法，使得自动训练后获得的模型能够针对CPU实施运行情况自动的调整训练后的图像描述结果，提升图像描述可靠性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于深度学习的图像描述方法，其特征在于，该方法包括：

设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据；

获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间；

判断是否收到所述自动输出命令，生成训练时序数据组；

根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型；

获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；

获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标；

其中，所述设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据，具体包括：

设置所述图像描述学习主机参数，所述图像描述学习主机参数包括所述等待数据上限；

根据所述图像描述学习主机的输入数据，发出所述自动运行命令；

当收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述待训练数据；

当未收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述等待数据；

其中，根据所述图像描述学习主机的输入数据，发出所述自动运行命令，具体包括：

获得当前所述图像描述学习主机的实时学习输入数据；

对所述实时学习输入数据进行数据类型分析，根据对应数据类型进行划分，并计算所述数据类型对应的数据类型长度；

根据所述数据类型长度提取1秒内全部的所述实时学习输入数据的总长度，单位为KB；

根据所述实时学习输入数据的总长度，利用第一计算公式计算实时波动均值；

根据所述实时波动均值利用第二计算公式计算实时波动最小值；

根据所述实时波动均值利用第三计算公式计算实时波动最大值；

利用第四计算公式计算实时学习输入裕度；

根据第五计算公式自动判断所述实时学习输入数据的总长度是否满足所述实时学习输入裕度，若满足则发出所述自动运行命令；

所述第一计算公式为：

其中，y_i为所述实时波动均值，x_i为所述实时学习输入数据的总长度，a₁、a₂、a₃、a₄、a₅依次为第一、第二、第三、第四、第五预估系数，b₁、b₂、b₃、b₄、b₅依次为第六、第七、第八、第九、第十预估系数，x_i-1、x_i-2、x_i-3、x_i-4为前1秒、前2秒、前3秒和前4秒的实时学习输入数据总长度，y₁、y₂、y₃、y₄分别为第一、第二、第三、第四中间实时波动均值；

所述第二计算公式为：

Y_{min_i}＝min(y_i，y_i-1，...，y_i-L)

其中，y_i-1、…、y_i-L分别依次为前1秒、…、前L秒的所述实时波动均值，Y_{min_i}为所述实时波动最小值；

所述第三计算公式为：

Y_{max_i}＝max(y_i，y_i-1，…，y_i-L)

其中，Y_{max_i}为所述实时波动最大值；

所述第四计算公式为：

Yk_i＝0.8*(Y_{max_i}-Y_{min_i})+Y_{min_i}

其中，Yk_i为所述实时学习输入裕度；

所述第五计算公式为：

x_i＜Yk_i。

2.如权利要求1所述的一种基于深度学习的图像描述方法，其特征在于，所述获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间，具体包括：

获取当前所述CPU处理状态，其中，所述CPU处理状态包括运行状态和静待状态；

利用第六计算公式计算当前CPU的实时运行空闲比例；

判断所述实时运行空闲比例是否满足第七计算公式，若满足则发出自动启动计算指令；

在收到所述自动启动计算指令后，利用第八计算公式计算起始训练指令发出时刻；

根据所述起始训练指令发出时刻，判断是否满足第九计算公式，若满足则发出所述自动输出命令；

所述第六计算公式为：

k_j＝(t_nj-T_kj)/T_j

其中，k_j为所述实时运行空闲比例，T_j为第j个CPU实时运行周期，t_nj为所述第j个CPU实时运行周期的空闲截止时刻，T_kj为所述第j个CPU实时运行周期的空闲初始时刻；

所述第七计算公式为：

k_j＞20％

所述第八计算公式为：

T₀＝T_kj-0.1T_j

其中，T₀为所述起始训练指令发出时刻；

所述第九计算公式为：

(sx_j+T₀)/T_j＜1

其中，s为训练矫正系数。

3.如权利要求1所述的一种基于深度学习的图像描述方法，其特征在于，判断是否收到所述自动输出命令，生成训练时序数据组，具体包括：

当收到所述自动输出命令时，将所述等待数据转化为所述待训练数据；

根据所述待训练数据自动进行时间拆分，将1秒之前的所述待训练数据作为历史训练数据；

将当前的所述待训练数据进行点阵分析，生成为一组连续的训练时序数据组，其中，所述训练时序数据组带有时标。

4.如权利要求1所述的一种基于深度学习的图像描述方法，其特征在于，所述根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型，具体包括：

读取所述时序数据组，根据所述时序数据组还原为图像点阵数据；

根据所述图像点阵数据生成为实时准图像，对所述实时准图像进行灰度处理，生成为灰度图；

对所述灰度图进行自动的生成为图像点阵；

获取预设的最优修正指数，根据输入的所述图像点阵，生成修正目标描述矩阵和所述目标修正模型。

5.如权利要求1所述的一种基于深度学习的图像描述方法，其特征在于，所述获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示，具体包括：

根据所述目标修正模型计算所述实时目标描述矩阵；

根据所述实时目标描述矩阵进行拆分，将所述实时目标描述矩阵的行号生成为所述横坐标；

根据所述实时目标描述矩阵进行拆分，将所述实时目标描述矩阵的列号生成为所述纵坐标；

将所述实时目标描述矩阵的数值取绝对值，作为所述目标点位值；

当所述目标点位值超过第一预设阈度值时，根据该所述目标点位值对应的所述横坐标和所述纵坐标进行展示。

6.如权利要求1所述的一种基于深度学习的图像描述方法，其特征在于，所述获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标，具体包括：

获取所述目标点位值，当所述目标点位值超过第二预设阈度值时，发出存储命令；

在收到所述存储命令后，读取所述目标点位值的存储总数；

根据所述存储总数乘以三倍，在存储空间中开辟所述数据区，并将所述目标点位值及其对应的所述横坐标和所述纵坐标存储到所述数据区。

7.一种基于深度学习的图像描述系统，其特征在于，该系统包括：

数据筛选模块，用于设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据；

CPU检测模块，用于获取当前CPU处理状态，并根据所述CPU处理状态判断是否发出自动输出命令和所述自动输出命令的发出时间；

训练控制模块，用于判断是否收到所述自动输出命令，生成训练时序数据组；

模型生成模块，用于根据所述训练时序数据组进行自动的模型运算，生成修正目标描述矩阵和目标修正模型；

实时描述模块，用于获得所述目标修正模型实时计算实时目标描述矩阵，并提取目标点位值，根据横坐标和纵坐标进行展示；

实时存储模块，用于获取所述目标点位值，在存储空间中开辟数据区，存储所述目标点位值及其对应的所述横坐标和所述纵坐标；

其中，所述设置图像描述学习主机的参数，根据所述图像描述学习主机的输入数据，发出自动运行命令，并根据所述自动运行命令存储到待训练数据和等待数据，具体包括：

设置所述图像描述学习主机参数，所述图像描述学习主机参数包括所述等待数据上限；

根据所述图像描述学习主机的输入数据，发出所述自动运行命令；

当收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述待训练数据；

当未收到所述自动运行命令时，则将实时获得的所述图像描述学习主机的输入数据存储为所述等待数据；

其中，根据所述图像描述学习主机的输入数据，发出所述自动运行命令，具体包括：

获得当前所述图像描述学习主机的实时学习输入数据；

对所述实时学习输入数据进行数据类型分析，根据对应数据类型进行划分，并计算所述数据类型对应的数据类型长度；

根据所述数据类型长度提取1秒内全部的所述实时学习输入数据的总长度，单位为KB；

根据所述实时学习输入数据的总长度，利用第一计算公式计算实时波动均值；

根据所述实时波动均值利用第二计算公式计算实时波动最小值；

根据所述实时波动均值利用第三计算公式计算实时波动最大值；

利用第四计算公式计算实时学习输入裕度；

根据第五计算公式自动判断所述实时学习输入数据的总长度是否满足所述实时学习输入裕度，若满足则发出所述自动运行命令；

所述第一计算公式为：

其中，y_i为所述实时波动均值，x_i为所述实时学习输入数据的总长度，a₁、a₂、a₃、a₄、a₅依次为第一、第二、第三、第四、第五预估系数，b₁、b₂、b₃、b₄、b₅依次为第六、第七、第八、第九、第十预估系数，x_i-1、x_i-2、x_i-3、x_i-4为前1秒、前2秒、前3秒和前4秒的实时学习输入数据总长度，y₁、y₂、y₃、y₄分别为第一、第二、第三、第四中间实时波动均值；

所述第二计算公式为：

Y_{min_i}＝min(y_i，y_i-1，...，y_i-L)其中，y_i-1、…、y_i-L分别依次为前1秒、…、前L秒的所述实时波动均值，Y_{min_i}为所述实时波动最小值；

所述第三计算公式为：

Y_{max_i}＝max(y_i，y_i-1，…，y_i-L)

其中，Y_{max_i}为所述实时波动最大值；

所述第四计算公式为：

Yk_i＝0.8*(Y_{max_i}-Y_{min_i})+Y_{min_i}

其中，Yk_i为所述实时学习输入裕度；

所述第五计算公式为：

x_i＜Yk_i。

8.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-6中任一项所述的方法。

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-6任一项所述的方法。

Images