CN110472746A - 一种基于人工智能的编码预测方法和系统 - Google Patents

Abstract

本发明提出了一种基于人工智能的编码预测方法和系统。所述技术方案采用多级编码方式，引入对抗网络模型对编码前后的输入数据进行过滤，通过联合自编码器的方式对输入数据进行编码预测后，进一步输入到深度学习网络中进行编码学习预测，后续可以针对输出的结果进行轨迹情景网络化建模以及推荐，从而得到比原本输出数据更多的待解码序列。

Description

一种基于人工智能的编码预测方法和系统

技术领域

本发明属于人工智能技术领域，尤其涉及一种基于人工智能的编码预测方法和系统。

背景技术

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

人工智能的应用场景十分广泛，机器翻译，智能控制，专家系统，机器人学，语言和图像理解，遗传编程机器人工厂，自动程序设计，航天应用，庞大的信息处理，储存与管理，执行化合生命体无法执行的或复杂或规模庞大的任务等等。其中，机器学习以及深度学习是实现人工智能的常见手段。

在机器学习以及深度学习中，最重要的特征就是由已知预测位置，由当下预测未来。这种预测不是随意的输入输出，而是基于大数据的分析之后，在满足一定客观规律的前提下作出的，得到了业界的广泛认同。

机器学习以及深度学习的一个重要的应用就是文本的编码分析，包括基于有限的文本分析或者推导出更多的文本结果，从而用于大数据模型的建模；或者，基于有限的文本，预测出未来在同一趋势下类似文本的发展方向。在这个过程中，由于文本本身不能直接被计算机模型接收，通常需要对其进行一定的数据化处理，包括向量化、二值化、编码化等，从而转化为计算机能够识别的形式；同样的，计算机模型输出的结果本身也是经过数据化处理的结果，包括向量序列、二值序列、编码序列等，这种结果对用户是不可理解的，必须要经过反向量化、逆二值化处理以及解码化处理才能得到最终的可读结果。

然而，现有技术对此并未提出有效的解决方案。

例如，中国专利公开CN109376243A提出了一种基于人工智能的文本分类方法及装置。该方法仅仅是根据在文本分类数据库中输入文本的每个词所对应的编码以及每个词的特征权重构建特征向量，所述文本分类数据库中各个词对应的编码以及对应的权重是在根据样本文本以及对应的分类结果进行文本分类模型训练之后所确定的，而不是用于建模输入或者输出的编码序列；

例如，中国专利公开CN109241288A提出了基于人工智能的文本分类模型的更新训练方法、装置及设备，其中包括特征向量构建单元，被配置为执行：根据所述样本文本中的每个词对应的编码以及每个词的语义权重构建所述样本文本的特征向量。但是在该技术方案中，样本数据量越大，词典越完善，词典中词所对应的编码以及词的语义权重也更完善，从而语义提取层构建文本的特征向量的功能也越完善。也就是说，其准确度取决于样本数据量，而并非样本本身的编码方法。

中国专利公开CN109271964A提出了一种基于深度学习生成模型与长短记忆网络的情绪识别方案，通过构建网络模型，所述网络模型包括由变分编码器构成的图片重建模型和由长短记忆网络构成的情绪识别模型；所述利用所述最终网络模型对种子数据进行可视化生成和情绪识别，具体包括将所述种子数据输入所述编码器得到低维向量表示。该方案提到了在建模前将种子数据编码化得到向量，但是其目的在于获得低位向量，并且其输出端只能得到一个情绪类别的预测概率结果。

可见，对于编码预测，特别是文本的编码预测，现有技术并未给出有效的技术方案。

发明内容

为解决上述技术问题，本发明提出了一种基于人工智能的编码预测方法和系统。采用本发明的技术方案，采用多级编码方式，引入对抗网络模型对编码前后的输入数据进行过滤，通过联合自编码器的方式对输入数据进行编码预测后，进一步输入到深度学习网络中进行编码学习预测，后续可以针对输出的结果进行轨迹情景网络化建模以及推荐，从而得到比原本输出数据更多的待解码序列。

在本发明的第一个方面，提供一种基于人工智能的编码预测方法。所述方法采用多级编码方式，引入对抗网络模型对编码前后的输入数据进行过滤，通过联合自编码器的方式对输入数据进行编码预测后，进一步输入到深度学习网络中进行编码学习预测，然后针对输出的结果进行轨迹情景网络化建模以及推荐，从而得到比原本输出数据更多的待解码序列。

在一些实施例中，所述方法可以包括如下步骤F101至F112。

在步骤F101中，将输入数据进行分级预处理，得到单级序列数据和多级结构数据。

在步骤F102中，对所述单级序列数据进行分组二值化预编码，输出至少两组分组二值化编码序列。

在步骤F104中，对所述多级结构数据进行数据降维处理，输出降维二级结构数据序列。

在步骤F106中，建立对抗网络模型，对步骤F102和步骤F104的输出结果进行过滤。

在步骤F108中将步骤F106过滤后的序列分别输入到自编码器模型中进行预测，并输出初步预测结果。

在步骤F110中，判断所述初步预测结果是否满足预定标准，如果不满足该预定标准，则方法返回步骤F106；否则进入下一步。在一些实例中，判断所述初步预测结果是否满足预定标准，可以通过模型的本身的优化阈值进行。

上述阈值的设定以及计算，充分考虑可模型本身的概率准确性，以及相应的权重比，在实践中具备很好的区分性，是本发明的技术效果能够得到保证的设计之一。

在步骤F112中，将F108输出的预测结果输入到深度学习网络中，采用互相关熵损失函数进行参数学习，从而输出最终预测序列。

本发明的技术方案中，由于前一个步骤的预测结果包含多个来源不同类型的数据(单级序列数据和多级结构数据)，因此，需要能够处理输入多源异构数据的比较深度学习方法，采用互相关的交叉熵损失函数进行参数学习，最后通过计算输出序列之间的距离来产生预测结果以及更多的推荐结果。

在本发明的第二个方面，提供一种基于人工智能的编码预测系统。所述系统可以包括分级预处理子系统、预编码子系统、对抗网络组件、自编码模型组件、初步判断模块以及深度学习网络子系统。

本发明还公开一种计算机应用，包括计算机可读介质和/或计算机程序模块。所述计算机可读介质和/或计算机程序模块可以装载在计算机存储器中，通过处理器执行相应的指令，用于实现前述基于人工智能的编码预测的方法。

该应用包括在代码模块中的指令集(程序代码)或者其他功能描述性材料，例如该代码模块可以驻留计算机的随机存取存储器中。直到计算机需要，指令集可以存储在另一个计算机存储器中，例如存储在硬盘驱动中或诸如光盘(最终供在CD-ROM中使用)或软盘(最终供在软盘驱动中使用)之类的可移动存储器中，或者经由互联网或其他计算机网络来下载。因此，本发明可以实现为在移动终端中使用的计算机程序产品或者计算机可读存储介质。另外，尽管可以方便地在由软件选择性地激活或重新配置的通用计算机中实现所描述的各种方法，但是本领域的普通技术人员还将认识到，可以以硬件、固件或构造成执行所需要的方法步骤的更专用的设备中实现这些方法。功能描述性材料是将功能性告知给机器的信息。功能描述性材料包括但不限于计算机程序、指令、规则、事实、可计算功能的定义、对象和数据结构。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的示例性实施例的基于人工智能的编码预测方法的流程图；

图2是根据本发明的示例性实施例的分级预处理的流程图；

图3是根据本发明的示例性实施例的对抗网络的模型图；以及

图4是根据本发明的另一示例的基于人工智能的编码预测系统的系统框架图。

具体实施例

虽然在本文中已示出并描述了本发明的优选实施方案，但对于本领域技术人员显而易见的是，这些实施方案仅以示例的方式提供。本领域技术人员在不脱离本发明的情况下现将会想到多种变化、改变和替换。应当理解，本文中所述的本发明实施方案的各种替代方案可用于实施本发明。

参见图1，在本发明的示例性实施例中，基于人工智能的编码预测方法可以包括步骤F101至F112。

在步骤F101中，将输入数据进行分级预处理，得到单级序列数据和多级结构数据。所述单级序列数据，是指数据仅具有一个属性单位，和/或，该数据描述的目标的性质可以仅采用一个数值表示。所述多级结构数据，是指该数据至少具备两个属性单位，和/或，该数据描述的目标的性质至少要用两个数值才能表征；

作为一个非限制性的实施例，所述输入数据可以是图像序列数据。所述图像序列数据表征多张图像的属性，其中每一张图像包括多种属性数据。

例如，对于某张图片，其颜色属性可以用一个属性单位的文本数据表示，例如，红，黄，蓝，浅黄，深红，等。或者，颜色属性也可以用多个属性单位或者多个数值表示，例如，{R，G，B}＝{255，255，0}。

多张图片的上述属性数据就构成了图像输入数据。其中，诸如“红，黄，蓝，浅黄，深红......”等，称为单级序列数据。诸如“{R，G，B}＝{255，255，0}，{R，G，B}＝{255，25，255}”称为多级结构数据。

类似的图片属性数据还可以包括：

大小：可以采用2M这样的“单级序列数据”描述；也可以采用分辨率800×600这样的“多级结构数据”来描述；

类别：一般采用单级序列来描述，例如风景、人物、建筑、城市等。

同样的，所述输入数据还可以是描述性文本。例如，某个人的描述文本可以包括：

身高、年龄、性别，文化程度......等，均为单级序列数据；

工作经历、教育背景、专业能力......等，一般至少需要具备两个属性的文本描述，因此可以选择多级结构数据，例如：工作经历＝{时间段1-工作单位1；时间段2-工作单位2......}。

在步骤F102中，对所述单级序列数据进行分组二值化预编码，输出至少两组分组二值化编码序列。

通过对输入数据进行分级预处理，得到单级序列数据和多级结构数据，可以对不同级别的数据序列采用不同的编码手段。由于单级序列数据仅具有一个属性单位，和/或该数据描述的目标的性质可以仅采用一个数值表示，因此，本发明对其采用分组二值化预编码。

仍以前述输入数据为图像序列数据为例。对于图像的大小序列数据，如果是单级序列数据，则将其二值化。二值化的方法在本领域有多种通用方法，本发明在此不予展开描述。在一个实例中，可以将图像的大小序列数据简单取整后，转为二进制序列。例如，对于2M，可以直接将其二值化为10；或者，根据后续序列长度需要，对其单位进行转化后的数值进行二值化，例如，2M＝2048KB，从而2048二值化为100000000000。

参照图2，是本实施例的分级预处理流程图。

在步骤F104中，对所述多级结构数据进行数据降维处理，输出降维二级结构数据序列。

作为多级结构数据，由于其至少具备两个属性单位，和/或，该数据描述的目标的性质至少要用两个数值才能表征。由于多级结构数据的复杂性，每一个序列的属性单位不同，如果分别对其不同维度的处理，将带来很大的不便，后续也不能统一输入模型。

在本发明中，降维处理的主要思想是：针对具备两个以上属性单位，和/或该数据描述的目标的性质至少要用两个以上数值表征的序列数据，将其降维为有序的二维数据组。

例如，将三维RGB向量降维为二维数值向量，向量降维在本领域也存在多种方式，本发明不予展开。一个简单的实例，可采用主成分分析保留法，只保留三维RGB向量中主要二维成分；或者根据三维RGB向量的本身的数值特点，将其转为二维数值描述。所述降维只需要满足如下条件：从降维后的有序二维数据组中，能够完整恢复原有的高维数据；或者能够恢复原有高维数据中的主要成分。

这里，仍以前述输入数据为图像序列数据为例进行说明。

对于图像的颜色属性的多级结构序列数据，诸如“{R，G，B}＝{255，255，0}，{R，G，B}＝{255，25，255}”，将其分组降维成如下有序二维数据组：

(1){R，G，B}＝{255，255，0}→(255，255)；

(2){R，G，B}＝{255，25，255}→(255，25)；

上述降维方式仅作为一个实例，实际上，所述降维只需要满足如下条件即可：从降维后的有序二维数据组中，能够完整恢复原有的高维数据；或者能够恢复原有高维数据中的主要成分。

例如，对于方式(1)，其降维的方式就是对于值为0的维度丢弃，将三维降维为二维；如果要将二维恢复为三维，则只需要保留现有的二维数据的同时，将另外一个维度的值填充为0。

对于方式(2)，其降维的方式就是对于值相同的两个维度值只保留一个，将三维降维为二维；如果要将二维恢复为三维，则只需要保留现有的二维数据的同时，将另外一个维度的值恢复成相同的值即可。

在步骤F106中，建立对抗网络模型，对步骤F102和步骤F104的输出结果进行过滤。

值得强调的是，这是由本方法的前一个步骤所决定的。如前所描述，前一个步骤对所述多级结构数据进行数据降维处理，输出降维二级结构数据序列。由于降维过程的特殊性，所述降维输出的结果必然存在重复或者噪声输出。例如，如果采用主成分分析保留法，对于多个不同(存在细微差异)的序列进行降维，可能得出多个相同的降维结果。因此，必须进行协同过滤。换句话说，步骤F106是前一个步骤的协同改进结果。

进一步参照图3，是本实施例的对抗网络模型图。

对抗网络模型的基本概念在于，给定一个查询X，生成相关的文档Y，判别检索模型聚焦于给定一个查询和文档(X，Y)，预测二者之间的相关性；如果相关性满足一定条件，则执行过滤操作。这样，避免了大量重复自相关序列的产生给模型的编码输出带来负面影响。

作为优选，所述对抗网络模型为协同过滤的网络模型，通过采用梯度下降法进行迭代学习。

例如，采用Wang J等人提出的I R G A N对抗网络模型(具体参见：IRGAN：AMinimax Game for Unifying Generative and Discriminative Information RetrievalModels，published in Proceedings of the 40th International ACM SIGIRConference on Research and Development in Information Retrieval.Pages 515-524。

IRGAN实现了信息检索建模中两种思维流派(生成检索模型和判别检索模型)的统一描述。生成检索模型聚焦于给定一个查询q，生成相关的文档d，判别检索模型聚焦于给定一个查询和文档(q，d)，预测二者之间的相关性。IRGAN的目的是借鉴GAN中生成器和判别器相互对抗的思想，采用一个博弈理论式中的极小化极大算法来将生成检索模型和判别检索模型集成到一个统一的框架中。

IRGAN的目标函数如下：

其中，D(d|q_n)＝σ(f(d，q_n))，σ是一个sigmoid函数，θ和φ分别是生成检索模型和判别检索模型的参数，能够通过采用梯度下降法进行迭代学习而获取到。

在步骤F108中，将步骤F106过滤后的序列分别输入到自编码器模型中进行预测，并输出初步预测结果。

不同于现有技术直接得出预测结果的做法，本实施例首先将过滤序列输入自编码器模型进行预测。本步骤采用降噪自编码器模型，利用前述过滤序列文本数据以及数值数据，从中提取特征，从而得到初步预测结果。

作为优选，所述自编码器模型为贝叶斯降噪自编码器模型与关系栈式降噪自编码器模型之一或者其组合。作为另一个优选，所述自编码器模型为协同循环自编码器模型与协同变分自编码器模型之一或者其组合。

在步骤F110中，判断所述初步预测结果是否满足预定标准，如果不满足，返回步骤F106，否则进入下一步。

判断所述初步预测结果是否满足预定标准，可以通过模型的本身的优化阈值进行。对于本发明前述步骤采用的自编码器而言，其阈值定义为如下函数：

其中，p₀(x，y_i)是前述对抗网络模型第i次的给定一个查询X而生成相关的文档Y的概率；若|Θ|大于0.5，则判断初步预测结果满足预定标准，否则，则判断初步预测结果不满足预定标准。

在F112中，将F108输出的预测结果输入到深度学习网络中，采用互相关熵损失函数进行参数学习，从而输出最终预测序列。

在本实施例中，由于前一个步骤的预测结果包含多个来源不同类型的数据(单级序列数据和多级结构数据)，因此，需要能够处理输入多源异构数据的比较深度学习方法，采用互相关的交叉熵损失函数进行参数学习，最后通过计算输出序列之间的距离来产生预测结果以及更多的推荐结果。

作为优选，所述比较深度学习方法为CDL(Comparative Deep Learning)，通常可用于图像分类系统，具体参见(Comparative Deep Learning of Hybrid Representationsfor Image Recommendations，Proceeding of the IEEE Conference on ComputerVision and Pattern Recognition，Las Vegas，USA，2016：2545-2553)。

参照图4，是本发明的基于人工智能的编码预测系统的框架图。所述系统包括分级预处理子系统、预编码子系统、对抗网络组件、自编码模型组件、初步判断模块以及深度学习网络子系统。

在一些实例中，所述分级预处理子系统被配置用于将输入数据进行分级预处理，得到单级序列数据和多级结构数据。所述预编码子系统可以包括第一二值化编码子系统和第二降维编码子系统。所述第一二值化编码子系统配置用于对所述单级序列数据进行分组二值化预编码，输出至少两组分组二值化编码序列。所述第二降维编码子系统配置用于对所述多级结构数据进行数据降维处理，输出降维二级结构数据序列。

在一些实例中，所述对抗网络组件可以包括协同过滤的对抗网络模型，用于对所述第一二值化编码子系统和所述第二降维编码子系统的输出结果进行过滤。所述自编码模型组件可以包含降噪自编码器模型，其配置为利用前述过滤序列文本数据以及数值数据，从中提取特征，从而得到初步预测结果。

在一些实例中，所述初步判断模块配置用于判断所述初步预测结果是否满足预定标准。所述深度学习网络子系统配置为利用通过所述初步判断模块判断为满足预定标准的预测结果作为输入，采用互相关熵损失函数进行参数学习，从而输出最终预测序列。

本发明的上述实施例还可以表现为一种计算机应用，包括计算机可读介质和/或计算机程序模块。所述计算机可读介质，和/或，计算机程序模块装载在计算机存储器中，通过处理器执行相应的指令，用于实现前述基于人工智能的编码预测的方法。

虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求范围内的方法和结构及其等效项。

Claims (8)

1.一种基于人工智能的编码预测方法，包括如下步骤：

F101：将输入数据进行分级预处理，得到单级序列数据和多级结构数据；

F102：对所述单级序列数据进行分组二值化预编码，输出至少两组分组二值化编码序列；

F104：对所述多级结构数据进行数据降维处理，输出降维二级结构数据序列；

F106：建立对抗网络模型，对步骤F102和步骤F104的输出结果进行过滤；

F108：将步骤F106过滤后的序列分别输入到自编码器模型中进行预测，并输出初步预测结果；

F110：判断所述初步预测结果是否满足预定标准，如果不满足该预定标，则返回步骤F106，否则执行F112；以及

F112：将F108输出的初步预测结果输入到深度学习网络中，采用互相关熵损失函数进行参数学习，从而输出最终预测序列。

2.如权利要求1所述的编码预测方法，其中在所述步骤F110中，通过自编码器模型的优化阈值判断所述初步预测结果是否满足所述预定标准，所述优化阈值采用如下公式计算：

其中，p₀(x，y_i)是所述对抗网络模型第i次的给定一个查询X而生成相关的文档Y的概率，log为自然对数。

3.如权利要求1所述的编码预测方法，其中，所述对抗网络模型是协同过滤的网络模型，其通过采用梯度下降法进行迭代学习。

4.如权利要求1所述的编码预测方法，其中，所述深度学习网络采用比较深度学习方法，采用交叉熵损失函数进行参数学习。

5.如权利要求1所述的编码预测方法，其中，所述自编码器模型是贝叶斯降噪自编码器模型与关系栈式降噪自编码器模型之一或者二者的组合。

6.如权利要求1所述的编码预测方法，其中，所述自编码器模型是协同循环自编码器模型与协同变分自编码器模型之一或者二者的组合。

7.一种基于人工智能的编码预测系统，包括分级预处理子系统、预编码子系统、对抗网络组件、自编码模型组件、初步判断模块以及深度学习网络子系统，

其中，所述分级预处理子系统配置用于将输入数据进行分级预处理，得到单级序列数据和多级结构数据；

其中，所述对抗网络组件包括协同过滤的对抗网络模型，其配置用于对所述第一二值化编码子系统和所述第二降维编码子系统的输出结果进行过滤；

其中，所述自编码模型组件包含降噪自编码器模型，其配置用于从由所述对抗网络组件过滤的序列文本数据以及数值数据中提取特征，从而得到初步预测结果；

其中，所述初步判断模块配置用于判断所述初步预测结果是否满足预定标准；并且

其中，所述深度学习网络子系统配置为利用由所述初步判断模块判断为满足所述预定标准的所述初步预测结果作为输入，采用互相关熵损失函数进行参数学习，从而输出最终预测序列。

8.一种计算机可读存储介质，装载于权利要求7所述的系统中，其上存储有计算机可执行指令，通过所述系统的处理器执行所述指令，用于实现权利要求1-6任一项所述的方法。