CN109934279A - 基于人工智能的文本序列的图像识别方法 - Google Patents

Abstract

本发明公开了基于人工智能的文本序列的图像识别方法。一具体实施包括：获取第一图像并输入至文本序列识别模型中，得到第一识别结果；如果第一识别结果指示第一图像中包含文本序列，则将第一图像输入至文本组数识别模型，得到第二识别结果；如果第二识别结果指示第一图像中有多于一个文本序列，则对第一图像进行处理，得到图像集合和语义特征；将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至文本序列长度识别模型，得到与文本序列长度；基于文本序列长度使用预训练模型得到文本序列；如果所述第二识别结果指示第一图像中有多于一个文本序列，则基于语义特征对得到的文本序列进行处理。这提高了图片文本序列识别的精度和效率。

Description

基于人工智能的文本序列的图像识别方法

技术领域

本申请实施例涉及计算机技术人工智能领域，具体涉及基于人工智能的基于人工智能的文本序列的图像识别方法和装置。

背景技术

随着人工智能技术的发展，图像识别技术得到了广泛的应用。图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。文字识别是识别字体、字母、数字和符号等，从印刷文字识别到手写文字识别，应用非常广泛。

发明内容

本申请实施例提出了一种基于人工智能的基于人工智能的文本序列的图像识别方法和装置。

第一方面，本申请实施例提供了一种基于人工智能的基于人工智能的文本序列的图像识别方法，包括：

获取第一图像；

将获取到的第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示第一图像中是否包含文本序列；

如果第一识别结果指示第一图像中包含文本序列，则将第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数；

如果第二识别结果指示第一图像中有多于一个文本序列，则对第一图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别；

将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度；

基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列；

如果第二识别结果指示第一图像中有多于一个文本序列，则基于语义特征对得到的文本序列进行处理。

在一些实施例中，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列包括以下方式中的一种：

选择与文本序列长度相对应的预先训练的文本序列提取A模型，然后将图像输入至文本序列提取A模型中，得到与图像对应的文本序列；

将得到的文本序列长度和图像输入至预先训练的文本序列提取B模型中，得到与图像对应的文本序列。

在一些实施例中，上述模型是通过如下步骤训练得到的：

获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，当模型为文本序列提取B模型时，样本输入数据还包括与样本图像对应的文本序列长度；

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

在一些实施例中，该方法包括：对模型的输入信息进行预处理，和/或， 模型包括对输入信息的预处理。

在一些实施例中，文本序列提取A模型包括：

一个输入和X个输出，其中，X为正整数；

在输入与每一个输出之间有多于一个模块：至少包括M个模块A和N个模块B，其中，M为正整数, N为正整数；

模块A与输入连接；

每一个模块B连接模块A；

每一个模块B与X个输出中的一个连接；

模块A和模块B各包含至少一个子模块，模块由预先设置的神经网络层组成。

在一些实施例中，文本序列提取A模型包括：

模块A和模块B可以从模型中解耦出来，单独地进行训练或者操作参数；

在识别图像的过程中任意地增加或减少模块B的数量。

在一些实施例中，文本序列提取A模型包括：

模块A包括三个依次相连的子模块Ax，其中，子模块Ax包括依次相连的卷积层和池化层；

模块B包括一个子模块Bx，其中，子模块Bx包括依次相连的卷积层1、池化层1、卷积层2、池化层2、Dense层1、Flatten层和Dense层2。

在一些实施例中，上述模型的类型为CNN或RNN。

第二方面，本申请实施例提供了一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明中任意实施例所提供的方法。

第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本发明中任意实施例所提供的方法。

第四方面，本申请实施例提供了一种基于人工智能的基于人工智能的文本序列的图像识别装置，包括：

图像获取单元，被配置成用于获取第一图像；

序列识别单元，被配置成用于将获取到的第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示第一图像中是否包含文本序列；

组数识别单元，被配置成用于当第一识别结果指示第一图像中包含文本序列时，将第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数；

图像处理单元，被配置成用于当第二识别结果指示第一图像中有多于一个文本序列时，对第一图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别；

长度识别单元，被配置成用于将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度；

文本提取单元，被配置成用于基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列；

语义处理单元，被配置成用于当第二识别结果指示第一图像中有多于一个文本序列时，基于语义特征对得到的文本序列进行处理。

在一些实施例中，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列包括以下方式中的一种：

选择与文本序列长度相对应的预先训练的文本序列提取A模型，然后将图像输入至文本序列提取A模型中，得到与图像对应的文本序列；

将得到的文本序列长度和图像输入至预先训练的文本序列提取B模型中，得到与图像对应的文本序列。

在一些实施例中，上述模型是通过如下步骤训练得到的：

获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，当模型为文本序列提取B模型时，样本输入数据还包括与样本图像对应的文本序列长度；

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

在一些实施例中，该装置包括：对模型的输入信息进行预处理，和/或， 模型包括对输入信息的预处理。

在一些实施例中，文本序列提取A模型包括：

一个输入和X个输出，其中，X为正整数；

在输入与每一个输出之间有多于一个模块：至少包括M个模块A和N个模块B，其中，M为正整数, N为正整数；

模块A与输入连接；

每一个模块B连接模块A；

每一个模块B与X个输出中的一个连接；

模块A和模块B各包含至少一个子模块，模块由预先设置的神经网络层组成。

在一些实施例中，文本序列提取A模型包括：

模块A和模块B可以从模型中解耦出来，单独地进行训练或者操作参数；

在识别图像的过程中任意地增加或减少模块B的数量。

在一些实施例中，文本序列提取A模型包括：

模块A包括三个依次相连的子模块Ax，其中，子模块Ax包括依次相连的卷积层和池化层；

模块B包括一个子模块Bx，其中，子模块Bx包括依次相连的卷积层1、池化层1、卷积层2、池化层2、Dense层1、Flatten层和Dense层2。

在一些实施例中，上述模型的类型为CNN或RNN。

第五方面，本申请实施例提供了一种电子设备，包括如本发明中任意实施例所提供的装置。

第六方面，本申请实施例提供了一种系统，包括如本发明中任意实施例所提供的装置。

本申请实施例提供的基于人工智能的基于人工智能的文本序列的图像识别方法和装置，通过获取第一图像,将获取到的第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示第一图像中是否包含文本序列，如果第一识别结果指示第一图像中包含文本序列，则将第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数，如果第二识别结果指示第一图像中有多于一个文本序列，则对第一图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别，之后，将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度，最后，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列，从而提高了识别文本序列的准确率和效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的基于人工智能的基于人工智能的文本序列的图像识别方法的一个实施例的流程图；

图3是根据本申请的基于人工智能的基于人工智能的文本序列的图像识别方法的一个应用场景的示意图；

图4是根据本申请的基于人工智能的文本序列方法和装置相关的各种模型的又一个实施例的流程图；

图5是根据本申请的基于人工智能的基于人工智能的文本序列的图像识别装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

需要说明的是，本文中术语“预设”， 表示预先设置的或预先训练的这两种含义。一般来说，预设模型指预先训练的模型，预设路线指预先设置的路线，预设规则指预先设置的规则。

图1示出了可以应用本申请的基于人工智能的基于人工智能的文本序列的图像识别的方法和装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102或103上可以安装有雷达（例如红外激光雷达）、语音设备（例如麦克风、喇叭、扬声器等）、成像设备（摄像头、图形/图像扫描装置等）、显像设备(例如显示屏、投影仪、投屏设备、AR/VR设备、裸眼3D显像设备例如激光成像等)、文本输入类应用、空间物体识别类应用、图像物体识别类应用、语音识别类应用等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于照相机、摄像机、智能手机、无人机等各种飞行器、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发送的目标图像进行分析和处理，生成与目标图像对应的文本序列的文本序列提取服务器。文本序列提取服务器可以对获取到的目标图像进行分析处理，确定与目标图像对应的预处理信息，然后对所确定的信息进行处理，从而生成与目标图像对应的文本序列。

需要说明的是，本申请实施例所提供的基于人工智能的文本序列的图像识别的方法可以由服务器105执行，相应地，基于人工智能的文本序列的图像识别的装置在此时设置于服务器105中。

需要指出的是，服务器105的本地也可以获取和/或存储有待提取文本序列的图像，服务器105可以直接获取图像或提取本地的待提取文本序列的图像，此时，示例性系统架构100可以不包括终端设备101、102、103和网络104。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的基于人工智能的文本序列的图像识别的方法也常常由终端设备101、102或103执行，相应地，此时基于人工智能的文本序列的图像识别的装置设置于终端设备101、102或103中。

需要指出的是，终端设备101、102或103的本地也可以获取和/或存储有待提取文本序列的图像，终端设备101、102或103可以直接获取图像或提取本地的待提取文本序列的图像，此时，示例性系统架构100可以不包括服务器105和网络104。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的基于人工智能的文本序列的图像识别方法的一个实施例的流程200。基于人工智能的文本序列的图像识别方法，包括以下步骤：

步骤201，获取第一图像。

在本实施例中，基于人工智能的文本序列的图像识别方法的执行主体(例如图1所示的智能终端或服务器)可以通过图像采集单元获取目标图像（目标图像即第一图像）或通过有线连接方式或者无线连接的方式从终端设备读取用于待提取文本序列的目标图像或接收终端发送的用于待提取文本序列的目标图像。在这里，上述执行主体可以对目标图像进行预处理，预处理包括对目标图像进行灰度化、二值化、去噪声和/或归一化处理。在这里，图像包括图像、视频、三维空间数据等，也包括二维或三维形式的图像。

在一些可选的实现方式中，对目标图像的预处理在获取第一图像前已经完成。

步骤202，将获取到的第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示第一图像中是否包含文本序列。

在本实施例中，上述执行主体可以利用预先训练的文本序列识别模型对获取到的目标图像的预处理信息进行分析，从而得到与目标图像对应的第一识别结果。在这里，第一识别结果用于指示目标图像中是否存在文本序列。在这里，文本序列识别模型用于表征第一图像与第一识别结果之间的对应关系。在这里，文本序列包括手写文本序列和/或非手写文本序列。在这里，电话号码是文本，汉字、字母、符号或数字等字符也是文本，日文韩文等国家文字也是文本的组成部分，不再一一列举。

在本实施例的一些可选的实现方式中，对模型的输入信息进行预处理由上述模型实现，此时，不必在步骤201中进行上述预处理。

在本实施例中，上述文本序列识别模型例如可以为卷积神经网络。

在本实施例中，上述文本序列识别模型例如可以通过如下步骤训练得到：获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，在这里，识别结果用于指示目标图像中是否存在文本序列；

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

步骤203，如果第一识别结果指示第一图像中包含文本序列，则将第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数。

在本实施例中，上述执行主体可以利用预先训练的文本组数识别模型对获取到的目标图像的预处理信息进行分析识别，从而得到与目标图像对应的第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数。在这里，文本序列长度识别模型用于表征第一图像与第二识别结果之间的对应关系。区别文本序列个数的原则依赖于用于训练文本组数识别模型的样本图像所使用的规则，例如，印刷体书籍中的一行数据可以视为一个文本序列，在这本书籍里，包含20行文本序列的一页纸上，文本序列的个数是20。又例如，在一些情况下，一个电话号码被视为一个文本序列。

在本实施例的一些可选的实现方式中，对模型的输入信息进行预处理由上述模型实现，此时，不必在步骤201中进行上述预处理。

在本实施例中，上述文本组数识别模型例如可以为卷积神经网络。

在本实施例中，上述文本组数识别模型例如可以通过如下步骤训练得到：获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，在这里识别结果用于指示样本图像对应的文本序列的个数；

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

步骤204，如果第二识别结果指示第一图像中有多于一个文本序列，则对第一图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别。

在本实施例中，上述执行主体可以利用预先训练的图像处理模型对获取到的目标图像的预处理信息进行分析，从而得到只包含一个文本序列的与目标图像对应的子图像。在这里，上述模型用于表征目标图像与仅包含一个文本序列的子图像之间的对应关系。

在本实施例中，上述执行主体还可以利用预先训练的图像处理模型对获取到的目标图像的预处理信息进行分析，在获取仅包含一个文本序列的子图像的同时，获取与子图像对应的语义特征，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别等。在这里，上述模型还用于表征目标图像与仅包含一个文本序列的子图像的语义特征之间的对应关系。

在本实施例的一些可选的实现方式中，对模型的输入信息进行预处理由上述模型实现，此时，不必在步骤201中进行上述预处理。

在本实施例中，上述文本序列识别模型例如可以为卷积神经网络。

在本实施例中，上述图像处理模型例如可以通过如下步骤训练得到：获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，识别结果用于指示样本图像对应的仅包含一个文本序列的子图像以及对应的语义特征；

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

步骤205，将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度。

在本实施例中，上述执行主体可以利用预先训练的文本序列长度识别模型对获取到的目标图像的预处理信息或步骤204中获得的仅包含一个文本序列的子图像进行分析，得到与图像对应的文本序列长度。在这里，上述模型用于表征目标图像与文本序列长度之间的对应关系。在这里，文本序列长度指构成文本序列的文字的数量，例如“你好”的文本序列长度是2，再例如构成电话号号码的数字和符号的数量，手机号+086 13631200600的长度为15，在这里不包括空格，然而是否包括空格或任意字符等文本取决于用于训练上述模型的样本图片和已知识别结果，其他情形在此不做限定。

在本实施例的一些可选的实现方式中，对模型的输入信息进行预处理由上述模型实现，此时，不必在步骤201中进行上述预处理。

在本实施例中，上述文本序列识别模型例如可以为卷积神经网络。

在本实施例中，上述文本序列长度识别模型例如可以通过如下步骤训练得到：获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，识别结果用于指示样本图像对应的文本序列长度；

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

步骤206，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列。

在本实施例中，上述执行主体可以利用预先训练的模型对获取到的目标图像的预处理信息或步骤204中获得的仅包含一个文本序列的子图像进行分析，得到与图像对应的文本序列。在这里，上述模型用于表征目标图像与文本序列之间的对应关系。在这里，计算机上可以通过文档编辑的文字等例如“YZD13631200600”就可以是一种通过预先训练的模型得到的文本序列。

在本实施例中，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列指：选择与文本序列长度相对应的预先训练的文本序列提取A模型，然后将图像输入至文本序列提取A模型中，得到与图像对应的文本序列。

在本实施例的一些可选的实现方式中，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列指：将得到的文本序列长度和图像输入至预先训练的文本序列提取B模型中，得到与图像对应的文本序列。

在本实施例中，上述模型是通过如下步骤训练得到的：

获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，当模型为文本序列提取B模型时，样本输入数据还包括与样本图像对应的文本序列长度；在这里，识别结果用于指示样本图像对应的文本序列。

利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

在本实施例的一些可选的实现方式中，对模型的输入信息进行预处理由上述模型实现，此时，不必在步骤201中进行上述预处理。

在本实施例中，文本序列提取A模型包括：

一个输入和X个输出，其中，X为正整数；在这里，输入和输出指文本序列提取A模型的输入和输出；

在输入与每一个输出之间有多于一个模块：至少包括M个模块A和N个模块B，其中，M为正整数, N为正整数；

模块A与输入连接；

每一个模块B连接模块A；

每一个模块B与X个输出中的一个连接；

模块A和模块B各包含至少一个子模块，模块由预先设置的神经网络层组成。

在本实施例中，文本序列提取A模型包括：

模块A和模块B可以从模型中解耦出来，单独地进行训练或者操作参数；

在识别图像的过程中任意地增加或减少模块B的数量。

在本实施例中，文本序列提取A模型包括：

模块A包括三个依次相连的子模块Ax，其中，子模块Ax包括依次相连的卷积层和池化层；

模块B包括一个子模块Bx，其中，子模块Bx包括依次相连的卷积层1、池化层1、卷积层2、池化层2、Dense层1、Flatten层和Dense层2。

在本实施例的一些可选方式中，上述模型的类型为CNN或RNN，CNN包括MASK-RCNN，又写作Mask R-CNN。

步骤207，如果第二识别结果指示第一图像中有多于一个文本序列，则基于语义特征对得到的文本序列进行处理。

在本实施例中，如果第二识别结果指示第一图像中有多于一个文本序列，上述执行主体将基于语义特征对得到的文本序列进行处理。语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别。上述执行主体会基于语义特征的具体含义对所得到的文本序列进行基于位置、顺序和/或类别的排序和分类处理。

继续参考图3，图3是根据本实施例的基于人工智能的文本序列的图像识别方法的应用场景的一个示意图。在图3的应用场景中，用户通过移动智能终端301向服务器302输入了将带有文本序列“13631200600”的图像转换成计算机文档中可编辑的文本序列“13631200600”的请求，例如word软件或windows记事本软件可以编辑的文本形式。服务器302在接收到该请求后，可以获取带有文本序列“13631200600”的图像，并通过预处理获得预处理信息。之后，服务器302将获取到的图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示图像中是否包含文本序列，如果第一识别结果指示图像中包含文本序列，则将图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数；如果第二识别结果指示图像中有多于一个文本序列，则对图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别，而此时，第二识别结果指示图像中仅包含一个文本序列，所以将仅包含一个文本序列的图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度11，基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列“13631200600”，并通过移动智能终端301显示。

本申请实施例提供的基于人工智能的文本序列的图像识别方法和装置，通过将待提取文本序列的图像或经过预处理后的图像输入至预先训练的文本序列提取模型，得到与目标图像对应的文本序列文本，从而提高了文本序列识别的准确度和效率。

进一步参考图4，其示出了根据本申请的基于人工智能的文本序列方法和装置相关的各种模型的一个训练方法的实施例的流程400。该的流程400，包括以下步骤：

步骤401，获取样本数据集合，其中，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，当模型为文本序列提取B模型时，样本输入数据还包括与样本图像对应的文本序列长度。

在本实施例中，文本序列提取模型的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接的方式从存储有样本图像的存储服务器中获取样本数据集合。在这里，样本数据集合中的每个样本数据包括样本输入数据和识别结果，样本输入数据包括样本图像，当模型为文本序列提取B模型时，样本输入数据还包括与样本图像对应的文本序列长度。在这里，当文本序列为手机号码、固定电话号码以及企业、集团、厂矿、事业单位等为固定电话或移动电话等内部通信所设定的指定号码时，文本序列可以带有国家代码、区号以及相关字符。在这里，文本序列包括手写文本序列和/或非手写文本序列。

步骤402，利用机器学习方法，将样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到模型。

在本实施例的一些可选的实现方式中，对模型的输入信息进行预处理由上述模型实现。

在本实施例中，初始模型可以是文本序列识别模型、文本组数识别模型、图像处理模型、文本序列长度识别模型、文本序列提取A模型或文本序列提取B模型。

在本实施例中，文本序列提取A模型包括：

一个输入和X个输出，其中，X为正整数；在这里，输入和输出指文本序列提取A模型的输入和输出；

在输入与每一个输出之间有多于一个模块：至少包括M个模块A和N个模块B，其中，M为正整数, N为正整数；

模块A与输入连接；

每一个模块B连接模块A；

每一个模块B与X个输出中的一个连接；

模块A和模块B各包含至少一个子模块，模块由预先设置的神经网络层组成。

在本实施例中，文本序列提取A模型包括：

模块A和模块B可以从模型中解耦出来，单独地进行训练或者操作参数；

在识别图像的过程中任意地增加或减少模块B的数量。

在本实施例中，文本序列提取A模型包括：

模块A包括三个依次相连的子模块Ax，其中，子模块Ax包括依次相连的卷积层和池化层；

模块B包括一个子模块Bx，其中，子模块Bx包括依次相连的卷积层1、池化层1、卷积层2、池化层2、Dense层1、Flatten层和Dense层2。

在本实施例的一些可选方式中，上述模型的类型为CNN或RNN，CNN包括MASK-RCNN，又写作Mask R-CNN。

在本实施例中，上述执行主体可以从样本数据集合中选取样本数据，执行如下训练步骤：

首先，将选取的每一个样本数据中的图像经过预处理后作为初始卷积神经网络的输入，将与样本图像对应的文本序列文本作为期望输出，对初始卷积神经网络进行训练，得到与样本图像对应的文本序列文本。接着，基于预设损失函数，确定预设损失函数的损失值是否达到预设目标值。在响应于确定预设损失函数的损失值达到预设目标值时，可以确定初始神经网络训练完成，并将训练完成的初始神经网络确定为文本序列提取模型。在这里，预设损失函数可以用于表征预测文本序列文本与样本文本序列文本之间的差异。

上述执行主体在响应于确定预设损失函数的损失值未达到预设目标值时，调整初始卷积神经网络的参数，以及从上述训练样本集合中重新选取样本或增加样本规模，将调整后的初始卷积神经网络作为初始卷积神经网络，继续执行上述训练步骤。在这里，调整初始卷积神经网络的参数例如可以调整初始卷积神经网络的卷积层的数目、卷积核的大小。

从图4中可以看出，与图2所示的实施例不同的是，本实施例突出了对基于人工智能的文本序列方法和装置相关的各种模型的训练步骤。从而使得从图像中提取文本序列更加准确。

进一步参考图5，作为对上述图4所示方法的实现，本申请提供了基于人工智能的文本序列的图像识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的从图像中提取文本序列的装置500包括：图像获取单元501，被配置成用于获取第一图像；

序列识别单元502，被配置成用于将获取到的第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示第一图像中是否包含文本序列；

组数识别单元503，被配置成用于当第一识别结果指示第一图像中包含文本序列时，将第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数；

图像处理单元504，被配置成用于当第二识别结果指示第一图像中有多于一个文本序列时，对第一图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别；

长度识别单元505，被配置成用于将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度；

文本提取单元506，被配置成用于基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列；

语义处理单元507，被配置成用于当第二识别结果指示第一图像中有多于一个文本序列时，基于语义特征对得到的文本序列进行处理。

在本实施例中，从图像中提取文本序列的装置500中：图像获取单元501、序列识别单元502、组数识别单元503、图像处理单元504、长度识别单元505、文本提取单元506和语义处理单元507的具体处理及其带来的有益效果可参看图2对应实施例中的步骤201、步骤202、步骤203、步骤204、步骤205、步骤206和步骤207的实现方式的相关描述，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器)的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请该的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，该程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括：图像获取单元、序列识别单元、组数识别单元、图像处理单元、长度识别单元、文本提取单元和语义处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被描述为“被配置成用于获取图像”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取第一图像；将获取到的第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，第一识别结果用于指示第一图像中是否包含文本序列；如果第一识别结果指示第一图像中包含文本序列，则将第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，第二识别结果用于指示第一图像中包含的文本序列的个数；如果第二识别结果指示第一图像中有多于一个文本序列，则对第一图像进行处理，得到图像集合和语义特征，其中，图像集合中的每一张图像仅包含一个文本序列，语义特征包含图像集合中的每一张图像在第一图像中对应的位置、顺序和/或类别；将仅包含一个文本序列的第一图像或图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与图像对应的文本序列长度；基于得到的文本序列长度使用预先训练的模型对图像进行识别后得到与图像对应的文本序列；如果第二识别结果指示第一图像中有多于一个文本序列，则基于语义特征对得到的文本序列进行处理。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.基于人工智能的文本序列的图像识别方法，其特征在于，包括：

获取第一图像；

将获取到的所述第一图像输入至预先训练的文本序列识别模型中，得到第一识别结果，其中，所述第一识别结果用于指示所述第一图像中是否包含文本序列；

如果所述第一识别结果指示所述第一图像中包含文本序列，则将所述第一图像输入至预先训练的文本组数识别模型，得到第二识别结果，其中，所述第二识别结果用于指示所述第一图像中包含的文本序列的个数；

如果所述第二识别结果指示所述第一图像中有多于一个文本序列，则对所述第一图像进行处理，得到图像集合和语义特征，其中，所述图像集合中的每一张图像仅包含一个文本序列，所述语义特征包含所述图像集合中的每一张图像在所述第一图像中对应的位置、顺序和/或类别；

将仅包含一个文本序列的所述第一图像或所述图像集合中的每一张图像输入至预先训练的文本序列长度识别模型，得到与所述图像对应的文本序列长度；

基于得到的所述文本序列长度使用预先训练的模型对所述图像进行识别后得到与所述图像对应的文本序列；

如果所述第二识别结果指示所述第一图像中有多于一个文本序列，则基于所述语义特征对得到的所述文本序列进行处理。

2.根据权利要求1所述的方法，其特征在于，所述基于得到的所述文本序列长度使用预先训练的模型对所述图像进行识别后得到与所述图像对应的文本序列包括以下方式中的一种：

选择与所述文本序列长度相对应的预先训练的文本序列提取A模型，然后将所述图像输入至所述文本序列提取A模型中，得到与所述图像对应的文本序列；

将得到的所述文本序列长度和所述图像输入至预先训练的文本序列提取B模型中，得到与所述图像对应的文本序列。

3.根据权利要求1或2所述的方法，其特征在于，所述模型是通过如下步骤训练得到的：

获取样本数据集合，其中，所述样本数据集合中的每个样本数据包括样本输入数据和识别结果，所述样本输入数据包括样本图片，当所述模型为所述文本序列提取B模型时，所述样本输入数据还包括与所述样本图片对应的文本序列长度；

利用机器学习方法，将所述样本输入数据作为输入，将该样本输入数据对应的识别结果作为输出，对预设的初始模型进行训练得到所述模型。

4.根据权利要求3所述的方法，其特征在于，包括：对所述模型的输入信息进行预处理，和/或， 所述模型包括对输入信息的预处理。

5.根据权利要求3所述的方法，其特征在于，所述文本序列提取A模型包括：

一个输入和X个输出，其中，所述X为正整数；

在所述输入与每一个所述输出之间有多于一个模块：至少包括M个模块A和所述N个模块B，其中，所述M为正整数, 所述N为正整数；

所述模块A与所述输入连接；

每一个所述模块B连接所述模块A；

每一个所述模块B与所述X个输出中的一个连接；

模块A和模块B各包含至少一个子模块，所述模块由预先设置的神经网络层组成。

6.根据权利要求5所述的方法，其特征在于，所述文本序列提取A模型包括：

模块A和模块B可以从模型中解耦出来，单独地进行训练或者操作参数；

在识别图像的过程中任意地增加或减少模块B的数量。

7.根据权利要求6所述的方法，其特征在于，所述文本序列提取A模型包括：

模块A包括三个依次相连的子模块Ax，其中，所述子模块Ax包括依次相连的卷积层和池化层；

模块B包括一个子模块Bx，其中，所述子模块Bx包括依次相连的卷积层1、池化层1、卷积层2、池化层2、Dense层1、Flatten层和Dense层2。

8.根据权利要求3所述的方法，其特征在于，所述模型的类型为CNN或RNN。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。