CN112036365A - 信息导入方法和装置，以及图像处理方法和装置 - Google Patents

Abstract

本公开提供了一种终端执行的信息导入方法，可应用于图像处理、人机交互和金融技术领域，信息导入方法包括：响应于对目标应用程序显示的第一页面的目标操作，获取表格图像；向服务端发送表格图像，以使得服务器根据表格图像得到待导入信息组，待导入信息组包括m条待导入信息；响应于接收到服务端发送的待导入信息组，将m条待导入信息导入预设的第二页面；以及将显示的第一页面切换至导入m条待导入信息的第二页面，其中，表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。本公开还提供了一种信息导入装置、一种服务端执行的图像处理方法及图像处理装置。

Description

信息导入方法和装置，以及图像处理方法和装置

技术领域

本公开涉及图像处理、人机交互和金融技术领域，更具体地，涉及一种终端执行的信息导入方法和信息导入装置、一种服务端执行的图像处理方法和图像处理装置、以及一种计算机系统和计算机可读存储介质。

背景技术

随着电子技术的发展，业务的线上处理已成为各行各业发展的趋势。在需要批量发送信息或批量转账时，往往需要用户将批量转账所针对的账号逐个地录入终端，容易存在因失误而错录、未录的账号。为了保证录入的准确性，用户还需要对录入的信息多次检查。

发明内容

有鉴于此，本公开提供了一种能够提高信息录入效率的终端执行的信息导入方法和服务端执行的图像处理方法。

本公开的一个方面提供了一种终端执行的信息导入方法，包括：响应于对目标应用程序显示的第一页面的目标操作，获取表格图像；向服务端发送表格图像，以使得服务器根据表格图像得到待导入信息组，该待导入信息组包括m条待导入信息；响应于接收到服务端发送的待导入信息组，将m条待导入信息导入预设的第二页面；以及将显示的第一页面切换至导入m条待导入信息的第二页面，其中，表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。

根据本公开的实施例，n行单元格中首行单元格记载的字符信息为所述表格的表头信息；每条待导入信息还包括表头信息。

根据本公开的实施例，m条待导入信息在第二页面中沿预定方向间隔排列；表格图像为终端预先基于纸质文件拍摄得到的，纸质文件记载有表格。

本公开的另一方面提供了一种服务端执行的图像处理方法，包括：响应于接收到终端发送的表格图像，确定表格图像中表格的位置信息，表格包括n行单元格；基于位置信息，采用光学字符识别技术识别得到n行单元格中m行单元格各自记载的字符信息；根据m行单元格各自记载的字符信息，生成m条待导入信息；以及向终端发送m条待导入信息，以使得终端将m条待导入信息导入预设的第二页面，并显示导入m条待导入信息的第二页面，其中，m、n均为大于1的整数，且n大于等于m。

根据本公开的实施例，上述服务端执行的图像处理方法还包括：根据位置信息，确定表格在表格图像中的位置与表格图像的边界之间的距离是否大于预设距离；以及在大于预设距离的情况下，采用光学字符识别技术识别得到m行单元格各自记载的字符信息。

根据本公开的实施例，n行单元格中首行单元格记载的字符信息为表格的表头信息，m行单元格为n行单元格中除首行单元格外的其他行单元格；上述服务端执行的图像处理方法还包括：采用光学字符识别技术识别首行单元格，得到表头信息；生成m条待导入信息包括：根据m行单元格各自记载的字符信息和表头信息，确定与m行单元格各自记载的字符信息匹配的表头信息；以及将m行单元格各自记载的字符信息及匹配的表头信息，生成针对m行单元格各自的待导入信息，得到m条待导入信息。

根据本公开的实施例，采用光学字符识别技术识别得到m行单元格各自记载的字符信息包括：扫描m行单元格中的每行单元格，得到每行单元格包括的至少一个单元格；以及采用光学字符识别技术分别识别至少一个单元格各自记载的字符信息，得到每行单元格记载的字符信息。

根据本公开的实施例，确定表格图像中表格的位置信息包括：将表格图像与预定表格模板进行匹配，确定表格图像中与预定表格模板匹配的区域以得到匹配区域；以及确定匹配区域在表格图像中的像素坐标值为位置信息。

根据本公开的实施例，确定表格图像中与预定表格模板匹配的区域以得到匹配区域包括：在表格图像中与预定表格模板匹配的区域为多个的情况下，确定多个区域在表格图像中的像素坐标值最小的区域为匹配区域，其中，预定表格模板为每行单元格包括预定数量个单元格的表格构成的模板。

根据本公开的实施例，确定表格图像中表格的位置信息包括：扫描表格图像，得到表格图像中包括的线条；以及根据线条在表格图像中的像素坐标值，确定位置信息。

根据本公开的实施例，根据线条在表格图像中的像素坐标值，确定位置信息包括：在线条包括多个竖直方向的线条的情况下，根据多个竖直方向的线条在表格图像中的像素坐标值，确定像素坐标值较小的预定数量个竖直方向的线条；以及确定预定数量个竖直方向的线条与水平方向的线条围成的封闭区域在表格图像中的像素坐标值为位置信息。

本公开的另一方面还提供了一种信息导入装置，设置于终端，该装置包括：图像获取模块，用于响应于对目标应用程序显示的第一页面的目标操作，获取表格图像；图像发送模块，用于向服务端发送表格图像，以使得服务器根据表格图像得到待导入信息组，待导入信息组包括m条待导入信息；信息导入模块，用于响应于接收到服务端发送的待导入信息组，将m条待导入信息导入预设的第二页面；以及显示模块，用于将显示的第一页面切换至导入m条待导入信息的第二页面，其中，表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。

本公开的另一方面还提供了一种图像处理装置，设置于服务端，该装置包括：位置信息确定模块，用于响应于接收到终端发送的表格图像，确定表格图像中表格的位置信息，表格包括n行单元格；字符信息识别模块，用于基于位置信息，采用光学字符识别技术识别得到n行单元格中m行单元格各自记载的字符信息；导入信息生成模块，用于根据m行单元格各自记载的字符信息，生成m条待导入信息；以及导入信息发送模块，用于向终端发送m条待导入信息，以使得终端将m条待导入信息导入预设的第二页面，并显示导入m条待导入信息的第二页面，其中，m、n均为大于1的整数，且n大于等于m。

本公开的另一方面提供了一种计算机系统，包括：一个或多个处理器；以及存储装置，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述的信息导入方法或图像处理方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被处理器执行时用于执行上述的信息导入方法或图像处理方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现上述的信息导入方法或图像处理方法。

根据本公开的实施例，至少可以部分地解决相关技术中需要用户人工录入批量账号所存在的录入效率低、录入准确率低的技术问题。并因此通过根据表格图像识别得到每行单元格记载的字符信息，根据字符信息形成待导入信息并导入页面中，可以实现账号的自动化批量录入，提高录入效率以及录入准确率。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的终端执行的信息导入方法和服务端执行的图像处理方法的应用场景；

图2示意性示出了根据本公开实施例的终端执行的信息导入方法的流程图；

图3示意性示出了根据本公开实施例的服务端执行的图像处理方法的流程图；

图4示意性示出了根据本公开实施例的根据表格图像将待导入信息导入页面的示意性场景图；

图5示意性示出了根据本公开另一实施例的根据表格图像将待导入信息导入页面的示意性场景图；

图6示意性示出了根据本公开实施例的获取表格图像的示意性原理图；

图7A示意性示出了根据本公开实施例的确定表格图像中表格的位置信息的流程图；

图7B示意性示出了根据本公开实施例的确定表格图像中表格的位置信息的示意性原理图；

图8A示意性示出了根据本公开另一实施例的确定表格图像中表格的位置信息的流程图；

图8B示意性示出了根据本公开另一实施例的确定表格图像中表格的位置信息的示意性原理图；

图9示意性示出了根据本公开实施例的信息导入装置的结构框图；

图10示意性示出了根据本公开实施例的图像处理装置的结构框图；以及

图11示意性示出了根据本公开实施例的适于执行信息导入方法或图像处理方法的计算机系统的结构框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种终端执行的信息导入方法，包括：响应于对目标应用程序显示的第一页面的目标操作，获取表格图像；向服务端发送表格图像，以使得服务器根据表格图像得到待导入信息组，待导入信息组包括m条待导入信息；响应于接收到服务端发送的待导入信息组，将m条待导入信息导入预设的第二页面；以及将显示的第一页面切换至导入m条待导入信息的第二页面，其中，表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。

图1示意性示出了根据本公开实施例的终端执行的信息导入方法和服务端执行的图像处理方法的应用场景。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，该应用场景100中包括终端设备111、112、113、网络120和服务器130。网络120用于在终端设备111、112、113和服务器130之间提供通信链路的介质。网络120可以包括各种连接类型，例如有线、无线通信链路等等。

终端设备111、112、113例如可以是具有显示屏且具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便捷计算机、台式计算机、智能可穿戴设备等。该客户端设备例如可以安装有各种客户端应用，例如网页浏览类应用、业务办理类应用、金融类应用等(仅为示例)，其中，金融类应用例如可以包括手机银行等，通过该金融类应用，能够批量地进行转账操作。

示例性地，终端设备例如可以响应于用户操作获取本地或云端存储的表格图像，并将表格图像经由网络120发送给服务器130。服务器130可以对接收的表格图像进行图像识别处理，得到表格图像中用户需要录入金融类应用的待录入信息，以便于终端设备对待录入信息进行录入操作，并展示录入后的页面进行展示，以便于用户查看。

示例性地，终端设备例如还可以设置有拍摄组件，以响应于用户操作通过拍摄组件实时地拍摄得到表格图像。

需要说明的是，本公开实施例的终端执行的信息导入方法一般可以由终端设备111、112、113执行，本公开实施例的服务端执行的图像处理方法一般可以由服务器130执行。相应地，本公开实施例的信息导入装置一般可以设置于该终端设备111、112、113中，本公开实施例的图像处理装置一般可以设置于服务器130中。下文描述中的终端即为终端设备111、112、113，服务端即为服务器130。

应该理解，图1中的终端设备、网络和服务器仅仅是示意性的。根据实现需要，可以具有任意类型的终端设备、网络和服务器。

以下将结合图1描述的应用场景，通过图2～图8B对本公开实施例的终端执行的信息导入方法和服务端执行的图像处理方法进行详细描述。

图2示意性示出了根据本公开实施例的终端执行的信息导入方法的流程图。

如图2所示，该实施例的终端执行的信息导入方法包括操作S210～操作S240。

在操作S210，响应于对目标应用程序显示的第一页面的目标操作，获取表格图像。

根据本公开的实施例，目标应用程序例如可以为终端安装的金融类应用。第一页面例如可以为响应于用户对目标应用程序的启动页面中目标控件(例如“扫一扫”控件、“图像导入”控件等表征用于获取图像的控件)的操作而展示的页面。对第一页面的目标操作例如可以包括用户对第一页面中“拍照”控件的点击操作，或者用户先对第一页面中“图像选择”控件进行点击操作，然后对展示的多个图像中某个图像进行的点选操作等。

根据本公开的实施例，表格图像例如可以由终端预先存储于其存储空间或者可以存储于云端服务器。此时，目标操作包括用户先对第一页面中“图像选择”控件进行的点击操作，然后对展示的多个图像中某个图像进行的点选操作。展示的多个图像为终端的存储空间中存储的图像或从云端服务器下载的图像。

根据本公开的实施例，表格图像例如可以由终端响应于目标操作实时地拍摄得到。此时，目标操作例如可以包括用户对第一页面中“拍照”控件的点击操作。该点击操作例如可以包括间隔时长大于预设时长的两次点击操作。预设时长的取值例如可以为1s、2s、5s等至少大于0.5s的值。

根据本公开的实施例，表格图像中展示有表格，表格可以包括有n行单元格，该n行单元格中每行单元格包括的单元格个数相等，且该表格图像展示表格可以分为至少一列，该列数与每行单元格包括的单元格个数相等。其中，n为大于等于1的整数。

在操作S220，向服务端发送表格图像，以使得服务器根据表格图像得到待导入信息组，待导入信息组包括m条待导入信息。

根据本公开的实施例，在终端向服务端发送表格图像，且服务端接收到表格图像后，服务端可以通过后续图3描述的流程得到m条待导入信息，并将得到的m条待导入信息发送至终端。其中，m为大于等于1的整数，且前述的n大于等于m。

在操作S230，响应于接收到服务端发送的待导入信息组，将m条待导入信息导入预设的第二页面。

在操作S240，将显示的第一页面切换至导入m条待导入信息的第二页面。

根据本公开的实施例，第二页面中例如可以预留有空白的多个信息区域，终端在接收到待导入信息组后，可以将待导入信息组中的m条待导入信息依次填充至多个信息区域，从而将m条待导入信息导入预设的第二页面。

根据本公开的实施例，多个信息区域例如可以在第二页面中沿预定方向间隔排列，从而使得切换后展示的第二页面沿预定方向间隔排列地展示m条待导入信息。

图3示意性示出了根据本公开实施例的服务端执行的图像处理方法的流程图。

如图3所示，该实施例的服务端执行的图像处理方法可以包括操作S310～操作S340。

在操作S310，响应于接收到终端发送的表格图像，确定表格图像中表格的位置信息，表格包括n行单元格。

根据本公开的实施例，该操作S310例如可以通过识别表格图像，确定表格图像中的表格的坐标位置，并将坐标位置作为位置信息。其中，识别表格图像的方法可以采用已有的特征提取方法，提取得到表格图像中的表格特征，并将该表格特征在图像中的位置作为表格的位置信息。

根据本公开的实施例，位置信息例如可以为坐标位置。为了便于确定位置信息，该实施例可以基于表格图像建立二维坐标系，位置信息可以由表格的四个顶点在表格图像中的四个坐标对来表示。

根据本公开的实施例，该操作S310例如可以通过后续图7A或图8A描述的流程来实现，在此不再赘述。

在操作S320，基于位置信息，采用光学字符识别技术识别得到n行单元格中m行单元格各自记载的字符信息。

根据本公开的实施例，可以先识别得到n行单元格记载的字符信息，以及字符信息在表格图像中的位置。然后从n行单元格记载的字符信息中筛选得到信息完整的、由同一行单元格记载的字符信息。最终得到m行单元格各自记载的字符信息。

根据本公开的实施例，操作S310得到的位置信息例如可以包括表格中n行单元格各自在表格图像中的位置信息。操作S320例如可以先根据n行单元格各自在表格图像中的位置信息，对每行单元格进行扫描，得到每行单元格记载的字符信息。

根据本公开的实施例，可以先从n行单元格中筛选得到具有完整表格框线的所有行的单元格，从而得到m行单元格。然后再采用光学字符识别技术对m行单元格进行字符信息识别，得到m行单元格各自记载的字符信息。

根据本公开的实施例，终端中的目标应用程序例如可以设定有一次性导入的字符信息的条数上限。此时，在n行单元格的行数大于条数上限时，m行单元格例如可以是n行单元格中排在预定位置之前的单元格。例如，若条数上限为15，n为20，则m行单元格可以为前15行单元格。

根据本公开的实施例，操作S320可以先从n行单元格中筛选到m行单元格。然后扫描m行单元格中的每行单元格，得到每行单元格包括的至少一个单元格。然后采用光学字符识别技术分别识别至少一个单元格各自记载的字符信息，得到每行单元格记载的字符信息。由于针对每个单元格进行字符识别，因此可以提高生成的待导入信息的精确度。

在操作S330，根据m行单元格各自记载的字符信息，生成m条待导入信息。

根据本公开的实施例，可以将表示每行单元格记载的字符信息的二进制码作为针对该每行单元格的一条待导入信息。

根据本公开的实施例，在识别得到每行单元格包括的至少一个单元格各自记载的字符信息的情况下，可以先将至少一个单元格记载的字符信息拼接，得到字符信息串。然后将字符信息串的二进制码作为针对每行单元格的一条待导入信息。其中，在拼接字符信息形成字符信息串时，可以在相邻两个字符信息之间插入“/”、“and”、“、”、“，”等间隔字符，以此便于终端在导入字符信息时，依据该间隔字符对待导入信息进行拆分，从而得到每个单元格记载的字符信息。

在操作S340，向终端发送m条待导入信息，以使得终端将m条待导入信息导入预设的第二页面，并显示导入m条待导入信息的第二页面。

在服务端向终端发送m条待导入信息后，终端即可通过前述操作S230～操作S240来实现待导入信息的导入及显示。

综上可知，本公开实施例通过图2描述的方法和图3描述的方法，可以实现表格中记载的字符信息的自动导入，而无需用户手工录入，因此可以有效提高信息导入效率，提高信息导入的准确性。

根据本公开的实施例，服务器在通过操作S310得到表格图像中表格的位置信息之后，且对表格中每行单元格记载的字符信息识别之前，例如可以先根据位置信息，确定表格在表格图像中的位置与表格图像的边界之间的距离是否大于预设距离。在表格图像中表格的位置与表格图像的边界之间的距离大于预设距离的情况下，再采用光学字符识别技术识别得到m行单元格各自记载的字符信息。以此避免在表格占据表格图像的面积过大，导致靠近表格图像边界的单元格记载的字符信息无法完整识别的情况。并因此可以有效提高信息导入的准确性。

示例性地，在操作S310得到表格在表格图像中的位置信息的同时，例如还可以得到表格图像的边界的位置信息。根据边界的位置信息和表格的位置信息，可以得到表格与图像边界之间的距离。预设距离例如可以为以像素为单位的距离，取值例如可以为5、10、15等任意的值。该预设距离可以根据实际需求进行设定，本公开对此不作限定。

在一实施例中，表格包括的n行单元格中，首行单元格可能为表格的表头行。即n行单元格中首行单元格记载的字符信息为表格的表头信息。示例性地，前述从n行单元格中筛选得到的m行单元格为除了首行单元格外的其他行单元格。此种情况下，为了保证每条待导入信息的完整性，服务端执行的图像处理方法例如还可以包括以下操作：采用光学识别技术识别首行单元格，得到表头信息。在得到表头信息后，生成m条待导入信息的操作S330例如可以先根据m行单元格各自记载的字符信息和表头信息，确定与m行单元格各自记载的字符信息匹配的表头信息。然后根据m行单元格各自记载的字符信息及匹配的表头信息，生成针对m行单元格各自的待导入信息，得到m条待导入信息。

示例性地，前述在确定与m行单元格各自记载的字符信息匹配的表头信息时，具体可以先根据m行单元格中每行单元格包括的各第一单元格的位置与首行单元格包括的各第二单元格的位置，确定与各第一单元格位于同一列的第二单元格。然后将各第二单元格记载的字符信息作为与位于同一列的第一单元格记载的字符信息匹配的表头信息。最后，将m行单元格中每行单元格中各单元格记载的字符信息与匹配的表头信息配对，形成针对每行单元格的至少一对配对信息，最终，将该至少一对配置信息拼接形成针对每行单元格的待导入信息。

相应地，终端获取的表格图像中表格的首行单元格记载的字符信息为表格的表头信息，终端接收的m条待导入信息中，每条待导入信息除了包括一行单元格记载的字符信息外，还包括表头信息。

根据本公开的实施例，在服务端接收到终端发送的表格图像后，服务端例如可以将表格图像作为训练好的神经网络的输入，经由神经网络处理执行前述操作S310，或者可以经由神经网络执行前述操作S310～操作S320，或者可以经由神经网络执行前述操作S310～操作S330。神经网络例如可以为使用TensorFlow框架构建的深度学习神经网络。深度神经网络例如可以包括图卷积神经网络(Graph convolutional network，GCN)、快速R-CNN(Fast R-CNN)、全卷积神经网络(Fully Convolutional Networks，FCN)、条件生成式对抗网络(Conditional Generative Adversarial Networks，CGAN)等。

图4示意性示出了根据本公开实施例的根据表格图像将待导入信息导入页面的示意性场景图。

如图4所示，在该示意性场景中，在终端41响应于用户对第一页面411中控件4111的操作后，可以获得表格图像4112，并将表格图像4112发送至服务端43。在响应于接收到服务端43发送的待导入信息，并将待导入信息导入第二页面后，可以将显示的第一页面411切换为第二页面412，该第二页面412中沿终端41的显示屏长度方向间隔排列的展示有多条待导入信息4121。

其中，终端41可以响应于用户对控件4111的操作启动拍摄组件，并响应于用户对控件4111的再次操作拍摄另一终端42中展示的表格421，从而得到表格图像4112，该表格图像中包括另一终端42展示的表格421的图像。

在一实施例中，如图4所示，表格图像4112中表格的首行表格为表头，其记载有表头信息X1和X2，在展示的第二页面412中，第1条待导入信息以及后续的每条待导入信息中均包括有该表头信息X1和X2。其中，表头信息X1与表格中第二行单元格中的左侧单元格记载的字符信息位于第二页面412中的同一行，表头信息X2与表格中第二行单元格中的右侧单元格记载的字符信息位于第二页面412中的同一行。不同行单元格记载的字符信息展示于第二页面412在纵向方向的不同区域。

在一实施例中，第二页面412中，每条待导入信息的右侧区域例如还可以展示有“编辑”控件4122和/或“删除”控件4123。其中，“编辑”控件4122用于响应于用户操作，对其右侧展示的待导入信息进行修改。“删除”控件4123用于响应于用户操作，删除其左侧区域展示的待导入信息。从而可以方便用户对自动导入的信息进行修改，以使得最终展示的待导入信息为用户需求的信息。

在一实施例中，在服务端43对表格图像进行识别得到待导入信息的过程中，服务端43例如还可以先判断表格图像是否为标准表格图像。例如，可以在确定表格中相邻两行单元格之间的行间距大于预定行间距的情况下，确定表格图像为标准表格图像。例如，若图4中T1行单元格与T2行单元格之间的行间距大于1cm，即单元格的高度大于1cm，则确定表格图像为标准表格图像。

图5示意性示出了根据本公开另一实施例的根据表格图像将待导入信息导入页面的示意性场景图。

如图5所示，在该示意性场景中，在终端51响应于用户对第一页面511中控件5111的操作后，可以获得表格图像5112，并将表格图像5112发送至服务端53。在响应于接收到服务端53发送的待导入信息，并将待导入信息导入第二页面后，可以将显示的第一页面511切换为第二页面512，该第二页面512中沿终端51的显示屏长度方向间隔排列的展示有多条待导入信息5121。

其中，终端51可以响应于用户对控件5111的操作启动拍摄组件，并响应于用户对控件5111的再次操作拍摄纸质文件52中展示的表格521，从而得到表格图像5112。其中，纸质文件52例如可以通过打印另一终端54展示的表格521得到。根据本公开的实施例，通过对另一终端54展示的表格521打印得到的纸质文件拍摄，而非直接对另一终端54展示的表格521进行打印，可以避免拍摄得到的图像因另一终端54的显示屏光线的散射导致的背景干扰，从而提高拍摄得到的表格图像的清晰度，利于提高后续识别得到的待导入信息的准确性。

类似地，该实施例中，第二页面512中，每条待导入信息的右侧区域例如还可以展示有“编辑”控件5122和/或“删除”控件5123。表格图像5112中表格的首行表格为表头，其记载有表头信息X1和X2。相邻的任意两行单元格T1与T2之间的行间距大于预定行间距，在此不再赘述。

图6示意性示出了根据本公开实施例的获取表格图像的示意性原理图。

如图6所示，终端61展示的第一页面中例如可以包括有第一控件6111和第二控件6112。其中，在响应于用户对第一控件6111的操作后，终端61可以开启拍摄组件，采用拍摄组件采用图4或图5的方式获得表格图像6113。在响应于用户对第二控件6112的操作后，终端61例如可以先展示有本地存储的或从云端获取的多张图像的缩略图。然后响应于对表格图像的选中操作，获得被选中的表格图像6113。

类似地，终端61在响应于接收到服务端发送的待导入信息，并将待导入信息导入第二页面后，可以将第一页面切换为第二页面，该第二页面中沿终端61的显示屏长度方向间隔排列的展示有多条待导入信息6121。

类似地，该实施例中，第二页面612中，每条待导入信息6121的右侧区域例如还可以展示有“编辑”控件6122和/或“删除”控件6123。表格图像6113中表格的首行表格为表头，其记载有表头信息X1和X2。相邻的任意两行单元格T1与T2之间的行间距大于预定行间距，在此不再赘述。

根据本公开的实施例，该实施例的信息导入方法例如还可以在将待导入信息导入第二页面的同时，判断待导入信息是否满足预定格式，例如，与表头信息X1对应的字符信息的是否存在特殊字符，与表头信息X2对应的字符信息的位数是否为预设位数。若与X1对应的字符信息不包括特殊字符，且与X2对应的字符信息的位数为预设位数，则确定包括该两个字符信息的待导入信息满足预定格式。在确定满足预定格式后，在第二页面中导入待导入信息，且展示第二页面时，如图6所示，可以对该导入信息进行突出显示，例如加粗、标黄、或对待导入信息添加如图6所示的虚线框6124等。

图7A示意性示出了根据本公开实施例的确定表格图像中表格的位置信息的流程图。图7B示意性示出了根据本公开实施例的确定表格图像中表格的位置信息的示意性原理图。

如图7A所示，该实施例中，确定表格图像中表格的位置信息的操作例如可以包括操作S711～操作S712。

在操作S711，将表格图像与预定表格模板进行匹配，确定表格图像中与预定表格模板匹配的区域以得到匹配区域。

根据本公开的实施例，预定表格模板可以是预先设定后存入终端本地的。预定表格模板例如可以为具有预定行数、预定列数的表格。该操作S711为通过将表格图像与预定表格模板进行匹配，得到与表格图像相同行数、列数的匹配区域。

示例性地，在表格图像中表格的行数或列数小于预定表格模板的预定行数或预定列数的情况下，可以确定表格图像中表格所在的区域为匹配区域。

示例性地，在表格图像中表格的行数或列数较多，从而使得表格图像中存在与预定表格模板匹配的、互不重叠的多个匹配区域时，则可以根据预定规则从多个匹配区域中选择其中一个匹配区域。如图7B所示，可以以表格图像的左上角位置作为坐标原点O，以表格图像的长度方向和宽度方向分别作为相互垂直的两个坐标轴的延伸方向建立坐标系，其中，坐标系在两个坐标轴上的单位长度分别为一个像素的长度和宽度。在预定表格模板为九行、两列的表格时，如图7B所示的表格图像中，可以确定出与预定表格模板匹配的匹配区域701和匹配区域702。操作S711可以确定该两个区域中在表格图像中的像素坐标值最小的区域701为匹配区域。其中，预定表格模板为每行单元格包括预定数量个单元格的表格构成的模板。

在操作S712，确定匹配区域在表格图像中的像素坐标值为位置信息。

根据本公开的实施例，在确定了匹配区域后，可以将该匹配区域的边界线在表格图像中的像素坐标值作为位置信息。由于表格一般为矩形单元格，因此，匹配区域一般为矩形区域，位置信息即为该矩形区域的四个顶点在表格图像中的四个坐标对。

图8A示意性示出了根据本公开另一实施例的确定表格图像中表格的位置信息的流程图。图8B示意性示出了根据本公开另一实施例的确定表格图像中表格的位置信息的示意性原理图。

如图8A所示，该实施例中，确定表格图像中表格的位置信息的操作例如可以包括操作S811～操作S812。

在操作S811，扫描表格图像，得到表格图像中包括的线条。

根据本公开的实施例，可以先采用OpenCV函数对表格图像进行灰度处理即二值化处理，随后通过腐蚀和膨胀后得到表格线。得到的表格线即为表格图像中包括的线条。

示例性地，操作S811还可以先对表图像进行二值化，然后使用霍夫变换，检测得到表格图像中包括的线条。示例性地，通过操作S811例如可以得到如图8B所示的多个线条。

在操作S812，根据线条在表格图像中的像素坐标值，确定位置信息。

根据本公开的实施例，该操作S812可以确定多个线条中围成的最大区域在表格图像中的像素坐标值为位置信息。示例性地，如图8B所示，可以将表格图像的左上角的顶点作为坐标原点O，以表格图像的长度方向和宽度方向分别作为相互垂直的两个坐标轴的延伸方向建立坐标系，其中，坐标系在两个坐标轴上的单位长度分别为一个像素的长度和宽度。确定的位置信息即为线条801、线条802、线条803和线条804围成的区域在表格图像中的像素坐标值，具体可以为该线条801～804围成的区域的四个顶点在该坐标系中的坐标对。

根据本公开的实施例，在需要对每行单元格进行字符信息识别时，该操作S812例如还可以确定多个线条中沿x轴平行的相邻两个线条与沿y轴方向的线条围成的区域，得到多个区域，然后确定该多个区域在表格图像中的像素坐标值为位置信息。

根据本公开的实施例，在需要对每个单元格进行字符信息识别时，该操作S812可以确定多个线条围成的所有封闭区域在表格图像中的像素坐标值为位置信息。

根据本公开的实施例，在表格图像中的表格有多列的情况下，即前述的多个线条包括多个竖直方向的线条的情况下，该操作S812例如可以先根据多个竖直方向的线条在表格图像中的像素坐标值，确定像素坐标值较小的预定数量个竖直方向的线条。然后确定预定数量个竖直方向的线条与水平方向的线条围成的封闭区域在表格图像中的像素坐标值为位置信息。通过该设定，可以从表格中筛选得到用户关注的前几列表格进行字符信息的识别，提高信息识别效率，提高信息导入效率，从而提高用户体验。

图9示意性示出了根据本公开实施例的信息导入装置的结构框图。

如图9所示，信息导入装置900包括图像获取模块910、图像发送模块920、信息导入模块930和显示模块940。

图像获取模块910用于响应于对目标应用程序显示的第一页面的目标操作，获取表格图像。在一实施例中，图像获取模块910例如可以用于执行图2描述的操作S210，在此不再赘述。

图像发送模块920用于向服务端发送表格图像，以使得服务器根据表格图像得到待导入信息组，待导入信息组包括m条待导入信息。其中，表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。在一实施例中，图像发送模块920例如可以用于执行图2描述的操作S220，在此不再赘述。

信息导入模块930用于响应于接收到服务端发送的待导入信息组，将m条待导入信息导入预设的第二页面。在一实施例中，信息导入模块930例如可以用于执行图2描述的操作S230，在此不再赘述。

显示模块940用于将显示的第一页面切换至导入m条待导入信息的第二页面。在一实施例中，显示模块940例如可以用于执行图2描述的操作S240，在此不再赘述。

根据本公开的实施例，n行单元格中首行单元格记载的字符信息为表格的表头信息。每条待导入信息还包括表头信息。

根据本公开的实施例，m条待导入信息在第二页面中沿预定方向间隔排列。表格图像为终端基于纸质文件拍摄得到的，纸质文件记载有表格。

图10示意性示出了根据本公开实施例的图像处理装置的结构框图。

如图10所示，图像处理装置1000例如可以设置于服务端，具体可以设置于图1描述的服务器130中。图像处理装置1000可以包括位置信息确定模块1010、字符信息识别模块1020、导入信息生成模块1030和导入信息发送模块1040。

位置信息确定模块1010用于响应于接收到终端发送的表格图像，确定表格图像中表格的位置信息，该表格包括n行单元格。n为大于1的整数。在一实施例中，位置信息确定模块1010例如可以用于执行图3描述的操作S310，在此不再赘述。

字符信息识别模块1020用于基于位置信息，采用光学字符识别技术识别得到n行单元格中m行单元格各自记载的字符信息。其中，m为大于1的整数，且n大于等于m。在一实施例中，字符信息识别模块1020例如可以用于执行图3描述的操作S320，在此不再赘述。

导入信息生成模块1030用于根据m行单元格各自记载的字符信息，生成m条待导入信息。在一实施例中，导入信息生成模块1030例如可以用于执行图3描述的操作S330，在此不再赘述。

导入信息发送模块1040用于向终端发送m条待导入信息，以使得终端将m条待导入信息导入预设的第二页面，并显示导入m条待导入信息的第二页面。在一实施例中，导入信息发送模块1040例如可以用于执行图3描述的操作S340，在此不再赘述。

根据本公开的实施例，上述图像处理装置1000例如还可以包括距离确定模块，用于根据位置信息，确定表格在表格图像中的位置与表格图像的边界之间的距离是否大于预设距离。字符信息识别模块1020用于在距离确定模块确定表格在表格图像中的位置与表格图像的边界之间的距离大于预设距离的情况下，采用光学字符识别技术识别得到m行单元格各自记载的字符信息。

根据本公开的实施例，n行单元格中首行单元格记载的字符信息为表格的表头信息。m行单元格为n行单元格中除首行单元格外的其他行单元格。上述字符信息识别模块1020例如还可以用于采用光学字符识别技术识别首行单元格，得到表头信息。导入信息生成模块1030具体用于用于通过以下操作生成m条待导入信息：根据m行单元格各自记载的字符信息和表头信息，确定与m行单元格各自记载的字符信息匹配的表头信息；以及将m行单元格各自记载的字符信息及匹配的表头信息，生成针对m行单元格各自的待导入信息，得到m条待导入信息。

根据本公开的实施例，上述字符信息识别模块1020具体例如可以用于通过以下操作来得到每行单元格记载的字符信息：扫描m行单元格中的每行单元格，得到每行单元格包括的至少一个单元格；以及采用光学字符识别技术分别识别至少一个单元格各自记载的字符信息，得到每行单元格记载的字符信息。

根据本公开的实施例，位置信息确定模块1010例如可以包括匹配区域确定子模块和位置信息确定子模块，匹配区域确定子模块用于将表格图像与预定表格模板进行匹配，确定表格图像中与预定表格模板匹配的区域以得到匹配区域。位置信息确定子模块用于确定匹配区域在表格图像中的像素坐标值为位置信息。在一实施例中，匹配区域确定子模块和位置信息确定子模块例如可以分别用于执行图7A描述的操作S711～操作S712，在此不再赘述。

根据本公开的实施例，匹配区域确定子模块用于在表格图像中与预定表格模板匹配的区域为多个的情况下，确定多个区域在表格图像中的像素坐标值最小的区域为匹配区域，其中，预定表格模板为每行单元格包括预定数量个单元格的表格构成的模板。

根据本公开的实施例，位置信息确定模块1010例如可以包括扫描子模块和位置信息确定子模块。扫描子模块用于扫描表格图像，得到所述表格图像中包括的线条。位置信息确定子模块用于根据线条在表格图像中的像素坐标值，确定位置信息。在一实施例中，扫描子模块和位置信息确定子模块例如可以分别用于执行图8A描述的操作S811～操作S812，在此不再赘述。

根据本公开的实施例，位置信息确定子模块具体可以用于执行以下操作：在线条包括多个竖直方向的线条的情况下，根据多个竖直方向的线条在表格图像中的像素坐标值，确定像素坐标值较小的预定数量个竖直方向的线条；以及确定预定数量个竖直方向的线条与水平方向的线条围成的封闭区域在表格图像中的像素坐标值为位置信息。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图11示意性示出了根据本公开实施例的适于执行信息导入方法或图像处理方法的计算机系统的结构框图。

如图11所示，根据本公开实施例的计算机系统1100包括处理器1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 1103中，存储有计算机系统1100操作所需的各种程序和数据。处理器1101、ROM 1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，计算机系统1100还可以包括输入/输出(I/O)接口1105，输入/输出(I/O)接口1105也连接至总线1104。计算机系统1100还可以包括连接至I/O接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的计算机系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (15)

1.一种终端执行的信息导入方法，包括：

响应于对目标应用程序显示的第一页面的目标操作，获取表格图像；

向服务端发送所述表格图像，以使得所述服务器根据所述表格图像得到待导入信息组，所述待导入信息组包括m条待导入信息；

响应于接收到所述服务端发送的所述待导入信息组，将所述m条待导入信息导入预设的第二页面；以及

将显示的所述第一页面切换至导入所述m条待导入信息的第二页面，

其中，所述表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。

2.根据权利要求1所述的方法，其中；

所述n行单元格中首行单元格记载的字符信息为所述表格的表头信息；

所述每条待导入信息还包括所述表头信息。

3.根据权利要求1所述的方法，其中：

所述m条待导入信息在所述第二页面中沿预定方向间隔排列；

所述表格图像为所述终端基于纸质文件拍摄得到的，所述纸质文件记载有表格。

4.一种服务端执行的图像处理方法，包括：

响应于接收到终端发送的表格图像，确定所述表格图像中表格的位置信息，所述表格包括n行单元格；

基于所述位置信息，采用光学字符识别技术识别得到所述n行单元格中m行单元格各自记载的字符信息；

根据所述m行单元格各自记载的字符信息，生成m条待导入信息；以及

向所述终端发送所述m条待导入信息，以使得所述终端将所述m条待导入信息导入预设的第二页面，并显示导入所述m条待导入信息的第二页面，

其中，m、n均为大于1的整数，且n大于等于m。

5.根据权利要求4所述的方法，还包括在采用光学字符识别技术识别得到所述m行单元格各自记载的字符信息之前：

根据所述位置信息，确定所述表格在所述表格图像中的位置与所述表格图像的边界之间的距离是否大于预设距离；以及

在大于所述预设距离的情况下，采用光学字符识别技术识别得到所述m行单元格各自记载的字符信息。

6.根据权利要求4所述的方法，其中，所述n行单元格中首行单元格记载的字符信息为所述表格的表头信息，所述m行单元格为所述n行单元格中除所述首行单元格外的其他行单元格；

所述方法还包括：采用光学字符识别技术识别所述首行单元格，得到所述表头信息；

生成所述m条待导入信息包括：

根据m行单元格各自记载的字符信息和所述表头信息，确定与所述m行单元格各自记载的字符信息匹配的表头信息；以及

根据所述m行单元格各自记载的字符信息及匹配的表头信息，生成针对m行单元格各自的待导入信息，得到所述m条待导入信息。

7.根据权利要求4所述的方法，其中，采用光学字符识别技术识别得到所述m行单元格各自记载的字符信息包括：

扫描所述m行单元格中的每行单元格，得到所述每行单元格包括的至少一个单元格；以及

采用所述光学字符识别技术分别识别所述至少一个单元格各自记载的字符信息，得到所述每行单元格记载的字符信息。

8.根据权利要求4所述的方法，其中，确定所述表格图像中表格的位置信息包括：

将所述表格图像与预定表格模板进行匹配，确定所述表格图像中与所述预定表格模板匹配的区域以得到匹配区域；以及

确定所述匹配区域在所述表格图像中的像素坐标值为所述位置信息。

9.根据权利要求8所述的方法，其中，确定所述表格图像中与所述预定表格模板匹配的区域以得到匹配区域包括：

在所述表格图像中与所述预定表格模板匹配的区域为多个的情况下，确定多个区域在所述表格图像中的像素坐标值最小的区域为所述匹配区域，

其中，所述预定表格模板为每行单元格包括预定数量个单元格的表格构成的模板。

10.根据权利要求4所述的方法，其中，确定所述表格图像中表格的位置信息包括：

扫描所述表格图像，得到所述表格图像中包括的线条；以及

根据所述线条在所述表格图像中的像素坐标值，确定所述位置信息。

11.根据权利要求10所述的方法，其中，所述根据所述线条在所述表格图像中的像素坐标值，确定所述位置信息包括：

在所述线条包括多个竖直方向的线条的情况下，根据所述多个竖直方向的线条在所述表格图像中的像素坐标值，确定像素坐标值较小的预定数量个竖直方向的线条；以及

确定所述预定数量个竖直方向的线条与水平方向的线条围成的封闭区域在所述表格图像中的像素坐标值为所述位置信息。

12.一种信息导入装置，设置于终端，所述装置包括：

图像获取模块，用于响应于对目标应用程序显示的第一页面的目标操作，获取表格图像；

图像发送模块，用于向服务端发送所述表格图像，以使得所述服务器根据所述表格图像得到待导入信息组，所述待导入信息组包括m条待导入信息；

信息导入模块，用于响应于接收到所述服务端发送的所述待导入信息组，将所述m条待导入信息导入预设的第二页面；以及

显示模块，用于将显示的所述第一页面切换至导入所述m条待导入信息的第二页面，

其中，所述表格图像中的表格包括n行单元格，每条待导入信息包括一行单元格记载的字符信息，m、n均为大于1的整数，且n大于等于m。

13.一种图像处理装置，设置于服务端，所述装置包括：

位置信息确定模块，用于响应于接收到终端发送的表格图像，确定所述表格图像中表格的位置信息，所述表格包括n行单元格；

字符信息识别模块，用于基于所述位置信息，采用光学字符识别技术识别得到所述n行单元格中m行单元格各自记载的字符信息；

导入信息生成模块，用于根据所述m行单元格各自记载的字符信息，生成m条待导入信息；以及

导入信息发送模块，用于向所述终端发送所述m条待导入信息，以使得所述终端将所述m条待导入信息导入预设的第二页面，并显示导入所述m条待导入信息的第二页面，

其中，m、n均为大于1的整数，且n大于等于m。

14.一种计算机系统，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行：

根据权利要求1～3中任一项所述的方法；或者

根据权利要求4～11中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行：

根据权利要求1～3中任一项所述的方法；或者

根据权利要求4～11中任一项所述的方法。

Images