CN113835590A - 显示方法、信息发送方法和电子设备 - Google Patents

Abstract

本申请公开了一种显示方法、信息发送方法和电子设备，属于识别技术领域。该方法包括：接收对文本编辑界面中第一控件的第一输入；响应于第一输入，向第二电子设备发送第一指令；接收第二电子设备基于第一指令发送第一信息；在文本编辑界面中显示目标信息，第一信息包括目标图像或对目标图像进行识别得到的第一识别信息，目标信息为第一信息或第一电子设备对目标图像进行识别得到的第二识别信息。

Description

显示方法、信息发送方法和电子设备

技术领域

本申请属于识别技术领域，具体涉及一种显示方法、信息发送方法和电子设备。

背景技术

在日常办公环境下，电子设备(例如电脑)是每个职场人日常办公的主要工具，经常会遇到需要将现实办公中纸质文件上的文字信息和/或表格抄录到电子设备的办公应用软件中的情况。目前，常采用的方法是边看边打字的方式，将纸质文档中的文字和/或表格逐个逐段抄录进电子设备办公应用软件上，这个过程中还需每间隔一定时长进行检查和校对，以免出现多字、漏字或错别字等问题。例如，若抄录约500字的纸质文件的内容到电子设备，至少需要15～20分钟，抄录内容的耗时较长，导致抄录的效率较低。

发明内容

本申请实施例的目的是提供一种显示方法、信息发送方法和电子设备，能够解决图像中信息抄录到电子设备的效率较低的问题。

第一方面，本申请实施例提供了一种显示方法，由第一电子设备执行，所述方法包括：

接收对文本编辑界面中第一控件的第一输入；

响应于所述第一输入，向第二电子设备发送第一指令；

接收所述第二电子设备基于所述第一指令发送的第一信息；

在所述文本编辑界面中显示目标信息；

其中，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标信息为所述第一信息或所述第一电子设备对所述目标图像进行识别得到的第二识别信息。

第二方面，本申请实施例提供了一种信息发送方法，由第二电子设备执行，所述方法包括：

接收第一电子设备发送的第一指令；

响应于所述第一指令，向所述第一电子设备发送第一信息，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标图像用于所述第一电子设备显示或用于所述第一电子设备进行识别得到所述目标图像的第二识别信息并在所述第一电子设备的文本编辑界面显示所述第二识别信息，所述第一识别信息用于在所述第一电子设备的文本编辑界面显示。

第三方面，本申请实施例提供了一种显示装置，所述装置包括：

第一接收模块，用于接收对文本编辑界面中第一控件的第一输入；

第一发送模块，用于响应于所述第一输入，向第二电子设备发送第一指令；

第二接收模块，用于接收所述第二电子设备基于所述第一指令发送的第一信息；

第一显示模块，用于在所述文本编辑界面中显示目标信息；

其中，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标信息为所述第一信息或第一电子设备对所述目标图像进行识别得到的第二识别信息。

第四方面，本申请实施例提供了一种信息发送装置，所述装置包括：

第三接收模块，用于接收第一电子设备发送的第一指令，所述第一指令用于指示所述第二电子设备进行图像获取；

第二发送模块，用于响应于所述第一指令，向所述第一电子设备发送第一信息，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标图像用于显示或用于所述第一电子设备所述第一电子设备进行识别得到所述目标图像的第二识别信息并在所述第一电子设备的文本编辑界面显示所述第二识别信息，所述第一识别信息用于在所述第一电子设备的文本编辑界面显示。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤或者实现如第二方面所述的信息发送方法的步骤。

第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法或者实现如第二方面所述的信息发送方法的步骤。

在本实施例的识别方法中，无需人工对目标图像中的信息进行抄录至第一电子设备，而是第一电子设备通过向第二电子设备发送第一指令，可接收第二电子设备基于第一指令对目标图像进行识别后发送的第一识别信息或接收第二电子设备基于第一指令发送的目标图像，第一电子设备可对接收的目标图像进行识别得到目标图像的第二识别信息，可在文本编辑界面中显示目标图像、第一识别信息或第二识别信息，实现将目标图像中的信息抄录至第二电子设备的文本编辑界面中，提高对图像中信息的抄录的效率。

附图说明

图1是本申请实施例提供的识别方法的流程图之一；

图2是本申请实施例提供的识别方法的流程图之二；

图3是本申请实施例提供的识别方法的流程图之三；

图4是本申请实施例提供的第二电子设备的界面图之一；

图5是本申请实施例提供的第一电子设备的界面图之一；

图6是本申请实施例提供的第一电子设备的界面图之二；

图7是本申请实施例提供的第一电子设备的界面图之三；

图8是本申请实施例提供的识别方法的流程图之四；

图9是本申请实施例提供的第一电子设备的界面图之四；

图10是本申请实施例提供的第一电子设备的界面图之五；

图11是本申请实施例提供的识别装置的示意图之一；

图12是本申请实施例提供的识别装置的示意图之二；

图13是本申请实施例提供的电子设备的结构示意图之一；

图14是本申请实施例提供的电子设备的结构示意图之二；

图15是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如目标对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的识别方法进行详细地说明。

如图1所示，本申请提供一种实施例的识别方法，由第一电子设备执行，该方法包括：

步骤101：接收对文本编辑界面中第一控件的第一输入。

在第一电子设备显示文本编辑界面，该文本编辑界面可以是第一电子设备中办公应用的编辑界面，在本实施例中不作限定。文本编辑界面中包括第一控件，用户可对第一控件进行第一输入，第一输入在本实施例中不作限定，例如，可以是点击输入等。

步骤102：响应于第一输入，向第二电子设备发送第一指令。

第一指令可用于指示第二电子设备进行图像获取，以及还可用于指示第二电子设备对获取的目标图像进行识别等。向第二电子设备发送第一指令，以使第二电子设备进行图像获取，也可使第二电子设备对获取的目标图像进行识别得到第一识别信息。

步骤103：接收第二电子设备基于第一指令发送的第一信息。

第一信息包括目标图像或对目标图像进行识别得到的第一识别信息。

第二电子设备接收第一指令后，可获取目标图像，可将目标图像发送给第一电子设备，第一电子设备接收目标图像，或者第二电子设备获取目标图像后对目标图像进行识别得到第一识别信息，并将第一识别信息发送给第一电子设备，即第一电子设备可接收第一识别信息。在本实施例中，第一电子设备可以是移动电子设备，第二电子设备可以是非移动电子设备。

步骤104：在文本编辑界面中显示目标信息。

目标信息为第一信息或第一电子设备对目标图像进行识别得到的第二识别信息。

若第一电子设备接收到目标图像，第一电子设备可在文本编辑界面中显示目标图像，或者可对目标图像进行识别得到目标图像的第二识别信息，在文本编辑界面中显示第二识别信息，若第一电子设备接收到第二电子设备对目标图像进行识别得到的第一识别信息，即可在文本编辑界面中显示第一识别信息，从而实现将目标图像中的信息抄录至第二电子设备的文本编辑界面中。作为一个示例，识别信息(包括第一识别信息和第二识别信息)包括但不限于文字信息和表格中的至少一项。

在本实施例的识别方法中，无需人工对目标图像中的信息进行抄录至第一电子设备，而是第一电子设备通过向第二电子设备发送第一指令，可接收第二电子设备基于第一指令对目标图像进行识别后发送的第一识别信息或接收第二电子设备基于第一指令发送的目标图像，第一电子设备可对接收的目标图像进行识别得到目标图像的第二识别信息，可在文本编辑界面中显示目标图像、第一识别信息或第二识别信息，实现将目标图像中的信息抄录至第二电子设备的文本编辑界面中，提高对图像中信息的抄录的效率。

在一个实施例中，接收对文本编辑界面中第一控件的第一输入之前，还包括：

在文本编辑界面显示用于指示通过第二电子设备添加信息的目标选项；

接收对文本编辑界面中第一控件的第一输入，包括：

接收针对目标选项的第一输入。

也即是在本实施例中，第一控件可以是用于指示通过第二电子设备添加信息的目标选项，接收对目标选项的第一输入后，可向第二电子设备发送第一指令，使第二电子设备进行图像获取，从而使第二电子设备发送获取的目标图像或对目标图像进行识别得到的第一识别信息，操作简单，便于用户操作，从而可提高在文本编辑界面中显示目标图像的信息实现信息抄录的效率。

在一个实施例中，接收对文本编辑界面中第一控件的第一输入之后，还包括：在文本编辑界面中显示文本编辑框；

在文本编辑界面中显示目标信息，包括：

在文本编辑框中显示目标信息；

接收对文本编辑框中第二控件的第二输入；

响应于第二输入，关闭文本编辑框的显示，并在文本编辑界面中显示目标信息。

即在接收第一输入后，先在文本编辑框中显示文本编辑框，获得目标图像、第一识别信息或第二识别信息后，可先将其显示于文本编辑框，文本编辑框中还包括第二控件，用户可对文本编辑框中的识别信息进行检查，若检查无误后，可对第二控件进行第二输入，例如，第二控件可以是确认控件等，第二输入可以是点击输入等，然后响应于第二输入，将文本编辑界面中的文本编辑框关闭显示，在文本编辑界面中显示目标信息。作为一个示例，在文本编辑界面中显示文本编辑框，可以是在文本编辑界面中输入光标对应的位置显示文本编辑框，则在文本编辑界面中显示目标信息，可以是以文本编辑界面中输入光标对应的位置为起始位置，显示目标信息，例如，对于文字信息，文字信息中的第一个文字显示到起始位置，其余文字按照顺序以及位置关系进行相应显示等。

在一个实施例中，第一信息包括目标图像；

在文本编辑界面中显示目标信息之前，还包括：对目标图像进行识别，得到第二识别信息。

也即是若接收到第二电子设备发送的目标图像，可在文本编辑界面中显示目标图像，或者可对目标图像进行识别得到第二识别信息，在文本编辑界面中显示第二识别信息，以实现目标图像的信息的抄录至文本编辑界面中，以便用户查看。需要说明的是，本申请实施例的显示方法中，第一电子设备对接收的目标图像进行识别得到第二识别信息的过程可参照第二电子设备对目标图像进行识别的过程，即第一电子设备对目标图像进行识别得到第二识别信息的过程与第二电子设备对目标图像进行识别得到第一识别信息的过程类似，不同之处仅在于执行识别过程的主体不同，前者是第一电子设备，后者是第二电子设备，从而，在此不再赘述第一电子设备对目标图像进行识别得到第二识别信息的过程。

在一个实施例中，向第二电子设备发送第一指令之前，方法还包括：

创建无线局域网，并通过无线局域网与第二电子设备建立连接。

用户可在第二电子设备中创建无线局域网(Wireless Local Area Network，WLAN)，第一电子设备可在WIFI设置里连接第二电子设备创建的无线局域网，实现第二电子设备与第一电子设备之间的连接。

通过上述连接方法，相比使用蓝牙或NFC近场通讯实现连接的方式，有着更高的稳定性，可达到“现拍现传”的毫秒级实时同步的效果，可提高目标图像的识别信息在第一电子设备中抄录的效率。

如图2所示，本申请还提供一种实施例的识别方法，由第二电子设备执行，方法包括：

步骤201：接收第一电子设备发送的第一指令；

步骤202：响应于第一指令，向第一电子设备发送第一信息；

第一信息包括目标图像或对目标图像进行识别得到的第一识别信息，目标图像用于第一电子设备显示或用于第一电子设备进行识别得到目标图像的第二识别信息并在第一电子设备的文本编辑界面显示第二识别信息，第一识别信息用于在第一电子设备的文本编辑界面显示。

需要说明的是，目标图像可以是第一电子设备接收第一指令后拍摄的图像，或者是第一电子设备中预先存储的图像，也可以是PDF文件等。第一指令为第一电子设备响应于对第一电子设备中文本编辑界面的第一控件的第一输入发送的第一指令。

在本实施例的识别方法中，无需人工对目标图像中的信息进行抄录至第一电子设备，而是第二电子设备接收第一电子设备发送的第一指令后，获取目标图像，可向第一电子设备发送目标图像，目标图像可用于第一电子设备显示，或用于第一电子设备进行识别得到目标图像的第二识别信息并在第一电子设备的文本编辑界面显示第二识别信息，或者第二电子设备可以对目标图像进行识别得到第一识别信息，向第一电子设备发送第一识别信息，第一识别信息可显示于第一电子设备的文本编辑界面中。如此，可实现将目标图像中的信息抄录至第二电子设备的文本编辑界面中，提高对图像中信息的抄录的效率。

在一个实施例中，第一信息包括第一识别信息，向第一电子设备发送第一识别信息之前，还包括：

对目标图像进行行切分，得到多个第一图像；

对多个第一图像进行字符切分，得到多个子图像；

提取多个子图像中每个子图像的文字特征信息；

基于多个子图像的文字特征信息，对多个子图像进行文字识别，以得到文字信息，其中，第一识别信息包括文字信息。

可以理解，第一图像为行文字存在的区域图像，即行文字区域图像，即对目标图像进行行切分(或横向切分)，先找到每一行文字的起点与终点，以定位该行文字区域图像，从某一行的第一个非空白位置(即开始有字的位置)到出现该行的第一个空白位置(即没有字的位置)，定位为行文字存在的区域。然后对第一图像进行字符切分，也可以理解为列切分或纵向切分，便可得到单个文字图像，即子图像。对每个子图像进行文字特征信息提取，利用多个子图像的文字特征信息，对多个子图像进行文字识别，以得到文字信息，即对每个子图像进行文字识别，可得到多个文字识别信息，上述文字信息可包括多个子图像的文字识别信息组合后的信息。需要说明的是，这里的组合是按照多个子图像的位置关系对多个子图像的文字识别信息进行组合。

在本实施例中，在文字识别过程中，先对目标图像进行行切分，然后进行字符切分，得到多个子图像，对多个子图像进行文字识别，得到识别的文字信息，用户只需使用第二电子设备获取目标图像并进行文字识别，第一电子设备即可获得识别的文字信息并将其添加至文本编辑界面中，整个过程简单、高效且便捷。相比传统解决方案，同样是抄录约500字的内容，经测试，传统方案至少需要15～20分钟，本申请方案可只需2分钟左右。解决了耗时长与错别字的问题，提高抄录效率以及提高抄录正确性，解决了用户无法高效抄录纸质文件中文字信息至第一电子设备上的痛点，综合办公效率得到大幅度提升。

在一个实施例中，第一信息包括第一识别信息，向第一电子设备发送第一识别信息之前，还包括：

利用横向线条结构元素对目标图像依次进行腐蚀和膨胀，得到第二图像，第二图像中包括至少一个横向线条；

利用纵向线条结构元素对目标图像依次进行腐蚀和膨胀，得到第三图像，第三图像中包括至少一个纵向线条；

对第二图像与第三图像进行融合，得到融合图像；

通过融合图像中至少一个横向线条与至少一个纵向线条的交叉点，提取融合图像中的表格，并识别表格中的文字以得到文字信息，第一识别信息包括表格以及文字信息。

由于表格是由直线线条构成，在本实施例中，可通过采用不同的结构元素对图像进行腐蚀和碰撞，以获得包括不同方向上的线条图像，例如，利用横向线条结构元素对目标图像依次进行腐蚀和膨胀，可得到包括横向线条的第二图像，纵向线条结构元素对目标图像依次进行腐蚀和膨胀，可得到包括至少一个纵向线条的第三图像。然后对对第二图像与第三图像进行融合，得到融合图像，如此，得到的融合图像中包括至少一个横向线条与至少一个纵向线条，且相交的横向线条与纵向线条具有交叉点，即相交点，可将交叉点作为定位点，为后续表格提取提供基础。即后续可通过交叉点，对融合图像进行表格提取，表格中包括由线条围成的表格单元，目标图像的表格单元中可能存在文字，即可识别目标图像中表格的表格单元中的文字，得到文字信息。

在本实施例中，通过腐蚀和膨胀对图像进行形态学处理，以得到包括横向线条的第二图像和包括纵向线条的第三图像，并进行融合，得到融合图像，对融合图像进行表格提取，并是被表格中的文字，这样，可提高图像中表格和文字抄录到第一电子设备的文本编辑界面中，提高图像中的信息的抄录的效率。

在一个实施例中，向第一电子设备发送第一信息之前，还包括：

获取第四图像；

对第四图像进行二值化处理，得到二值图像；

检测二值图像的倾斜角度；

通过倾斜角度，对二值图像进行旋转矫正，得到目标图像。

第四图像为需要识别的图像，在本实施例中，需要对第四图像进行二值化处理，得到二值图像，然后检测二值图像的倾斜角度，例如，可以通过霍夫变换方法检测二值图像的倾斜角度，利用倾斜角度，对二值图像进行旋转矫正，得到目标图像，将目标图像发送给第一电子设备，以便于第一电子设备对目标图像进行识别，或后续对矫正后得到的目标图像进行识别，得到第一识别信息并发送给第一电子设备，以提高图像识别的准确性。

在一个实施例中，向第一电子设备发送第一识别信息之前，还包括：

通过离线光学字符识别方法对目标图像进行识别，以得到第一识别信息。

在本实施例中，第二电子设备中预先集成有光学字符识别方法，在接收第一指令后，可通过离线光学字符识别方法对目标图像进行识别，以得到第一识别信息，以便于第二电子设备进行图像识别，提高识别的效率。

下面以一个具体实施例对上述识别方法的过程加以具体说明。

需要说明的是，无线局域网：是利用无线通信技术在局部范围内建立的网络，以无线多址信道为传输介质，提供传统有线局域网(LAN)的功能，使网络的连接不再是单纯的缆线连接，能够随着计算机用户的发展而移动或变化，为通信的移动化、个性化和多媒体应用提供了可能。

文字识别算法：光学字符识别(Optical Character Recognition，OCR)是指电子设备(例如手机相机或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

表格识别算法：表格识别是基于聚焦拍照OCR的能力，将图像中的文本识别出来，并检测出表格的结构信息，上述识别信息中的表格，可理解为表格的结构信息，可包括单元格的位置信息以及单元格的占用行列数，另外识别每个单元格内的文字信息。

边缘计算：边缘计算是指在靠近设备(数据源)的位置，就近提供最近端服务，其网络服务响应可以更快，有着实时性、安全性与隐私保护等优势。在申请中，可理解为，第二电子设备是第一电子设备的近端设备，通过第二电子设备对目标图像进行识别计算，即边缘计算，得到第一识别信息，并发送给第一电子设备。

在一个实施例中，以文本编辑界面为办公应用软件(例如，word、专门开发的办公应用软件等)的文本编辑界面、第一电子设备为电脑、第二电子设备为手机为例进行说明。如图3所示，本实施例的识别方法的过程如下：

步骤301、用户在电脑中创建无线局域网，手机连接电脑创建的无线局域网。

步骤302、用户打开手机的相机，相机界面410上出现“已连接至电脑”的状态信息。

表示当前手机相机与电脑的数据传输通道已互通，如图4所示，其中包括拍照控件411。通过该连接方法，相比使用蓝牙或NFC近场通讯实现手机与电脑链接的方式，有着更高的稳定性，可达到“现拍现传”的毫秒级实时同步的效果，提高对图像中文字抄录的效率。

步骤303、用户在电脑端的办公应用软件的文本编辑界面510上选择“通过手机添加”的第一控件511，则在文本编辑界面510上显示文本编辑框512。

如图5所示。

步骤304、用户通过手机相机对现实办公环境中的纸质文档进行拍摄，点击拍摄控件411完成拍摄，可得到第四图像；

步骤305、手机后台以静默方式将第四图像中的文字进行识别并提取出来，发送至电脑。

如图6所示。

在本实施例中，手机对图像处理方式与文字识别方式，有助于保障例如合同文件、书本等类型纸质文件中的文字可被更完整地提取出来，降低纸张背景颜色对文字识别的影响、保障全篇文本检测的完整性、提升文字识别的准确率。满足对于即拍即得、现拍现传的目标追求。文字识别的具体步骤如下：

预处理：采用“自适应二值化技术”对第四图像进行预处理，例如，使用Opencv中自适应阈值化函数adaptive_threshold和scikit-image框架来调整第四图像，自适应阈值化函数即是对第四图像进行二值化处理，例如，取阈值为125，让第四图像中灰度值小于或等于125的变为0(黑色)，灰度值大于125的变为255(白色)，可实现高梯度区域保留白色像素，低梯度区域保留黑色像素，此时可获得一个高反差的样本图像，即二值图像。再采用霍夫变换方法将图片进行膨胀处理，将断续的文字连成一条直线，以便于直线检测，计算出倾斜角度，在倾斜角度的基础上，利用旋转算法将二值图像进行矫正至水平位置，裁剪后就可以得到目标图像。

文本检测：通过“行切分”与“字符切分”两个步骤。行切分，先找到每一行文字的起始点与终止点，以定位该行文字区域，从第一个非空白位置(即开始有字的位置)到出现第一个空白位置(即没有字的位置)，定义为行文字存在的区域。字符切分，对行文字进行纵向切分，便可得到单个文字图像，即子图像。

文字识别：提取每个子图像的文字特征信息，把每个子图像的文字特征信息与特征模板库进行模板粗分类和模板细匹配，识别出具体的文字，得到每个子图像的文字识别信息。

将识别出来的多个子图像的文字识别信息进行组合，便获得完整的文字信息，再通过手机与电脑的连接通道，将文本信息传输至电脑，在办公应用软件的文本编辑框中进行展示，如图6所示。

步骤306、用户在办公应用软件的文本编辑框中查看从手机侧传输过来的文字信息，确认无误后，点击确认控件513，在办公应用软件的文本编辑界面中显示识别信息。

点击确认控件513即可完成添加，如图7所示。

通过该实施例的方案，用户只需使用手机原生相机对纸质文件中文字内容进行拍摄，电脑即可获得拍摄的图像中的文字信息并直接添加至办公软件的文本编辑界面中，整个过程简单、高效且便捷。相比传统解决方案，同样是抄录约500字的内容，经测试，传统方案至少需要15～20分钟，本申请方案可只需2分钟。不仅解决了耗时长与错别字的问题，还解决了用户无法高效抄录纸质文件中文字信息至电脑办公软件上的痛点，综合办公效率得到大幅度提升。

在另一个实施例中，如图8所示，表格识别的具体步骤801-步骤806，其中，步骤801-804与上述步骤301-304的步骤一一对应，在此不再赘述。

步骤805：手机后台以静默方式将目标图像中的表格进行识别并提取出来，将表格以及表格中的文字信息发送至电脑；

如图9所示。

在本实施例中，手机对图像处理方式与表格识别方式，有助于保障例如合同文件、书本等类型纸质文件中的表格可被更完整地提取出来。可以达到降低因纸张扭曲导致的表格扭曲对表格识别的影响、就算一张图像上存在多个表格的情况，也能保障所有表格检测的完整性、提升表格识别与表格中文字的准确率。满足该发明对于即拍即得、现拍现传的目标追求。表格识别的具体步骤如下：

预处理：采用“自适应二值化技术”对第四图像进行预处理，例如，使用Opencv中自适应阈值化函数adaptive_threshold和scikit-image框架来调整第四图像，自适应阈值化函数即是对第四图像进行二值化处理，例如，取阈值为125，让第四图像中灰度值小于或等于125的变为0(黑色)，灰度值大于125的变为255(白色)，可实现高梯度区域保留白色像素，低梯度区域保留黑色像素，此时可获得一个高反差的样本图像，即二值图像。再采用霍夫变换方法将图片进行膨胀处理，将断续的文字连成一条直线，以便于直线检测，计算出倾斜角度，在倾斜角度的基础上，利用旋转算法将二值图像进行矫正至水平位置，裁剪后就可以得到目标图像。

表格识别：采用OpenCV里面的形态学函数，先腐蚀erode后膨胀dilate处理：

使用二值化后的目标图像来获取表格横纵的线，由于目标图像主要是A4尺寸纸张巨多，则其中int scale取值可以限定在20，Mat horizontal＝thresh.clone()；Matvertical＝thresh.clone()；int scale＝20；int horizontalsize＝horizontal.cols/scale。

为了获取横向的表格线条，设置腐蚀和膨胀操作区域为一个比较大的横向直条，即设置横向线条结构元素：Mat horizontalStructure＝getStructuringElement(MORPH_RECT,Size(horizontalsize,1))。

先腐蚀再膨胀得到第二图像：erode(horizontal,horizontal,horizontalStructure,Point(-1,-1))；dilate(horizontal,horizontal,horizontalStructure,Point(-1,-1))；imshow("horizontal",horizontal)。

竖直方向上线条获取的步骤同上，设置纵向线条结构元素，先腐蚀再膨胀，得到第三图像。

将获取到的第二图像和第三图像进行融合，得到融合图像，融合图像中横纵线条交叉，得到交叉点，可作为定位点。

表格判断：对于融合图像，通过findContours函数图像融合图像的轮廓，判断轮廓形状和大小是否为表格，若是，则结合approxPolyDP函数用来逼近区域成为一个形状，即提取表格，其中计算后获得的true值表示产生的区域为闭合区域，最后通过boundingRect函数为将这片区域转化为矩形，此矩形包含输入的形状。

表格生成：将识别出来的表格与表格中的文字信息通过手机与电脑的连接通道，将文本信息传输至电脑，在办公应用软件的文本编辑框512中进行将表格与文字信息进行组合，完成表格添加，如图9所示。

步骤806、用户在办公应用软件的的文本编辑框中查看生成的表格以及表格中的文字信息，确认无误后，点击确认控件513，在文本编辑界面510中显示表格与文本信息。

如图10所示。

通过本申请实施例的识别方法，在手机连接至电脑创建的无线局域网的情况下，手机相机负责图像采集，获得第四图像，并对其进行预处理后得到目标图像，并将目标图像送往手机系统的光学字符识别算法，以边缘计算的方式进行运算处理，对目标图像进行文字检测与文字识别处理，或对目标图像进行表格检测与识别，提取出表格。再通过手机与电脑的连接通道将文字信息或表格传输至电脑，输入至电脑的办公应用软件的文本编辑界面，实现对图像中的信息的抄录，提高信息抄录效率。另外，本实施例的方法不仅可应用到拍文字传文字方式的抄录需求，还能将应用场景扩展至取手机相册照片提取文字与表格、手机PDF文件提取文字与表格等，不仅操作简单，还能获得高准确率、高完整性的目标信息。

如图11所示，提供一种实施例的显示装置1100，应用于第一电子设备，装置1100包括：

第一接收模块1101，用于接收对文本编辑界面中第一控件的第一输入；

第一发送模块1102，用于响应于第一输入，向第二电子设备发送第一指令；

第二接收模块1103，用于接收第二电子设备基于第一指令发送的第一信息；

第一显示模块1104，用于在文本编辑界面中显示目标信息；

其中，第一信息包括目标图像或对目标图像进行识别得到的第一识别信息，目标信息为第一信息或第一电子设备对目标图像进行识别得到的第二识别信息。

在一个实施例中，装置1100还包括：

第二显示模块，用于第一接收模块1101接收对文本编辑界面中第一控件的第一输入之前，在文本编辑界面显示用于指示通过第二电子设备添加信息的目标选项；

接收对文本编辑界面中第一控件的第一输入，包括：

接收针对目标选项的第一输入。

在一个实施例中，装置1100还包括：

第三显示模块，用于第一接收模块接收对文本编辑界面中第一控件的第一输入之后，在文本编辑界面中显示文本编辑框；

第一显示模块1104，包括：

第一显示子模块，用于在文本编辑框中显示目标信息；

第四接收模块，用于接收对文本编辑框中第二控件的第二输入；

第二显示子模块，用于响应于第二输入，关闭文本编辑框的显示，并在文本编辑界面中显示目标信息。

在一个实施例中，第一信息包括目标图像；

显示装置1100还包括：识别模块，用于第一显示模块1104执行在文本编辑界面中显示目标信息之前，对目标图像进行识别，得到第二识别信息。

在一个实施例中，装置1100还包括：

连接模块，用于第一发送模块1102向第二电子设备发送第一指令之前，创建无线局域网，并通过无线局域网与第二电子设备建立连接。

本申请实施例中的识别装置1100可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，本申请实施例不作具体限定。

本申请实施例中的识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的识别装置能够实现上述应用于第一电子设备的识别方法实施例实现的各个过程，例如，能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

如图12所示，提供一种实施例的信息发送装置1200，应用于第二电子设备，装置1200包括：

第三接收模块1201，用于接收第一电子设备发送的第一指令；

第二发送模块1202，用于响应于第一指令，向第一电子设备发送第一信息，第一信息包括目标图像或对目标图像进行识别得到的第一识别信息，目标图像用于显示或用于第一电子设备第一电子设备进行识别得到目标图像的第二识别信息并在第一电子设备的文本编辑界面显示第二识别信息，第一识别信息用于在第一电子设备的文本编辑界面显示。

在一个实施例中，第一信息包括第一识别信息，信息发送装置1200，还包括：

第一切分模块，用于对目标图像进行行切分，得到多个第一图像；

第二切分模块，用于对多个第一图像进行字符切分，得到多个子图像；

提取模块，用于提取多个子图像中每个子图像的文字特征信息；

文字识别模块，用于基于多个子图像的文字特征信息，对多个子图像进行文字识别，以得到文字信息，第一识别信息包括文字信息。

在一个实施例中，第一信息包括第一识别信息，信息发送装置1200，还包括：

第一处理模块，用于利用横向线条结构元素对目标图像依次进行腐蚀和膨胀，得到第二图像，第二图像中包括至少一个横向线条；

第二处理模块，用于利用纵向线条结构元素对目标图像依次进行腐蚀和膨胀，得到第三图像，第三图像中包括至少一个纵向线条；

融合模块，用于对第二图像与第三图像进行融合，得到融合图像；

识别子模块，用于通过融合图像中至少一个横向线条与至少一个纵向线条的交叉点，提取融合图像中的表格，并识别表格中的文字以得到文字信息，第一识别信息包括表格以及文字信息。

在一个实施例中，信息发送装置1200，还包括：

图像获取模块，用于获取第四图像；

二值化处理模块，用于对第四图像进行二值化处理，得到二值图像；

角度检测模块，用于检测二值图像的倾斜角度；

矫正模块，用于通过倾斜角度，对二值图像进行旋转矫正，得到目标图像。

在一个实施例中，信息发送装置1200，还包括：

识别模块，用于通过离线光学字符识别方法对目标图像进行识别，以得到第一识别信息。

本申请实施例中的识别装置1200可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是非移动电子设备。示例性的，非移动电子设备可以为网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的识别装置能够实现上述应用于第二电子设备的识别方法实施例实现的各个过程，例如，能够实现图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图13所示，本申请实施例还提供一种电子设备1300，包括处理器1301，存储器1302，存储在存储器1302上并可在处理器1301上运行的程序或指令，该程序或指令被处理器1301执行时实现上述用于第一电子设备中的显示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

可选地，如图14所示，本申请实施例还提供一种电子设备1400，包括处理器1401，存储器1402，存储在存储器1402上并可在处理器1401上运行的程序或指令，该程序或指令被处理器1401执行时实现上述用于第二电子设备中的信息发送方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图15为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1500包括但不限于：射频单元1501、网络模块1502、音频输出单元1503、输入单元1504、传感器1505、显示单元1506、用户输入单元1507、接口单元1508、存储器1509、以及处理器1510等部件。

本领域技术人员可以理解，电子设备1500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图15中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，用户输入单元1507，用于接收对文本编辑界面中第一控件的第一输入；

射频单元1501，用于响应于第一输入，向第二电子设备发送第一指令；以及

接收第二电子设备基于第一指令发送的第一信息；

显示单元1506，还用于在文本编辑界面中输入目标信息；

其中，第一信息包括目标图像或对目标图像进行识别得到的第一识别信息，目标信息为第一信息或第一电子设备对目标图像进行识别得到的第二识别信息。

在一个实施例中，显示单元1506，用于用户输入单元1507接收对文本编辑界面中第一控件的第一输入之前，在文本编辑界面显示用于指示通过第二电子设备添加信息的目标选项；

接收对文本编辑界面中第一控件的第一输入，包括：

接收针对目标选项的第一输入。

在一个实施例中，显示单元1506，还用于用户输入单元1507接收对文本编辑界面中第一控件的第一输入之后，在文本编辑界面中显示文本编辑框；

显示单元1506，还用于在文本编辑框中显示目标信息；

用户输入单元1507，还用于接收对文本编辑框中第二控件的第二输入；

显示单元1506，还用于响应于第二输入，关闭文本编辑框的显示，并在文本编辑界面中显示目标信息。

在一个实施例中，第一信息包括目标图像；

处理器1510，用于显示单元1506执行在文本编辑界面中显示目标信息之前，对目标图像进行识别，得到第二识别信息。

在一个实施例中，网络模块1502，用于用户输入单元1507向第二电子设备发送第一指令之前，创建无线局域网，并通过无线局域网与第二电子设备建立连接。

或者，射频单元1501，用于接收第一电子设备发送的第一指令；以及

响应于第一指令，向第一电子设备发送第一信息，第一信息包括目标图像或对目标图像进行识别得到的第一识别信息，目标图像用于显示或用于第一电子设备第一电子设备进行识别得到目标图像的第二识别信息并在第一电子设备的文本编辑界面显示第二识别信息，第一识别信息用于在第一电子设备的文本编辑界面显示。

在一个实施例中，第一信息包括第一识别信息，处理器1510，用于：

对目标图像进行行切分，得到多个第一图像；

对多个第一图像进行字符切分，得到多个子图像；

提取多个子图像中每个子图像的文字特征信息；

基于多个子图像的文字特征信息，对多个子图像进行文字识别，以得到文字信息，第一识别信息包括文字信息。

在一个实施例中，第一信息包括第一识别信息，处理器1510，用于：

利用横向线条结构元素对目标图像依次进行腐蚀和膨胀，得到第二图像，第二图像中包括至少一个横向线条；

利用纵向线条结构元素对目标图像依次进行腐蚀和膨胀，得到第三图像，第三图像中包括至少一个纵向线条；

对第二图像与第三图像进行融合，得到融合图像；

通过融合图像中至少一个横向线条与至少一个纵向线条的交叉点，提取融合图像中的表格，并识别表格中的文字以得到文字信息，第一识别信息包括表格以及文字信息。

在一个实施例中，处理器1510还用于：

获取第四图像；

对第四图像进行二值化处理，得到二值图像；

检测二值图像的倾斜角度；

通过倾斜角度，对二值图像进行旋转矫正，得到目标图像。

在一个实施例中，处理器1510还用于：通过离线光学字符识别方法对目标图像进行识别，以得到第一识别信息。

应理解的是，本申请实施例中，输入单元1504可以包括图形处理器(GraphicsProcessing Unit，GPU)15041和麦克风15042，图形处理器15041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1506可包括显示面板15061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板15061。用户输入单元1507包括触控面板15071以及其他输入设备15072。触控面板15071，也称为触摸屏。触控面板15071可包括触摸检测装置和触摸控制器两个部分。其他输入设备15072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1510中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (18)

1.一种显示方法，其特征在于，由第一电子设备执行，所述方法包括：

接收对文本编辑界面中第一控件的第一输入；

响应于所述第一输入，向第二电子设备发送第一指令；

接收所述第二电子设备基于所述第一指令发送的第一信息；

在所述文本编辑界面中显示目标信息；

其中，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标信息为所述第一信息或所述第一电子设备对所述目标图像进行识别得到的第二识别信息。

2.根据权利要求1所述的方法，其特征在于，所述接收对文本编辑界面中第一控件的第一输入之前，还包括：

在所述文本编辑界面显示用于指示通过所述第二电子设备添加信息的目标选项；

所述接收对文本编辑界面中第一控件的第一输入，包括：

接收针对所述目标选项的第一输入。

3.根据权利要求1所述的方法，其特征在于，所述接收对文本编辑界面中第一控件的第一输入之后，还包括：在所述文本编辑界面中显示文本编辑框；

所述在所述文本编辑界面中显示所述目标信息，包括：

在所述文本编辑框中显示所述目标信息；

接收对所述文本编辑框中第二控件的第二输入；

响应于所述第二输入，关闭所述文本编辑框的显示，并在所述文本编辑界面中显示所述目标信息。

4.根据权利要求1所述的方法，其特征在于，所述第一信息包括所述目标图像；

所述在所述文本编辑界面中显示目标信息之前，还包括：

对所述目标图像进行识别，得到所述第二识别信息。

5.一种信息发送方法，由第二电子设备执行，所述方法包括：

接收第一电子设备发送的第一指令；

响应于所述第一指令，向所述第一电子设备发送第一信息，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标图像用于所述第一电子设备显示或用于所述第一电子设备进行识别得到所述目标图像的第二识别信息并在所述第一电子设备的文本编辑界面显示所述第二识别信息，所述第一识别信息用于在所述第一电子设备的文本编辑界面显示。

6.根据权利要求5所述的方法，其特征在于，所述第一信息包括所述第一识别信息，所述向所述第一电子设备发送所述第一识别信息之前，还包括：

对所述目标图像进行行切分，得到多个第一图像；

对所述多个第一图像进行字符切分，得到多个子图像；

提取所述多个子图像中每个子图像的文字特征信息；

基于所述多个子图像的文字特征信息，对所述多个子图像进行文字识别，以得到所述文字信息，所述第一识别信息包括所述文字信息。

7.根据权利要求5所述的方法，其特征在于，所述第一信息包括所述第一识别信息，所述向所述第一电子设备发送所述第一识别信息之前，还包括：

利用横向线条结构元素对所述目标图像依次进行腐蚀和膨胀，得到第二图像，所述第二图像中包括至少一个横向线条；

利用纵向线条结构元素对所述目标图像依次进行腐蚀和膨胀，得到第三图像，所述第三图像中包括至少一个纵向线条；

对所述第二图像与所述第三图像进行融合，得到融合图像；

通过所述融合图像中所述至少一个横向线条与所述至少一个纵向线条的交叉点，提取所述融合图像中的所述表格，并识别所述表格中的文字以得到所述文字信息，所述第一识别信息包括所述表格以及所述文字信息。

8.根据权利要求5所述的方法，其特征在于，所述向所述第一电子设备发送第一信息之前，还包括：

获取第四图像；

对所述第四图像进行二值化处理，得到二值图像；

检测所述二值图像的倾斜角度；

通过所述倾斜角度，对所述二值图像进行旋转矫正，得到所述目标图像。

9.一种显示装置，所述装置包括：

第一接收模块，用于接收对文本编辑界面中第一控件的第一输入；

第一发送模块，用于响应于所述第一输入，向第二电子设备发送第一指令；

第二接收模块，用于接收所述第二电子设备基于所述第一指令发送的第一信息；

第一显示模块，用于在所述文本编辑界面中显示目标信息；

其中，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标信息为所述第一信息或第一电子设备对所述目标图像进行识别得到的第二识别信息。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第二显示模块，用于所述第一接收模块接收对文本编辑界面中第一控件的第一输入之前，在文本编辑界面显示用于指示通过第二电子设备添加信息的目标选项；

所述接收对文本编辑界面中第一控件的第一输入，包括：

接收针对所述目标选项的第一输入。

11.根据权利要求9所述的装置，其特征在于，所述装置还包括：

第三显示模块，用于所述第一接收模块接收对文本编辑界面中第一控件的第一输入之后，在所述文本编辑界面中显示文本编辑框；

所述第一显示模块，包括：

第一显示子模块，用于在所述文本编辑框中显示所述目标信息；

第四接收模块，用于接收对所述文本编辑框中第二控件的第二输入；

第二显示子模块，用于响应于所述第二输入，关闭所述文本编辑框的显示，并在所述文本编辑界面中显示所述目标信息。

12.根据权利要求9所述的装置，其特征在于，第一信息包括目标图像；

所述装置还包括：

识别模块，用于所述第一显示模块执行在文本编辑界面中显示目标信息之前，对所述目标图像进行识别，得到所述第二识别信息。

13.一种信息发送装置，所述装置包括：

第三接收模块，用于接收第一电子设备发送的第一指令；

第二发送模块，用于响应于所述第一指令，向所述第一电子设备发送第一信息，所述第一信息包括目标图像或对所述目标图像进行识别得到的第一识别信息，所述目标图像用于显示或用于所述第一电子设备所述第一电子设备进行识别得到所述目标图像的第二识别信息并在所述第一电子设备的文本编辑界面显示所述第二识别信息，所述第一识别信息用于在所述第一电子设备的文本编辑界面显示。

14.根据权利要求13所述的装置，其特征在于，所述第一信息包括第一识别信息，所述装置还包括：

第一切分模块，用于对所述目标图像进行行切分，得到多个第一图像；

第二切分模块，用于对所述多个第一图像进行字符切分，得到多个子图像；

提取模块，用于提取所述多个子图像中每个子图像的文字特征信息；

文字识别模块，用于基于所述多个子图像的文字特征信息，对所述多个子图像进行文字识别，以得到文字信息，所述第一识别信息包括所述文字信息。

15.根据权利要求13所述的装置，其特征在于，所述第一信息包括所述第一识别信息，所述装置还包括：

第一处理模块，用于利用横向线条结构元素对所述目标图像依次进行腐蚀和膨胀，得到第二图像，所述第二图像中包括至少一个横向线条；

第二处理模块，用于利用纵向线条结构元素对所述目标图像依次进行腐蚀和膨胀，得到第三图像，所述第三图像中包括至少一个纵向线条；

融合模块，用于对所述第二图像与所述第三图像进行融合，得到融合图像；

识别子模块，用于通过所述融合图像中至少一个横向线条与至少一个纵向线条的交叉点，提取所述融合图像中的表格，并识别所述表格中的文字以得到文字信息，所述第一识别信息包括所述表格以及所述文字信息。

16.根据权利要求13所述的装置，其特征在于，所述装置还包括：

图像获取模块，用于获取第四图像；

二值化处理模块，用于对所述第四图像进行二值化处理，得到二值图像；

角度检测模块，用于检测所述二值图像的倾斜角度；

矫正模块，用于通过所述倾斜角度，对所述二值图像进行旋转矫正，得到所述目标图像。

17.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的显示方法的步骤，或者实现如权利要求5-8任一项所述的信息发送方法的步骤。

18.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的显示方法的步骤，或者实现如权利要求5-8任一项所述的信息发送方法的步骤。

Images