CN111338593B - 投屏展示信息的方法、阅读终端及存储介质 - Google Patents

Abstract

本发明涉及一种投屏展示信息的方法、阅读终端及存储介质，其中发送投屏信息的方法包括：响应于投屏操作指令，实时获取阅读终端显示的背景图像信息；响应于手写笔记操作，实时获取阅读终端显示的手写图像信息；判断背景图像信息或手写图像信息相比于上一帧是否发生变化；如发生变化，则发送所述背景图像信息或手写图像信息。根据本发明的技术方案，可以有效减少投屏信息传输过程中的传输数据量，避免因数据传输延迟对对投屏同步效果造成影响。

Description

投屏展示信息的方法、阅读终端及存储介质

技术领域

本发明涉及信息技术领域。更具体地，本发明涉及一种投屏展示信息的方法、阅读终端及存储介质。

背景技术

目前的阅读终端多支持投屏功能，用户在阅读终端上操作(例如进行手写操作等)，投屏接收设备(例如电视或电脑，也可以是另一个阅读终端)可以实时接收投屏信息并同步展示。通常阅读终端发送投屏信息的方法是将当前显示的页面(例如阅读页)图层和当前帧显示的手写图层进行叠加合并，以获得当前帧的合并图像，并将该合并图像发送至投屏接收设备。由于图像格式的数据量较大，因此阅读终端合并图像以及发送合并图像的方法存在占用过多频宽的问题，易造成数据传输延时从而影响投屏信息同步播放的效果。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本发明的方案提供了一种投屏展示信息的方法、阅读终端及存储介质。

根据本发明的第一方面，提供一种自阅读终端发送投屏信息的方法，包括：响应于投屏操作指令，实时获取阅读终端显示的背景图像信息；响应于手写笔记操作，实时获取阅读终端显示的手写图像信息；判断所述背景图像信息相比于上一帧的背景图像信息是否发生变化；判断所述手写图像信息相比于上一帧的手写图像信息是否发生变化；如所述背景图像信息发生变化，则发送所述背景图像信息；以及如所述手写图像信息发生变化，则发送所述手写图像信息。

根据本发明的第二方面，提供一种展示投屏信息的方法，包括：接收投屏信息；判断所述投屏信息为背景图像信息或手写图像信息；如是所述手写图像信息，合成所述手写图像信息和上一帧的背景图像信息；如是所述背景图像信息，合成所述背景图像信息和上一帧的手写图像信息；以及显示合成后的图像信息。

根据本发明的第三方面，提供一种阅读终端投屏展示信息的方法，包括：从所述阅读终端执行如本发明的第一方面中所述的方法以向投屏接收端发送投屏信息；以及从所述投屏接收端执行如本发明的第二方面中所述的方法以对接收到的所述投屏信息进行呈现；其中，所述投屏信息包括背景图像信息和手写图像信息中的至少一种。

根据本发明的第四方面，提供一种阅读终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述各方面所述的方法。

根据本发明的第五方面，提供一种阅读终端，包括：触控屏、处理器及通信接口。触控屏用以响应于手写笔记操作，实时获取手写图像信息。处理器用以执行下列操作：响应于投屏操作指令，实时获取当前显示的背景图像信息；判断所述背景图像信息相比于上一帧的背景图像信息是否发生变化；以及判断所述手写图像信息相比于上一帧的手写图像信息是否发生变化。通信接口用以执行下列操作：如所述背景图像信息发生变化，则发送所述背景图像信息；以及如所述手写图像信息发生变化，则发送所述手写图像信息。

根据本发明的第六方面，提供一种展示投屏信息的显示装置，包括：通信接口、存储器、处理器及显示器。通信接口用以接收投屏信息；存储器用以存储上一帧的背景图像信息和和上一帧的手写图像信息；处理器用以执行以下操作：判断所述投屏信息为背景图像信息或手写图像信息；如是所述手写图像信息，合成所述手写图像信息和所述上一帧的背景图像信息；以及如是所述背景图像信息，合成所述背景图像信息和所述上一帧的手写图像信息。显示器用以显示合成后的图像信息。

根据本发明的第七方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或者多个处理器执行实现如上述各方面所述的方法。

通过上述对本发明的方案的描述，本领域技术人员可以理解本发明自阅读终端发送投屏信息的方法，能对当前帧的背景图像信息和手写图像信息是否发生变化分别判断，并根据判断结果决定发送背景图像信息或手写图像信息，有效减少了每次传输的数据量，从而避免因数据延迟对投屏同步效果的影响。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是总体上示出根据本发明的自阅读终端发送投屏信息的方法流程图；

图2是示出根据本发明的展示投屏信息的方法流程图；

图3是示出根据本发明实施例的手写图像信息和背景图像信息叠加过程的示意图；

图4是示出根据本发明实施例的合成背景图像信息的示意图；

图5是示出根据本发明实施例的一种阅读终端的结构示意图；以及

图6是示出根据本发明实施例的另一种阅读终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

本发明针对现有技术的不足，提供了一种全新的可实现的解决方案。特别地，本发明的方法通过阅读终端对当前帧的背景图像信息和手写图像信息是否发生变化分别判断，并根据判断结果分别发送背景图像信息或手写图像信息，以实现减少图像数据传输量的目的。通过下面的描述，本领域技术人员可以理解的是，根据本发明的方法还能通过对传输的背景图像信息或手写图像信息的多种处理方式，进一步减少图像格式数据的传输量，提高传输速率，避免延迟。

下面结合附图来详细描述本发明的具体实施方式。

本发明实施例是自阅读终端发送投屏信息的方法，图1是示出此实施例的方法100。

在步骤101中，响应于投屏操作指令，实时获取阅读终端显示的背景图像信息，此处的背景图像信息可以是阅读页图像信息，包括单图层图像信息或者多图层图像信息，而实时获取阅读终端显示的背景图像信息是实时获取当前帧的背景图像信息。

在步骤102中，响应于手写笔记操作，实时获取阅读终端显示的手写图像信息，此处的手写图像信息可以是手写图层显示的图像信息，包括一种或多种手写笔记的图像信息，手写图像信息包括单图层的手写图像信息或者多图层的手写图像信息。实时获取阅读终端显示的手写图像信息是实时获取当前帧的手写图像信息。

在步骤103中，判断所述背景图像信息相比于上一帧的背景图像信息是否发生变化。更详细来说，此步骤是判断当前帧的背景图像信息相比于上一帧的背景图像信息是否发生变化。如果发生变化，表示需要将当前帧的背景图像信息发送至远端的显示装置，故接着执行步骤104。如果当前帧的背景图像信息未发生变化，则无需发送背景图像信息，直接执行步骤105。

在步骤104中，发送所述背景图像信息至显示装置。当背景图像信息是多图层图像信息时，例如用于显示阅读页的阅读区域图层、用于显示阅读页边框的图层、以及用于显示阅读页悬浮球的图层等，发送所述背景图像即是将所述多图层图像信息合并后发送。

在步骤105中，判断所述手写图像信息相比于上一帧的手写图像信息是否发生变化。如发生变化，则需要发送所述手写图像信息，接着执行106。如果当前帧的手写图像信息未发生变化，则无需发送当前帧的手写图像信息，直接执行步骤107，结束方法100。

在步骤106中，发送所述手写图像信息。对于阅读终端或显示装置来说，手写图像是一连串的手写点连接而成的，因此所述手写图像信息即为手写轨迹的报点数据，所述报点数据是手写点在页面中的坐标。在执行步骤106时，等同于发送报点数据。相对于图像格式数据，报点数据是字符串数据，能够大幅减少手写图像信息的数据传输量。

进一步地，发送报点数据可以仅发送当前帧的报点数据，也就是发送当前帧手写点的坐标。由于前一帧之前的所有报点数据已在先前传送过了，无需将前帧累计的所有报点数据重复传输，因此可以进一步降低数据传输量。

如果当前帧的背景图像信息和当前帧的手写图像信息均发生变化，则此实施例会发送背景图像信息和手写图像信息。如果当前帧的背景图像信息和当前帧的手写图像信息均未发生变化，则此实施例均不发送当前帧的图像信息。

通过上面的描述，本领域技术人员应该理解的是，当用户在阅读终端上进行笔记操作时，大多数情况下阅读终端上显示的背景图像都没有发生变化，例如用户在阅读页上画了一条横线，这个过程可能涉及25帧图像，在这25帧图像里，只有笔记图层的每一帧发生变化，而背景图像并没有。在这种情况下，方法100无需发送背景图像信息，仅需要发送手写图像信息，反之亦然。与现有技术发送合并图像相比，能够显著地减少图像数据传输量。

虽然当背景图像信息和手写图像信息同时发生改变时，方法100需要发送背景图像信息和手写图像信息，但是从整体阅读电子书的情景看来，这样的情况并不多，此实施例仍然能够大幅降低总体数据传输量。

在此实施例中，手写图像的图层除了手写轨迹外，其余部分可以被设置为透明状态，从而使该图层上仅显示手写笔记线条而不含其它内容。由于手写线条大多数情况下不会太过复杂，在相同图像尺寸前提下，手写图像的数据量会远小于合并的图像。

所述背景图像信息可以包括阅读内容信息、图层标识及其叠加顺序信息中的至少一种。阅读终端通常具有多种背景图像样式，例如各种阅读页的边框、图标、背景颜色或图案等，通过在不同图层上设置不同背景图像样式，以便于产生个性化和定制化的阅读体验。在这种情况下，在执行步骤104之前，阅读终端可以向投屏接收端的显示装置发送全部背景图像的样式信息及其对应的图层标识，让显示装置预先存有全部背景图像的样式信息及其对应的图层标识。当方法100执行步骤104时，便可通过发送图层标识代替发送图像格式的样式信息，从而减少投屏信息传输过程中的数据传输量。

另一方面，在阅读内容信息为文字内容的情况下，可以仅发送文字数据而非图片格式数据，因此阅读内容信息的数据传输量会降低。当背景图像信息中的阅读内容信息发生变化时，方法100可以同时发送阅读内容信息。由于不同图层的叠加顺序不同时，会产生不同的背景效果，因此方法100须确保投屏接收端显示的背景图像与阅读终端显示的背景图像相同。如果阅读内容信息未发生变化而背景图像样式发生变化时，在步骤104中可以仅发送图层标识及其叠加顺序信息。如果阅读内容信息发生变化而背景图像样式未发生变化时，在步骤104中就仅发送阅读内容信息。

另一方面，方法100可以预先向显示装置发送图层的叠加顺序，例如预先发送图层标识的顺序，则在步骤104中可以仅发送图层标识和阅读内容信息中的至少一种，无需发送叠加顺序信息。

此实施例的阅读终端是在安卓的环境中运行的，安卓支持RGBA图像信息，即支持显示彩色图像信息，但阅读终端大都仅能显示灰度图像。灰度图像是每个像素只有一个采样颜色的图像，通常为从最暗黑色到最亮的白色的灰度，灰度图像在黑色与白色之间还有许多级的颜色深度，一般灰度介于0至255间。方法100可以通过多种算法将RGBA图像信息转换成灰度图像信息，例如浮点算法、整数方法、移位方法、平均值法等。发送背景图像信息或手写图像信息即是发送灰度图像信息，而不是RGBA图像信息，以降低数据传输量。

在另一种情况下，方法100进一步将灰度图像信息转换成二值化信息。所谓二值化指的是仅有黑白两色，并无灰度。发送背景图像信息或手写图像信息即是发送二值化图像信息，图像数据量更低。

以上描述是示例性的而非限制性的，本领域技术人员可以根据需要进行调整，仍然落入本发明的保护范围内。例如步骤101和步骤102可以同步执行，也可以根据需要互换执行顺序。步骤103和步骤105可以同步执行，也可以根据需要调整执行顺序。

通过上面的描述，本领域技术人员可以理解根据本发明的方法，显著地降低投屏信息传输过程中的数据量，有效避免数据延迟对投屏同步效果的影响。

本发明的另一个实施例为一种阅读终端，其包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如图1所述的方法的操作。

为了便于理解本发明的投屏信息的数据传输和数据处理的技术方案，下面将通过实施例对投屏接收端(即显示装置)接收、处理、展示图像信息的方法进行示例性的描述。本发明的显示装置可以是任何具有显示屏且能支持投屏功能的装置，例如电视、平板电脑、投影设备或是另一台阅读终端。

图2是示出根据本发明实施例显示装置端的展示投屏信息的流程图。

在步骤201中，接收投屏信息，并将投屏信息存储于存储器中。

在步骤202中，判断所述投屏信息是否同时包括当前帧的手写图像信息和当前帧的背景图像信息。

如投屏信息同时包括当前帧的手写图像信息和当前帧的背景图像信息，则执行步骤203，合成当前帧的手写图像信息和当前帧的背景图像信息。

如投屏信息并未同时包括当前帧的手写图像信息和当前帧的背景图像信息，则执行步骤204，判断所述投屏信息为背景图像信息或手写图像信息。

如投屏信息为手写图像信息，则执行步骤205，合成手写图像信息和上一帧的背景图像信息。更详细来说，当方法200判断出投屏信息是手写图像信息且未收到当前帧的背景图像信息时，表示当前帧的背景图像信息与上一帧的背景图像信息相同，方法200从存储器中获取上一帧的背景图像信息，同时将接收到的手写图像信息存储至存储器中，以覆盖上一帧的手写图像信息，并合成手写图像信息和上一帧的背景图像信息。

如投屏信息为背景图像信息，则执行步骤206，合成背景图像信息和上一帧的手写图像信息。更详细来说，当方法200判断出投屏信息是背景图像信息且未收到当前帧的手写图像信息时，表示当前帧的手写图像信息与上一帧的手写图像信息相同，方法200从存储器中获取上一帧的手写图像信息，并将接收到的背景图像信息存储至存储器中，以覆盖上一帧的背景图像信息，接着合成背景图像信息和上一帧的手写图像信息。

在步骤207中，显示合成后的图像信息。

当方法200接收到的手写图像信息为当前显示的手写笔记的报点数据时，在步骤205中，方法200根据所述报点数据绘制手写笔记图像，并将背景图像信息与绘制后的手写图像信息进行合成。更详细来说，方法200以上一帧手写图像作为初始图像，根据报点数据添加绘制当前帧新增的笔记点，再将背景图像信息与积累绘制后的手写图像信息进行合成。

在一种情况下，背景图像信息可能是灰度图像信息或是二值化图像信息。如果是灰度图像信息，方法200可以在步骤203或步骤206中直接基于灰度图像信息合成图像，或是将灰度的背景图像信息进行还原处理，还原为彩色背景图像信息再和手写图像信息进行合成。灰度图像通过灰度分割法、灰度级-彩色变换法、滤波法等进行部分颜色还原，以提升用户的视觉体验。如果是二值化图像信息，由于信息有限，难以还原成灰度图像信息或是彩色信息，因此方法200在接收到二值化处理后的背景图像信息时，在步骤203和步骤206中直接基于二值化图像信息合成图像。

以上结合图2对本发明的展示投屏信息的方法进行了示例性的描述，本领域技术人员应该理解的是，图2中所示以及上述描述是示例性的而非限制性的，例如步骤205和步骤206不限于特定的先后顺序，可以根据需要进行调整，或同时执行。实施例中存储接收到的投屏信息不限于存储在显示装置的存储器中，可以根据需要存储于例如服务器、远端存储器等。

本发明的另一个实施例为一种阅读终端，其包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如图2所述的方法的操作。

本发明可以根据需要安排背景图像信息和手写图像信息的叠加顺序，以下将结合图3对该实施例进行描述。

图3是示出根据本发明另一实施例的手写图像信息和背景图像信息叠加过程的示意图。如图3中所示，显示装置接收到如图中所示的手写图像信息301和背景图像信息302，手写图像信息301对应的图层被设置为展示手写轨迹，其余部分全为透明状态，根据本实施例的技术方案，手写图像信息301会叠加于背景图像信息302上，以形成合成后的图像信息303。由于手写图像信息301对应的图层被设置为透明，因此合成后的图像信息303不会影响背景图像信息302的呈现。

手写图像信息301不限于图示中的单图层手写图像信息，在实际操作中可以是多图层的手写图像信息叠加在一块。背景图像信息302同样不限于图示中的单图层图像信息，在一种情况下，背景图像信息可以包括多图层图像信息，显示装置接收到多图层的背景图像信息，将这些图层与手写图像信息合并显示。

以下将结合图2及图4，对本发明接收到的背景图像信息为多图层图像信息的实施方式进行说明。

此实施例在展示投屏信息的方法上，特别是在图2的流程开始前，显示装置自阅读终端处接收到全部背景图像的样式信息及其对应的图层标识，如此一来阅读终端在发送背景图像信息时能减少数据量。

在步骤201中，如图4所示，显示装置接收了背景图像的图层标识(图层a及图层b)、阅读内容信息、及其叠加顺序信息，其中叠加顺序1、2、3表示由上至下的叠加顺序，也就是图层b在上、阅读内容在中、图层a在下的顺序。其标识和信息皆存储于存储器中。

在步骤203或206中，将接收到的背景图像信息中的图层标识与预先接收到的全部背景图像的样式信息进行查找或匹配，以确认图层a和图层b对应的背景图像样式信息，即如图4中的图层a对应的灰色背景图像，以及图层b对应的网点背景图像。显示装置按照接收到的叠加顺序进行排布，将图层b放于最上层(即叠加顺序1)，将阅读内容放于中间层(即叠加顺序2)，将图层a放于最下层(即叠加顺序3)，以形成完整的背景图像信息401。

最后，显示装置将叠加后的背景图像信息401与接收到的手写图像信息或者上一帧的手写图像信息进行合成，并在步骤207中显示。

本领域技术人员应该理解的是，图4仅是示例性的而非限制性的，例如图层a、图层b和阅读内容的叠加顺序不限于此实施例所述的叠加顺序，可以根据需要进行调整。显示装置接收到的图层标识数量不限于两个，可以更多或更少。图层a和图层b对应的背景图像样式不限于图中的样式，亦可以为其他样式。

根据本实施例的技术方案，阅读终端仅需要发送数据量较少的图层标识、阅读内容、叠加顺序等数据，无需发送完整的图像格式数据，以大幅度减少数据传输量。对于显示装置来说，仅需要进行相关匹配以及合成，操作简单，能够提高处理效率。

本发明另一实施例为一种包括阅读终端发送投屏信息与显示装置接收并合成投屏信息的方法，也就是结合图1及图2的实施例。本领域技术人员在参考图1及图2的实施例的说明后，可以理解此实施例如何通过对投屏信息发送端和接收端的分别设置，从而大幅度减少投屏传输过程中的数据传输量的技术说明，故不再赘述。

图5是示出根据本发明实施例的一种阅读终端的结构示意图，如图5所示，阅读终端500包括：处理器501、通信接口502、电源组件503、显示器504、音频组件505、存储器506以及按键接口507。

处理器501可以是中央处理器CPU或者是特定集成电路ASIC，或者是被配置成实施本发明实施例的集成电路。不仅如此，阅读终端500可以包括多个处理器，其是由同一类型的处理器或是不同类型的处理器所组成，如多个CPU、多个ASIC、或是一个CPU加上一个ASIC。

通信接口502被配置为阅读终端500和其他设备之间以无线方式通信的模块，包括蓝牙512、WiFi天线522、4G/5G天线通讯532等。在其他一个实施例中，通信接口502还包括近距离无线通信(NFC)模块，以促进短程通信。

电源组件503为阅读终端500的各种组件提供电力。电源组件503可以包括外接电源接口513及充电接口电路523。

显示器504是指阅读终端500和用户之间的一个互动显示接口，包括电磁膜514、电容屏524和墨水屏534等。

电磁膜514用以接收电磁笔的信号，其靠电磁笔操作过程中和面板下的感应器产生磁场变化来判别，电磁笔为讯号发射端，电磁膜514为讯号接收端，当电磁笔接近感应时磁通量发生变化，由运算定义位置点。

电容屏524用以接收来自用户手指输入的信号，其包括一个或多个触摸传感器以感测触摸、滑动和触摸屏面板上的手势。所述触摸传感器不仅可以感测触摸或滑动动作的边界，而且还可以检测与所述触摸或滑动操作相关的持续时间和压力。

电磁膜514与电容屏524合称为触控屏。

墨水屏534是一种使用电子墨水的屏幕，也被称为电子纸显示技术，主要结构包括顶层透明电极层、电泳层以及底层电极像素层。电泳层内有多个细小的微胶囊，微胶囊中具有透明液体以及若干的微小的电泳粒子，这些电泳粒子分布在透明的电泳液中形成悬浮体系，电泳粒子的表面易吸附电荷，这些能够感应电荷的微粒可以在外加电场的作用下运动。

具体地，电泳粒子分为带有负电的黑色粒子和带正电的白色粒子。当底层电极像素层施加正电压时，白色粒子受到排斥向顶层透明电极层方向移动，黑色粒子则受到吸引向底层电极像素层方向移动，在这情况下，该像素显示为白色。相反地，当底层电极像素层施加负电压时，白色粒子受到吸引向底层电极像素层方向移动，黑色粒子则受到排斥向顶层透明电极层方向移动，该像素则显示为黑色。

显示器504还包括传感组件544，配置有多个各式传感器用于为电子设备提供各个方面的状态评估。例如：传感组件544中的温度传感器554可以检测到显示器504的温度变化，所侦测到的温度被传送至处理器501，再被传送至时序控制器508作为查表的参数。

显示器504还包括前光源和导光板564，设置在显示器504的侧边，用以提供稳定且均匀的光源。

音频组件505被配置为输出和/或输入音频信号。例如，音频组件505包括麦克风518，当阅读终端500需要接收语音时，如呼叫模式、记录模式和语音识别模式，麦克风518被配置为接收外部音频信号。音频组件528还包括一个扬声器528，用于输出音频信号。

存储器506用于存放程序、电子书及笔记，其可以是高速RAM存储器，或非易失性存储器(non-volatile memory)，例如磁盘存储器。

按键接口507用以使用户控制翻页，一般来说是物理性的实体按键，配置在阅读终端500的侧边，包括前翻页按键及后翻页按键。

时序控制器508用以通过查找表找出对应的控制参数，也就是驱动波形。由于墨水屏534中的黑白粒子对温度比较敏感，当温度越低时，粒子活性越差，相比常温下移动到微胶囊中同样位置所需要的时间越长；当温度越高时，粒子运动越快，相比常温下移动到微胶囊中同样位置所需要的时间相对越短。温度传感器554采集显示器504上的温度数据，时序控制器508根据温度数据找出对应的控制参数，来选择适当的驱动波形。

显示驱动器509将驱动波形转换为控制信号，驱动墨水屏509上的墨水粒子移动，使得待显示的图像数据可以在墨水屏509上成像。

此实施例中，处理器501响应于投屏操作指令，实时获取阅读终端显示的背景图像信息，此处的背景图像信息可以是阅读页图像信息，包括单图层图像信息或者多图层图像信息，而实时获取阅读终端显示的背景图像信息可以是实时获取当前帧的背景图像信息。

触控屏响应于手写笔记操作，实时获取阅读终端显示的手写图像信息，此处的手写图像信息可以是在手写图层显示的图像信息，包括一种或多种手写笔记的图像信息，手写图像信息可以是单图层的手写图像信息或者多图层的手写图像信息。实时获取阅读终端显示的手写图像信息可以是实时获取当前帧的手写图像信息。

前述接收到背景图像信息及手写图像信息接存储在存储器506中。

处理器501判断所述背景图像信息相比于上一帧的背景图像信息是否发生变化。更详细来说，处理器501判断当前帧的背景图像信息相比于上一帧的背景图像信息是否发生变化。如果当前帧的背景图像信息发生变化，则表示当前帧的背景图像信息需要发送至显示装置。如果当前帧的背景图像信息未发生变化，则无需发送背景图像信息。

如果当前帧的背景图像信息发生变化，通信接口502会发送所述背景图像信息至显示装置。如果背景图像信息为多图层图像信息，则处理器501将所述多图层图像信息合并或，通过通信接口502发送出去。

处理器501亦会判断所述手写图像信息相比于上一帧的手写图像信息是否发生变化。如当前帧的手写图像信息发生变化，则需要发送所述手写图像信息。如果当前帧的手写图像信息未发生变化，则无需发送当前帧的手写图像信息。

如当前帧的手写图像信息发生变化，通信接口502发送所述手写图像信息。对于阅读终端500来说，手写图像是一连串的手写点连接而成的，因此所述手写图像信息可以是手写轨迹的报点数据，所述报点数据是手写点在页面中的坐标，因此通信接口502等同于发送报点数据，能够大幅减少手写图像信息的数据传输量。

如果处理器501判断当前帧的背景图像信息和当前帧的手写图像信息均发生变化，则通信接口502会同时发送背景图像信息和手写图像信息。如果处理器501判断当前帧的背景图像信息和当前帧的手写图像信息均未发生变化，则通信接口502不发送当前帧的图像信息。

通过上面的描述，本领域技术人员应该理解的是，当用户在阅读终端500上进行笔记操作时，大多数情况下阅读终端500上显示的背景图像都没有发生变化，只有笔记图层的每一帧图像发生变化。在这种情况下，阅读终端500无需发送背景图像信息，仅需要发送手写图像信息，反之亦然。与现有技术发送合并图像相比，能够显著地减少图像数据传输量。

背景图像信息可以包括阅读内容信息、图层标识及其叠加顺序信息中的至少一种。在发送背景图像信息之前，通信接口502先发送全部背景图像的样式信息及其对应的图层标识，让显示装置预先存有全部背景图像的样式信息及其对应的图层标识，当通信接口502发送当前帧背景图像信息时，便可通过发送图层标识代替发送图像格式的样式信息，从而减少投屏信息传输过程中的每一次数据传输量。

另一方面，在阅读内容信息为文字内容的情况下，通信接口502可以仅发送文字数据而非图片格式数据，因此阅读内容信息的数据传输量会降低。当背景图像信息中的阅读内容信息发生变化时，通信接口502会同时发送阅读内容信息。

由于不同图层的叠加顺序不同时，会产生不同的背景图像效果，因此处理器501必须确保叠加顺序信息，使得显示装置所显示的背景图像信息与阅读终端显示的背景图像信息相同。如果阅读内容信息未发生变化而背景图像样式发生变化时，处理器501可以控制通信接口502仅发送图层标识及其叠加顺序信息。如果阅读内容信息发生变化而背景图像样式未发生变化时，通信接口502可以仅发送阅读内容信息。

在又一个实施例中，通信接口502可以预先向显示装置发送图层的叠加顺序，则在发送背景图像信息时，可以仅发送图层标识和阅读内容信息中的至少一种，无需再次发送叠加顺序信息。

阅读终端500是在安卓的环境中运行的，安卓支持RGBA图像信息，即支持显示彩色图像信息，但墨水屏834仅能显示灰度图像，因此处理器501将RGBA图像信息转换成灰度图像信息，通信接口502发送背景图像信息或手写图像信息即是发送灰度图像信息。

在另一种情况下，处理器501进一步将灰度图像信息转换成二值化信息，通信接口502发送背景图像信息或手写图像信息即是发送二值化图像信息，以降低图像数据量。

通过上面的描述，本领域技术人员可以理解根据本发明的方法，显著地降低投屏信息传输过程中的数据量，有效避免数据延迟对投屏同步效果的影响。

图6是示出接收阅读终端500的投屏信息并显示图像的显示装置600。显示装置600包括：处理器601、存储器602、显示器603、通信接口604及通信总线605。处理器601用以判断投屏信息为背景图像信息或手写图像信息，并基于所述投屏信息与所述上一帧的背景图像信息或上一帧的手写图像信息合成图像信息。更详细来说，处理器601用于将手写图像信息叠加于背景图像信息上进行合成。存储器602用以存储背景图像信息及手写图像信息。显示器603用以显示合成后的图像信息。通信接口604用以与阅读终端500进行通信，例如接收投屏信息。其中，如处理器601判断投屏信息为手写图像信息时，则合成手写图像信息和上一帧的背景图像信息；如处理器601判断投屏信息为背景图像信息时，则合成背景图像信息和上一帧的手写图像信息，背景图像信息可以是多图层图像信息。

显示装置600还包括通信总线605，处理器601、存储器602、显示器603和通信接口604通过通信总线605完成相互间的信息传递。

如处理器601判断投屏信息为手写图像信息，则从存储器602中获取所述上一帧的背景图像信息进行合成。如处理器601判断投屏信息为背景图像信息，则从存储器602中获取上一帧的手写图像信息进行合成。

通信接口604进一步用于接收图层标识、其叠加顺序信息、阅读内容信息、全部背景图像的样式信息，当这些图像信息在进行合成时，处理器601根据叠加顺序信息，将图层标识对应的背景图像和阅读内容信息进行叠加，再与手写图像信息合成。

手写图像信息可以是手写轨迹的报点数据，处理器601根据报点数据自存储器602取出上一帧手写图像，在上一帧手写图像上绘制当前帧对应笔记点，最后将背景图像信息与积累绘制后的所述手写图像信息进行合成。

在一种可选的实现方式中，其中所述背景图像信息包括灰度的背景图像信息，处理器601将灰度的背景图像信息还原成彩色，并将还原处理后的背景图像信息和手写图像信息进行合成。

另外，本发明也公开了一种计算机可读存储介质，其包括用于自阅读终端发送投屏信息的计算机程序，当所述计算机程序由一个或多个处理器运行时，执行根据结合图1所述的方法及其多个实施例。

本发明还公开了另一种计算机可读存储介质，其包括用于展示投屏信息的计算机程序，当所述计算机程序由一个或多个处理器运行时，执行根据结合图2-图4所述的方法及其多个实施例。

还应当理解，本文示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。

计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本文描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。

通过上述对本发明的方案的描述，本领域技术人员可以理解本发明的自阅读终端发送投屏信息的方法可以对当前帧的背景图像信息和手写图像信息是否发生变化分别判断，并根据判断结果决定发送背景图像信息或手写图像信息，有效减少了每次传输的数据量，从而避免了因数据延迟对投屏同步效果的影响。

虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (32)

1.一种自阅读终端发送投屏信息的方法，包括：

响应于投屏操作指令，实时获取所述阅读终端显示的背景图像信息；

响应于手写笔记操作，实时获取所述阅读终端显示的手写图像信息；

判断所述背景图像信息相比于上一帧的背景图像信息是否发生变化，所述背景图像信息包括阅读内容信息、图层标识及所述阅读内容信息和所述图层标识的叠加顺序信息；其中，在不同图层上设置不同背景图像样式；

判断所述手写图像信息相比于上一帧的手写图像信息是否发生变化；

如所述背景图像信息发生变化，则发送所述背景图像信息；其中，如果阅读内容信息发生变化而背景图像样式未发生变化，则仅发送阅读内容信息，在阅读内容信息为文字内容的情况下，仅发送文字数据；以及

如所述手写图像信息发生变化，则发送所述手写图像信息。

2.根据权利要求1所述的方法，其中所述背景图像信息包括多图层图像信息，所述发送所述背景图像信息的步骤包括：

将所述多图层图像信息合并发送。

3.根据权利要求1所述的方法，所述背景图像信息还包括：图层标识及其叠加顺序信息中的至少一种；

在所述发送所述背景图像信息的步骤之前进一步包括：

发送全部背景图像的样式信息及其对应的图层标识。

4.根据权利要求1-3中任一项所述的方法，其中所述手写图像信息包括手写轨迹的报点数据；

所述发送所述手写图像信息的步骤包括：

发送所述报点数据。

5.根据权利要求4所述的方法，其中所述发送所述报点数据包括：

发送当前帧的报点数据。

6.根据权利要求1所述的方法，进一步包括：

将所述背景图像信息依次进行灰度化处理或二值化处理；

其中，所述发送所述背景图像信息的步骤包括：

将灰度化处理或二值化处理后的背景图像信息进行发送。

7.一种展示投屏信息的方法，包括：

接收投屏信息；

判断所述投屏信息为背景图像信息或手写图像信息；

如是所述手写图像信息，合成所述手写图像信息和上一帧的背景图像信息；

如是所述背景图像信息，合成所述背景图像信息和上一帧的手写图像信息；所述背景图像信息为阅读内容信息、图层标识及所述阅读内容信息和所述图层标识的叠加顺序信息，在不同图层上设置不同背景图像样式；其中，在阅读终端如果阅读内容信息发生变化而背景图像样式未发生变化时，仅发送所述阅读内容信息，其中，在所述阅读内容信息为文字内容的情况下，所述阅读终端仅发送文字数据；以及

显示合成后的图像信息。

8.根据权利要求7所述的方法，其中所述合成的步骤包括：

将所述手写图像信息叠加于所述背景图像信息的上层。

9.根据权利要求7所述的方法，其中：

如是所述手写图像信息，则从存储器中获取所述上一帧的背景图像信息；以及

如是所述背景图像信息，则从所述存储器中获取所述上一帧的手写图像信息。

10.根据权利要求7-9中任一项所述的方法，其中所述背景图像信息包括多图层图像信息。

11.根据权利要求7-9中任一项所述的方法，进一步包括：

接收图层标识及其叠加顺序信息；

接收阅读内容信息；以及

接收到全部背景图像的样式信息及其对应的图层标识；

其中，所述合成的步骤包括：

根据所述叠加顺序信息，将所述图层标识对应的背景图像和所述阅读内容信息进行叠加并与所述手写图像信息合成。

12.根据权利要求7所述的方法，其中所述手写图像信息包括手写轨迹的报点数据，所述合成的步骤包括：

根据所述报点数据在存储器的上一帧手写图像里绘制当前帧对应笔记点，将所述背景图像信息与积累绘制后的所述手写图像信息进行合成。

13.根据权利要求7所述的方法，其中所述背景图像信息包括灰度背景图像信息，所述合成的步骤包括：

将所述灰度背景图像信息进行还原处理，将还原处理后的所述背景图像信息和所述手写图像信息进行合成。

14.根据权利要求13所述的方法，其中所述还原处理包括灰度分割法、灰度级-彩色变换法和滤波法的至少一种。

15.一种阅读终端投屏展示信息的方法，包括：

执行如权利要求1-6所述的方法发送投屏信息；以及

执行如权利要求7-14所述的方法接收所述投屏信息进行呈现；

其中，所述投屏信息包括背景图像信息和手写图像信息中的至少一种。

16.一种阅读终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1所述的方法的操作。

17.一种阅读终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求7所述的方法的操作。

18.一种阅读终端，包括：

触控屏，用以响应于手写笔记操作，实时获取手写图像信息；

处理器，用以执行下列操作：

响应于投屏操作指令，实时获取当前显示的背景图像信息，其中所述背景图像信息包括阅读内容信息、图层标识及所述阅读内容信息和所述图层标识的叠加顺序信息；其中，在不同图层上设置不同背景图像样式；

判断所述背景图像信息相比于上一帧的背景图像信息是否发生变化；以及

判断所述手写图像信息相比于上一帧的手写图像信息是否发生变化；以及

通信接口，用以执行下列操作：

如所述背景图像信息发生变化，则发送所述背景图像信息；其中，如果阅读内容信息发生变化而背景图像样式未发生变化，则仅发送阅读内容信息，在阅读内容信息为文字内容的情况下，仅发送文字数据；以及

如所述手写图像信息发生变化，则发送所述手写图像信息。

19.根据权利要求18所述的阅读终端，其中所述背景图像信息包括多图层图像信息，所述通信接口在发送所述背景图像信息时，将所述多图层图像信息合并发送。

20.根据权利要求18所述的阅读终端，其中所述通信接口在发送所述背景图像信息前，被配置发送全部背景图像的样式信息及其对应的图层标识。

21.根据权利要求18-20中任一项所述的阅读终端，其中所述手写图像信息包括手写轨迹的报点数据，所述通信接口在发送所述手写图像信息时为发送所述报点数据。

22.根据权利要求21所述的阅读终端，其中所述报点数据为当前帧的报点数据。

23.根据权利要求18所述的阅读终端，其中所述处理器将所述背景图像信息进行灰度化处理或二值化处理，所述通信接口在发送所述背景图像信息时是将灰度化处理或二值化处理后的背景图像信息进行发送。

24.一种展示投屏信息的显示装置，包括：

通信接口，用以接收投屏信息及阅读内容信息；

存储器，用以存储上一帧的背景图像信息和上一帧的手写图像信息；

处理器，用以执行以下操作：

判断所述投屏信息为背景图像信息或手写图像信息；

如是所述手写图像信息，合成所述手写图像信息和所述上一帧的背景图像信息；以及

如是所述背景图像信息，合成所述背景图像信息和所述上一帧的手写图像信息；所述背景图像信息为阅读内容信息、图层标识及所述阅读内容信息和所述图层标识的叠加顺序信息，在不同图层上设置不同背景图像样式；其中，在阅读终端如果阅读内容信息发生变化而背景图像样式未发生变化时，仅发送所述阅读内容信息，其中，在所述阅读内容信息为文字内容的情况下，所述阅读终端仅发送文字数据以及

显示器，用以显示合成后的图像信息。

25.根据权利要求24所述的显示装置，其中所述处理器将所述手写图像信息叠加于所述背景图像信息的上层。

26.根据权利要求24所述的显示装置，其中如是所述手写图像信息，所述处理器从所述存储器中获取所述上一帧的背景图像信息；如是所述背景图像信息，所述处理器从所述存储器中获取所述上一帧的手写图像信息。

27.根据权利要求24-26中任一项所述的显示装置，其中所述背景图像信息包括多图层图像信息。

28.根据权利要求24-26中任一项所述的显示装置，其中所述通信接口还接收图层标识、其叠加顺序信息、阅读内容信息、全部背景图像的样式信息，所述处理器根据所述叠加顺序信息，将所述图层标识对应的背景图像和所述阅读内容信息进行叠加并与所述手写图像信息合成。

29.根据权利要求24所述的显示装置，其中所述手写图像信息包括手写轨迹的报点数据，所述处理器根据所述报点数据及所述上一帧手写图像里绘制当前帧对应笔记点，并将所述背景图像信息与积累绘制后的所述手写图像信息进行合成。

30.根据权利要求24所述的显示装置，其中所述背景图像信息包括灰度的背景图像信息，所述处理器将所述灰度的背景图像信息进行还原处理，将还原处理后的所述背景图像信息和所述手写图像信息进行合成。

31.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或者多个处理器执行实现权利要求1-6所述的方法的操作。

32.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或者多个处理器执行实现权利要求7-14所述的方法的操作。

Images