CN115480658A - 一种手写笔输入方法、电子设备及系统 - Google Patents

Abstract

本申请实施例提供了一种手写笔输入方法、电子设备及系统，涉及终端技术领域。第一电子设备从第二电子设备接收第一应用的投屏界面并显示该投屏界面。第一电子设备接收用户使用手写笔在该投屏界面的第一输入和第二输入；显示更新后的投屏界面。更新后的投屏界面包括第一图层和第二图层，第一图层包括第二电子设备根据第一输入生成的包含第一书写轨迹的第一图像；第二图层包括第一电子设备根据第二输入本地绘制的第二书写轨迹。由于第一电子设备本地绘制第二书写轨迹的时延小于获取第一图像的时延，将第二书写轨迹叠加显示于包括第一书写轨迹的第一图像上，可以减小第一书写轨迹与手写笔之间的距离，减小划线时延，提升手写笔跟手性。

Description

一种手写笔输入方法、电子设备及系统

技术领域

本申请涉及终端技术领域，尤其涉及一种手写笔输入方法、电子设备及系统。

背景技术

手写笔(stylus pen)也叫触控笔，是一种笔形的工具；用来向电脑屏幕、移动设备、绘图板等具有触摸屏的电子设备输入指令。用户可以使用手写笔点击电子设备触摸屏来选取文件、写字或绘画等；使得用户在电子设备上写字、绘画等交互体验更好。

跟手性是影响用户使用手写笔体验的一项关键指标，通常用手写笔在触摸屏上输入到触摸屏显示书写轨迹的时延(划线时延)表示。影响划线时延的因素很多。如何减小划线时延，提升手写笔跟手性，是需要解决的问题。

发明内容

本申请提供一种手写笔输入方法、电子设备及系统，能够减小划线时延，提升手写笔跟手性。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种手写笔输入方法，该方法包括：第一电子设备接收第一应用的投屏界面，该第一应用运行在第二电子设备；第一电子设备接收用户在投屏界面的手写笔的输入，显示更新后的投屏界面；其中，手写笔的输入包括第一输入和第二输入；更新后的投屏界面包括第一图层和第二图层，第一图层包括第二电子设备根据第一输入生成的包含第一书写轨迹的第一图像；第二图层包括第一电子设备根据第二输入绘制的第二书写轨迹。

在该方法中，将第一电子设备本地绘制的第二书写轨迹叠加显示于第二电子设备生成的包括第一书写轨迹的投屏图像上；由于本地绘制第二书写轨迹的时延小于获取包含第一书写轨迹的投屏图像的时延，可以减小第一书写轨迹与手写笔之间的距离，减小划线时延，提升手写笔跟手性。

根据第一方面，第二图层叠加于第一图层之上。

根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：第一电子设备获得第二图像；第二图像包括第二电子设备根据第二输入生成的第三书写轨迹；第一电子设备在第一图层上显示第二图像。

其中，第一图层上的第三书写轨迹覆盖第二图层上的第二书写轨迹。

也就是说，第一电子设备本地绘制的书写轨迹会在一定时长后被第二电子设备根据同一输入绘制的书写轨迹覆盖。在一种实现方式中，第二书写轨迹在显示预设时长后，停止显示。在另一种实现方式中，在第三书写轨迹覆盖第二书写轨迹后，第二书写轨迹停止显示。

在一种实现方式中，第二书写轨迹为第一书写轨迹的延续轨迹；在另一种实现方式中，第二书写轨迹与第一书写轨迹的部分轨迹重合并包含第一书写轨迹的延续部分。

根据第一方面，或者以上第一方面的任意一种实现方式，第一输入的输入时间段与第二输入的输入时间段完全不交叠或者部分交叠。在一种实现方式中，第二输入的输入时间段的长度根据第一时延和/或第二时延确定。其中，第一时延包括第一电子设备从第二电子设备获取图像的时延，第二时延包括第一电子设备生成第二书写轨迹的时延。比如，第二输入的输入时间段＝(第一时延-第二时延)，即第一输入的输入时间段与第二输入的输入时间段完全不交叠；这样，第二书写轨迹为第一书写轨迹的延续轨迹。再比如，第二输入的输入时间段＝第一时延，即第一输入的输入时间段与第二输入的输入时间段部分交叠；这样，第二书写轨迹与第一书写轨迹的部分轨迹重合并包含第一书写轨迹的延续部分。

根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：第一电子设备获取第二电子设备发送的绘制参数，第一电子设备采用绘制参数绘制第二书写轨迹。其中，绘制参数包括线条颜色参数，线条粗细参数，线条纹理参数中至少一项。比如，该绘制参数包括第二电子设备绘制第一书写轨迹所采用的绘制参数。由于第一电子设备绘制书写轨迹二采用的绘制参数与第二电子设备绘制书写轨迹一采用的绘制参数相同，书写轨迹二与包括书写轨迹一的第一图像能够很好的融合，带来更好的视觉效果。

根据第一方面，或者以上第一方面的任意一种实现方式，第一电子设备进行本地绘制时，采用报点预测算法通过已绘制的书写轨迹预测一段书写轨迹；将根据笔迹信息实际绘制的书写轨迹与预测的书写轨迹合并。将预测的书写轨迹提前显示，视觉上形成划线显示速度比较快的效果。这样，可以降低第一电子设备绘制书写轨迹的时延。

第二方面，提供一种手写笔输入方法，该方法包括：第一电子设备显示第一应用的投屏界面，接收手写笔的第一输入，其中，第一应用运行在第二电子设备。第一电子设备向第二电子设备发送第一输入的信息；并从第二电子设备接收第一图像，第一图像包括根据第一输入的信息绘制的第一书写轨迹；第一电子设备显示第一图像；第一电子设备接收手写笔的第二输入，根据第二输入的信息绘制第二书写轨迹，并显示第二书写轨迹；第二书写轨迹显示为第一书写轨迹的延续轨迹。

在该方法中，第一电子设备利用第二电子设备的计算能力生成包含第一书写轨迹的投屏图像，并且本地绘制第二书写轨迹，将本地绘制的书写轨迹叠加显示于第二电子设备生成的投屏图像。由于第一电子设备本地绘制时延较小，本地绘制的书写轨迹缩小了第一电子设备屏幕上手写笔与投屏图像上书写轨迹之间的距离；减小了第一电子设备上手写笔输入的划线时延，提高了手写笔跟手性。

其中，第二书写轨迹全部为第一书写轨迹的延续轨迹，或者第二书写轨迹与第一书写轨迹的部分轨迹重合并包含第一书写轨迹的延续部分。

在一种实现方式中，第一图像显示在第一图层，第二书写轨迹显示在第二图层，第二图层叠加在第一图层之上。

根据第二方面，该方法还包括：第一电子设备向第二电子设备发送第二输入的信息；第一电子设备从第二电子设备接收第二图像，第二图像包括根据第二输入的信息绘制的第三书写轨迹；第一电子设备显示第二图像，第二图像中第三书写轨迹覆盖第二书写轨迹。

也就是说，第一电子设备本地绘制的书写轨迹会在一定时长后被第二电子设备根据同一输入绘制的书写轨迹覆盖。在一种实现方式中，第二书写轨迹在显示预设时长后，停止显示。在另一种实现方式中，在第三书写轨迹覆盖第二书写轨迹后，第二书写轨迹停止显示。

根据第二方面，或者以上第二方面的任意一种实现方式，第二输入的输入时间段的长度根据第一时延和/或第二时延确定。其中，第一时延包括第一电子设备从第二电子设备获取图像的时延，第二时延包括第一电子设备生成第二书写轨迹的时延。比如，第二输入的输入时间段＝(第一时延-第二时延)，这样，第二书写轨迹为第一书写轨迹的延续轨迹。再比如，第二输入的输入时间段＝第一时延，这样，第二书写轨迹与第一书写轨迹的部分轨迹重合并包含第一书写轨迹的延续部分。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：第一电子设备接收第二电子设备的绘制参数；第一电子设备采用该绘制参数根据第二输入的信息绘制第二书写轨迹。其中，绘制参数包括线条颜色参数，线条粗细参数，线条纹理参数中至少一项。由于第一电子设备绘制书写轨迹二采用的绘制参数与第二电子设备绘制书写轨迹一采用的绘制参数相同，书写轨迹二与包括书写轨迹一的第一图像能够很好的融合，带来更好的视觉效果。

根据第二方面，或者以上第二方面的任意一种实现方式，第一电子设备进行本地绘制时，采用报点预测算法通过已绘制的书写轨迹预测一段书写轨迹；将根据笔迹信息实际绘制的书写轨迹与预测的书写轨迹合并。将预测的书写轨迹提前显示，视觉上形成划线显示速度比较快的效果。这样，可以降低第一电子设备绘制书写轨迹的时延。

第三方面，提供一种手写笔输入方法，该方法包括：第一电子设备显示第一应用的投屏界面，其中，第一应用运行在第二电子设备。第一电子设备接收手写笔的第一输入，向第二电子设备发送第一输入的信息；第二电子设备接收第一输入的信息，根据第一输入的信息绘制第一书写轨迹，生成包含第一书写轨迹的第一图像；第二电子设备向第一电子设备发送第一图像；第一电子设备接收第一图像；第一电子设备显示第一图像；第一电子设备接收手写笔的第二输入，根据第二输入的信息绘制第二书写轨迹；第一电子设备显示第二书写轨迹，第二书写轨迹显示为第一书写轨迹的延续轨迹。

在该方法中，第一电子设备利用第二电子设备的计算能力生成包括书写轨迹的投屏图像，并且本地绘制书写轨迹，将本地绘制的书写轨迹叠加显示于第二电子设备生成的投屏图像。由于第一电子设备本地绘制时延较小，本地绘制的书写轨迹缩小了第一电子设备屏幕上手写笔与投屏图像上书写轨迹之间的距离；减小了第一电子设备上手写笔输入的划线时延，提高了手写笔跟手性。

其中，第二书写轨迹全部为第一书写轨迹的延续轨迹，或者第二书写轨迹与第一书写轨迹的部分轨迹重合并包含第一书写轨迹的延续部分。

根据第三方面，该方法还包括：第一电子设备向第二电子设备发送第二输入的信息；第二电子设备接收第二输入的信息，根据第二输入的信息绘制第三书写轨迹，生成包含第三书写轨迹的第二图像；第二电子设备向第一电子设备发送第二图像；第一电子设备接收第二图像；第一电子设备显示第二图像，第三书写轨迹覆盖第二书写轨迹。

也就是说，第一电子设备本地绘制的书写轨迹会在一定时长后被第二电子设备根据同一输入绘制的书写轨迹覆盖。在一种实现方式中，第二书写轨迹在显示预设时长后，停止显示。在另一种实现方式中，在第三书写轨迹覆盖第二书写轨迹后，第二书写轨迹停止显示。

根据第三方面，或者以上第三方面的任意一种实现方式，该方法还包括：第二电子设备向第一电子设备发送绘制第一书写轨迹的绘制参数；第一电子设备接收绘制参数，采用该绘制参数根据第二输入的信息绘制第二书写轨迹。其中，绘制参数包括线条颜色参数，线条粗细参数，线条纹理参数中至少一项。由于第一电子设备绘制书写轨迹二采用的绘制参数与第二电子设备绘制书写轨迹一采用的绘制参数相同，书写轨迹二与包括书写轨迹一的第一图像能够很好的融合，带来更好的视觉效果。

根据第三方面，或者以上第三方面的任意一种实现方式，该方法还包括：第二电子设备确定绘制参数中任意一项发生变化，向第一电子设备发送变化后的绘制参数；第一电子设备采用变化后的绘制参数根据第二输入的信息绘制第二书写轨迹。在该实现方式中，第二电子设备在绘制参数发生变化时，向第一电子设备发送绘制参数。由于第一电子设备绘制书写轨迹二采用的绘制参数与第二电子设备绘制书写轨迹一采用的绘制参数相同，书写轨迹二与包括书写轨迹一的第一图像能够很好的融合，带来更好的视觉效果。

第四方面，提供一种手写笔输入方法，该方法包括：第一电子设备显示第一应用的投屏界面，第一应用运行在第二电子设备；第一电子设备在t0时刻接收用户在投屏界面的手写笔的第一输入；第一电子设备在t1时刻在投屏界面上显示第一输入对应的第一书写轨迹；第一电子设备在t2时刻刷新投屏界面，刷新后的投屏界面包括第一输入对应的第二书写轨迹，其中，t1时刻早于t2时刻。

在该方法中，第一电子设备和第二电子设备分别根据第一输入绘制书写轨迹。第一电子设备本地绘制书写轨迹的时延小于从第二电子设备获取投屏图像的时延，t1时刻早于t2时刻。第一电子设备本地绘制的书写轨迹比第二电子设备绘制的书写轨迹更快得显示在第一电子设备屏幕上，可以更快向用户展示出手写笔输入的书写轨迹，缩短手写笔划线时延，提高手写笔跟手性。

由于第一书写轨迹和第二书写轨迹都是根据第一输入的信息绘制的，第一书写轨迹与第二书写轨迹具有相同的线条轨迹。

第一电子设备本地绘制的第一书写轨迹与第二电子设备绘制的第二书写轨迹具有相同的线条轨迹，第二书写轨迹会覆盖第一书写轨迹；从t2时刻起，可以停止显示第一书写轨迹。在一种实现方式中，第一书写轨迹在t3时刻停止显示。比如，t3时刻等于t2时刻；再比如，t3时刻晚于t2时刻。

根据第四方面，或者以上第四方面的任意一种实现方式，第一书写轨迹由第一电子设备绘制，第二书写轨迹由第二电子设备绘制。

根据第四方面，或者以上第四方面的任意一种实现方式，第一书写轨迹位于第一图层，第二书写轨迹位于第二图层。在一种实现方式中，第一图层叠加在第二图层之上。

根据第四方面，或者以上第四方面的任意一种实现方式，第一书写轨迹的线条颜色、粗细与纹理中的任意参数与第二书写轨迹的对应参数相同或不相同。

第五方面，提供一种电子设备，包括：显示屏、一个或多个处理器、存储器、以及一个或多个计算机程序；其中，处理器与显示屏以及存储器均耦合，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，处理器可执行存储器存储的一个或多个计算机程序，以使电子设备执行上述任意一方面中任意一种实现方式的方法。

第五方面以及第五方面中任意一种实现方式所对应的技术效果，可参见上述各个方面中对应的实现方式的技术效果，此处不再赘述。

第六方面，提供一种计算机可读存储介质。计算机可读存储介质存储有计算机程序(也可称为指令或代码)，当该计算机程序被电子设备执行时，使得电子设备执行上述任意一方面中任意一种实现方式的方法。

第六方面以及第六方面中任意一种实现方式所对应的技术效果，可参见上述各个方面中对应的实现方式的技术效果，此处不再赘述。

第七方面，提供一种计算机程序产品。当计算机程序产品在电子设备上运行时，使得电子设备执行上述任意一方面中任意一种实现方式的方法。

第七方面以及第七方面中任意一种实现方式所对应的技术效果，可参见上述各个方面中对应的实现方式的技术效果，此处不再赘述。

第八方面，提供一种电路系统。电路系统包括处理电路，处理电路被配置为执行上述任意一方面中任意一种实现方式的方法。

第八方面以及第八方面中任意一种实现方式所对应的技术效果，可参见上述各个方面中对应的实现方式的技术效果，此处不再赘述。

第九方面，提供一种芯片系统。芯片系统包括处理器和接口电路。接口电路用于执行收发功能，并将指令发送给处理器。当指令被处理器执行时，使得处理器执行上述任意一方面中任意一种实现方式的方法。

第九方面以及第九方面中任意一种实现方式所对应的技术效果，可参见上述各个方面中对应的实现方式的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的手写笔输入方法所适用的场景示意图；

图2为本申请实施例提供的手写笔输入方法所适用的系统架构示意图；

图3A为本申请实施例提供的手写笔输入方法所适用的系统架构示意图；

图3B为本申请实施例提供的手写笔输入方法所适用的系统架构示意图；

图4为本申请实施例提供的手写笔输入方法的场景实例图；

图5为本申请实施例提供的电子设备硬件结构示意图；

图6为本申请实施例提供的手写笔输入方法示意图；

图7A为本申请实施例提供的手写笔输入方法场景实例图；

图7B为本申请实施例提供的手写笔输入方法场景实例图；

图7C为本申请实施例提供的手写笔输入方法场景实例图；

图8A为本申请实施例提供的手写笔输入方法场景实例图；

图8B为本申请实施例提供的手写笔输入方法场景实例图；

图9为本申请实施例提供的手写笔输入方法场景实例图；

图10为本申请实施例提供的手写笔输入方法场景实例图；

图11为本申请实施例提供的手写笔输入方法场景实例图；

图12为本申请实施例提供的手写笔输入方法示意图；

图13为本申请实施例提供的一种电子设备的结构组成示意图。

具体实施方式

以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

跟手性通常用划线时延表示；划线时延越小，跟手性越好；划线时延越大，跟手性越差。示例性地，如图1所示，使用手写笔在电子设备屏幕上划线。由于电子设备接收手写笔在屏幕上的输入到显示书写轨迹存在时延(划线时延)，手写笔在屏幕上的位置与书写轨迹之间有一定距离。划线时延越大，手写笔在屏幕上的位置与书写轨迹之间的距离越大，跟手性越差。

影响跟手性的因素很多。比如，一些产品中，电子设备接收手写笔在其屏幕上的输入，根据手写笔输入信息绘制书写轨迹，合成书写轨迹图像，并在屏幕上显示书写轨迹图像。绘制时延、合成时延，以及将生成的书写轨迹图像从处理器传输至屏幕显示的时延等因素都对跟手性有影响。再比如，一些产品中，电子设备接收手写笔在其屏幕上的输入后，通过有线或无线连接将手写笔输入信息传输给处理设备进行绘制，合成包含书写轨迹的图像；处理设备将生成的图像发送至电子设备；电子设备屏幕上显示该包含书写轨迹的图像。手写笔输入信息从电子设备传输至处理设备的时延，处理设备生成包含书写轨迹图像的时延，以及包含书写轨迹的图像从处理设备传输至电子设备的时延等因素都影响跟手性。

示例性地，本申请实施例提供的手写笔输入方法可以用于图2所示的系统。该系统包括具有触摸屏的电子设备100，手写笔200和处理设备300。处理设备300上运行应用程序一。电子设备100和处理设备300通过有线或无线连接。处理设备300将应用程序一的每个界面投屏至电子设备100进行显示。投屏是一种通过有线(比如，高清晰度多媒体接口(highdefinition multimedia interface，HDMI))或无线(比如，基于Wi-Fi的miracast)传输方式将不同电子设备的界面同步显示的技术。电子设备100显示应用程序一的界面，即显示投屏界面。电子设备100还可以接收手写笔200在其屏幕(触摸屏)上的输入；比如，接收用户在投屏界面的手写笔200的输入。电子设备100获取手写笔200在屏幕上的输入坐标、压感、倾斜角等笔迹信息，将笔迹信息通过有线或无线方式传输给处理设备300。处理设备300根据笔迹信息在应用程序一的显示界面上绘制书写轨迹，进行渲染、合成，生成包含书写轨迹的图像。在一种实现方式中，处理设备300将生成的图像压缩为视频流，将视频流发送给电子设备100。电子设备100解压缩视频流，获取包含书写轨迹的图像，并在屏幕上显示该图像，即更新投屏界面。

上述电子设备100可以包括平板电脑、手写板、便携移动设备(如手机等)、手持计算机、笔记本电脑、上网本、个人电脑(personal computer，PC)、智能家居设备(比如，智能电视、智慧屏、大屏等)、个人数字助理(personal digital assistant，PDA)、可穿戴设备(比如，智能手表、智能手环等)、车载电脑等，本申请实施例对此不做任何限制。

上述手写笔200可以包括触控笔，电容笔等，本申请实施例对此不做任何限制。

上述处理设备300可以包括个人电脑(personal computer，PC)、便携移动设备(如手机等)、手持计算机、笔记本电脑、上网本、平板电脑、智能电视、智慧屏、大屏等，本申请实施例对此不做任何限制。

以平板电脑作为电子设备100，PC作为处理设备300为例。图3A示出了本申请实施例提供的手写笔输入方法所适用的一种系统示例。平板电脑和PC无线连接。比如，平板电脑和PC通过无线保真(wireless fidelity，Wi-Fi)连接。PC上运行应用程序一，平板电脑设置为PC的输入设备；PC还将应用程序一的界面投屏至平板电脑进行显示。平板电脑每次接收到用户在投屏界面的手写笔的输入后，将本次输入的笔迹信息发送给PC进行处理。PC根据笔迹信息绘制书写轨迹，并将书写轨迹与应用程序一当前显示界面进行渲染、合成，生成并显示包含书写轨迹的图像。这样，用户可以使用手写笔在平板电脑上划线，实现修改PC上应用程序一，在应用程序一显示界面上输入手写划线(比如，写字、画画等)。

PC还将包含书写轨迹的图像投屏至平板电脑进行显示。在一种实现方式中，PC将包含书写轨迹的图像压缩为视频流，传输给平板电脑。平板电脑解压缩视频流，获取包含书写轨迹的图像。平板电脑显示包含书写轨迹的图像。即实现PC将包含书写轨迹的图像投屏至平板电脑。该包含书写轨迹的图像称为投屏图像。这样，平板电脑和PC都显示应用程序一的显示界面，该显示界面包括手写笔的书写轨迹。

这样，一方面，平板电脑不需要安装运行应用程序一，仅显示应用程序一的界面；平板电脑可以借助PC较强的计算能力在应用程序一上绘制图像；提高图像生成速度。另一方面，PC可以通过平板电脑接收手写笔输入，实现用户使用手写笔修改文档，在文档中输入文字；或者在绘图软件中画图等。用户可以使用手写笔在PC等不具备触摸屏的设备上手写输入文字、图形等。

需要说明的是，在一些实施例中，处理设备300也可以不是终端设备，而是服务器。比如，如图3B所示，处理设备300为云服务器或远程服务器。平板电脑接收手写笔的输入后，将笔迹信息传输给服务器。服务器根据笔迹信息生成包含书写轨迹的图像；并将生成的图像传输给平板电脑。平板电脑获取并显示包含书写轨迹的图像。平板电脑利用服务器强大的计算能力实现高性能的手写笔书写，为用户带来更好的书写体验。

在上述过程中，笔迹信息从电子设备100传输至处理设备300的时延，处理设备300生成包含书写轨迹的图像，以及包含书写轨迹的图像从处理设备300传输至电子设备100的时延等因素会造成划线时延；导致手写笔与电子设备100屏幕上书写轨迹之间存在一定距离；带来跟手性较差的用户体验。

本申请实施例提供一种手写笔输入方法，电子设备接收用户在投屏界面的手写笔输入后，将手写笔输入的笔迹信息传输至处理设备进行处理。处理设备根据笔迹信息生成包含书写轨迹一的投屏图像。电子设备还根据手写笔输入进行本地绘制，生成书写轨迹二。电子设备从处理设备接收到投屏图像后，将本地绘制的书写轨迹二叠加于投屏图像进行显示(即显示更新的投屏界面)。由于电子设备本地绘制书写轨迹的时延小于电子设备获取投屏图像的时延，将本地绘制的书写轨迹与处理设备绘制的书写轨迹叠加显示，可以缩小电子设备屏幕上手写笔与书写轨迹之间的距离；减小了电子设备上手写笔输入的划线时延，提高手写笔跟手性。

示例性地，如图4所示，电子设备获取投屏图像的时延为100毫秒(ms)，电子设备本地绘制书写轨迹的时延为20ms。在T时刻，电子设备从处理设备获取的投屏图像中书写轨迹是根据(T-100ms)时的手写笔输入绘制的，而本地绘制的书写轨迹是根据(T-20ms)时的手写笔输入绘制的。本地绘制的书写轨迹缩小了处理设备绘制的书写轨迹与手写笔之间的距离。

示例性地，图5示出了本申请实施例提供的电子设备100的一种结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，显示屏150，天线，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，以及摄像头191等。其中传感器模块180可以包括压力传感器，磁传感器，距离传感器，指纹传感器，触摸传感器等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器，充电器，闪光灯，摄像头191等。例如：处理器110可以通过I2C接口耦合触摸传感器，使处理器110与触摸传感器通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏150，摄像头191等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头191通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏150通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头191，显示屏150，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏150，摄像头191，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏150显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。

电子设备100通过GPU，显示屏150，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏150和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏150用于显示图像，视频等。显示屏150包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏150，N为大于1的正整数。

电子设备100可以通过ISP，摄像头191，视频编解码器，GPU，显示屏150以及应用处理器等实现拍摄功能。

ISP用于处理摄像头191反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头191中。

摄像头191用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头191，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

磁传感器包括霍尔传感器。电子设备100可以利用磁传感器检测翻盖皮套的开合。距离传感器，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器测距以实现快速对焦。指纹传感器用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏150，由触摸传感器与显示屏150组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏150提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备100的表面，与显示屏150所处的位置不同。

压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏150。压力传感器的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏150，电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中，压力传感器用于检测手写笔的输入位置、压感等。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

下面，以平板电脑作为电子设备100，PC作为处理设备300为例，对本申请实施例提供的手写笔输入方法进行详细介绍。

如图6所示，PC上运行应用程序一。比如，该应用程序一为画图应用程序。平板电脑被设置为PC的输入设备。PC还将应用程序一的界面投屏至平板电脑显示。用户可以使用手写笔在平板电脑上划线，实现在PC上手写输入；比如，用户使用手写笔在平板电脑屏幕(投屏界面)上划线，实现在画图应用程序显示界面上输入绘画笔迹。

在一种实现方式中，平板电脑的触控模块接收手写笔输入，根据每次输入获取对应的笔迹信息，笔迹信息包括以下任意之一或者任意组合：输入坐标、压感、倾斜角等。其中，手写笔在平板电脑屏幕上一点(比如一个像素点)的输入作为一次输入。

示例性地，如图7A所示，用户使用手写笔200在平板电脑100上划线。手写笔200在平板电脑100屏幕上点a的输入，称为输入a(第一输入)。输入a对应的笔迹信息称为笔迹信息a(第一笔迹信息)。

请继续参考图6，平板电脑的触控模块通过无线通信(比如，蓝牙)将笔迹信息a发送给PC。PC上运行的应用程序一接收笔迹信息a，根据笔迹信息a绘制书写轨迹。在一种实现方式中，应用程序一根据笔迹信息a绘制一个点。比如，应用程序一根据笔迹信息的输入坐标确定绘制点的位置，根据笔迹信息的压感确定绘制点的灰度，根据笔迹信息的倾斜角确定绘制点的大小等。根据笔迹信息a绘制的点与PC上已绘制点连接为书写轨迹一。示例性的，书写轨迹一包括PC根据手写笔从图7A所示点o移动至点a过程中的输入绘制的点。应用程序一还根据当前显示界面和书写轨迹一进行渲染、合成，生成包含书写轨迹一的第一投屏图像。

在一种示例中，应用程序一根据笔迹信息绘制书写轨迹过程中，采用报点预测算法通过已绘制的书写轨迹预测一段书写轨迹；将实际绘制的书写轨迹与预测的书写轨迹合并。由于提前显示了预测的书写轨迹，视觉上形成划线显示速度比较快的效果。这样，可以降低PC上绘制书写轨迹的时延，即降低PC生成第一图像的时延。其中，报点预测算法用于通过已知报点的移动规律预先测算报点位置，具体可以采用现有技术中常规报点预测算法(比如，高斯分布)，本申请实施例对此并不进行限定。

可选的，PC将第一投屏图像压缩为视频流。PC通过无线通信(比如，Wi-Fi)将视频流发送给平板电脑。平板电脑接收到视频流，解压缩获取到第一投屏图像。平板电脑显示第一投屏图像(第一投屏图像包括书写轨迹一)。

由于笔迹信息从平板电脑传输到PC，第一投屏图像由PC传输到平板电脑，以及PC生成第一投屏图像的过程耗费时间；平板电脑获取第一投屏图像存在时延。在该时延内，用户使用手写笔在平板电脑显示屏上继续进行输入。平板电脑显示的书写轨迹一与手写笔之间存在一定距离。

本申请实施例提供的手写笔输入方法，平板电脑的触控模块接收到手写笔输入，平板电脑上运行的应用程序二还根据本次输入的笔迹信息进行本地绘制书写轨迹。在一种实现方式中，应用程序二根据一次输入的笔迹信息绘制一个点。比如，应用程序二根据笔迹信息的输入坐标确定绘制点的位置，根据笔迹信息的压感确定绘制点的灰度，根据笔迹信息的倾斜角确定绘制点的大小等。其中，平板电脑根据笔迹信息绘制书写轨迹的具体方法可以参考常规技术中的手段。本申请实施例对此并不进行限定。

应用程序二根据本次输入绘制的点与应用程序二已绘制点连接为书写轨迹二。

在一种示例中，应用程序二根据笔迹信息绘制书写轨迹过程中，采用报点预测算法通过已绘制的书写轨迹预测一段书写轨迹；将根据笔迹信息实际绘制的书写轨迹与预测的书写轨迹合并。示例性地，如图7B所示，采用报点预测算法根据已绘制点计算出预测点，将预测的书写轨迹(预测点连成预测书写轨迹)提前显示，视觉上形成划线显示速度比较快的效果。这样，可以降低平板电脑绘制书写轨迹的时延。在一些示例中，应用程序二还可以采用强制单帧绘制与合成等方式，降低绘制书写轨迹的时延。

可以理解的，平板电脑上应用程序二仅绘制书写轨迹，而不需要生成应用程序一显示界面的完整图像，对平板电脑的算力需求较低；可以适用于简单系统级芯片(system-on-a-chip，SOC)的电子设备。

平板电脑将本地绘制的书写轨迹二叠加于第一投屏图像进行显示(即显示更新后的投屏界面)。在一种示例中，平板电脑的显示图像(更新后的投屏界面)包括两个图层。底层为投屏图层，顶层为本地图层，本地图层悬浮于投屏图层。平板电脑将接收的第一投屏图像作为投屏图层，将本地绘制的书写轨迹作为本地图层。平板电脑显示的是投屏图层和本地图层合成的图像。

平板电脑获取投屏图像存在第一时延，本地绘制书写轨迹存在第二时延。在一种实现方式中，平板电脑在T时刻的显示图像是将PC根据(T-第一时延)时刻的第一输入生成的第一投屏图像与平板电脑根据(T-第二时延)时刻的第二输入绘制的书写轨迹二合成的图像。

示例性的，比如，第一时延为100ms，第二时延为20ms。如图7C所示，平板电脑在(T-100ms)时刻接收手写笔的第一输入(输入a)，将输入a对应的笔迹信息a发送给PC，并从PC获取第一投屏图像；第一投屏图像包括书写轨迹一，书写轨迹一包括PC根据手写笔从点o移动至点a过程中的输入绘制的点。在平板电脑获取第一投屏图像的第一时延(100ms)内，手写笔从点a移动至点b，手写笔移动至点b时为T时刻。

平板电脑在(T-20ms)时刻接收手写笔的第二输入(输入c)，根据输入c本地绘制书写轨迹二，书写轨迹二包括平板电脑根据手写笔从点a移动至点c过程中的输入绘制的点。可以理解的，书写轨迹二是书写轨迹一的延续轨迹。

平板电脑在T时刻的显示图像的投屏图层为第一投屏图像(包括书写轨迹一)，本地图层为书写轨迹二。本地绘制的书写轨迹二缩小了书写轨迹一与手写笔之间的距离，减小了划线时延，提高了手写笔跟手性。

在一种实现方式中，应用程序二根据第一时延和第二时延确定绘制书写轨迹二的长度。比如，平板电脑在(T-第二时延)时刻接收手写笔的第二输入，将根据第二输入之前(第一时延-第二时延)时长内的输入绘制的点连接为书写轨迹二。

示例性的，如图7C所示，平板电脑在(T-20ms)时刻接收手写笔的输入c，将根据输入c之前80ms(100ms-20ms)内的输入(即点a至点c之间的输入)绘制的点连接为书写轨迹二。书写轨迹二的长度为点a至点c之间的轨迹长度。在该实现方式中，书写轨迹二是书写轨迹一的延续轨迹，且书写轨迹二与书写轨迹一不重合。

可以理解的，在另一些实施例中，书写轨迹二的长度也可以大于点a至点c之间的轨迹长度。比如，将根据输入c之前150ms内的输入(图7C中点d至点c之间的输入)绘制的点连接为书写轨迹二。再比如，将根据输入o至输入c之间的输入绘制的点连接为书写轨迹二。本申请实施例对此并不进行限定。在该实现方式中，书写轨迹二与书写轨迹一的部分轨迹重合，且书写轨迹二包含书写轨迹一的延续部分。可以理解的是，书写轨迹二作为书写轨迹一的延续，也可以完全与书写轨迹一重合。

需要说明的是，本申请实施例并不限定平板电脑合成显示图像时，从PC获取的投屏图像与本地绘制的书写轨迹之间的对应关系。示例性的，在另一些实施例中，平板电脑在T时刻获取投屏图像，在(T+t)时刻获取本地绘制的书写轨迹，其中，t>0；将T时刻获取的投屏图像与(T+t)时刻获取的本地绘制的书写轨迹合成为显示图像进行显示。在另一些实施例中，平板电脑在T时刻获取本地绘制的书写轨迹，在(T+t)时刻获取投屏图像，其中，t>0；将T时刻获取的本地绘制的书写轨迹与(T+t)时刻获取的投屏图像合成为显示图像进行显示。

示例性的，图8A示出了本申请实施例提供的手写笔输入方法的一种具体示例。如图8A所示，平板电脑100显示画图应用程序显示界面；在第一时刻接收手写笔200在屏幕上点a的输入，获取笔迹信息a。平板电脑100将笔迹信息a发送给PC 300。PC 300根据笔迹信息a在画图应用程序显示界面710上进行绘制，本次绘制点与已绘制点连接成书写轨迹720，PC300进行渲染、合成，生成包含书写轨迹720的第一投屏图像730。PC 300将第一投屏图像730压缩为视频流，发送给平板电脑100。平板电脑100接收视频流，获取第一投屏图像730。

在平板电脑100向PC 300传输笔迹信息a至平板电脑100接收到第一投屏图像730过程中，用户继续使用手写笔200进行输入，平板电脑100继续接收手写笔200的输入。示例性地，如图8A所示，手写笔200从点a移动至点b。平板电脑在第二时刻接收手写笔200在屏幕上点c的输入，获取对应的笔迹信息c，并根据笔迹信息c进行绘制。平板电脑100将根据输入a至输入c之间的输入绘制的点连接成书写轨迹740。

平板电脑100显示更新的画图应用程序显示界面，即显示图像750(将书写轨迹740叠加于第一投屏图像730进行显示)。图像750的投屏图层为第一投屏图像730，本地图层为书写轨迹740。

如图8B所示，在图像750上，书写轨迹740(书写轨迹二)的显示，缩小了书写轨迹720(书写轨迹一)与手写笔200之间的距离，减少了平板电脑100的划线时延。

需要说明的是，图8A中虚线框内的界面并不进行单独显示，仅作为中间步骤给出示意性说明，以方便理解。

需要说明的是，图8A中PC 300显示了界面710和第一投屏图像730。可以理解的，在另一些实施例中，PC 300也可以不显示界面710和第一投屏图像730，仅为平板电脑100提供计算能力。

可以理解的，平板电脑在(T-20ms)时刻接收手写笔的第二输入(输入c)，还将第二输入对应的笔迹信息c发送给PC。PC上运行的应用程序一接收笔迹信息c，根据笔迹信息c进行绘制，根据应用程序一当前显示界面和绘制点进行渲染、合成，生成包含书写轨迹三的第二投屏图像。PC将第二投屏图像压缩为视频流。PC通过无线通信(比如，Wi-Fi)将视频流发送给平板电脑。平板电脑接收到视频流，解压缩获取到第二投屏图像。进一步的，平板电脑将本地绘制的书写轨迹四叠加于第二投屏图像进行显示。

其中，书写轨迹三包括PC根据手写笔从点o移动至点c过程中的输入绘制的点。上述书写轨迹二包括平板电脑根据手写笔从点a移动至点c过程中的输入绘制的点。平板电脑显示第二投屏图像后，书写轨迹三可以覆盖书写轨迹二。

也就是说，平板电脑本地绘制的点会在一定时长后被PC根据同一输入绘制的点覆盖。在一种实现方式中，平板电脑本地绘制的书写轨迹在显示预设时长后，停止显示。

需要说明的是，本申请实施例以PC和平板电脑每次接收到一次输入就进行一次绘制为例进行介绍说明。在另一些实施例中，PC和平板电脑也可以在接收到多次输入后，根据多次输入进行一次绘制。比如，根据10ms内接收到的手写笔输入进行一次绘制。本申请实施例对此并不进行限定。

示例性的，如图9所示，在T0时刻，平板电脑100显示PC的投屏界面，该投屏界面不包括书写笔迹。用户使用手写笔在平板电脑100上划线。平板电脑100接收手写笔输入。比如，平板电脑将第一时长内接收到的手写笔输入作为一次输入，将一次输入对应的笔迹信息发送到PC进行书写轨迹绘制。示例性的，图9中，T0时刻至T1b时刻之间手写笔输入为第一输入。平板电脑100将第一输入对应的笔迹信息发送给PC 300。PC 300根据第一输入生成包含书写轨迹一的投屏图像。平板电脑100获取包含书写轨迹一的投屏图像。

平板电脑100还根据第二输入进行本地绘制。在一种示例中，第二输入的输入时间段在第一输入的输入时间段之后，且与第一输入的输入时间段完全不交叠。示例性的，图9中，T1b时刻至T2时刻之间手写笔输入为第二输入。平板电脑100根据T1b时刻至T2时刻之间的手写笔输入进行本地绘制，生成书写轨迹二。书写轨迹二是书写轨迹一的延续轨迹，且书写轨迹二与书写轨迹一不重合。在另一种示例中，第二输入的输入时间段起始时刻在第一输入的输入时间段起始时刻之后，且第二输入的输入时间段与第一输入的输入时间段部分交叠。示例性的，图9中，T1a时刻至T2时刻之间手写笔输入为第二输入；其中，T1a时刻在T0时刻之后，在T1b时刻之前。平板电脑100根据T1a时刻至T2时刻之间的手写笔输入进行本地绘制，生成书写轨迹二。书写轨迹二与书写轨迹一的部分轨迹重合，且书写轨迹二包含书写轨迹一的延续部分。

平板电脑100显示更新的投屏界面。在更新后的投屏界面的投屏图层上显示包含书写轨迹一的投屏图像，并在投屏图像上叠加显示书写轨迹二(本地图层)。书写轨迹二包含书写轨迹一的延续部分，缩小了书写轨迹一与手写笔之间的距离，减少了平板电脑100的划线时延。

在一种实现方式中，平板电脑100根据第一时延和/或第二时延确定第二输入的输入时间段的长度。其中，第一时延包括平板电脑100从PC获取投屏图像的时延，第二时延包括平板电脑100本地绘制书写轨迹二的时延。在一种示例中，第二输入的输入时间段的长度＝(第一时延-第二时延)；这样，根据第二输入绘制的书写轨迹二是根据第一输入绘制的书写轨迹一的延续轨迹，且书写轨迹二与书写轨迹一不重合。在另一种示例中，第二输入的输入时间段的长度＝第一时延；这样，根据第二输入绘制的书写轨迹二与根据第一输入绘制的书写轨迹一的部分轨迹重合，且书写轨迹二包含书写轨迹一的延续部分。示例性的，请参考图9，第一时延＝(T2-T1a)，第二时延＝(T1b-T1a)。在一种实现方式中，第二输入的输入时间段的长度＝(第一时延-第二时延)＝((T2-T1a)-(T1b-T1a))＝(T2-T1b)；即第二输入为T1b时刻至T2时刻之间手写笔输入。在另一种实现方式中，第二输入的输入时间段的长度＝第一时延＝(T2-T1a)；即第二输入为T1a时刻至T2时刻之间手写笔输入。

图10示出本申请实施例提供的手写笔输入方法的一种场景实例。

如图10所示，PC 300上运行应用程序一。比如，该应用程序一为画图应用程序。平板电脑100被设置为PC300的输入设备。PC 300将应用程序一的界面投屏至平板电脑100显示。平板电脑100显示画图应用程序的界面810。用户使用手写笔200在界面810上划线。比如，在t0时刻，平板电脑100接收手写笔200从界面810上点a移动至点b的输入(第一输入)。平板电脑100将手写笔200从点a移动至点b的输入的信息发送给PC 300；并且根据该输入的信息进行本地绘制。比如，平板电脑100本地绘制书写轨迹820。在t1时刻，平板电脑100在界面810上显示书写轨迹820。另一方面，PC 300接收到手写笔200从点a移动至点b的输入的信息，根据该信息生成包含书写轨迹830的投屏图像。PC 300将包含书写轨迹830的投屏图像发送给平板电脑100。平板电脑100获取包含书写轨迹830的投屏图像，在t2时刻刷新投屏界面，将包含书写轨迹830的投屏图像显示在投屏图层。

可以理解的，刷新后的投屏界面的本地图层包括书写轨迹820，投屏图层包括书写轨迹830，本地图层叠加于投屏图层之上；书写轨迹820与书写轨迹830都是根据手写笔200从点a移动至点b的输入绘制的，书写轨迹820与书写轨迹830具有相同的线条轨迹。

由于平板电脑100本地绘制的时延小于从PC 300获取投屏图像的时延，t1时刻早于t2时刻。也就是说，平板电脑100本地绘制的书写轨迹比PC 300绘制的书写轨迹更快得显示在平板电脑100屏幕上，可以更快向用户展示出手写笔输入的书写轨迹，缩短手写笔划线时延，提高手写笔跟手性。

在t2时刻，平板电脑100从PC 300获取到包含书写轨迹830的投屏图像并显示在投屏图层。书写轨迹830与书写轨迹820具有相同的线条轨迹，会覆盖书写轨迹820；从t2时刻起，可以停止显示书写轨迹820。在一些示例中，平板电脑100本地绘制的书写轨迹820显示一段时间后，在t3时刻停止显示。比如，t3时刻等于t2时刻；或者t3时刻晚于t2时刻。

可以理解的，在一种示例中，在t1时刻至t2时刻之间，用户继续使用手写笔200在平板电脑100上划线，手写笔200从点b移动至点c。平板电脑100根据手写笔从点b移动至点c输入的信息进行本地绘制，并显示本地生成的书写轨迹(图10中点b至点c之间的线段，用虚线表示，以区分于书写轨迹820和书写轨迹830)。

在一些实施例中，对于同样的手写笔输入，PC上绘制的书写轨迹与平板电脑绘制的书写轨迹存在差别。比如，二者的线条颜色、线条粗细、线条纹理、线条边界等不同。示例性地，如图11所示，平板电脑100本地绘制书写轨迹901，并从PC 300获取书写轨迹902。平板电脑100本地绘制的书写轨迹901比PC 300绘制的书写轨迹902线条更粗。这样的话，平板电脑本地绘制的书写轨迹不能与从PC接收的图像上的书写轨迹很好的融合。

本申请实施例提供的手写笔输入方法中，PC将其绘制书写轨迹的参数(比如，线条颜色参数、线条粗细参数、线条纹理参数等)发送给平板电脑，平板电脑按照PC上绘制书写轨迹的参数进行绘制书写轨迹；使得平板电脑本地绘制的书写轨迹与PC生成的投屏图像更好的融合。

在一种实现方式中，PC上运行应用程序三。该应用程序三用于向平板电脑发送PC绘制书写轨迹的参数。在一些示例中，该应用程序三与平板电脑上运行的应用程序二相同；可以理解的，应用程序三也可以与应用程序二不同，本申请实施例对此并不进行限定。

以PC上运行的应用程序三与平板电脑上运行的应用程序二相同为例，如图12所示，平板电脑接收手写笔的第一输入，获取第一笔迹信息；将第一笔迹信息发送给PC。PC根据第一笔迹信息绘制书写轨迹一，进行渲染、合成，生成包含书写轨迹一的第一投屏图像。PC将第一投屏图像压缩为视频流，通过无线通信发送给平板电脑。

应用程序一还将其绘制书写轨迹一的参数发送给应用程序二。在一种实现方式中，应用程序二每次接收到绘制参数，则将该绘制参数通过无线通信发送给平板电脑。在另一种实现方式中，应用程序二首次接收到绘制参数，则通过无线通信向平板电脑发送该绘制参数；之后每次接收到绘制参数，将其与上一次接收到的绘制参数进行比较。如果确定绘制参数中任意一项发送变化，则通过无线通信向平板电脑发送变化后的绘制参数。

平板电脑还接收手写笔的第二输入，获取第二笔迹信息。平板电脑上运行的应用程序二根据第二笔迹信息，采用从PC接收的绘制参数绘制书写轨迹二。平板电脑将书写轨迹二叠加显示于第一投屏图像。由于平板电脑绘制书写轨迹二采用的绘制参数与PC绘制书写轨迹一采用的绘制参数相同，书写轨迹二与包括书写轨迹一的第一投屏图像能够很好的融合，带来更好的视觉效果。

在另一种实现方式中，上述应用程序三的功能也可以由应用程序一实现，即由应用程序一向平板电脑发送PC绘制书写轨迹的参数，本申请实施例对此并不进行限定。

本申请实施例提供的手写笔输入方法，电子设备利用处理设备的计算能力生成包括书写轨迹的投屏图像，并且本地绘制书写轨迹，将本地绘制的书写轨迹叠加显示于处理设备生成的投屏图像。由于电子设备本地绘制时延较小，本地绘制的书写轨迹缩小了电子设备屏幕上手写笔与投屏图像上书写轨迹之间的距离；减小了电子设备上手写笔输入的划线时延，提高了手写笔跟手性。

可以理解的是，上述电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在一种示例中，请参考图13，其示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备1000包括：处理单元1001，存储单元1002，通信单元1003和显示单元1004。

其中，处理单元1001，用于对电子设备1000的动作进行控制管理。例如，可以用于根据笔迹信息绘制书写轨迹，和/或本申请实施例中其他处理步骤。

存储单元1002用于保存电子设备1000的程序代码和数据。例如，可以用于保存从处理设备获取的绘制参数等。

通信单元1003用于支持电子设备1000与其他电子设备通信。例如，可以用于向处理设备发送笔迹信息，从处理设备接收包括书写轨迹的投屏图像，和/或从处理设备接收绘制参数等。

显示单元1004用于显示电子设备1000的界面。例如，可以用于显示包括书写轨迹的图像等。

当然，上述电子设备1000中的单元模块包括但不限于上述处理单元1001，存储单元1002，通信单元1003和显示单元1004。例如，电子设备1000中还可以包括电源单元等。电源单元用于对电子设备1000供电。

其中，处理单元1001可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。存储单元1002可以是存储器。通信单元1003可以是收发器、收发电路等。显示单元1004可以是显示屏。

例如，处理单元1001为处理器(如图5所示的处理器110)，存储单元1002可以为存储器(如图5所示的内部存储器121)，通信单元1003可以称为通信接口，包括无线通信模块(如图5所示的无线通信模块160)，显示单元1004为显示屏(如图5所示的显示屏150，该显示屏150可以为触摸屏，该触摸屏中可以集成显示面板和触控面板)。本申请实施例所提供的电子设备1000可以为图5所示的电子设备100。其中，上述处理器、存储器、通信接口、显示屏等可以连接在一起，例如通过总线连接。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序代码，当处理器执行该计算机程序代码时，电子设备执行上述实施例中的方法。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述实施例中的方法。

其中，本申请实施例提供的电子设备1000、计算机可读存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现，也可以使用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (28)

1.一种手写笔输入方法，其特征在于，包括：

第一电子设备接收第一应用的投屏界面，所述第一应用运行在第二电子设备；

第一电子设备接收用户在所述投屏界面的手写笔的输入，所述手写笔的输入包括第一输入和第二输入；

所述第一电子设备显示更新后的所述投屏界面，所述更新后的投屏界面包括第一图层和第二图层，所述第一图层包括所述第二电子设备根据所述第一输入生成的包含第一书写轨迹的第一图像；所述第二图层包括所述第一电子设备根据所述第二输入绘制的第二书写轨迹。

2.根据权利要求1所述的方法，其特征在于，所述第二图层叠加于所述第一图层之上。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述第一电子设备获得第二图像，所述第二图像包括所述第二电子设备根据所述第二输入生成的第三书写轨迹；所述第一电子设备在所述第一图层上显示所述第二图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述第一图层上的所述第三书写轨迹覆盖所述第二图层上的所述第二书写轨迹。

5.根据权利要求3或4所述的方法，其特征在于，所述第二书写轨迹在显示预设时长后，停止显示，或者，在所述第三书写轨迹覆盖所述第二书写轨迹后，所述第二书写轨迹停止显示。

6.根据权利要求1-5任意一项所述的方法，其特征在于，所述第二书写轨迹为所述第一书写轨迹的延续轨迹，或者所述第二书写轨迹与所述第一书写轨迹的部分轨迹重合并包含所述第一书写轨迹的延续部分。

7.根据权利要求1-5任意一项所述的方法，其特征在于，所述第一输入的输入时间段与所述第二输入的输入时间段完全不交叠或者部分交叠。

8.根据权利要求7所述的方法，其特征在于，所述第二输入的输入时间段的长度根据第一时延和/或第二时延确定，所述第一时延包括所述第一电子设备从所述第二电子设备获取图像的时延，所述第二时延包括所述第一电子设备生成所述第二书写轨迹的时延。

9.根据权利要求1-8任意一项所述的方法，其特征在于，所述方法还包括：

所述第一电子设备获取所述第二电子设备发送的绘制参数，所述第一电子设备采用所述绘制参数绘制所述第二书写轨迹。

10.根据权利要求9所述的方法，其特征在于，所述绘制参数包括所述第二电子设备绘制所述第一书写轨迹所采用的绘制参数。

11.根据权利要求10所述的方法，其特征在于，所述绘制参数包括线条颜色参数，线条粗细参数，线条纹理参数中至少一项。

12.一种手写笔输入方法，其特征在于，包括：

第一电子设备显示第一应用的投屏界面，接收手写笔的第一输入，所述第一应用运行在第二电子设备；

所述第一电子设备向所述第二电子设备发送所述第一输入的信息；

所述第一电子设备从所述第二电子设备接收第一图像，所述第一图像包括根据所述第一输入的信息绘制的第一书写轨迹；

所述第一电子设备显示所述第一图像；

所述第一电子设备接收手写笔的第二输入；

所述第一电子设备根据所述第二输入的信息绘制第二书写轨迹；

所述第一电子设备显示所述第二书写轨迹，所述第二书写轨迹显示为所述第一书写轨迹的延续轨迹。

13.根据权利要求12所述的方法，其特征在于，所述第二书写轨迹全部为所述第一书写轨迹的延续轨迹，或者所述第二书写轨迹与所述第一书写轨迹的部分轨迹重合并包含所述第一书写轨迹的延续部分。

14.根据权利要求12或13所述的方法，其特征在于，所述第一图像显示在第一图层，所述第二书写轨迹显示在第二图层，所述第二图层叠加在所述第一图层之上。

15.根据权利要求12-14任意一项所述的方法，其特征在于，所述方法还包括：

所述第一电子设备向所述第二电子设备发送所述第二输入的信息；

所述第一电子设备从所述第二电子设备接收第二图像，所述第二图像包括根据所述第二输入的信息绘制的第三书写轨迹；

所述第一电子设备显示所述第二图像，所述第三书写轨迹覆盖所述第二书写轨迹。

16.根据权利要求15所述的方法，其特征在于，所述第二书写轨迹在显示预设时长后，停止显示，或者，在所述第三书写轨迹覆盖所述第二书写轨迹后，所述第二书写轨迹停止显示。

17.根据权利要求12-16任意一项所述的方法，其特征在于，所述第二输入的输入时间段的长度根据第一时延和/或第二时延确定，所述第一时延包括所述第一电子设备从所述第二电子设备获取图像的时延，所述第二时延包括所述第一电子设备生成所述第二书写轨迹的时延。

18.根据权利要求12-17任意一项所述的方法，其特征在于，

所述方法还包括：

所述第一电子设备接收所述第二电子设备的绘制参数；

所述第一电子设备根据所述第二输入的信息绘制第二书写轨迹包括：

所述第一电子设备采用所述绘制参数根据所述第二输入的信息绘制所述第二书写轨迹。

19.一种手写笔输入方法，其特征在于，包括：

第一电子设备显示第一应用的投屏界面，所述第一应用运行在第二电子设备；

所述第一电子设备在t0时刻接收用户在所述投屏界面的手写笔的第一输入；

所述第一电子设备在t1时刻在所述投屏界面上显示所述第一输入对应的第一书写轨迹；

所述第一电子设备在t2时刻刷新所述投屏界面，所述刷新后的所述投屏界面包括所述第一输入对应的第二书写轨迹，其中，所述t1时刻早于所述t2时刻。

20.根据权利要求19所述的方法，其特征在于，所述方法还包括：所述第一书写轨迹在t3时刻停止显示。

21.根据权利要求20所述的方法，其特征在于，所述t3时刻等于所述t2时刻，或者所述t3时刻晚于所述t2时刻。

22.根据权利要求19-21任意一项所述的方法，其特征在于，所述第一书写轨迹由所述第一电子设备绘制，所述第二书写轨迹由所述第二电子设备绘制。

23.根据权利要求19-22任意一项所述的方法，其特征在于，所述第一书写轨迹位于第一图层，所述第二书写轨迹位于第二图层。

24.根据权利要求23所述的方法，其特征在于，所述第一图层叠加在所述第二图层之上。

25.根据权利要求19-24任意一项所述的方法，其特征在于，所述第一书写轨迹与所述第二书写轨迹具有相同的线条轨迹。

26.根据权利要求25所述的方法，其特征在于，所述第一书写轨迹的线条颜色、粗细与纹理中的任意参数与所述第二书写轨迹的对应参数相同或不相同。

27.一种电子设备，其特征在于，包括：

一个或多个处理器；

显示屏；

存储器；

其中，所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-26任意一项所述的方法。

28.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-26任意一项所述的方法。

Images