CN112631488B - 一种基于智能桌面的内容显示方法和智能桌面终端 - Google Patents

Abstract

本申请公开了一种基于智能桌面的内容显示方法和智能桌面终端。该方法包括：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示所述内容。

Description

一种基于智能桌面的内容显示方法和智能桌面终端

本发明为申请号为201511030274.6，发明名称为“一种基于智能桌面的内容显示方法和智能桌面终端”的发明专利申请的分案申请。

技术领域

本发明涉及智能终端技术领域，更具体的说，涉及一种基于智能桌面的内容显示方法和智能桌面终端。

背景技术

随着技术的发展，智能桌面终端已经走进人们正常的工作和生活，利用智能桌面终端进行多人会议将会是非常常见的工作场景。在开会时经常需要在智能桌面终端所展示的智能桌面上手写记录，例如记笔记、写方案、画图等。

然而，多人使用智能桌面终端时，如何在智能桌面上显示内容是一个重大问题。

发明内容

本申请提出一种基于智能桌面的内容交互方法。本申请的技术方案如下：

一种基于智能桌面的内容显示方法，该方法包括：

检测针对智能桌面的内容的显示指令；

基于指定显示方式，在智能桌面上显示所述内容。

一种用户认证方法，包括：

接收书写内容，基于所述书写内容的笔迹特征和书写辅助特征生成用户特征，并存储用户特征；

接收待认证内容，基于所述待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，当所述待认证用户特征与用户特征相匹配时，通过认证。

一种基于智能桌面的内容显示方法，包括：

与关联设备建立连接关系；

基于所述连接关系与所述关联设备交互智能桌面的内容和/或关联设备的内容。

一种基于智能桌面的内容显示装置，应用于智能桌面终端，该内容显示装置包括：

显示指令检测模块，用于检测针对智能桌面的内容的显示指令；

内容显示模块，用于基于指定显示方式，在智能桌面上显示所述内容。

一种用户认证装置，包括：

用户特征生成模块，用于接收书写内容，基于所述书写内容的笔迹特征和书写辅助特征生成用户特征，并存储用户特征；

认证模块，用于接收待认证内容，基于所述待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，当所述待认证用户特征与用户特征相匹配时，通过认证。

一种智能桌面终端，包括：

连接建立模块，用于与关联设备建立连接关系；

交互模块，用于基于所述连接关系与所述关联设备交互智能桌面的内容和/或关联设备的内容。

采用本发明的方式，检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。因此，本发明可以基于指定显示方式在智能桌面上显示内容，从而可以满足各种类型的针对智能桌面内容的显示需求。

附图说明

图1为根据本发明的基于智能桌面的内容显示方法流程图；

图2为根据本发明的用户认证方法流程图；

图3为根据本发明的关联设备组成智能桌面的内容显示方法流程图；

图4为多人会议的示范性示意图；

图5为根据本发明实施例1的缩略图的示意图；

图6为根据本发明实施例1的缩略图显示示意图；

图7为根据本发明实施例2的显示主题摘要示意图；

图8为根据本发明实施例3的显示用户摘要示意图；

图9为根据本发明实施例4的指定用户分享示意图；

图10为根据本发明实施例5的指定位置分享示意图；

图11为根据本发明实施例6的共享区域示意图；

图12为根据本发明实施例7的书写冲突示意图；

图13为根据本发明实施例7的书写冲突处理后的第一示范性显示示意图；

图14为根据本发明实施例7的书写冲突处理后的第二示范性显示示意图；

图15为根据本发明实施例7的书写冲突处理后的第三示范性显示示意图；

图16为根据本发明实施例8的遮挡示意图；

图17为根据本发明实施例8的遮挡处理后的第一示范性显示示意图；

图18为根据本发明实施例8的遮挡处理后的第二示范性显示示意图；

图19为根据本发明实施例9的录音资源冲突处理示意图；

图20A为根据实施例9，当闹钟时间相同时的时间提醒资源冲突处理示意图；

图20B为根据实施例9，当闹钟时间不相同时的时间提醒资源冲突处理示意图；

图21为根据本发明实施例10发出提示的第一示范性示意图；

图22为根据本发明实施例10发出提示的第二示范性示意图；

图23为根据本发明实施例10发出提示的第三示范性示意图；

图24为根据本发明实施例11智能白板的示范性示意图；

图25为根据本发明的智能桌面的内容显示装置的示范性结构图；

图26为根据本发明的用户认证装置的示范性结构图；

图27为根据本发明的智能桌面终端的示范性结构图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

图1为根据本发明基于智能桌面的内容显示方法流程图。

如图1所示，该方法包括：

步骤101：检测针对智能桌面的内容的显示指令。

步骤102：基于指定显示方式，在智能桌面上显示内容。

在一个实施方式中，指定显示方式包含下述至少一种显示方式：

显示方式(a)：基于内容在智能桌面的相对位置，在缩略图中显示内容；

显示方式(b)：基于与内容相关的用户属性和/或文本属性，显示内容和/或内容的摘要。

本发明实施方式的智能桌面既可以实施为一个独立的设备，也可以实施为由多个相互连接的关联设备所组成的智能桌面。

当智能桌面包含多个相互连接的关联设备时，显示方式(a)中基于内容在智能桌面的相对位置，在缩略图中显示内容，具体包括：检测各个关联设备的相对位置，并基于关联设备的相对位置在缩略图中显示各个关联设备的内容。

其中：检测各个关联设备的相对位置，具体包括下述至少一项：

(1)、基于各个关联设备的网络信号检测结果，确定各个关联设备的相对位置。

比如，检测关联设备的无线通信信号(如2G、3G、4G，等)、红外通信信号、蓝牙通信信号、无线局域网信号中的一种或多种不同信号的综合检测结果，确定各个关联设备的相对位置。

(2)、基于各个关联设备所提供的相对位置设置值，确定各个关联设备的相对位置。

比如，各个关联设备可以自行设置自身的相对位置设置值，并相互发送各自的相对位置设置值。因此，可以基于各个相对位置设置值确定出各个关联设备的位置拓扑图，从而确定出各个关联设备的相对位置。

以上示范性描述了检测各个关联设备的相对位置的典型实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明的保护范围。

在一个实施方式中，显示方式(a)中基于内容在智能桌面的相对位置，在缩略图中显示内容，具体包括下列中的至少一个：

(1)、确定用户的视角方向，并根据用户的视角方向调整内容在缩略图中的显示方向。

具体地，确定用户的视角方向可以包括：基于用户手写内容的手写特征确定用户的视角方向；和/或，基于采集到的用户图像确定用户的视角方向，等等。

(2)、压缩缩略图中的冗余区域。

在一个实施方式中，压缩缩略图中的冗余区域包括：

基于语义相关性、位置相关性、时序相关性、用户相关性中的至少一个，将内容划分为一或多个内容区块；扩张一或多个内容区块以去除内容区块之间的冗余区域，等等。

(3)、调整缩略图中内容的字体。

具体地，可以将缩略图中各内容区块的字体调整为合适的字体，使内容能够尽可能地刚好布满内容区块，以使用户能够尽量清楚地查看内容。其中，可以针对各内容区块分别进行字体调整，各内容区块的字体调整比例可能不相等，也可能相等。

(4)、在缩略图中，显示内容的摘要。

(5)、对内容中的隐私信息进行隐藏显示，等等。

比如，可以基于用户指定或文本分析等方式，确定内容和/或内容的摘要中的隐私信息。而且，隐藏显示可以包括：不显示隐私或替换显示隐私标识，等等。

在一个实施方式中，按照显示方式(a)基于内容在智能桌面的相对位置，在缩略图中显示内容时，还包括下列中至少一个：

(1)、检测在缩略图中选择内容的操作，并在缩略图中和/或缩略图的周边区域放大显示已选择内容。

通过放大显示已选择内容，可以便于用户观看已选择内容。

(2)、当检测智能桌面的内容发生更新时，在缩略图中提示用户，并基于用户指令在缩略图更新内容。

通过在缩略图中提示用户内容发生更新，可以使得用户及时了解智能桌面的内容发生更新。而且，可以基于用户主动触发的指令在缩略图更新内容。

(3)、当检测智能桌面的内容发生更新时，在缩略图更新所述内容。

当检测智能桌面的内容发生更新时，也可以不提示用户，不发出用户指令，而是主动在缩略图更新内容。

(4)、接收内容编辑指令，基于内容编辑指令在缩略图编辑内容。

在一个实施方式中，按照显示方式(b)基于与内容相关的用户属性和/或文本属性，显示内容和/或所述内容的摘要，具体包括：对内容和/或内容的摘要中的隐私信息进行隐藏显示。

在一个实施方式中，该方法还包括下列中的至少一个：

(1)、接收内容查看指令，基于内容查看指令显示摘要的相关内容。

(2)、接收摘要长度变更指令，基于摘要长度变更指令改变内容的摘要长度。

(3)、接收搜索指令，基于搜索指令在内容和/或内容的摘要中执行搜索。

在一个实施方式中，内容包括待分享内容；步骤102中指定显示方式包括：

确定接收待分享内容的用户和/或显示待分享内容的显示位置；基于确定出的用户和/或显示位置，在智能桌面上显示内容。可见，应用本发明实施方式之后，通过指定接收待分享内容的用户和/或显示待分享内容的显示位置，可以将用户待分享的内容显示给任意其他用户，或者在任意的显示位置显示待分享内容。

在一个实施方式中，待分享内容通过下述方式确定：

将已有内容指定为待分享内容；或，将实时书写的内容指定为待分享内容。

在一个实施方式中，该方法还包括：

根据接收待分享内容的用户的视角方向，调整待分享内容的显示方向。

在这里，确定用户的视角方向可以包括：基于用户手写内容的手写特征确定用户的视角方向；基于采集到的用户图像(比如：检测到的用户坐姿图像)确定用户的视角方向，等等。

在一个实施方式中，内容包括待分享内容；步骤102中的指定显示方式包括：在智能桌面上设置共享区域；接收分享内容确定命令，响应于分享内容确定命令，将待分享内容复制到共享区域。可见，应用本发明实施方式之后，可以将用户分享的内容复制到指定的共享区域中，从而便于其他用户获取该分享的内容。

在一个实施方式中，该方法还包括下述至少一项：

(1)、接收旋转共享区域命令，响应于旋转共享区域命令，旋转共享区域。

期望获取待分享内容的用户有可能不在待分享内容的显示位置的附近。此时，期望获取分享内容的用户通过主动旋转共享区域，可以便利地接近待分享内容。

(2)、接收停止旋转共享区域命令，响应于停止旋转共享区域命令，停止旋转共享区域。

当待分享内容旋转到期望获取待分享内容的用户附近时，通过该用户触发停止旋转共享区域命令，可以停止旋转共享区域。

(3)、接收获取共享区域内容命令，响应于获取共享区域内容命令，从共享区域中复制相应内容。

当待分享内容停止到期望获取待分享内容的用户附近时，该用户可以从共享区域中复制待分享内容到自身的显示区域中显示，从而能够获取其他用户分享的内容。

在一个实施方式中，内容包括：与当前书写内容的输入位置存在位置冲突的已存在内容；

步骤101中检测针对智能桌面的内容的显示指令包括：检测与当前书写内容的输入位置存在位置冲突的已存在内容，当检测到已存在内容时触发对已存在内容的显示指令；

步骤102中指定显示方式包括：暂时隐藏已存在内容。

应用本发明实施方式之后，通过对存在位置冲突的已存在内容进行隐藏，使得当前笔迹可以持续进行。

在一个实施方式中，还包括：

当智能桌面上当前书写内容输入完毕后，基于已存在内容与当前书写内容的语义相关性，确定恢复显示方式；其中恢复显示方式包括下列中至少一个：将已存在内容和/或当前书写内容移动位置后恢复显示；将已存在内容和/或当前书写内容重排版恢复显示。

在一个实施方式中，内容包括：被智能桌面上的遮挡物遮挡的内容；

步骤101中检测针对智能桌面的内容的显示指令，包括：检测智能桌面上的遮挡物，当智能桌面的内容被所述遮挡物遮挡时触发对被遮挡内容的显示指令；

步骤102中指定显示方式包括：对被遮挡内容进行重排版。

在一个实施方式中，对被遮挡内容进行重排版，具体包括：

基于被遮挡内容的字符连续性、被遮挡内容的文本行连续性、被遮挡内容的段落连续性、被遮挡内容的语义关联性、被遮挡内容的图片连续性、被遮挡内容的图片文字间关联性中的至少一个，对被遮挡内容进行重排版。

总之，本发明针对新输入内容和已存在内容之间的冲突和被遮挡内容，给出解决机制，可以克服新输入内容和已存在内容之间的冲突，而且可以保证被遮挡内容得以正常显示。

在一个实施方式中，该方法还包括：

根据已书写内容，确定对当前书写内容的提示信息；显示提示信息。

可见，应用本发明实施方式之后，可以显示提示信息，从而智能地提示用户还没有书写、但其他用户已经书写的内容或摘要，并通过分析所有用户的书写内容，智能地对用户已书写的内容进行纠错，不但可以增加用户的书写体验，而且提高了多人共同完成同一任务的效率，避免了多人重复内容的构想和书写。

在一个实施方式中，根据已书写内容，确定对当前书写内容的提示信息，具体包括下述至少一项：

(1)、从当前书写内容中提取关键词，并当所述关键词与从已书写内容中提取出的关键词的相似度大于预定的门限值时，利用从已书写内容中提取出的关键词确定对当前书写内容的提示信息。

(2)、从当前书写内容中提取关键词，并根据从已书写内容中提取出的关键词及上下文关键词，查询从当前书写内容中提取的关键词对应的上下文关键词，利用查询到的上下文关键词确定对当前书写内容的提示信息。

(3)、从当前书写内容中提取上下文关键词，并根据从已书写内容中提取出的关键词及上下文关键词，查询从当前书写内容中提取的上下文关键词对应的关键词，利用查询到的关键词确定对当前书写内容的提示信息。

(4)、从已书写内容中提取已书写内容摘要，从当前书写内容中提取当前书写内容摘要，比较已书写内容摘要与所述当前书写内容摘要，并基于所述比较的结果确定对当前书写内容的提示信息。

在一个实施方式中，内容包括时间提醒信息；

步骤101中检测针对智能桌面的内容的显示指令包括：检测用户设定的提醒时间，当用户设定的提醒时间到时触发对所述内容的显示指令；

步骤102中指定显示方式包括：当使用智能桌面的各用户设定的提醒时间相同时，如果到达提醒时间，通过下述至少一种方式播放所述时间提醒信息：声音、图标、文字；或

当使用智能桌面的各用户设定的提醒时间不同时，如果到达提醒时间时，通过下述至少一种方式播放时间提醒信息：图标、文字。

可见，本发明实施方式还实现了不同用户针对智能桌面的时间提醒资源的并行调用，从而提高了资源利用率。

总之，本发明针对智能桌面的相同的资源的多个用户调用请求，给出解决机制，可以克服多个用户调用请求之间的冲突，保证了智能桌面的资源被正常合理调用。

在一个实施方式中，该方法还包括：

接收到用户的录音开始指令后，开始录音；

接收到所有用户的结束录音指令后，结束录音；

基于每个用户的录音开始指令及每个用户的结束录音指令，生成各个用户的录音文件。

可见，本发明实施方式还实现了不同用户针对智能桌面的录音资源的并行调用，从而提高了资源利用率。

在一个实施方式中，该方法还包括：

显示录音内容播放界面，录音内容播放界面包含各关键时间段标识和/或各关键时间段的录音经语音识别后的内容。

在一个实施方式中，该方法还包括：

接收书写内容，基于书写内容的笔迹特征和书写辅助特征生成用户特征，存储用户特征；

接收待认证内容，基于待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，当待认证用户特征与所述用户特征相匹配时，通过认证。

可见，本发明还基于一种新颖的用户认证方式，实现了对用户的认证。用户无需预先书写认证书写内容，在用户自由书写过程中即可对用户执行认证。

在一个实施方式中，该方法还包括：

与关联设备建立连接关系；基于连接关系与关联设备交互智能桌面的内容和/或关联设备的内容。

在一个实施方式中，与关联设备交互智能桌面的内容和/或关联设备的内容，具体包括下列中至少一个：

(1)、在智能桌面的内容中确定待分发内容，在关联设备中确定接收待分发内容的关联设备；响应于内容分发指令，将待分发内容发送到接收待分发内容的关联设备；

比如，应用场景可以包括教学过程中教师使用智能白板，学生使用关联设备。具体行为包括：教师向学生分发任务。

(2)、获取对指定关联设备所提供的内容的编辑信息，并将编辑信息发送到指定关联设备。

比如，应用场景可以包括教学过程中教师使用智能白板，学生使用关联设备。具体行为包括：教师监督和批改学生的作业。

(3)、确定智能桌面的待分享内容，将待分享内容发送到指定关联设备。

比如，应用场景可以包括教学过程中教师使用智能白板，学生使用关联设备。具体行为包括：教师分享教授内容。

(4)、接收关联设备对智能桌面分享的内容的编辑信息，并显示接收到的编辑信息。

比如，应用场景可以包括教学过程中教师使用智能白板，学生使用关联设备。具体行为包括：教师接收学生的笔记。

(5)、确定智能桌面被关联设备覆盖的区域，将智能桌面中区域的内容发送到关联设备。

比如，应用场景可以为多人围坐在智能桌面，而且每人手持手机等关联设备的场景。具体行为包括：将手机等关联设备放置在智能桌面上想要保存的内容上，此时智能桌面感应到该区域被关联设备覆盖，该区域的内容就会通过近场通讯(NFC)、无线通讯(Wi-fi)等方式传送到手机等关联设备的应用程序中并保存。

(6)、将智能桌面上的指定内容发送到指定关联设备。

比如，应用场景可以为多人围坐在智能桌面，而且每人手持手机等关联设备的场景。具体行为包括：用户执行某些特定的操作(如点击内容传输按钮)，智能桌面检测到用户的操作后，将智能桌面上的指定内容发送到指定关联设备。

(7)、接收关联设备发送的内容，确定被该关联设备覆盖的区域，并在确定的区域中显示接收到的内容。

比如，应用场景可以为多人围坐在智能桌面，而且每人手持手机等关联设备的场景。具体行为包括：将手机等关联设备放置在智能桌面上期望显示手机内容的区域上，此时智能桌面感应到该区域被手机等关联设备覆盖，手机的内容就会通过NFC、Wi-fi等方式传送到该区域予以显示。

在一个实施方式中，智能桌面是由具有连接关系的关联设备所组成的；

步骤102中基于指定显示方式，在智能桌面上显示内容，具体包括：

根据连接关系，获取关联设备的内容，并基于指定显示方式，显示获取到的内容。

在现有技术中，针对用户手写内容的认证方法主要包括：用户预先书写预定的签名内容，设备记录并保存签名内容的手写特征(如笔迹特征)。当需要认证用户时，用户再次书写相同的签名内容，设备将当前书写内容的手写特征与设备已保存的手写特征进行匹配，从而判断用户的身份。然而，在这种认证方式中，用户需要预先注册手写内容，而且认证时需要手写固定内容的签名内容，无法自由书写，从而给用户带来困扰。

本发明还提出了一种用户认证方法。基于该用户认证方法，用户无需预先注册手写内容，而且在用户自由书写过程中即可对用户执行认证。

图2为根据本发明用户认证方法流程图。

如图2所示，该方法包括：

步骤201：接收书写内容，基于书写内容的笔迹特征和书写辅助特征生成用户特征，并存储用户特征。

在这里，设备并不需要用户书写预定的签名内容，而是允许用户自由书写，此时设备并不知道用户的身份信息。设备在接收用户实时输入的书写内容的同时，记录书写内容的笔迹特征(比如：压力、速度、加速度、笔画特征等)，还记录书写辅助特征(比如：书写时的位置坐标、书写时的时间信息、书写方向、文本行方向等)，然后通过特征提取算法，生成当前用户的用户特征，并将用户特征保存到设备上。

步骤202：接收待认证内容，基于待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，当待认证用户特征与用户特征相匹配时，通过认证。

当用户继续书写出待认证内容时，基于待认证内容的笔迹特征(比如：压力、速度、加速度、笔画特征等)和书写辅助特征(比如：书写时的位置坐标、书写时的时间信息、书写方向、文本行方向等)生成待认证用户特征，同时会和已保存到设备上的用户特征去匹配。匹配过程中，设备可从笔迹特征、书写位置坐标、时间连续性、书写方向、文本行方向、书写范围，书写内容等多方面综合判断用户的身份。

如果待认证用户特征与用户特征相匹配时，则用户身份认证通过，否则，当待认证用户特征与用户特征不匹配时，存储待认证用户特则，并为当前用户新建用户标识。

本发明还提出了一种针对由关联设备组成的智能桌面的内容显示方法。

图3为根据本发明关联设备组成智能桌面的内容显示方法流程图。

如图3所示，该方法包括：

步骤301：与关联设备建立连接关系。

步骤302：基于连接关系与所述关联设备交互智能桌面的内容和/或关联设备的内容。

具体地，与关联设备交互智能桌面的内容和/或关联设备的内容，具体包括下列中至少一个：

(1)、在智能桌面的内容中确定待分发内容，在关联设备中确定接收待分发内容的关联设备；响应于内容分发指令，将待分发内容发送到接收所述待分发内容的关联设备。

(2)、获取对指定关联设备所提供的内容的编辑信息，并将所述编辑信息发送到所述指定关联设备。

(3)、确定智能桌面的待分享内容，将所述待分享内容发送到指定关联设备；

接收关联设备对智能桌面分享的内容的编辑信息，并显示接收到的编辑信息；

(4)、确定智能桌面被所述关联设备覆盖的区域，将智能桌面中所述区域的内容发送到所述关联设备；

(5)、将智能桌面上的指定内容发送到指定关联设备；

(6)、接收关联设备发送的内容，确定被该关联设备覆盖的区域，并在确定的区域中显示接收到的内容。

下面结合具体实施例，对本发明上述方案进行详细说明。

图4为多人会议的示范性示意图。如图4所示，多个用户围坐在智能桌面的四周，开始会议。每个用户都可以基于自己的书写习惯，在智能桌面上自己所在的位置处书写内容。

在现有技术中，无法满足所有不同方向用户的观看需求。例如，当多用户使用智能桌面进行手写记录时，因为每个用户坐的位置、方向各不相同，观看其他用户的内容时会很不方便。比如，由于面对而坐的用户观看方向相反，相互查看书写内容存在困难

实施例1

下面对下述方案进行详细介绍：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。其中，指定显示方式为：基于内容在智能桌面的相对位置，在缩略图中显示内容。

如图4所示，在开会时，经常需要手写记录，例如记笔记、写方案、画图等。当多用户使用智能桌面进行手写记录时，因为每个用户坐的位置、方向各不相同，通常观看其他用户的内容时会很不方便。

场景：用户A在主持一场头脑风暴，其他用户都在智能桌面上各自的位置写了各自的想法，用户A想查看所有人的方案。

解决方案：基于内容的相对位置的缩略图。

基于本发明，可以根据用户A的操作调出缩略图，其调出的方式可以是下述方式中的至少一种：

(1)语音操作

用户A通过语音方式，例如说“我要看缩略图”，此时智能桌面将缩略图显示在用户A面前没有内容的区域。如果用户A面前写满内容，会暂时将其正前方缩略图大小的一部分内容隐藏，显示缩略图。

(2)物理按键操作

用户A可以通过按智能桌面上的某个按键，调出缩略图。

(3)触屏操作

用户A可以通过触屏，例如双击屏幕，此时智能桌面将缩略图显示在用户触屏的位置。如果该位置有内容，暂时将缩略图大小的一部分内容隐藏，显示缩略图。

(4)手势操作

用户A通过手势动作，例如挥手，此时智能桌面的摄像头捕捉到用户A的手势动作，将缩略图显示在用户A面前没有内容的区域。如果用户A面前写满内容，暂时将其正前方缩略图大小的一部分内容隐藏，显示缩略图。

(5)对外部控制器的操作

用户通过操作外部控制器，例如按下手写笔上的按钮，此时智能桌面将缩略图显示在手写笔指向的位置。如果该位置有内容，会暂时将缩略图大小的一部分内容隐藏，显示缩略图。

图5为根据本发明实施例1的缩略图的示意图。图5的左边是实际智能桌面屏幕显示图，不同用户的书写位置、方向各不相同。如果用户想查看其他用户的书写内容，可调出缩略图，即图5的右边。

用户可以对自己的缩略图进行各种设置。具体包括：

(1).缩略图是否显示非手写内容

当作为观看用户的用户A确认只显示手写内容时，缩略图中仅显示智能桌面屏幕上的用户(该用户可以是全部用户，也可以是除了观看用户之外的其它用户)的手写内容，不显示例如文档、图片、幻灯片、视频等非手写内容。当用户确认缩略图显示手写内容和非手写内容时，缩略图中不但会显示智能桌面屏幕上的用户手写内容，也显示例如文档、图片、幻灯片、视频等非手写内容。当用户确认只显示非手写内容时，缩略图中仅显示例如文档、图片、幻灯片、视频等非手写内容。

(2).缩略图是否显示自己的内容

当作为观看用户的用户A确认只显示自己的内容时，缩略图中显示用户A(观看用户)的内容。当作为观看用户的用户A确认不显示自己的内容时，缩略图中不会显示用户A的内容。

(3).是否以不同颜色区分不同用户内容

本发明中，可以根据用户的手写笔迹识别不同的用户，从而可以得到不同用户的书写内容。

当用户A确认以不同颜色区分不同用户内容时，智能桌面在缩略图中以不同的颜色区分出不同用户书写的内容，即不同用户书写内容在缩略图中的字迹颜色不同。例如用户B在智能桌面的左上角和左下角都写过内容，此时系统会识别出这两处内容皆为用户B所写，当用户A查看缩略图时，这两部分的内容将以同样的颜色显示，但跟其他用户书写内容的颜色不同。即使用户B在书写这两部分内容时用了不同颜色的笔(例如黑色和蓝色)，这两部分内容在用户A调出的缩略图中也会呈现同一种颜色(例如绿色)。

当用户A确认所有内容都以其原始颜色显示时，智能桌面在缩略图中保持内容原本的字迹颜色。例如用户B在智能桌面的左上角和左下角都写过内容，左上角的内容用户B使用了黑色的笔，左下角的内容用户B使用了蓝色的笔，此时在用户A查看的缩略图中，左上角内容依旧为黑色，左下角内容依旧为蓝色。

本发明提出，可以在缩略图中每个用户书写内容周围显示书写用户的信息(如用户名、用户头像等)，或者当用户A在缩略图中选中某部分内容时，例如圈选等，此时将会显示这部分内容对应的书写用户的信息。

(4).选择缩略图的大小和位置

当确认自动确定缩略图的大小和位置时，缩略图的初始大小为系统内设的标准大小，显示位置将自动确定。智能桌面优先将缩略图显示在用户的对应显示区域的空白区域内，如果对应显示区域中空白区域的面积略小于缩略图系统内设的标准大小(如对应显示区域中空白区域的面积与缩略图系统内设的标准面积的差值小于预设面积阈值)，缩略图的大小会适当缩小以适应该对应显示区域中的空白区域。然而，如果对应显示区域中空白区域的面积远小于缩略图系统内设的标准大小(如对应显示区域面积中空白区域与缩略图系统内设的标准面积的差值不小于预设面积阈值)，则用户需要继续选择以下次级选项：

i.覆盖模式(覆盖已有内容)

当用户查看缩略图时，不需要同时查看自己书写的内容，可选择此项。此时智能桌面将缩略图显示在用户的对应显示区域，并把被缩略图覆盖的内容暂时隐藏。

ii.插入模式(插入到内容中)

当用户查看缩略图时，需要同时查看自己书写的内容，可选择此项。此时智能桌面将缩略图插入到用户的对应显示区域中内容的结尾处，随后用户输入的手写内容会显示在缩略图的周围，若后续用户输入的手写内容的显示空间不足，可通过改变排版方式、形成多页等方式解决。

当确认手动确定缩略图的大小和位置时，用户可以通过触屏手势等确定缩略图的大小和位置，例如智能桌面检测用户在至少两个位置同时触摸屏幕，智能桌面根据检测到的用户的触摸位置确定缩略图的位置及大小。例如，用户左手食指和右手食指同时触摸屏幕，其中，左手食指的触摸位置在左下方，右手食指的触摸位置在右上方，左手食指按的位置将会成为缩略图的左下角，右手食指按的位置将会成为缩略图的右上角。此时如果用户确定的位置处有内容，也可继续选择以下次级选项：

i.覆盖模式(覆盖已有内容)；ii.插入模式(插入到内容中)。

(5).选择希望形成缩略图的区域

缩略图框内会显示一个当前屏幕的缩小版截图，默认选中区域为100％的全屏幕，此时用户可以通过拖动截图或拖动缩略图框等方式，选择希望形成缩略图的区域。如果用户选择的区域边界将一部分完整的内容切开，边界将自动扩张并包含该完整内容。当用户只对屏幕的一部分内容感兴趣时，可以通过该设置选出那一部分区域，系统会形成用户选中的区域的缩略图。

本发明提出，可以在用户调出缩略图后显示设置界面，用户在设置界面上进行上述设置，智能桌面根据用户的设置显示相应的缩略图。可选地，也可以由用户预先设置缩略图的显示方式，当用户调出缩略图后，智能桌面根据预先设置的方式显示相应的缩略图。

此外，也可以在显示缩略图时，用户实时调整缩略图的显示方式，智能桌面动态调整显示的缩略图。例如，用户预先设置缩略图中不显示自己的书写内容，因此智能桌面初始呈现的缩略图中并不包含该用户的书写内容，如果用户在查看缩略图时通过预先设置的操作方式(如语音、屏幕手势等)设置缩略图中显示自己的手写内容，此时智能桌面会实时动态的调整缩略图，将该用户的手写内容也呈现在缩略图中。

本发明提出，智能桌面基于需要显示在缩略图中的内容在智能桌面的相对位置，在缩略图中显示相应内容，也就是说，缩略图中各部分内容之间的位置关系与各部分内容在智能桌面上的位置关系保持一致。

设置结束后，系统会在缩略图框内显示缩略图。缩略图内容显示的处理过程包括：

(1)划分区块

系统会综合考虑以下几种相关性，确定哪些内容属于关联性很强的一部分(例如不可分割的一段话)，并将这一部分内容作为一个区块：

(a)内容相关性：通过手写识别、语义分析、符号检测、文本摘要等技术，判断一部分内容是否与另一部分内容的语义关系紧密。例如对一段话作的符号标记、修订内容等，与该段话的内容相关性就较高。(b)位置相关性：通过两部分手写内容的位置关系，判断是否为关系紧密内容。例如位置很近、左右边界对齐的两段话，其位置相关性就较高。(c)时序相关性：通过检测内容书写的时序性，例如连续书写的内容，其时序相关性就较高。(d)用户相关性：通过检测内容的笔迹特征、字体大小等，若两部分内容为同一用户书写的内容，则其用户相关性就较高。

智能桌面可以基于上述至少一种相关性，将智能桌面上的内容划分为一或多个内容区块，其中，可以按照下述优先级顺序来考虑各个相关性：内容相关性、位置相关性、时序相关性、用户相关性。

划分区块后，可以对划分出的各区块进行重排版，包含区块扩张以及内容调整。

(2)区块扩张

当内容区块确定后，每一部分区块即为具有一定意义的、不可分割的独立内容，系统会确定所有区块的边界，屏幕剩余的部分即为不包含内容的空白区域。由于该空白区域在缩略图中属于冗余区域，并无意义，因此通过扩张一或多个内容区块以去除内容区块之间的冗余区域，提高缩略图的观看效果，节省屏幕资源。区块扩张的方式包括：(a)检测区块信息熵：针对每一个区块，通过综合区块大小、平均字体大小、字数、图片大小、图表内容密集程度等因素，确定该区块的信息熵，信息熵越大表示其内容越多、越密集。例如一个较大区块只包含几个特别大的字，则其信息熵就较小。(b)确认扩张速率：根据区块的信息熵，确定所有区块的扩张速率(可以为负值，即区块缩小)。此时所有区块的边界将以其扩张速率进行扩张，例如边界每秒向外扩展5mm。(c)扩张终止条件：当两个区块扩张过程中边界接触时，这两个区块则停止扩张，不影响其它区块的继续扩张，直到所有区块均停止扩张。缩小的区块如果在缩小过程中没有与任何其它区块的边界发生接触，则缩小到系统设定的一个阈值时(与其内容字体大小等因素有关)，就停止缩小。

图6为根据本发明实施例1的缩略图显示示意图。参见图6中的“②空白区域压缩”，为区块扩张后的效果示意图。

本发明提出的区块扩张是可选步骤，区块扩张的目的是压缩空白区域，除了上述区块扩张的实现方案，智能桌面也可以采用其他方式进来压缩空白区域，例如用户选择指定内容，并通过某些操作(例如多指扩张操作等)来指示智能桌面进行扩张显示，智能桌面检测到上述操作后，对用户指定的内容进行扩张显示，并在检测到用户结束上述操作后结束扩张操作。

(3)内容调整

当各区块的边界确认后，其内容会进行如下调整：(1)方向调整：智能桌面确定观看用户的视角方向，并根据观看用户的视角方向调整内容在缩略图中的显示方向，即将缩略图中各区块的内容的显示方向调整为观看用户的视角正向，以便观看用户能够便捷的查看其他用户的书写内容；其中，可以通过摄像头采集到的观看用户的图像确定用户的视角方向，通过观看用户的图像可以直接得到用户视角方向，或者通过观看用户的图像可以得到用户坐姿，智能桌面通过观看用户的坐姿来确定观看用户的视角方向，还可以通过观看用户的手写特征来确定观看用户的视角方向，还可以由观看用户指定视角方向。参见图6中的“①内容方向变更”，为方向调整后的效果示意图。(2)字体调整：智能桌面将缩略图中各区块的内容的字体调整为合适的字体，使内容能够尽可能刚好布满区块，以使用户能够尽量清楚的查看手写内容；其中，智能桌面针对各区块分别进行字体调整，各区块的字体调整比例可能不相等，因此也称为不等比例放大。参见图6中的“③不等比例缩放”，为字体调整后的效果示意图。(3)摘要显示：智能桌面可以基于在缩略图中显示的内容自动生成摘要，例如，若某区块内的字体大小低于某个阈值(与缩略图尺寸、用户与缩略图之间的距离有关，该阈值表征了用户刚好可以看清楚的字体大小)，则将该区块内的内容以文本摘要形式显示。也可以由用户控制来生成摘要，例如，用户可以在查看缩略图的过程中实时对内容进行调整，例如，通过语音、屏幕手势等操作，设置某部分内容以摘要的形式显示，智能桌面检测到用户的操作后，在对用户选择的该部分内容生成摘要，并在缩略图中呈现该部分内容的摘要。用户也可以查看摘要对应的完整内容。

此外，缩略图还可以包括如下功能：

1.隐私设置

用户可以通过手势圈选等方式，将自己的一部分内容设置为隐私内容，希望这些隐私内容不被其他用户看到，此外，也可以选择不希望被哪些用户看到，此时智能桌面检测到被选择的用户打开缩略图时，该用户的该部分隐私信息就不会反映在区块中，即智能桌面将缩略图中该用户的该部分隐私信息隐藏。

对缩略图中的隐私信息进行隐藏显示包括：不显示隐私信息，或者将隐私信息替换显示隐私标识。

具体的，可以在缩略图中的相应隐私信息的区域显示隐私标识，例如为“隐私内容”，也可以不显示任何信息，相应的区域被压缩显示为其他内容，以节省有效显示空间。

参见图6中的“④隐藏隐私内容”，为隐私设置后的效果示意图。

此外，本发明提出，智能桌面也可以自动检测用户的内容是否为隐私内容，例如，若检测到个人账号等类型的数字，或用户名、密码等内容，则确定相应内容可能为隐私内容。

2.放大查看

当用户A想查看缩略图中某部分(例如摘要)的详细、原始内容时，可以通过触屏点击等方式，选择该区块，此时智能桌面检测到用户在缩略图中选择内容的操作，然后在缩略图中和/或缩略图的周边区域放大显示已选择内容，即选择的该区块的内容就会以其原始内容的字体、排版方式显示在缩略图中或缩略图旁边，若内容太多则可以提供左右上下滚动等查看方式。参见图6中的“⑤内容放大”，为放大查看后的效果示意图。

3.内容更新

(1)用户A在查看缩略图的过程中，如果其他用户仍在对内容进行修改、补充等，当检测智能桌面的内容发生更新时，在缩略图中提示用户，例如，智能桌面通过时序等方式(例如写完后停止了一段时间)判断出其他用户的修改已经暂时完成，则会在用户A的缩略图上该部分内容的区块内使用图标、背景颜色渐变等方式显示更新提示，用户A可以通过在缩略图的该部分内容上进行触屏单击等方式，发出更新内容的指令，智能桌面基于用户指令在缩略图中更新该部分内容。

(2)智能桌面也可以实时检测是否有内容有变化，当检测到智能桌面的内容发生更新时，则可以直接在缩略图中更新该部分内容，显示更新后的内容，此种方式也可称为即时更新缩略图的方式，用户可以看到所有内容即时更新的过程，这个过程中可能造成区块大小的变化。参见图6中的“⑥更新提示”，为内容更新的效果示意图。

在上述处理过程中，内容在缩略图显示时，可能会按照用户相关性进行区块划分，也就是说，可以按照书写内容的用户来划分相应区块，这就需要智能桌面获知哪些内容是由哪些用户书写的，因此需要对书写内容的用户进行认证。

本发明的用户认证方案包括：用户初始书写时，智能桌面终端允许用户自由书写，此时系统并不知道用户的身份信息。智能桌面接收用户实时输入的书写内容，同时，记录书写内容的笔迹的特征，如压力、速度、加速度、笔画特征等，还会记录书写辅助特征，如书写时的位置坐标，书写时的时间信息，书写方向，文本行方向等，然后基于书写内容的笔迹特征和书写辅助特征，通过特征提取算法，生成当前用户的用户特征，并自动保存到智能桌面上。当用户继续不断的书写时，智能桌面接收待认证内容，基于待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，即上述用户特征会实时更新，同时智能桌面将待认证用户特征与存储的用户特征进行匹配，从笔迹特征，书写位置坐标，时间连续性，书写方向，文本行方向，书写范围，书写内容的语义信息等方面综合判断用户的身份。如果待认证用户特征与用户特征相匹配，则用户身份认证通过，否则，为当前用户新建一个账号(用户标识)，还会记录书写时的位置坐标，时间信息，书写方向，文本行方向，书写内容的语义信息等。

用户认证通过后，可以将用户书写的内容与该用户的用户标识对应存储，后续就能够根据存储的用户标识以及对应的书写内容，获知智能桌面上的哪些内容是由哪些用户书写的。

本发明实施方式的智能桌面既可以实施为一个独立的设备，也可以实施为由多个相互连接的关联设备所组成的智能桌面。

当智能桌面是由具有连接关系的关联设备所组成时，每个用户可以分别使用一个关联设备(例如每人一个平板电脑)。每个用户可以在自己的关联设备上通过调出缩略图的方式查看其它用户在其他关联设备上书写的内容。其中，各用户间的关联设备可以通过无线(Wi-fi、红外、蓝牙等方式)或有线方式连接，调出缩略图进行查看的用户(观看用户)所使用的关联设备在检测到用户调出缩略图的操作后，向其它关联设备获取所显示的内容，并检测各关联设备间的相对位置，将关联设备间的相对位置作为上述实现过程中内容在智能桌面的相对位置，将各用户在各自关联设备上书写内容作为各用户在一个关联设备上同时书写内容。观看用户所使用的关联设备基于关联设备的相对位置在缩略图中显示各个关联设备的内容。

观看用户所使用的关联设备可以通过下述至少一种方式来检测各个关联设备的相对位置：

(1)、基于各个关联设备的网络信号检测结果，确定各个关联设备的相对位置。

比如，各个关联设备将自身的无线通信信号(如2G、3G、4G，等)的检测结果发送给观看用户所使用的关联设备，该关联设备根据自己的无线通信信号的检测结果，以及其他关联设备发送的检测结果，确定其他关联设备与自身的位置关系，从而得到各个关联设备的相对位置。

此外，观看用户所使用的关联设备也可以通过和其他关联设备之间的红外通信信号、蓝牙通信信号、无线局域网信号中的一种或多种不同信号的综合检测结果，确定各个关联设备的相对位置。

(2)、基于各个关联设备所提供的相对位置设置值，确定各个关联设备的相对位置。

在用户初始使用智能桌面时，或者在其中一个或多个用户请求调出缩略图时，智能桌面在各用户使用的关联设备上显示相对位置设置界面，该设置界面可以包含由各关联设备组成的智能桌面的示意图，用户可以在智能桌面的示意图上选择自身当前所处位置，各关联设备根据用户的选择操作获取到相对位置设置值，各个关联设备可以相互发送各自的相对位置设置值，观看用户所使用的关联设备基于各个相对位置设置值确定出各个关联设备的位置拓扑图，从而确定出各个关联设备的相对位置。

在显示缩略图时，该缩略图可以占据观看者的整个屏幕，并将屏幕分为几块，每块显示每个用户内容的摘要。其他的功能与智能桌面上的缩略图的功能相同。

本发明还提出，用户在缩略图上可以查看其它用户所书写的内容，此外，也可以对其他用户所书写的内容进行编辑。智能桌面接收用户触发的内容编辑指令，并基于内容编辑指令在缩略图中编辑内容，上述编辑可以为插入、删除等操作。

对于插入内容：用户在缩略图中查看其它用户的书写内容，通过长按等方式选中书写内容的某个位置，此时该位置可能会有光标提示，表示用户想要在此位置插入内容。用户在此位置书写要插入的内容。

对于删除内容：用户在缩略图中查看其它用户的书写内容，通过触屏划线等方式选中想要删除的内容，此时选中内容上可能会出现删除线等标识，表示其想删除这些内容。

此外，用户也可以通过触屏圈选等方式选中想要修改的内容，此时选中内容会出现虚框等标识，表示其想修改这些内容，用户输入修改后的内容，智能桌面会将原内容删除，并替换为修改后的内容。

本发明提出，上述对内容的编辑会实时同步显示到该内容所属用户对应的显示区域中，例如，用户A书写内容为“篮球是一项很有趣的运动”，用户B通过缩略图，将用户A的上述书写内容修改为“篮球是一项很有趣，并且很适合上班族的运动”，在用户A的编辑过程中，智能桌面在用户B的显示区域中，对该部分内容进行同步编辑，用户A可以看到用户B的编辑过程。其中，在编辑过程中，可以在用户A的显示区域显示用户B的用户标识(头像等)，以使用户A获知对内容进行编辑的是哪个用户。

本发明还提出，编辑的内容的字体可以为编辑者的字体，也可以为被编辑者的字体。用户也可以设置是否允许其他用户编辑自己的内容，或是允许或禁止哪些特定用户编辑自己的内容。此外，若其他用户编辑了某用户的内容，该用户还可以选择是否接受编辑操作

实施例2

下面对下述方案进行详细介绍：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。其中，指定显示方式为：基于与内容相关的文本属性，显示内容的摘要。

场景：用户A在会议进行到一半的时候才来，他想查看其他用户的与自己关注的某个主题有关的记录内容。

解决方案：基于与内容相关的文本属性的摘要，也可以称为主题摘要。

根据用户A的操作调出主题摘要，调出方式可以是下述方式中的至少一种：

(1)语音操作

用户A通过语音方式，例如说“我要看主题摘要”，此时智能桌面将主题摘要框显示在用户面前没有内容的区域。如果用户面前写满内容，会暂时将其正前方主题摘要框大小的一部分内容隐藏，显示主题摘要框。

(2)物理按键操作

用户通过按智能桌面上的某个按键，调出主题摘要框。

(3)触屏操作

用户通过触屏，例如双击屏幕，此时智能桌面将主题摘要框显示在用户触屏的位置。如果该位置有内容，会暂时将主题摘要框大小的一部分内容隐藏，显示主题摘要框。

(4)手势操作

用户通过手势动作，例如挥手，此时智能桌面的摄像头会捕捉到用户的手势动作，将主题摘要框显示在用户面前没有内容的区域。如果用户面前写满内容，会暂时将其正前方主题摘要框大小的一部分内容隐藏，显示主题摘要框。

(5)对外部控制器的操作

用户通过操作外部控制器，例如按下手写笔上的按钮，此时智能桌面将主题摘要框会显示在手写笔指向的位置。如果该位置有内容，会暂时将主题摘要框大小的一部分内容隐藏，显示主题摘要框。

检测到用户操作后，可以显示设置界面，用户可以在设置界面对主题摘要进行设置，其中包括：

1.主题摘要是否显示非手写内容摘要

当确定只显示手写内容摘要时，主题摘要中仅显示智能桌面屏幕上用户手写内容的摘要，不会显示例如文档、图片、幻灯片、视频等非手写内容的摘要。

当确定显示手写内容和非手写内容摘要时，主题摘要中不但会显示智能桌面屏幕上的用户手写内容，也会显示例如文档、图片、幻灯片、视频等非手写内容的摘要。

当确定显示非手写内容时，主题摘要中仅显示例如文档、图片、幻灯片、视频等非手写内容。

2.主题摘要是否显示自己的内容

当确定显示自己的内容时，主题摘要中会显示用户A(观看用户)的内容。

当确定不显示自己的内容时，主题摘要中不会显示用户A(观看用户)的内容。

3.选择主题摘要的大小和位置

当自动确定主题摘要的大小和位置时，主题摘要框的初始大小为系统内设的标准大小，显示位置将自动确定。智能桌面优先将主题摘要框显示在用户的对应显示区域中空白区域内，如果对应显示区域中空白区域的面积略小于主题摘要框系统内设的标准大小(如对应显示区域中空白区域的面积与主题摘要框系统内设的标准面积的差值小于预设面积阈值)，主题摘要框的大小会适当缩小以适应该对应显示区域中空白区域，但如果对应显示区域中空白区域的面积远小于主题摘要框系统内设的标准大小(如对应显示区域中空白区域的面积与主题摘要框系统内设的标准面积的差值不小于预设面积阈值)，则用户需要继续选择以下次级选项：

i.覆盖模式(覆盖已有内容)

当用户查看主题摘要时，不需要同时查看自己书写的内容，可选择此项。此时智能桌面将主题摘要框显示在用户对应显示区域，并把被主题摘要框覆盖的内容暂时隐藏。

ii.插入模式(插入到内容中)

当用户查看主题摘要时，需要同时查看自己书写的内容，可选择此项。此时主题摘要框将插入到用户对应显示区域中一部分内容的结尾处，随后用户输入的手写内容会显示在主题摘要框的周围，若后续用户输入的手写内容的显示空间不足，可通过改变排版方式、形成多页等方式解决。

当手动确定主题摘要的大小和位置时，用户可以通过触屏手势等确定主题摘要框的大小和位置，例如智能桌面检测用户在至少两个位置同时触摸屏幕，智能桌面根据检测到的用户的触摸位置确定主题摘要框的位置及大小。例如，用户左手食指和右手食指同时触摸屏幕，其中，左手食指的触摸位置在左下方，右手食指的触摸位置在右上方，左手食指按的位置将会成为主题摘要框的左下角，右手食指按的位置将会成为主题摘要框的右上角。此时如果用户确定的位置处有内容，也可继续选择以下次级选项：

i.覆盖模式(覆盖已有内容)；ii.插入模式(插入到内容中)。

4.选择是否显示用户头像

当确定显示用户头像时，主题摘要中的用户栏会显示摄像头捕捉到的实时头像或预先设置的头像，其中，在主题摘要中，每个用户的内容旁可设置用户栏，用以显示对应用户的相关信息，观看用户可以区分不同用户的摘要内容。

5.选择是否显示用户姓名

当确定显示用户姓名时，主题摘要中的用户栏会显示用户姓名。若用户头像与用户姓名全部不显示，则表示观看用户不关心是哪个用户书写了该主题的内容，此时每个主题中的摘要将不区分用户，以并列形式显示，用户在查看摘要的详细内容时才会看到该内容属于哪个用户。

6.选择主题摘要的排列方式

摘要的显示方式可以为多级目录方式。其级别可以由概括至具体，顺序可以为：主题，用户，摘要。其中主题至用户，表示哪些用户的内容中有关于该主题的内容；用户至摘要，表示该用户有哪些与该主题相关的内容，并以摘要形式显示。具体地，该多级目录的显示方式可以设置为：

(a)横排显示

最左侧一列显示主题，第二列显示用户，并标记其从属于主题，例如树状连线、大括号、相同色调等。第三列显示摘要，并标记其从属于用户，若一个用户有多句摘要，则以每行一句、左对齐等方式显示。

(b)竖排显示

最上面一行显示主题，第二行显示用户，并标记其从属于主题，例如树状连线、大括号、相同色调等。第三行显示摘要，并标记其从属于用户，若一个用户有多句摘要，则在每句摘要后进行换行，摘要之间为左对齐等形式。

(c)是否显示表格

用户选择显示表格时，将会以表格形式呈现主题摘要。用户选择不显示表格时，表格框将会隐藏，摘要之间、目录之间不会有表格线。

本发明提出，可以在用户调出主题摘要后显示上述设置界面，用户在设置界面进行设置，智能桌面根据用户的设置显示相应的主题摘要，也可以由用户预先设置主题摘要的显示方式，当用户调出主题摘要后，智能桌面根据预先设置的方式显示相应的主题摘要。

此外，也可以在显示主题摘要时，用户实时调整主题摘要的显示方式，智能桌面动态调整显示的主题摘要。例如，用户预先设置主题摘要中不显示自己的书写内容，因此智能桌面初始呈现的主题摘要中并不包含该用户的书写内容，如果用户在查看主题摘要时通过预先设置的操作方式(如语音、屏幕手势等)设置主题摘要中显示自己的手写内容，此时智能桌面会实时动态的调整主题摘要，将该用户的手写内容也呈现在主题摘要中。

设置结束后，主题摘要框中将会显示主题摘要。其实现过程为：

(1)区分用户

当用户书写内容时，智能桌面通过实施例1中介绍的用户认证方案，对书写内容的用户进行认证，具体的，智能桌面根据当前书写内容的用户特征以及已书写内容的用户特征，判断得到书写该内容的用户是否为新用户，如是新用户，则在数据库中新建一个账号(用户标识)，记录该用户的位置坐标，时间信息，书写方向，文本行方向，书写内容的语义信息等，以及其打开的窗口等信息，如非新用户，则认证该用户为哪个用户。

(2)提取摘要

将每个用户的书写内容进行文本摘要提取。用户书写内容可能包括多个主题，此时每个主题将会提取一句或多句摘要，摘要的长度不超过用户在设置时选择的长度限制。

(3)主题归类

通过语义理解等技术，将所有用户的所有摘要进行分类，并保留其各自的用户标签。例如：从用户A的内容中提取的一句摘要为：篮球有悠久的发展历史；从用户B的内容中提取的一句摘要为：篮球的规则详解；从用户C的内容中提取的一句摘要为：中国足球一定能走向世界。此时用户A与用户B的内容将会归到一个主题中：篮球，而用户C的内容不会归到这个主题中。

(4)摘要显示

此时主题以及其对应的摘要将会以用户设定的形式(横排或竖排等)显示在主题摘要框中。

此外，主题摘要还具有的功能可以包括：

1.详细内容查看，接收用户的内容查看指令，基于该内容查看指令显示摘要的相关内容，从而用户可以查看摘要的详细内容。

(a)单句与多句选择

用户可以通过触屏点击某个摘要等方式，进行单句摘要的选择。可以通过触屏手掌滑动覆盖等方式，进行多句摘要选择。

(b)详细内容显示方式

被选择的摘要所对应的用户原始内容，将在摘要栏的后方(摘要横排)或下方(摘要竖排)自动生成的窗口中显示。该窗口的边长与该行(摘要横排)或该列(摘要竖排)保持一致。此时用户可选择其想观看的某个窗口，通过触屏点击等方式进行展开，窗口展开大小为适应主题摘要框大小的合适观看大小，用户可以通过拖动等方式改变窗口的位置和大小，此时展开的窗口覆盖的位置的内容将会自动隐藏。对应该摘要的原始内容会显示在该窗口中，若内容过多，会自动进行分页显示，内容的字体默认为用户原始手写字体，观看用户可通过手势将其改为印刷体，字体的大小为适应窗口大小的合适观看字体大小。若用户选择了多句摘要，在查看完一句摘要的详细内容后想要查看另外一句摘要的详细内容，此时用户可以通过触屏点击展开的窗口等方式，将该窗口的内容收起，再点击另外一个感兴趣的摘要，展开其窗口进行详细内容查看。若用户想同时查看多句摘要的详细内容，可以不将展开窗口收起，根据需要将其拖动到旁边的位置，并再点击另外一个感兴趣的摘要进行展开，同时查看这几个摘要的详细内容，如果这些展开窗口有重叠，则后展开的窗口会叠在之前展开的窗口之上。

(c)摘要关键词对应检索

展开主题摘要详细内容窗口后，用户可以通过触屏点击等方式，选取该摘要中的某个词，该词会以加粗、背景亮色等方式加强显示，与此同时详细内容中与该词相关的词、短语也会同样加强显示。

(2)同步更新

用户在查看主题摘要的过程中，如果其他用户仍在对内容进行修改、补充等，当检测智能桌面的内容发生更新时，在主题摘要上提示用户，例如，智能桌面通过时序等方式(例如写完后停止了一段时间)判断出其他用户的修改已经暂时完成，则会在用户的主题摘要上该部分内容上使用图标、背景颜色渐变等方式显示更新提示，用户可以通过在主题摘要的该部分内容上进行触屏单击等方式，发出更新内容的指令，智能桌面基于用户指令在主题摘要中更新该部分内容。

智能桌面也可以实时检测是否有内容变化，当检测到智能桌面的内容发生更新时，则可以直接在主题摘要中更新该部分内容，显示更新后的内容，此种方式也可称为即时更新的方式，用户可以看到所有内容即时更新的过程。

(3)内容限制变更

(a)主题扩大与缩小

用户可以通过在主题上左划等方式，将主题扩大，可以通过在主题上右划等方式，将主题缩小。主题大小的确定是通过预先定义的结构图，或利用已有的Wordnet技术。例如：用户A的内容中提取的一句摘要为：篮球有悠久的发展历史；用户B的内容中提取的一句摘要为：篮球的规则详解；用户C的内容中提取的一句摘要为：中国足球一定能走向世界；用户D的内容中提取的一句摘要为：世界田径锦标赛正式落幕。此时用户A与用户B的内容将会归到一个主题中：篮球，而用户C和D的内容不会归到这个主题中。但如果用户认为篮球这个主题太小，想扩大主题，就可以在“篮球”上左划，此时该主题就会从“篮球”变为“球类运动”，而用户C有关足球的内容将会归于该主题下。如果用户继续右划扩大主题，该主题会从“球类运动”转变为“体育”，此时用户A、B、C、D的四句摘要将全部包含在该主题下。

(b)摘要长度变更

智能桌面若接收到用户的摘要长度变更指令，则基于摘要长度变更指令改变摘要长度。

用户可以通过在摘要上左划等方式，指示将摘要长度缩短，可以通过在摘要上右划等方式，指示将摘要长度增长。滑动时会显示一个标尺，提示当前与调整后摘要的最大长度。摘要的最大长度在文本摘要技术中是可以预先定义的，最大长度不同，摘要的内容可能会不同。例如：用户A的内容中提取的一句摘要为：中国获得冠军。此时用户在该摘要上右划至标尺显示15(最多15个字)，该摘要会变为：中国队在此次世乒赛上获得冠军。

(4)搜索主题

(a)调出搜索框

用户可以通过触屏双击主题摘要框中的任意位置等方式，在缩略图框中调出搜索框。

(b)输入主题

用户在搜索框中输入想要查看的主题，可以通过手写输入或键盘输入等方式。

用户确认搜索之后，智能桌面会检测到搜索指令，该搜索指令中包含用户输入的主题，智能桌面基于该搜索指令在摘要中执行搜索。

(c)显示主题摘要

i.隐藏原有内容

若搜索的主题包含的内容过多，主题摘要框中空白区域较少，则会隐藏主题摘要框中原来的内容，显示搜索主题以及其对应的摘要。

ii.后续显示

若搜索的主题包含的内容较少，主题摘要框中空白区域较多，则会在已有主题后面显示搜索主题以及其对应的摘要。

(5)隐私设置

用户可以通过手势圈选等方式，将自己的一部分内容设置为隐私内容，希望这些隐私内容不被其他用户看到，此外，也可以选择不希望被哪些用户看到，此时智能桌面检测到被选择的用户打开主题摘要时，该用户的该部分隐私信息就不会反映在摘要中。即智能桌面将摘要中该用户的该部分隐私信息隐藏。

对摘要中的隐私信息进行隐藏显示包括：不显示隐私信息，或者将隐私信息替换显示隐私标识。

此外，本发明提出，智能桌面也可以自动检测用户的内容是否为隐私内容，例如，若检测到个人账号等类型的数字，或用户名、密码等内容，则确定相应内容可能为隐私内容。

图7为根据本发明实施例2的显示主题摘要示意图。

参照图7中的左边，为实际智能桌面屏幕显示图。其中用户Kim写了关于乒乓球的内容，用户Frank写了关于篮球、吉他、钢琴的内容，用户Lia写了关于钢琴的内容，用户Mako写了关于乒乓球的内容。当用户Mako查看主题摘要时(图7中的右边)，系统自动以运动主题和音乐主题进行显示，每个主题中区分不同用户写的内容，例如运动主题中按照用户Kim写的乒乓球、用户Frank写的篮球、用户Mako写的乒乓球排列，其中的内容都是以摘要显示的，用户可以选中摘要查看其详细内容。由于主题的划分形式多样，因此如果用户没有找到感兴趣的主题，用户可以输入其感兴趣的主题(例如图7中的篮球)，与该主题相关的内容也会以不同用户的形式呈现出来。

本发明实施方式的智能桌面既可以实施为一个独立的设备，也可以实施为由多个相互连接的关联设备所组成的智能桌面。

当智能桌面是由具有连接关系的关联设备所组成时，每个用户可以分别使用一个关联设备(例如每人一个平板电脑)。每个用户可以在自己的关联设备上通过调出主题摘要的方式查看其它用户在其他关联设备上书写的内容。其中，各用户间的关联设备可以通过无线(Wi-fi、红外、蓝牙等方式)或有线方式连接，观看用户所使用的关联设备在检测到用户的调出主题摘要的操作后，向其它关联设备获取所显示的内容，观看用户的关联设备获取到其它关联设备所显示的内容之后，可以按照上面描述的智能桌面调取主题摘要的方式来调出并显示主题摘要。

在显示主题摘要时，主题摘要可以占据观看用户关联设备的整个屏幕。其他的功能与智能桌面上的主题摘要的功能相同。

实施例3

下面对下述方案进行详细介绍：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。其中，指定显示方式为：基于与内容相关的用户属性，显示内容的摘要。

场景：用户A与用户B的距离较远，用户A想给用户B解释自己的手写内容。

解决方案：基于与内容相关的用户属性的摘要，也可以称为用户摘要

根据用户A的操作调出用户摘要，调出方式可以是下述方式中的至少一种：

(1)语音操作：

用户A通过语音方式，例如说“我要看用户摘要”，此时智能桌面将用户摘要框显示在用户面前没有内容的区域。如果用户面前写满内容，会暂时将其正前方用户摘要框大小的一部分内容隐藏，显示用户摘要框。

(2)物理按键操作

用户通过按智能桌面上的某个按键，调出用户摘要框。

(3)触屏操作

用户通过触屏，例如双击屏幕，此时智能桌面将用户摘要框显示在用户触屏的位置。如果该位置有内容，会暂时将用户摘要框大小的一部分内容隐藏，显示用户摘要框。

(4)手势操作

用户通过手势动作，例如挥手，此时智能桌面的摄像头会捕捉到用户的手势动作，将用户摘要框显示在用户面前没有内容的区域。如果用户面前写满内容，会暂时将其正前方用户摘要框大小的一部分内容隐藏，显示用户摘要框。

(5)对外部控制器的操作

用户通过操作外部控制器，例如按下手写笔上的按钮，此时智能桌面将用户摘要框会显示在手写笔指向的位置。如果该位置有内容，会暂时将用户摘要框大小的一部分内容隐藏，显示用户摘要框。

检测到用户操作后，可以显示设置界面，用户可以在设置界面对用户摘要进行设置，其中包括：

1.用户摘要是否显示非手写内容摘要

当确定只显示手写内容摘要时，用户摘要中仅显示智能桌面屏幕上用户手写内容的摘要，不会显示例如文档、图片、幻灯片、视频等非手写内容的摘要。

当确定显示手写内容和非手写内容摘要时，用户摘要中不但会显示智能桌面屏幕上的用户手写内容，也会显示例如文档、图片、幻灯片、视频等非手写内容的摘要。

当确定显示非手写内容时，主题摘要中仅显示例如文档、图片、幻灯片、视频等非手写内容。

2.用户摘要是否显示自己的内容

当确定显示自己的内容时，用户摘要中会显示用户A(观看用户)的内容。

当确定不显示自己的内容时，用户摘要中不会显示用户A(观看用户)的内容。

3.选择用户摘要的大小和位置

当自动确定用户摘要的大小和位置时，用户摘要框的初始大小为系统内设的标准大小，显示位置将自动确定。智能桌面优先将用户摘要框显示在用户的对应显示区域中空白区域内，如果对应显示区域中空白区域的面积略小于用户摘要框系统内设的标准大小(如对应显示区域中空白区域的面积与用户摘要框系统内设的标准面积的差值小于预设面积阈值)，用户摘要框的大小会适当缩小以适应该对应显示区域中空白区域，但如果对应显示区域中空白区域的面积远小于用户摘要框系统内设的标准大小(如对应显示区域中空白区域的面积与用户摘要框系统内设的标准面积的差值不小于预设面积阈值)，则用户需要继续选择以下次级选项：

i.覆盖模式(覆盖已有内容)

当用户查看用户摘要时，不需要同时查看自己书写的内容，可选择此项。此时智能桌面将用户摘要框显示在用户的对应显示区域，并把被用户摘要框覆盖的内容暂时隐藏。

ii.插入模式(插入到内容中)

当用户查看用户摘要时，需要同时查看自己书写的内容，可选择此项。此时用户摘要框将插入到用户对应显示区域的一部分内容的结尾处，随后用户输入的手写内容会显示在用户摘要框的周围，若后续用户输入的手写内容的显示空间不足，可通过改变排版方式、形成多页等方式解决。

当手动确定用户摘要的大小和位置时，用户可以通过触屏手势等确定用户摘要框的大小和位置，例如智能桌面检测用户在至少两个位置同时触摸屏幕，智能桌面根据检测到的用户的触摸位置确定用户摘要框的位置及大小。例如，用户左手食指和右手食指同时触摸屏幕，其中，左手食指的触摸位置在左下方，右手食指的触摸位置在右上方，左手食指按的位置将会成为用户摘要框的左下角，右手食指按的位置将会成为用户摘要框的右上角。此时如果用户确定的位置处有内容，也可继续选择以下次级选项：

i.覆盖模式(覆盖已有内容)；ii.插入模式(插入到内容中)。

4.选择是否显示用户头像

当确定显示用户头像时，用户摘要中的用户栏会显示摄像头捕捉到的实时头像或预先设置的头像，其中，在用户摘要中，每个用户的内容旁可设置用户栏，用以显示对应用户的相关信息，观看用户可以区分不同用户的摘要内容。

5.选择用户摘要的排列方式

摘要的显示方式可以为多级目录方式。其级别可以由概括至具体，顺序可以为：用户，主题，摘要。其中用户至主题，表示该用户的内容中有关于哪些主题的内容；主题至摘要，表示该主题下用户内容的摘要。该多级目录的显示方式可以设置为：

(a)横排显示

最左侧一列显示用户，第二列显示主题，并标记其从属于用户，例如树状连线、大括号、相同色调等。第三列显示该主题的一句或几句摘要。

(b)竖排显示

最上面一行显示用户，第二行显示主题，并标记其从属于用户，例如树状连线、大括号、相同色调等。第三行显示该主题的一句或几句摘要。

(c)是否显示表格

用户选择显示表格时，将会以表格形式呈现用户摘要。用户选择不显示表格时，表格框将会隐藏，摘要之间、目录之间不会有表格线。

本发明提出，可以在用户调出用户摘要后显示上述设置界面，用户在设置界面进行设置，智能桌面根据用户的设置显示相应的用户摘要，也可以由用户预先设置用户摘要的显示方式，当用户调出用户摘要后，智能桌面根据预先设置的方式显示相应的用户摘要。

此外，也可以在显示用户摘要时，用户实时调整用户摘要的显示方式，智能桌面动态调整显示的用户摘要。例如，用户预先设置用户摘要中不显示自己的书写内容，因此智能桌面初始呈现的用户摘要中并不包含该用户的书写内容，如果用户在查看用户摘要时通过预先设置的操作方式(如语音、屏幕手势等)设置用户摘要中显示自己的手写内容，此时智能桌面会实时动态的调整用户摘要，将该用户的手写内容也呈现在用户摘要中。

设置结束后，用户摘要框中将会显示用户摘要。其实现过程为：

(1)区分用户

当用户书写内容时，智能桌面通过实施例1中介绍的用户认证方案，对书写内容的用户进行认证，这里不再赘述。

(2)提取摘要

将每个用户的书写内容进行文本摘要提取。用户书写内容可能包括多个主题，此时每个主题将会提取一句或多句摘要，摘要的长度不超过用户在设置时选择的长度限制。

(3)主题归类

通过语义理解等技术，将每个用户的摘要进行分类。

(4)摘要显示

此时用户以及其对应的主题、摘要将会以用户设定的形式(横排或竖排等)显示在用户摘要框中。

此外，用户摘要还具有的功能有：

1.详细内容查看，接收用户的内容查看指令，基于该内容查看指令显示摘要的相关内容，从而用户可以查看摘要的详细内容。

(a)单句与多句选择

用户可以通过触屏点击某个摘要等方式，进行单句摘要的选择。可以通过触屏手掌滑动覆盖等方式，进行多句摘要选择。

(b)详细内容显示方式

被选择的摘要所对应的用户原始内容，将在摘要栏的后方(摘要横排)或下方(摘要竖排)自动生成的窗口中显示。该窗口的边长与该行(摘要横排)或该列(摘要竖排)保持一致。此时用户可选择其想观看的某个窗口，通过触屏点击等方式进行展开，窗口展开大小为适应主题摘要框大小的合适观看大小，用户可以通过拖动等方式改变窗口的位置和大小，此时展开的窗口覆盖的位置的内容将会自动隐藏。对应该摘要的原始内容会显示在该窗口中，若内容过多，会自动进行分页显示，内容的字体默认为用户原始手写字体，观看用户可通过手势将其改为印刷体，字体的大小为适应窗口大小的合适观看字体大小。若用户选择了多句摘要，在查看完一句摘要的详细内容后想要查看另外一句摘要的详细内容，此时用户可以通过触屏点击展开的窗口等方式，将该窗口的内容收起，再点击另外一个感兴趣的摘要，展开其窗口进行详细内容查看。若用户想同时查看多句摘要的详细内容，可以不将展开窗口收起，根据需要将其拖动到旁边的位置，并再点击另外一个感兴趣的摘要进行展开，同时查看这几个摘要的详细内容，如果这些展开窗口有重叠，则后展开的窗口会叠在之前展开的窗口之上。

(c)摘要关键词对应检索

展开主题摘要详细内容窗口后，用户可以通过触屏点击等方式，选取该摘要中的某个词，该词会以加粗、背景亮色等方式加强显示，与此同时详细内容中与该词相关的词、短语也会同样加强显示。

(2)同步更新

用户在查看摘要的过程中，如果其他用户仍在对内容进行修改、补充等，当检测智能桌面的内容发生更新时，在用户摘要上提示用户，例如，智能桌面通过时序等方式(例如写完后停止了一段时间)判断出其他用户的修改已经暂时完成，则会在用户的摘要上该部分内容上使用图标、背景颜色渐变等方式显示更新提示，用户可以通过在摘要的该部分内容上进行触屏单击等方式，发出更新内容的指令，智能桌面基于用户指令在用户摘要中更新该部分内容。

智能桌面也可以实时检测是否有内容变化，当检测到智能桌面的内容发生更新时，则可以直接在用户摘要中更新该部分内容，显示更新后的内容，此种方式也可称为即时更新的方式，用户可以看到所有内容即时更新的过程。

(3)内容限制变更

(a)主题扩大与缩小

用户可以通过在主题上上划等方式，将主题扩大，可以通过在主题上下划等方式，将主题缩小。主题大小的确定是通过预先定义的结构图，或利用已有的Wordnet技术。例如：用户A内容中提取的一句摘要为：篮球有悠久的发展历史；用户A内容中提取的另一句摘要为：中国足球一定能走向世界。此时根据系统预设的主题尺度，在用户摘要中用户A会有两个主题：篮球和足球。但如果查看者认为篮球和足球这两个主题太小，想扩大主题，就可以在“篮球”或“足球”上划，此时该主题就会变为“球类运动”，另一个“足球”或“篮球”主题会自动归并到“球类运动”这个主题中，即此时用户A只有一个主题：球类运动。如果用户继续上划扩大主题，该主题会从“球类运动”转变为“体育”，此时用户A所有关于体育的主题都将全部归并到该主题下。

(b)摘要长度变更

智能桌面若接收到用户的摘要长度变更指令，则基于摘要长度变更指令改变摘要长度。

用户可以通过在摘要上左划等方式，指示将摘要长度缩短，可以通过在摘要上右划等方式，指示将摘要长度增长。滑动时会显示一个标尺，提示当前与调整后摘要的最大长度。摘要的最大长度在文本摘要技术中是可以预先定义的，最大长度不同，摘要的内容可能会不同。例如：用户A的内容中提取的一句摘要为：中国获得冠军。此时用户在该摘要上右划至标尺显示15(最多15个字)，该摘要会变为：中国队在此次世乒赛上获得冠军。

(4)搜索主题

(a)调出搜索框

用户可以通过触屏双击主题摘要框中的任意位置等方式，在缩略图框中调出搜索框。

(b)输入主题

用户在搜索框中输入想要查看的主题，可以通过手写输入或键盘输入等方式。

用户确认搜索之后，智能桌面会检测到搜索指令，该搜索指令中包含用户输入的主题，智能桌面基于该搜索指令在摘要中执行搜索。

(c)显示主题摘要

i.隐藏原有内容

若搜索的主题包含的内容过多，主题摘要框中空白区域较少，则会隐藏主题摘要框中原来的内容，显示搜索主题以及其对应的摘要。

ii.后续显示

若搜索的主题包含的内容较少，主题摘要框中空白区域较多，则会在已有主题后面显示搜索主题以及其对应的摘要。

(5)隐私设置

用户可以通过手势圈选等方式，将自己的一部分内容设置为隐私内容，希望这些隐私内容不被其他用户看到，此外，也可以选择不希望被哪些用户看到，此时智能桌面检测到被选择的用户打开用户摘要时，该用户的该部分隐私信息就不会反映在摘要中。即智能桌面将摘要中该用户的该部分隐私信息隐藏。对摘要中的隐私信息进行隐藏显示包括：不显示隐私信息，或者将隐私信息替换显示隐私标识。

此外，本发明提出，智能桌面也可以自动检测用户的内容是否为隐私内容，例如，若检测到个人账号等类型的数字，或用户名、密码等内容，则确定相应内容可能为隐私内容。

图8为根据本发明实施例3的显示用户摘要示意图。

参照图8中的左边，为实际智能桌面屏幕显示图。由于用户更换位置，一个用户可能在不同位置书写了内容。如图8所示，用户Kim书写了两部分内容，一部分关于篮球的位于屏幕的另一侧(他初始所在的位置)，一部分关于乒乓球的位于他现在所在的位置，不同用户写的内容以不同的颜色区分。此时如果用户Mako想查看某一个用户书写的内容时，可以调出用户摘要(图8中的右边)，在用户摘要中以用户进行分类，每个用户分类下有所有该用户写的内容，以主题摘要形式呈现。例如用户Mako想查看用户Kim写的内容，就可以在用户摘要中很清晰地看到他写了篮球和乒乓球的主题，此时可以选择某一个主题查看其详细内容。

本发明实施方式的智能桌面既可以实施为一个独立的设备，也可以实施为由多个相互连接的关联设备所组成的智能桌面。

当智能桌面是由具有连接关系的关联设备所组成时，每个用户可以分别使用一个关联设备(例如每人一个平板电脑)。每个用户可以在自己的关联设备上通过调出用户摘要的方式查看其它用户在其他关联设备上书写的内容。其中，各用户间的关联设备可以通过无线(Wi-fi、红外、蓝牙等方式)或有线方式连接，观看用户所使用的关联设备在检测到用户的调出用户摘要的操作后，向其它关联设备获取所显示的内容，观看用户的关联设备获取到其它关联设备所显示的内容之后，可以按照上面描述的智能桌面调取用户摘要的方式来调出用户摘要。

在显示用户摘要时，用户摘要可以占据观看用户关联设备的整个屏幕。其他的功能与智能桌面上的用户摘要的功能相同。

本发明还提出，用户在摘要(用户摘要或主题摘要)上可以查看其它用户所书写的内容，此外，也可以对其他用户所书写的内容进行编辑。智能桌面接收用户触发的内容编辑指令，并基于内容编辑指令在缩略图中编辑内容，上述编辑可以为插入、删除等操作。

对于插入内容：用户在摘要中查看其它用户的书写内容，通过长按等方式选中书写内容的某个位置，此时该位置可能会有光标提示，表示用户想要在此位置插入内容。用户在此位置书写要插入的内容。

对于删除内容，用户在摘要中查看其它用户的书写内容，通过触屏划线等方式选中想要删除的内容，此时选中内容上可能会出现删除线等标识，表示其想删除这些内容。

此外，用户也可以通过触屏圈选等方式选中想要修改的内容，此时选中内容会出现虚框等标识，表示其想修改这些内容，用户输入修改后的内容，智能桌面会将原内容删除，并替换为修改后的内容。

本发明提出，上述对内容的编辑会实时同步显示到该内容所属用户对应的显示区域中，例如，用户A书写内容为“篮球是一项很有趣的运动”，用户B通过用户摘要，将用户A的上述书写内容修改为“篮球是一项很有趣，并且很适合上班族的运动”，在用户A的编辑过程中，智能桌面在用户B的显示区域中，对该部分内容进行同步编辑，用户A可以看到用户B的编辑过程。其中，在编辑过程中，可以在用户A的显示区域显示用户B的用户标识(头像等)，以使用户A获知对内容进行编辑的是哪个用户。

本发明还提出，编辑的内容的字体可以为编辑者的字体，也可以为被编辑者的字体。用户也可以设置是否允许其他用户编辑自己的内容，或是允许或禁止哪些特定用户编辑自己的内容。此外，若其他用户编辑了某用户的内容，该用户还可以选择是否接受编辑操作。

实施例4

当多用户使用智能桌面进行书写时，因为每个用户坐的位置、方向各不相同，用户将自己写的内容分享给别的用户、或是在别的用户面前的位置进行书写都很不方便。

对此，本发明提出，检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示上述内容，其中，上述内容包括待分享内容，上述指定显示方式包括：确定接收待分享内容的用户；基于确定出的用户，在智能桌面上显示上述内容。

场景：用户A想要把自己写的内容分享给用户B。

解决方案：指定用户分享。

分享内容的用户(分享用户)可以先指定接收待分享内容的用户(接收用户)，再指定待分享内容，还可以先指定待分享内容，再指定接收待分享内容的用户。

指定用户：本发明提出，智能桌面若检测到用户执行确认进行分享的特定操作(如点击分享按钮等)，则将其他用户的用户标识(头像、用户名等)显示在当前的显示区域中，用户可以通过这些用户标识来选择接收待分享内容的用户。例如，用户可以通过长按某个用户的实时头像或名字等方式，选取某个用户，此时用户的头像或名字处用高亮等方式标记已被选中，表示想要将内容分享给该用户。此外，本发明提出，也可以通过相对位置缩略图或者用户摘要，来指定接收待分享内容的用户。

指定内容：用户可以指定已有的内容作为待分享内容，也可以指定实时书写的内容作为待分享内容，例如，打开输入框并输入想要分享的内容。

(a)指定已有内容

分享用户在自己的已有内容中，通过触屏圈选等方式选中待分享内容。如果用户选择的是分享给某个接收用户，则这些内容会自动插入到接收用户的当前显示内容的后面，字体大小与接收用户的当前显示内容的字体大小保持一致，可以通过手写识别和手写体合成技术，将字体转换为分享用户的字体或接收用户的字体。

可选地，还可以根据接收用户在智能桌面上对应的显示区域，对待分享内容进行自动排版，例如，如果待分享内容较多，无法在接收用户在智能桌面上对应的显示区域的空白处完全显示，可以对该部分内容的字体进行调整，或者对该部分内容进行分页显示。

(b)指定实时书写内容

分享用户通过在智能桌面上对应的显示区域的某个位置长按等方式，调出书写框，书写框的大小为系统预设或由用户设置，还可以根据当前的空白区域自动调整。分享用户书写的过程中，书写框的大小可以进行自动扩张，书写框覆盖的屏幕原有内容将会隐藏。此时，接收用户在智能桌面上对应的显示区域中会同步显示分享用户的书写过程，字体大小可以与接收用户的当前显示内容的字体大小一致，字体可以为分享用户的字体，也可以为接收用户的字体。

智能桌面可以根据接收用户的显示区域，对待分享内容进行自动排版，例如，如果待分享内容较多，无法在接收用户在智能桌面上对应的显示区域的空白处完全显示，可以对该部分内容的字体进行调整，或者对该部分内容进行分页显示。

分享用户可以采用触屏双击书写框等方式表示书写完成，此时会提示分享用户是否保存书写框中的内容，分享用户选择保存时，书写框中的内容会自动添加到分享用户在智能桌面上对应的显示区域的空白区域或已有内容末尾，然后分享用户的书写框将会消失。同时接收用户在智能桌面上对应的显示区域会显示提示，是否接受被添加或修改的内容，若接收用户接受，则分享内容会自动添加或修改到原内容中，并进行重新排版，如果排版后增加的内容因结尾处没有空白区域而无法显示，则会对该区块内容进行分页，或自动调整结尾处其他区块内容的排版，生成一块空白区域供增加的内容显示。

本发明提出，智能桌面根据接收待分享内容的用户(接收用户)的视角方向，调整待分享内容的显示方向。

图9为根据本发明实施例4的指定用户分享示意图。

参照图9中的左边，为实际智能桌面屏幕显示图。其中用户Kim写了关于乒乓球的内容，用户Frank写了关于篮球、吉他、钢琴的内容，用户Lia写了关于钢琴的内容，用户Mako写了关于乒乓球的内容。当用户Kim查看主题摘要时(图9中的右边)，系统自动以运动主题和音乐主题进行显示，每个主题中区分不同用户写的内容，例如运动主题中按照用户Kim写的乒乓球、用户Frank写的篮球、用户Mako写的乒乓球排列，其中的内容都是以摘要显示的，用户可以选中摘要查看其详细内容。用户Kim在查看主题摘要中，可以选择关于乒乓球的内容作为待分享内容，并选择用户Frank作为接收待分享内容的用户，从而将用户Kim的关于乒乓球的内容分享给用户Frank。

此外，本发明还提出，分享用户可以指定多个接收待分享内容的用户(接收用户)，那么待分享内容会同时显示在指定的多个接收用户的显示区域中。

实施例5

本发明提出，检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示上述内容，其中，上述内容包括待分享内容，上述指定显示方式包括：确定显示待分享内容的显示位置；基于确定出的显示位置，在智能桌面上显示上述内容。

场景：用户A想将自己的内容分享给用户B和用户C，B和C坐在相邻的位置上。

解决方案：指定位置分享

分享内容的用户(分享用户)可以先指定显示待分享内容的显示位置，再指定待分享内容，还可以先指定待分享内容，再指定显示待分享内容的显示位置。本发明提出，可以通过相对位置缩略图来指定显示待分享内容的显示位置。

指定位置：分享用户可以通过触屏点击等方式，选取相对位置缩略图中的某个空白位置(例如，两个内容区块中间的位置)，表示该用户想在此位置分享内容。

指定内容：用户可以指定已有的内容作为待分享内容，也可以指定实时书写的内容作为待分享内容，例如，打开输入框并输入想要分享的内容。其中，指定内容的方式和实施例4中的方式一致，这里不再赘述。

本发明提出，智能桌面可以通过摄像头等方式检测接收用户的位置，调整待分享内容的显示位置为一个用户或多个用户的视角的中心位置。

图10为根据本发明实施例5的指定位置分享示意图。

参照图10中的左边，为实际智能桌面屏幕显示图。其中用户Kim写了关于乒乓球的内容，用户Frank写了关于篮球的内容，用户Lia写了关于钢琴的内容，用户Mako写了关于钢琴和吉他的内容。用户Lia通过触屏点击方式在相对位置缩略图中选择靠近用户Frank和用户Kim空白区域(表示用户Lia想在此空白区域分享内容)。智能桌面将用户Lia的分享内容(例如用户Lia实时书写的内容)分享到该空白区域，因此用户Frank和用户Kim可以方便地浏览到该分享内容。

此外，本发明还提出，分享用户可以指定多个显示待分享内容的显示位置，那么待分享内容会同时显示在分享用户指定的多个显示位置处。

实施例6

本发明提出，在分享内容时，还可以在智能桌面上设置共享区域，智能桌面接收到分享内容确定命令后，响应于分享内容确定命令，将待分享内容复制到共享区域。其他用户可以从共享区域方便的查看分享的内容。

下面对下述方案进行详细介绍：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。其中：内容包括待分享内容；指定显示方式包括：在智能桌面上设置共享区域，响应于分享内容确定命令，将待分享内容复制到共享区域。

场景：多个用户在讨论同一个问题，需要互相分享、查看、获取各自的内容。

解决方案：共享区域

预先指定触发显示共享区域的操作，例如用户的手掌同时平放在屏幕上等操作，表示大家希望打开共享区域。此时智能桌面检测到用户的上述操作后，在显示屏幕上显示共享区域，其位置、形状和大小的具体细节如下描述。

(1)位置和形状

共享区域的中心可以为整个屏幕的中心。其形状可以由用户选择指定，也可以与智能桌面屏幕形状有关(例如圆形智能桌面的共享区域为圆形)，也可以默认设置为椭圆形。

(2)大小

共享区域的大小为系统预设大小，其边缘所有用户均可以触及。若此时共享区域会覆盖部分显示内容，则该部分显示内容的区块会自动调整到相应用户在智能桌面的空白区域。如果用户对应的空白区域面积过小，则该部分内容会以分页的形式进行缩小，放置在空白区域中；如果用户在智能桌面的显示区域中没有空白区域，则该部分内容会加入到该用户的另外一个区块的末尾处，并以分页形式显示，用户可以用触屏滑动等方式查看分页区域内的不同页面。

共享区域的颜色可以区别于智能桌面其它区域的颜色，以便用户区分。

关于内容的分享：

图11为根据本发明实施例6的共享区域示意图。参照图11(a)，分享内容的用户(分享用户或分享者)选择待分享内容(例如通过圈选等方式)，或者，分享内容的用户(分享用户或分享者)实时书写待分享内容；参照图11(b)，然后分享用户(分享者)通过某些操作(例如上划等方式)，将待分享内容拖到公共区域，指示该部分内容显示在共享区域中，智能桌面将待分享内容复制到共享区域中，其中，待分享内容的方向与共享区域的边缘保持平行。分享用户(分享者)可以设置待分享内容针对指定用户隐藏显示，此时当待分享内容被转动到某个被设置为隐藏显示的用户面前时，待分享内容将会自动隐藏显示。

关于共享内容的查看：

参照图11(c)，共享区域可以以其中心进行转动。当一个用户的手触摸到共享区域边缘时，共享区域进入转动模式。圆盘将随着用户手的滑动而转动，转动速度与滑动速度保持一致。此时只有该用户可以转动共享区域。当分享用户(分享者)旋转共享区域时，共享区域上的内容随着共享区域的转动而转动，保持其原来的相对位置，此时用户可以查找自己想看的内容。当分享用户(分享者)的手不触及共享区域超过一定时间，圆盘将会重新进入静止状态。

关于共享内容的获取：

参照图11(d)期望获取待分享内容的用户(查看者)也可以旋转共享区域进行查看，并可以通过触屏拖拽等方式，获取共享区域中的某部分内容，并显示在自己的显示区域中。

(1)、期望获取待分享内容的用户有可能不在待分享内容的显示位置的附近。此时，期望获取分享内容的用户通过主动旋转共享区域，可以便利地接近待分享内容，智能桌面响应于旋转共享区域命令，旋转共享区域。

(2)、当待分享内容旋转到期望获取待分享内容的用户附近时，通过该用户触发停止旋转共享区域命令，可以停止旋转共享区域。

(3)、当待分享内容停止到期望获取待分享内容的用户附近时，该用户可以从共享区域中复制待分享内容到自身的显示区域中显示，从而能够获取其他用户分享的内容。

关于匿名分享：

分享用户将待分享内容放入共享区域后，可以在共享区域显示待分享内容以及该内容对应的用户标识(头像、签名等)。此外，本发明提出，用户还可以匿名分享，用户可以通过预设的操作进行设置(例如通过点击匿名分享按钮设置)，将待分享内容放入共享区域后，共享区域中仅显示待分享内容，并不会显示对应的用户标识，此外，还可以进一步的将待分享内容进行字体变形，例如，将分享用户的手写笔迹转换为印刷体。

实施例7

当用户使用智能桌面书写文本、公式或者绘制图案时，由于智能桌面已存在内容而可能出现用户书写空间不足的情况。

对此，本发明提出，检测与当前书写内容的输入位置存在位置冲突的已存在内容，当检测到上述已存在内容时触发对已存在内容的显示指令，暂时隐藏上述已存在内容。

下面对下述方案进行详细介绍：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。其中：内容包括：与当前书写内容的输入位置存在位置冲突的已存在内容；检测针对智能桌面的内容的显示指令包括：检测与当前书写内容的输入位置存在位置冲突的已存在内容，当检测到已存在内容时触发对已存在内容的显示指令；指定显示方式包括：暂时隐藏已存在内容。

场景：智能桌面已存在内容A，用户在其左侧输入内容B。在输入内容B时，内容A造成了内容B的输入空间不足。

图12为根据本发明实施例7的书写冲突示意图。

为了克服书写冲突，本发明包括：

(a)书写冲突相应功能的启动

1.随智能桌面的开启而启动；2.提供触屏选项设置，供用户启动；3.用户通过语音命令启动；4.用户通过手写命令启动；5.存在输入操作时自动启动；6.用户通过手写笔等外部设备启动。

(b)检测书写冲突，并对冲突内容实时隐藏

本发明提供位置检测隐藏模式和冲突预测隐藏模式，用户可以通过语音命令、手写命令、桌面触屏、外部设备等方式进行设置。位置检测隐藏模式和冲突预测隐藏模式分别描述如下：

位置检测隐藏模式：当用户进行文本输入、公式输入或图案绘制时，系统检测用户当前笔迹位置(即用户当前书写内容的输入位置)与桌面已存在内容的位置是否存在冲突。当存在冲突时，在当前笔迹位置对存在冲突的已存在内容进行局部隐藏，使得当前笔迹可以持续进行，用户可以持续输入。

冲突预测隐藏模式：当用户进行文本输入、公式输入或图案绘制时，系统根据临近时间内用户已输入内容的笔迹特征、文本内容以及结构(字符、单词、句子和段落块)、公式内容以及格式、图案形状以及大小，对用户当前输入所需的空间大小进行预测，并检测所需空间与桌面已存在内容的位置是否存在冲突，即预测与当前书写内容的输入位置可能存在位置冲突的已存在内容。当存在冲突时，系统在预测到的可能存在冲突的位置，按照预测所需的空间大小，对存在冲突的已存在内容进行局部隐藏，使得用户的输入可以持续进行。

图13为根据本发明实施例7的书写冲突处理后的第一示范性显示示意图。在图13中，通过隐藏一部分已存在内容来克服书写冲突。

(c)输入完毕后冲突内容的显示调整

当智能桌面检测到当前书写内容输入完毕后，可以基于已存在内容与当前书写内容的语义相关性，确定恢复显示方式。

其中恢复显示方式包括：将已存在内容和/或当前书写内容移动位置后恢复显示，即完整内容平移模式；或，将已存在内容和/或当前书写内容重排版恢复显示，即局部内容重排版模式。

用户可以通过语音命令、手写命令、桌面触屏、外部设备等方式进行设置。完整内容平移模式和局部内容重排版模式具体如下：

完整内容平移模式：

图14为根据本发明实施例7的书写冲突处理后的第二示范性显示示意图。参照图14，系统实时检测在新内容输入过程中是否与已存在内容存在位置冲突。新内容输入完毕后，若系统检测到输入过程中存在冲突，则根据内容的笔迹特征、文本内容以及结构(字符、单词、句子和段落块)、公式内容以及格式、图案形状以及大小，以及输入时间等，对存在冲突的新内容和已存在内容进行完整区域的确定。在确定两者的完整区域后。系统对两部分完整区域的内容进行相对位置的平移调整，使得冲突消失，并恢复对隐藏的已存在内容的显示。其中，可以移动存在冲突的已存在内容，以使已存在内容恢复显示，也可以移动移动存在冲突的新内容，以使已存在内容恢复显示，还可以同时移动存在冲突的新内容和已存在内容，以使已存在内容恢复显示。

局部内容重排版模式：

图15为根据本发明实施例7的书写冲突处理后的第三示范性显示示意图。参照图15，系统实时检测在新内容输入过程中是否与已存在内容存在位置冲突，并记录冲突位置。新内容输入完毕后，若系统检测到输入过程中存在冲突，系统在冲突位置对新输入内容和/或已存在内容进行局部重排版，使得冲突消失，并恢复对隐藏的冲突内容的显示。其中，可以在冲突位置对存在冲突的已存在内容重排版恢复显示，也可以将已存在内容恢复显示，并将新输入内容重排版显示，还可以将新输入内容和已存在内容同时重排版显示。

重排版时，可以按照优先级对完整图案，公式，文字进行重排版，以尽量保证重排版时图案形状不变形以及公式内容的连续性。可以优先对文字进行冲排版，其次是公式，再次是图案。例如，当新输入内容为图案，发生冲突的已存在内容为文字内容时，可以优先对文字内容进行冲排版，以保证图案形状不变形。

此外本发明还提出，可以在输入完毕后，根据发生冲突的内容进行显示调整，具体包括：

1)当用户当前书写内容与发生冲突的已存在内容相关时，可以按照图15所示的环绕显示方式进行显示调整；

2)当用户当前书写内容与发生冲突的已存在内容不相关时，可以按照图14所示的环绕显示方式进行显示调整；

3)若当前书写内容与发生冲突的已存在内容为同一用户的书写内容时，可以按照图14所示的环绕显示方式进行显示调整；

4)若当前书写内容与发生冲突的已存在内容为不同用户的书写内容时，可以按照图15所示的环绕显示方式进行显示调整。

(d)书写冲突相应功能的关闭，具体包括：

1.随智能桌面的关闭而关闭；2.提供触屏选项设置，供用户关闭；3.用户通过语音命令关闭；4.用户通过手写命令关闭；5.不存在输入操作时自动关闭；6.用户通过手写笔等外部关联设备关闭。

实施例8

在使用智能桌面时，显示屏幕上的文字或者其他内容会由于外在物的遮挡给用户带来不便，如杯子、袋子、手机、笔记本、手肘等。

对此，本发明提出，检测智能桌面上的遮挡物，当智能桌面的内容被该遮挡物遮挡时触发对被遮挡内容的显示指令，对被遮挡内容进行重排版。

下面对下述方案进行详细介绍：检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。其中：内容包括：被智能桌面上的遮挡物遮挡的内容；检测针对智能桌面的内容的显示指令，包括：检测智能桌面上的遮挡物，当智能桌面的内容被所述遮挡物遮挡时触发对被遮挡内容的显示指令；指定显示方式包括：对被遮挡内容进行重排版。

场景：用户A将杯子放在智能桌面上。智能桌面上显示的内容被杯子遮挡。图16为根据本发明实施例8的遮挡示意图。

为了克服遮挡，本发明包括：

1.遮挡自动调整模式

用户开启遮挡自动调整模式，开启方式可以是：a)语音操作；用户A通过语音方式，例如：“开启遮挡自动调整模式”，此时遮挡自动调整模式开启；b)物理按键操作：用户通过按智能桌面上的某个按键，开启遮挡自动调整模式。c)触屏操作：用户通过触屏，例如三次连续单击屏幕，开启遮挡自动调整模式。d)手势操作：用户通过手势动作，例如挥手三次，此时摄像头会捕捉到用户的手势动作，开启遮挡自动调整模式。e)对外部控制器的操作：用户通过操作外部控制器，例如按下手写笔上的按钮，开启遮挡自动调整模式。f)手写操作：用户通过手写输入固定模式命令，如手写“开启遮挡自动调整模式”，开启遮挡自动调整模式。

进入遮挡自动调整模式后，其处理遮挡的过程如下：

(a)通过传感器对显示屏幕呈现的内容进行版面分析和内容识别，对桌面上的遮挡物进行检测和识别，由此确定遮挡面、被遮挡内容和被遮挡内容所在的相应版块(如段落)。

版面分析的结果包含但不限于：i.字符以及单词；ii.文本行；iii.段落；iv.意义连续的文本内容；v.图片；vi.意义连续的文本以及图片。

遮挡物的检测和识别包含但不限于：i.遮挡物的类别及形状；ii.遮挡物的透明程度；iii.遮挡面的形状。

在一个实施方式中，对被遮挡内容进行重排版，包括：基于被遮挡内容的字符连续性、被遮挡内容的文本行连续性、被遮挡内容的段落连续性、被遮挡内容的语义关联性、被遮挡内容的图片连续性、被遮挡内容的图片文字间关联性中的至少一个，对被遮挡内容进行重排版。具体地，首先确定出需要调整的具体内容，然后再对需要调整的具体内容进行重排版。

(b)根据上述结果，综合考虑如下至少一项信息，确定需要调整的具体内容：

i.被遮挡内容的字符连续性；ii.被遮挡内容的文本行连续性；iii.被遮挡内容的段落连续性；iv.被遮挡内容的语义关联性；v.被遮挡内容的图片连续性；vi.被遮挡内容的图片文字间关联性

(c)在确定最佳调整内容之后，使用如下方式进行被遮挡内容的重排版：i.确定可供重新显示遮挡内容的区域大小；ii.根据可显示区域和被遮挡内容，对确定出的最佳调整内容进行重排版；iii.将重排版后的内容在遮挡面周围进行重排。

进入遮挡自动调整模式后，遮挡处理将根据遮挡物以及桌面显示内容的变化而实时调整。图17为根据本发明实施例8的遮挡处理后的第一示范性显示示意图。自动调整遮挡后的效果如图17所示。

本发明还提出，智能桌面在对被遮挡内容进行重排版之前，还可以先检测用户的关注位置点，若遮挡的位置与用户的关注位置点不重合，则可以暂时不对被遮挡内容进行重排版，若遮挡的位置与用户的关注位置点重合，则对被遮挡内容进行重排版。其中，可以通过摄像头等关联设备检测用户的视觉焦点，将视觉焦点作为用户的关注位置点，也可以将用户当前正在编辑的位置点作为用户的关注位置点。

本发明提出，智能桌面在对被遮挡内容进行重排版时，也可以将文字以摘要的形式呈现，以尽量节省有效显示空间

遮挡自动调整模式的结束方式可以包括下列中的至少一个：a)语音操作：用户A通过语音方式，例如：“结束遮挡自动调整模式”，结束遮挡自动调整模式；b)物理按键操作：用户通过按智能桌面上的某个按键，结束遮挡自动调整模式；c)触屏操作：用户通过触屏，例如四次连续单击屏幕，结束遮挡自动调整模式；d)手势操作：用户通过手势动作，例如挥手四次，此时摄像头会捕捉到用户的手势动作，结束遮挡自动调整模式：e)对外部控制器的操作：用户通过操作外部控制器，例如按下手写笔上的按钮，结束遮挡自动调整模式；f)手写操作：用户通过手写输入固定模式命令，如手写“结束遮挡自动调整模式”，结束遮挡自动调整模式；g)智能桌面关闭：由于会议结束等原因，智能桌面关闭等，该模式停止工作：h)当前用户变化：若用户A在智能桌面的a位置开启了遮挡自动调整模式，移动到b位置，随后新用户C加入到会议中移动到a位置。系统检测到a位置的当前用户发生变化，对用户C关闭遮挡自动调整模式。同时保留b位置用户A的自动调整模式。

2.遮挡手动调整模式

用户开启遮挡手动调整模式，开启方式可以包括：a)语音操作：用户A通过语音方式，例如：“开启遮挡手动调整模式”，此时遮挡手动调整模式开启；b)物理按键操作：用户通过按智能桌面上的某个按键，开启遮挡手动调整模式；c)触屏操作：用户通过触屏，例如三次连续双击屏幕，开启遮挡手动调整模式；d)手势操作：用户通过手势动作，例如挥手五次，此时摄像头会捕捉到用户的手势动作，开启遮挡手动调整模式；e)对外部控制器的操作：用户通过操作外部控制器，例如按下手写笔上的按钮，开启遮挡手动调整模式；f)手写操作：用户通过手写输入固定模式命令，如手写“开启遮挡手动调整模式”，开启遮挡手动调整模式。

进入遮挡手动调整模式后，其处理遮挡的过程如下：

(a)系统通过传感器对显示屏幕呈现的内容进行版面分析和内容识别，对桌面上的遮挡物进行检测和识别，由此确定遮挡面、被遮挡内容和被遮挡内容所在的相应版块(如段落)。

版面分析的结果包含但不限于：i.字符以及单词；ii.文本行；iii.段落；iv.意义连续的文本内容；v.图片；vi.意义连续的文本以及图片。

遮挡物的检测和识别包含但不限于：i.遮挡物的类别及形状；ii.遮挡物的透明程度；iii.遮挡面的形状。

在一个实施方式中，对被遮挡内容进行重排版，包括：基于被遮挡内容的字符连续性、被遮挡内容的文本行连续性、被遮挡内容的段落连续性、被遮挡内容的语义关联性、被遮挡内容的图片连续性、被遮挡内容的图片文字间关联性中的至少一个，对被遮挡内容进行重排版。具体地，首先确定出需要调整的具体内容，然后再对需要调整的具体内容进行重排版。

(b)根据上述结果，综合考虑如下至少一项信息，确定需要调整的具体内容：i.被遮挡内容的字符连续性；ii.被遮挡内容的文本行连续性；iii.被遮挡内容的段落连续性；iv.被遮挡内容的语义关联性；v.被遮挡内容的图片连续性；vi.被遮挡内容的图片文字间关联性。

(c)在确定最佳调整内容之后，使用至少一种如下方式进行被遮挡内容的重排版：i.用户通过触屏操作，将被遮挡内容周边的内容(文字或图片)进行某一方向拖动；ii.由系统确定的最佳调整内容将会按照用户的拖动操作进行平移，其平移速度以及距离可通过触屏操作的拖动力度、速度、距离等来定义；iii.如因显示区域大小受限制等原因不能在平移后完全显示最佳调整内容，则可以对最佳调整内容中的未被遮挡的内容部分进行部分隐藏或者调整字体，以此来保证用户平移后可优先看到被遮挡的内容。

图18为根据本发明实施例8的遮挡处理后的第二示范性显示示意图。手动调整遮挡后的效果如图18所示。

此外，智能桌面在对遮挡内容进行重排版时，也可以将文字以摘要的形式呈现，以尽量节省有效显示空间。后续可以根据用户的操作呈现摘要对应的详细信息。

遮挡手动调整模式的结束方式可以包括：a)语音操作：用户A通过语音方式，例如：“结束遮挡手动调整模式”，结束遮挡手动调整模式；b)物理按键操作：用户通过按智能桌面关联设备上的某个按键，结束遮挡手动调整模式；c)触屏操作：用户通过触屏，例如四次连续双击屏幕，结束遮挡手动调整模式；d)手势操作：用户通过手势动作，例如挥手六次，此时摄像头会捕捉到用户的手势动作，结束遮挡手动调整模式；e)对外部控制器的操作：用户通过操作外部控制器，例如按下手写笔上的按钮，结束遮挡手动调整模式；f)手写操作：用户通过手写输入固定模式命令，如手写“结束手动遮挡调整”，结束遮挡手动调整模式；g)智能桌面关闭：由于会议结束等原因，智能桌面关闭等，该模式停止工作；h)当前用户变化：若用户A在智能桌面的a位置开启了遮挡手动调整模式，移动到b位置，随后新用户C加入到会议中移动到a位置。系统检测到a位置的当前用户发生变化，对用户C关闭遮挡手动调整模式，同时保留b位置用户A的手动调整模式。

此外，用户还可以通过调取缩略图的方式来查看遮挡的内容，其中，调取缩略图的方式详见实施例1的描述，本发明对此不再赘述。

总之，本发明针对被遮挡内容给出解决机制，可以保证被遮挡内容得以正常显示。

实施例9

多人使用智能桌面时，多个用户可能同时对某一控件进行操作，但是某些控件资源是有限的，因此可能会发生资源冲突。

1.以录音资源为例：

一般的智能桌面只有一个麦克风，此时如果多个用户需要录音，就会产生冲突。

本发明的解决方法如下：为每个用户分配一个虚拟录音按钮，根据用户的操作调出该用户的虚拟录音按钮，其调出的方式可以是：a)语音操作：用户通过语音方式，例如说“录音”，此时虚拟录音按钮会出现在用户面前没有内容的区域。如果用户面前写满内容，会暂时将其正前方虚拟录音按钮大小的一部分内容隐藏，显示虚拟录音按钮；b)物理按键操作：用户通过按智能桌面上的某个按键，调出虚拟录音按钮；c)触屏操作：用户通过触屏，例如长按屏幕，此时虚拟录音按钮会显示在用户触屏的位置。如果该位置有内容，会暂时将虚拟录音按钮大小的一部分内容隐藏，显示虚拟录音按钮：d)手势操作：用户通过手势动作，例如挥手，此时摄像头会捕捉到用户的手势动作，虚拟录音按钮会出现在用户面前没有内容的区域。如果用户面前写满内容，会暂时将其正前方虚拟录音按钮大小的一部分内容隐藏，显示虚拟录音按钮；e)对外部控制器的操作：用户通过操作外部控制器，例如按下手写笔上的按钮，此时虚拟录音按钮会显示在手写笔指向的位置。如果该位置有内容，会暂时将虚拟录音按钮大小的一部分内容隐藏，显示虚拟录音按钮。

图19为根据本发明实施例9的录音资源冲突处理示意图。

用户可以在听到自己感兴趣的内容时调出虚拟录音按钮开始录音，再次按虚拟录音按钮结束录音。智能桌面在检测到第一个按虚拟录音按钮的事件后，确认接收到用户的录音开始指令，然后智能桌面开始录音，即开启录音装置开始录音，当检测到所有用户均选择结束录音时，确认接收到所有用户的结束录音指令，然后结束录音，即关闭录音装置。如图19所示，用户A在t1点按下了虚拟录音按钮，则智能桌面开启录音装置开始录音，用户B和用户C分别在t2和t3点按下了虚拟录音按钮，在t4点，用户B再次按虚拟录音按钮结束录音，在t5点，用户A再次按虚拟录音按钮结束录音，在t6点，用户C再次按虚拟录音按钮结束录音，用户D在t7点按下了虚拟录音按钮，并在t8点再次按虚拟录音按钮结束录音。其中，t1～t8按照时间由先到后的顺序依次排列。由上述过程可知，智能桌面的实际录音时间段为t1～t6以及t7～t8，如果t6和t7为同一时间点，则智能桌面的实际录音时间段为t1～t8。

智能桌面在存储录音文件时，基于每个用户的录音开始指令及每个用户的结束录音指令，生成各个用户的录音文件，具体的，智能桌面根据每个用户的录音开始指令及每个用户的结束录音指令，能够得到每个开启录音功能的用户的开启时间以及结束时间，根据每个开启录音功能的用户的开启时间以及结束时间，在实际录音的音频文件中查找该用户对应的录音文件。

任意一个用户想播放录音的时候，可以通过长按屏幕等方式，调出录音内容播放界面。录音内容播放界面的进度条从所有用户中起始时间到当前最晚的终止时间。其中录音的内容通过语音识别和语义分析，按照内容的不同区分为几个关键点。本发明提出，录音内容播放界面中包含各关键时间段标识和/或各关键时间段的录音经语音识别后的内容。其中，关键时间段包含上述按照内容的不同区分的关键点对应的时间段，和/或，用户执行录音操作的时间段，因此，在录音内容播放界面中，每个关键点的开始和结束时间都有标记，每个用户录音的开始和结束时间也有标记。用户可以选择任意一个关键点进行播放，也可以播放某一个用户的录音。用户也可以选择某一段音频内容进行保存。

例如，参照图19，用户D只录制了会议过程中的关键点5，但是用户D想查看其它关键点的内容，用户A、B、C录制的音频内容中包含关键点1～4的内容，因此用户D可以调出图19中的播放界面，在播放界面中选择播放其它关键点的内容或是其它用户录制的内容。

本发明还提出，在播放录音内容时，可以选择声音播放，此外，在多人会议的场景下，声音播放可能影响其他用户，因此也可以选择将要播放的音频通过语音及语义识别等技术转换为文字内容，并在界面中显示文字内容。

可见，本发明实施方式还实现了不同用户针对智能桌面的录音资源的并行调用，从而提高了资源利用率。

2.以时间提醒资源为例

闹钟(时间提醒)功能一般由设备的音频播放资源来进行提醒，当多用户使用智能桌面时，可能多个用户都会设置闹钟(时间提醒)，那么就存在多用户间的资源冲突的问题。

本发明提出，检测针对智能桌面的内容的显示指令；基于指定显示方式，在智能桌面上显示内容。

其中，上述内容包括时间提醒信息；

检测针对智能桌面的内容的显示指令包括：检测用户设定的提醒时间，当用户设定的提醒时间到时触发对所述内容的显示指令；

上述指定显示方式包括：当使用智能桌面的各用户设定的提醒时间相同时，如果到达提醒时间，通过下述至少一种方式播放所述时间提醒信息：声音、图标、文字；或，当使用智能桌面的各用户设定的提醒时间不同时，如果到达提醒时间时，通过下述至少一种方式播放所述时间提醒信息：图标、文字。

图20A-图20B为根据实施例9的时间提醒资源冲突处理示意图。其中：图20A为根据实施例9，当闹钟时间相同时的时间提醒资源冲突处理示意图；图20B为根据实施例9，当闹钟时间不相同时的时间提醒资源冲突处理示意图。

参照图20A，当多个用户订的闹钟时间相同时，可以认为此时需要提醒所有用户，因此可以在闹钟时间到达时播放闹钟音效(声音)。

此外，若各用户间提醒的内容不同，或者用户在同一时间点有多个提醒内容，也可以在闹钟时间到达时，在各用户的显示区域显示图标提示和/或文字提示。也可以同时采用播放闹钟音效以及显示图标提示和/或文字提示的方式。

此外，本发明还提出，用户已书写的内容还可以与录音文件相关联，若检测到用户已书写的内容与已录制的录音文件中的部分内容相关联，则在用户已书写的内容后添加播放录音按键，用户可以选择播放或文本显示对应的录音内容，这样用户在书写内容时，就可以将录音的内容作为书写参考。

参照图20B，当多个用户订的闹钟时间不同时，认为此时只需要提醒个别用户，如果播放闹钟音效可能会打扰到其他用户，因此可以在各自闹钟时间到达时，在该用户的显示区域显示图标提示和/或文字提示。

在上述处理过程中，在用户的显示区域显示图标提示和/或文字提示时，可以先确定用户的关注位置点，然后在用户的关注位置点显示图标提示和/或文字提示，其中，可以通过摄像头等设备检测用户的视觉焦点，将视觉焦点作为用户的关注位置点，也可以将用户当前正在编辑的位置点作为用户的关注位置点。若在显示图标提示和/或文字提示的过程中，用户的关注位置点发生了移动，则图标提示和/或文字提示的显示位置也随之相应改变。

可见，本发明实施方式还实现了不同用户针对智能桌面的时间提醒资源的并行调用，从而提高了资源利用率。

总之，本发明针对智能桌面的相同资源的多个用户调用请求，给出解决机制，可以克服多个用户调用请求之间的冲突，保证了智能桌面的资源被正常合理调用。

实施例10

在多用户使用智能桌面时，不同用户可能会书写不同的内容，此外，也有可能多个用户同时书写相同的内容。

本发明提出，智能桌面可以根据已书写内容，确定对当前书写内容的提示信息，并显示确定出的提示信息。

具体的：1)在用户书写过程中，智能桌面根据其他用户已书写的内容，给出书写提示。2)用户实时书写的内容可以为邮箱地址、日期、时间、人名、公式等，此时可以提示将要书写的内容，也可以提示已书写内容是否正确。3)用户实时书写的内容可以为文本，此时可以在其他用户已书写内容中提取当前用户尚未书写内容的摘要，并提示给当前用户，当前用户可以查看摘要的详细信息。

下面给出具体的处理方式。

1.关键词提示：

根据当前书写内容中的关键词，确定对当前书写内容的提示信息。

具体的：

从当前书写内容中提取关键词，并根据从已书写内容中提取出的关键词及上下文关键词，查询从当前书写内容中提取的关键词对应的上下文关键词，利用查询到的上下文关键词确定对当前书写内容的提示信息。或者，

从当前书写内容中提取上下文关键词，并根据从已书写内容中提取出的关键词及上下文关键词，查询从当前书写内容中提取的上下文关键词对应的关键词，利用查询到的关键词确定对当前书写内容的提示信息。

(a)关键词定义

此处的关键词包含但不限于语法上的专有名词，广泛意义上讲可以是包含详细、特殊含义的关键名词。例如：

1.名称(如人名、地址、国家名、组织名、化学物质名等)：

例如：“Tom is a smart kid”中的关键词“Tom”、他的邮箱地址为tom233@gmail.com中的关键词“tom233@gmail.com、“中国将举办2022年冬奥会”中的关键词“中国”、“一般感冒药都含有对乙酰氨基酚”中的关键词“乙酰氨基酚”；

2.日期(如年月日、节日、星期等)

例如：“韩梅梅的生日是12月15日”中的“12月15日”；“星期三我们将举办全院大会”中的“星期三”；“国庆节公司休息7天”中的“国庆节”。

3.数字(以及其量词)

例如：“圆周率为3.1415926”中的“3.1415926”；“李四需要报销的差旅费共计5324美元”中的“5324”；“国庆节公司休息7天”中的“7”。

4.普通名词关键词(可包含定语)

例如：“今天需要统计全体员工的电梯卡”中的“电梯卡”；“会议需要购买的物品：新鲜水果、矿泉水、笔记本”中的“新鲜水果、矿泉水、笔记本”。

5.关键动词或短语

例如：“明天告诉张三给领导打电话”中的“给领导打电话”。

(b)建立关键词与上下文关键词对应表

对于某一个用户书写的内容，系统通过语义分析、预定义关键词词表等方式，找出该用户书写内容中的某个关键词，并检测其上下文中的关键词，与该名词建立对应关系，储存到对应表中。对于所有用户的书写内容，将维护同一个对应表。对应表的维护是在所有用户的书写过程中实时进行的。

例如：

他的邮箱地址为tom233@gmail.com；星期三我们将举办全院大会；李四需要报销的差旅费共计5324美元；会议需要购买的物品：水果、矿泉水、笔记本。

则，对应表如表1所示：

表1

(c)判断相似性，计算可信度

对于其它用户的书写内容，如果检测到的专有名词已经存在于对应表中或与对应表中的某个词相似度较高，则根据以下几种情况进行处理。

i.检测到的专有名词存在于对应表中，对应的上下文关键词与对应表中相符。

这种情况下表示有一个新用户写下了同样的内容，此时根据一定的算法，增加该对应关系的可信度。

ii.检测到的专有名词与对应表中已有的某个专有名词相似度较高，但不完全相同

例如用户A书写的内容中有这样一句话：张三将会见李四。此时“张三”和“会见李四”将会加入到对应关系表中。然后用户B写了这样一句话：张二将会见李四。此时“张二”与对应关系表中“张三”相似度很高，但系统无法判断是否是用户笔误(这两个词中有一个是写错的)，或者这两种写法都是正确的，因此会将“张二”和“会见李四”作为一个新的对应关系加入到对应关系表中，并标记与“张三”和“会见李四”有相似关系。当有相似关系的几条对应关系中的某一个的可信度高于一定阈值(即有很多用户写下了相同的内容)，系统会认为该条记录是正确的，其它记录可能是不正确的。

iii.检测到的专有名词存在于对应表中，但对应的上下文关键词与对应表中不符

一个专有名词可能对应多个关键词。例如用户A书写的内容中有这样一句话：张三在星期天将会会见李四。此时关键词的对应关系将会被如表2所示被保存。此时用户B写了这样一句话：张三将会见李四。系统检测到“张三”这个关键词后，查询对应关系表，发现“张三”对应的关键词中不但有“会见李四”，还有“星期天”，此时会根据一定的算法，增加该对应关系中“张三”和“会见李四”之间关联的可信度。

如果系统检测到上下文的关键词与原对应关系表中对应的关键词完全不符，则会把新的关键词增加到对应关系表的该条中。

如果系统检测到上下文的关键词比原对应关系表中对应的关键词多或部分相同，则会把多的关键词增加到对应关系表的该条中，根据一定的算法增加已经存在的关键词关联的可信度。

对应关系	关键词1	关键词2	关键词3
				1	张三	星期天	会见李四

表2

(d)检测用户正在书写关键词，查询对应表

当一个用户正书写了某一个关键词(可能是对应表中的关键词，也可以能是上下文关键词)，此时系统会从对应关系表中查询到该关键词或与该关键词相似度很高的关键词。

(e)对用户进行提示，具体包括：

i.纠错：

从当前书写内容中提取关键词，并当该关键词与从已书写内容中提取出的关键词的相似度大于预定的门限值时，利用从已书写内容中提取出的关键词确定对当前书写内容的提示信息。

具体的，用户书写的关键词与对应表中的某个关键词相似度很高，但不完全相同时，系统会在用户书写的该关键词旁边以颜色较浅的字等形式，提示用户可信度高的关键词，如果同时有几种不同的相似关键词，则会以列表的形式提示。如果用户采用触屏点击等方式确认某个关键词，则用户原有书写的关键词将会被自动纠正为提示的关键词，并以相同的字体和大小显示。如果用户以滑动等方式不接受提示，则系统会将该关键词及其对应的上下文关键词加入到对应关系表中，并保留用户书写的关键词。

图21为根据本发明实施例10发出提示的第一示范性示意图。在图21中，用户Hyemin Park和用户Fulong Wang之前已经书写了用户Fulong Wang的电子邮件地址。当智能桌面检测到用户Lina当前书写的地址为错误的电子邮件地址时，智能桌面向用户Lina发出提示，该提示可以为正确的电子邮件地址，以提示用户Lina可能出现笔误。用户Lina触屏点击以确认笔误，智能桌面将用户Lina原有书写的电子邮件地址纠正为正确的电子邮件地址。

ii.提示：

从当前书写内容中提取关键词，并根据从已书写内容中提取出的关键词及上下文关键词，查询从当前书写内容中提取的关键词对应的上下文关键词，利用查询到的上下文关键词确定对当前书写内容的提示信息。

具体的，用户书写的关键词与对应表中的某个关键词相同，如果该关键词只有一个对应的上下文关键词，则会在用户书写内容的后面以颜色较浅的字体等方式提示对应的上下文关键词。如果该关键词有多个对应的上下文关键词，则会继续检测用户书写，如果写到了与某个对应上下文关键词相关的内容，则会在用户书写内容的后面以颜色较浅的字体等方式提示该上下文关键词。

或者，用户书写的关键词与对应表中的某个上下文关键词相同，如果该上下文关键词只有一个对应的关键词，则会在用户书写内容的后面以颜色较浅的字体等方式提示对应的关键词。如果该上下文关键词有多个对应的关键词，则会继续检测用户书写，如果写到了与某个对应关键词相关的内容，则会在用户书写内容的后面以颜色较浅的字体等方式提示该关键词。

图22为根据本发明实施例10发出提示的第二示范性示意图。在图22中，智能桌面检测到用户Fulong Wang已经书写了自己的电子邮件地址，智能桌面将该电子邮件地址与用户Fulong Wang的用户标识对应存储。当智能桌面检测到用户Hyemin Park当前书写了“Fulong Wang”，并书写了“Email”，则预测用户Hyemin Park将要书写用户Fulong Wang的电子邮件地址，因此智能桌面以较浅的颜色向用户Hyemin Park发出提示，该提示可以为存储的用户Fulong Wang的电子邮件地址，以提示用户Hyemin Park可以省略书写具体的邮件地址。用户Hyemin Park触屏点击以确认，则智能桌面在原有书写的关键词“Email”后自动添加存储的用户Fulong Wang的电子邮件地址。

本发明提出，在进行智能提示时，可以按照上述关键词对应表的方式确定是否需要智能提示以及提示什么内容，此外，也可以按照其他方式进行智能提示，例如，可以将用户当前书写的内容与其他用户已书写内容进行实时匹配，并根据匹配结果是否需要智能提示以及提示什么内容。

2.摘要提示

从已书写内容中提取已书写内容摘要，从当前书写内容中提取当前书写内容摘要，比较已书写内容摘要与所述当前书写内容摘要，并基于所述比较的结果确定对当前书写内容的提示信息。

具体的：

(a)摘要提取：对所有用户已经书写的内容进行即时摘要提取，提取出来的可能是多条摘要。

(b)摘要提示，具体包括：

i.自动提示

用户书写内容的过程中，如果遇到某一点想不出来，可以触发显示摘要提示，例如，用户在需要显示摘要提示的位置留下一块空白区域，系统根据用户的触发操作，会提取该用户当前书写内容并从中提取摘要，与已经提取的所有用户已经书写的内容的摘要进行比对，确定出对用户当前书写内容的摘要提示。其中，系统检测到用户留出的空白区域，会自动将该用户没有写的、而有别的用户已经写了的内容的摘要以浅色字体等方式显示在用户留的空白区域中。如果用户留空白区域之前加了某些上文，系统会选择与用户上文相关的摘要显示。

此外，用户遇到某一点想不出来时，也可以写下某些特殊符号来触发显示摘要提示，如省略号，智能桌面检测到这些特殊符号后自动给出提示。如果有多条摘要提示，为了节省空间，可以分条、下拉菜单等方式显示。

当用户以触屏点击等方式选择提示的某个摘要时，该摘要对应的详细内容就会展开，用户可以查看其详细内容，并以圈选、拖拽等方式选择自己想要的内容，此时被选中的内容将会以合适的字号和该用户的字体插入到该用户留的空白区域中。

ii.手动提示

用户可以以语音、按键、手势等方式触发显示摘要提示，例如，以手掌滑动等方式手动获取摘要提示，此时该用户没有写的、其他用户已书写内容的摘要将会以浅色字体等形式呈现在该用户的空白区域内。图23为根据本发明实施例10发出提示的第三示范性示意图。

在图23中，用户Hyemin Park详细写有三段内容，智能桌面分别生成这三段内容的各自摘要。用户Lina只写出两段内容，其中第二段内容空白，智能桌面将用户Hyemin Park书写的第二段内容的摘要，作为提示展示给用户Lina。用户Fulong Wang没有写出任何内容。智能桌面将用户Hyemin Park书写的这三段内容的摘要，作为提示全部展示给用户Fulong Wang。

可见，应用本发明实施方式之后，在用户书写内容时，可以显示提示信息，从而智能地提示用户还没有书写、但其他用户已经书写的内容或摘要，并通过分析所有用户的书写内容，智能地对用户已书写的内容进行纠错，不但可以增加用户的书写体验，而且提高了多用户共同作业的效率，避免了多用户的重复书写。

实施例11

与多关联设备的内容交互：

本发明实施方式还可以拓展到多关联设备的情形中。智能桌面与关联设备建立连接关系；基于连接关系与关联设备交互智能桌面的内容和/或关联设备的内容。比如：将智能桌面实施为教学中使用的智能白板。下面以智能白板为例，对本发明实施方式进行示范性描述。图24为根据本发明实施例11智能白板的示范性示意图。

应用场景1：教师使用智能白板，学生使用终端(如Pad)。其中，智能桌面为智能白板，学生使用的终端为关联设备，也可以成为关联终端。

1启动与连接：

智能白板与关联终端开启后，可通过如下方式建立相互连接：

(1)蓝牙：智能白板或/和关联终端启动蓝牙功能，可以相互发现周围开启蓝牙的智能白板或/和关联终端，通过申请连接或者自动连接。实现彼此之间的相互数据关联；(2)红外：智能白板或/和关联终端启动红外功能，可以相互发现周围开启蓝牙的智能白板或/和关联终端，通过申请连接或者自动连接。实现彼此之间的相互数据关联；(3)无线网：智能白板或/和关联终端通过加入同一局域网来实现相互数据关联。

以上以蓝牙、红外和无线网通信方式，描述了智能白板与关联终端进行连接的示范性实例，本领域技术人员可以意识到，这种描述仅是示范性的，并不用于限定本发明的保护范围。

2身份认证：

智能白板和关联终端进行相互连接后，进行身份认证与权限设置。不同用户的身份特征和设置的权限可以通过蓝牙、红外、无线网等通信方式在智能白板和关联终端间共享。注意：由于身份认证与智能白板或关联终端的个数并无直接关系，因此注册和使用的用户数量可以大于实际的智能白板和关联终端的硬件个数。

具体地，身份认证过程包括：

(1)身份注册：

用户可以进行如下身份特征的注册，系统将用户注册的身份特征和用户标识(姓名等)进行关联绑定。注册身份特征的具体方式包括：<1>笔迹特征注册：用户通过手写一部分内容(如一连串的文本)，系统通过分析其手写特征，将其与其它身份特征以及用户标识相关联；<2>头像特征注册：通过智能白板或/和关联终端的摄像头，对当前用户进行一次或多次拍摄，系统通过分析其头像特征，将其与其他身份特征和用户标识相关联：<3>签名注册：用户通过在智能白板或/和关联终端进行签名，实现与其他身份特征和用户标识相关联；<4>指纹特征注册：用户可以通过输入指纹，实现与其他身份特征和用户标识相互关联；<5>虹膜特征注册：用户可以通过智能白板或/和关联终端的摄像头进行虹膜特征的采集，实现与其他身份特征和用户标识相关联。

(2)身份认证：

智能白板或/和关联终端通过采集分析用户的身份特征，并与系统中存储的身份特征库进行比对，进而完成对当前用户的认证。采集的信息包含：<1>笔迹：用户通过手写一部分内容(如一连串的文本)，系统分析其手写特征，将其与身份特征库比对，确定当前用户；<2>头像：通过智能白板或/和关联终端的摄像头对当前用户进行拍摄，系统通过分析其头像特征，将其与身份特征库比对，确定当前用户；<3>签名：用户在智能白板或/和关联终端进行签名，系统将其与身份特征库比对，确定当前用户；<4>指纹：用户输入指纹，系统将其与身份特征库比对，确定当前用户；<5>虹膜：用户通过智能白板或/和关联终端的摄像头进行虹膜信息的摄取，系统将其与身份特征库比对，确定当前用户。

3权限设置：

智能白板或/和关联终端完成身份认证之后，可对不同用户进行权限设置。以教学场景为例，教师可以在智能白板上设置智能白板和关联终端之间、各关联终端之间的操作权限，即设置教师与学生之间，学生与学生之间的操作权限。学生可以在关联终端上设置与其他关联终端之间的操作权限。即设置学生和学生之间的操作权限。操作权限包括但不限于：(1)信息输入权限：设定对智能白板或/和关联终端进行文本、图像、语音等信息的输入权限；(2)显示以及浏览权限：针对特定用户以及特定内容进行显示及浏览的权限。如进行课堂测试时，教师可以设置学生不能察看之前的课堂笔记；(3)上传以及分享分享：对特定用户的书写内容是否上传或分享到公共区域的权限；(4)编辑权限：如可以设定是否可以对其他用户的内容进行编辑(批注和修改等)的权限。

下面描述具体的使用场景，其中教师使用智能白板，学生使用关联终端进行课堂教学

使用场景一：教师分发学生任务：

在智能白板的内容中确定待分发内容，在关联终端中确定接收该待分发内容的关联终端；响应于内容分发指令，将该待分发内容发送到接收该待分发内容的关联终端。

可以将一个内容分发给一个关联终端，可以将一个内容同时分发给多个关联终端，可以将多个内容同时分发给一个关联终端，可以将多个内容同时分发给多个关联终端。

进一步的，可以对智能白板的内容分组以生成至少一个内容组，对关联终端进行分组以生成至少一个关联终端组；从至少一个内容组中确定选中内容组，从至少一个关联终端组中确定选中关联终端组；接收内容分发指令，响应于内容分发指令，将选中内容组中的内容发送到选中关联终端组中的每个关联终端。

具体的，参照图24，教师可将多个学生的任务列在智能白板一侧，如果任务描述较长，将以摘要形式显示，后续可以通过手势等操作来查看摘要的详情。例如，教师将书写的任务分给了一个学生，将绘画的任务分给了另外两个学生。通过语音、触屏、手势等操作，教师可以将课堂的学生信息调出，以头像或者名字等信息显示在智能白板另一侧。通过圈选单个或多个学生，教师可以将学生进行分组，即将关联终端进行分组。类似，教师通过圈选任务列表，将任务进行分组，即将智能白板的内容进行分组。通过在任务组与学生组之间进行联线，可以完成对直线右侧学生组分配直线左侧任务组的工作。同时学生使用的关联终端上显示分配得到的任务。

使用场景二：教师监督和批改完成情况：

智能白板获取对指定关联终端所提供的内容的编辑信息，并将编辑信息发送到指定关联终端。

具体的，参照图24，在学生完成各自任务的同时，教师可以在智能白板上选定学生的图像或姓名，该学生的作业完成情况(可以认为是对分发内容的编辑信息)可以在智能白板上的指定区域进行显示。教师也可设定时间，在规定时间段自动更新学生的完成情况。在完成作业期间，教师可以指定多个关联终端间不允许相互共享。在学生完成作业后，可以指定上传至智能白板，此时教师可以得到提醒，如语音播报、头像变亮等方式，若完成的作业内容较多，可以使用缩略显示。教师可针对完成的作业，进行编辑，例如批注、修改、打分等，其编辑信息可以同步到该作业完成者的关联终端上显示。

使用场景三：教师分享教授内容：

确定智能白板的待分享内容，将该待分享内容发送到指定关联终端。

具体的，教师在进行课堂知识讲授时，可以将多媒体图片、影片、笔记等通过手势、语音指令等分享到指定学生的关联终端。不同学生间可通过终端间进行共享和相互比较及补充。

使用场景四：多学生使用同一终端：

若学生数量多于关联终端数量，那么多个学生可以共享一个关联终端。其屏幕空间分配和使用方案如之前的多用户使用智能桌面一致。教师通过用户身份，而非关联终端来指定学生。

使用场景五：设置隐私内容：

参照图24，在使用智能白板或/和关联终端时，用户可以通过指定区域，或者指定内容(包括按照摘要指定、全部选中等)，对指定区域的内容或指定内容进行隐私设置。其设置隐私的内容，可以在上传和分享时进行隐藏处理，例如，不显示、模糊处理等。

使用场景六：课堂笔记保存和调出：

在下课或者内容教授完毕后，学生可以对自己有权限操作的内容进行保存，教师可以对整个课堂教学内容进行保存。保存的内容可以通过后续再次调出，用户对内容进行编辑整理后，可形成自己的课堂笔记。

应用场景2：多人使用智能桌面开会，用户通过移动关联设备保存和/或调出内容。

本发明实施方式还可以拓展到内容保存和调用。比如：当会议结束时，用户需要利用移动关联设备保存内容。

解决方案可以包含下述：

(1)：确定智能桌面被关联设备覆盖的区域，将智能桌面中上述区域的内容发送到该关联设备。具体的：用户可打开移动关联设备上对应的应用程序，然后将移动关联设备放置在智能桌面上想要保存的内容区域上，此时智能桌面感应到该区域被移动关联设备覆盖，该区域的内容就会通过NFC、Wi-fi等方式传送到移动关联设备的应用程序中并保存。可选地，如果用户想保存其智能桌面上的所有内容，可以通过一些操作(如将移动关联设备在智能桌面上旋转等)，实现所有内容的保存。

此外，智能桌面还可以接收关联设备发送的内容，确定被该关联设备覆盖的区域，并在确定的区域中显示接收到的内容。具体的，当下次会议时，用户想调出上次保存的记录，可以将移动关联设备放在想显示内容的智能桌面的某个空白区域上，此时移动关联设备中保存的记录就可以通过NFC、Wi-fi等途径传送到智能桌面上并显示在该空白区域内。用户也可以预先选择想要调出并显示在智能桌面的内容。

(2)：将智能桌面上的指定内容发送到指定关联设备或应用。具体的：在会议结束后，用户可以执行某些特定的操作(例如点击内容传输按键)，智能桌面检测到用户的操作后，将所记录的内容发送到指定关联设备或应用，其中，可以按照预先设置的方式进行发送，例如：预先设置发送方式为邮件发送，且设置了接收内容的邮箱地址，则智能桌面将记录的内容发送到指定邮箱地址。可以将智能桌面上的所有内容发送到指定关联设备，也可以在智能桌面上由用户指定某部分内容，然后智能桌面将指定某部分内容发送到指定关联设备。其中，可以在初始使用智能桌面时设置指定关联设备，也可以在发送内容时，实时在各关联设备中指定接收内容的关联设备。

本发明实施方式提出，保存的内容可以以原始格式进行保存，例如，保存手写笔迹的内容，也可以转化为预设格式(如印刷体)后保存。

实施例12

用户身份认证：本发明所提出的用户身份认证方法，既可以适用于实施例1-11中任意需要对智能桌面用户身份认证的场景，也可以适用于智能桌面之外的任意身份认证场景。

本发明中，用户无需预先注册手写内容，而且并不需要用户书写预先注册的签名内容，而是允许用户自由书写进行身份认证，在用户自由书写过程中即可对用户执行认证。

具体认证过程包括：

用户初始书写时，智能桌面终端允许用户自由书写，此时系统并不知道用户的身份信息。智能桌面接收用户实时输入的书写内容，同时，记录书写内容的笔迹的特征，如压力、速度、加速度、笔画特征等，还会记录书写辅助特征，如书写时的位置坐标，书写时的时间信息，书写方向，文本行方向等，然后基于书写内容的笔迹特征和书写辅助特征，通过特征提取算法，生成当前用户的用户特征，并自动保存到智能桌面上。当用户继续不断的书写时，智能桌面接收待认证内容，基于待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，即上述用户特征会实时更新，同时智能桌面将待认证用户特征与存储的用户特征进行匹配，从笔迹特征，书写位置坐标，时间连续性，书写方向，文本行方向，书写范围，书写内容的语义信息等方面综合判断用户的身份。如果待认证用户特征与用户特征相匹配，则用户身份认证通过，否则，为当前用户新建一个账号(用户标识)，还会记录书写时的位置坐标，时间信息，书写方向，文本行方向，书写内容的语义信息等。

用户认证通过后，可以将用户书写的内容与该用户的用户标识对应存储，后续就能够根据存储的用户标识以及对应的书写内容，获知智能桌面上的哪些内容是由哪些用户书写的。

基于上述描述，本发明还提出了一种智能桌面的内容显示装置，该内容显示装置应用于智能桌面终端。图25为根据本发明的智能桌面的内容显示装置的示范性结构图。

如图25所示，该内容显示装置2500包括：

显示指令检测模块2501，用于检测针对智能桌面的内容的显示指令；

内容显示模块2502，用于基于指定显示方式，在智能桌面上显示所述内容。

基于上述描述，本发明还提出了一种用户认证装置。图26为根据本发明的用户认证装置的示范性结构图。该装置2600，包括：

用户特征生成模块2601，用于接收书写内容，基于所述书写内容的笔迹特征和书写辅助特征生成用户特征，并存储用户特征；

认证模块2602，用于接收待认证内容，基于所述待认证内容的笔迹特征和书写辅助特征生成待认证用户特征，当所述待认证用户特征与用户特征相匹配时，通过认证。

基于上述描述，本发明还提出了一种智能桌面终端。图27为根据本发明的智能桌面终端的示范性结构图。如图27所示，该装置2700包括：

连接建立模块2701，用于与关联设备建立连接关系；

交互模块2702，用于基于所述连接关系与所述关联设备交互智能桌面的内容和/或关联设备的内容。

综上所述，本发明可以基于指定显示方式在智能桌面上显示内容，从而可以满足各种类型的针对智能桌面内容的显示需求。

而且，本发明可以满足所有不同方向用户的观看需求，例如：通过缩略图，用户可以看到调整到自己观看方向的其它用户的内容；通过共享区域的旋转，每个用户都可以以适合自己的观看方向查看共享区域中的内容。

而且，本发明不但可以提供公共的共享区域，还不限定每个用户内容的位置和方向，每个用户可以在智能桌面上自由书写、观看不同的内容，满足了每个用户的个性化需求。

还有，本发明可以满足多用户同时书写的需求，并可以同时识别每个用户的书写内容，进行实时的缩略图更新、摘要提取与更新、遮挡处理、智能提示等多样化、人性化的功能，也可以方便地实现多用户书写内容之间的共享。

本发明解决了现有技术中的“看不见”的问题。通过缩略图、主题摘要和用户摘要，无论用户之间距离有多远，观看角度是否一致，用户都可以方便地以自己适合观看的位置和角度查看自己感兴趣的其他用户的内容，以及对其他用户的内容进行编辑，使多用户使用智能桌面时能够更加便捷、高效地进行内容查看。

本发明解决了现有技术中的“够不着”的问题。通过基于指定用户、指定位置、共享区域等内容分享方式，无论用户之间距离有多远，书写角度是否合适，用户都可以方便的将自己的内容分享给其他单个或多个用户，并自动调整到其他用户适合观看的位置和角度。使多用户使用智能桌面时能够更加便捷、高效地进行内容分享。

本发明解决了现有技术中的“写不完”的问题。通过以人性化的形式对已有内容进行的部分隐藏、版面调整以及新旧内容分离，解决了用户书写过程中发现没有空间书写的难题，大大提高了用户在智能桌面上的书写体验。

本发明解决了现有技术中的“挪不动”的问题。通过检测用户关注点，并以合适的方式对被覆盖内容进行的版面调整以及节省屏幕空间资源的滚动查看方式，智能地解决了用户查看时的物体遮挡问题，用户不需要挪动遮挡物体也可以方便地查看感兴趣的全部内容，大大提高了用户在智能桌面上的观看体验。

本发明解决了现有技术中的“分不到”的问题。通过对录音开关的控制、录音内容的识别分段，可以使每个用户自由地对自己感兴趣的内容进行录音，并可以方便而清晰地查看其他用户录制的内容以及内容的关键点，使智能桌面的单麦克风不但可以实现多人录音，也使其变得方便易用。通过不同情况下对闹钟播放声音与显示提示的控制，可以使用户在得到自己预订的闹钟提示的同时，不影响其他人，大大提高了用户在智能桌面上使用闹钟的体验。

本发明解决了现有技术中的“想不出”的问题。通过对每个用户手写内容的识别，智能地提示用户还没有书写、但其他用户已经书写的内容或摘要，并通过分析所有用户的书写内容，智能地对用户已书写的内容进行纠错，不但可以增加用户的书写体验，而且大大提高了多人共同完成同一任务的效率，避免了多人重复内容的构想和书写。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (39)

1.一种内容显示方法，其特征在于，包括：

在触摸面板上显示分配给用户的窗口；

在分配给用户的窗口上，显示用户所输入的内容；

在分配给用户的窗口上显示缩略图；

其中显示缩略图包括：在缩略图中显示所设置的窗口中显示的内容；基于缩略图中的文本内容的字体大小小于阈值，以摘要形式显示文本内容。

2.如权利要求1所述的方法，还包括：获取用户所输入的内容。

3.如权利要求1所述的方法，显示缩略图包括：在每个用户调出缩略图的位置显示每个用户对应的缩略图。

4.如权利要求1所述的方法，其中，以摘要形式显示的文本内容的长度不超过长度阈值。

5.如权利要求1所述的方法，其中显示窗口包括：根据用户的位置改变窗口的位置和/或角度。

6.如权利要求1所述的方法，其中，所设置的窗口包括所述用户的窗口、除所述用户的窗口以外的窗口、所有窗口中的至少一种。

7.如权利要求6所述的方法，其中，显示缩略图的步骤包括：通过根据用户的位置指定内容的位置，在缩略图中显示内容。

8.如权利要求6所述的方法，其中，显示缩略图的步骤包括：通过根据用户的视角方向指定内容的显示方向，在缩略图中显示内容。

9.根据权利要求8所述的方法，其特征在于，其中，基于用户输入内容确定用户的视角方向；和/或，基于采集到的用户图像确定用户的视角方向。

10.如权利要求6所述的方法，其中，显示缩略图的步骤包括：通过根据窗口的方向调整缩略图中显示的内容的方向，在缩略图中显示内容。

11.如权利要求6所述的方法，其中，显示缩略图的步骤包括：当在缩略图中显示内容时省略冗余区域，并通过调整内容的位置和大小在缩略图中显示内容。

12.根据权利要求11所述的方法，其特征在于，其中，省略冗余区域的步骤包括：基于语义相关性、位置相关性、时序相关性、用户相关性中的至少一个，将缩略图的内容划分为一或多个内容区块；扩张所述一或多个内容区块以去除内容区块之间的冗余区域。

13.如权利要求6所述的方法，其中，显示缩略图的步骤包括：当在缩略图中显示内容时，隐藏从其他用户获取的隐私信息或显示除从其他用户获取的隐私信息以外的所有内容。

14.如权利要求6所述的方法，其中，显示缩略图的步骤包括：通过调整缩略图中内容的字体，在缩略图中显示内容。

15.如权利要求6所述方法，还包括：根据用户的内容编辑指令，在缩略图中编辑内容。

16.如权利要求1所述的方法，还包括：根据用户的输入将缩略图放大到与缩略图相邻的区域。

17.如权利要求1所述的方法，还包括：根据用户在缩略图中选择内容的操作，在缩略图中和/或缩略图的周边区域放大显示已选择内容。

18.如权利要求6所述的方法，其中，显示缩略图的步骤还包括：当更新内容时，在缩略图中显示更新的内容。

19.如权利要求6所述的方法，还包括：当在触摸板上检测到对象并且所述内容被所述对象遮挡时，在除了所述对象占据的区域之外的区域上重新排列和显示所述内容；所述对象为所述触摸板的外在遮挡物。

20.一种智能终端，其特征在于，包括：

存储器；

触摸面板；和

处理器，用于控制所述触摸面板；

其中所述处理器还用于：

在触摸面板上显示分配给用户的窗口；

在分配给用户的窗口上，显示用户所输入的内容；

在分配给用户的窗口上显示缩略图；

其中显示缩略图包括：在缩略图中显示所设置的窗口中显示的内容；基于缩略图中的文本内容的字体大小小于阈值，以摘要形式显示文本内容。

21.如权利要求20所述的智能终端，其中，所述处理器还被配置为：获取用户所输入的内容。

22.如权利要求20所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：在每个用户调出缩略图的位置显示每个用户对应的缩略图。

23.如权利要求20所述的智能终端，其中，以摘要形式显示的文本内容的长度不超过长度阈值。

24.如权利要求20所述的智能终端，其中，所述处理器被配置为显示窗口时，还被配置为：根据用户的位置改变窗口的位置和/或角度。

25.如权利要求20所述的智能终端，其中，所设置的窗口包括所述用户的窗口、除所述用户的窗口以外的窗口、所有窗口中的至少一种。

26.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：通过根据用户的位置指定内容的位置，在缩略图中显示内容。

27.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：通过根据用户的视角方向指定内容的显示方向，在缩略图中显示内容。

28.如权利要求27所述的智能终端，其中，所述处理器还被配置为：基于用户输入内容确定用户的视角方向；和/或，基于采集到的用户图像确定用户的视角方向。

29.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：通过根据窗口的方向调整缩略图中显示的内容的方向，在缩略图中显示内容。

30.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：当在缩略图中显示内容时省略冗余区域，并通过调整内容的位置和大小在缩略图中显示内容。

31.如权利要求30所述的智能终端，其中，所述处理器被配置为省略冗余区域时，还被配置为：基于语义相关性、位置相关性、时序相关性、用户相关性中的至少一个，将缩略图的内容划分为一或多个内容区块；扩张所述一或多个内容区块以去除内容区块之间的冗余区域。

32.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：当在缩略图中显示内容时，隐藏从其他用户获取的隐私信息或显示除从其他用户获取的隐私信息以外的所有内容。

33.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：通过调整缩略图中内容的字体，在缩略图中显示内容。

34.如权利要求25所述的智能终端，其中，所述处理器还被配置为：根据用户的内容编辑指令，在缩略图中编辑内容。

35.如权利要求20所述的智能终端，其中，所述处理器还被配置为：根据用户的输入将缩略图放大到与缩略图相邻的区域。

36.如权利要求20所述的智能终端，其中，所述处理器还被配置为：根据用户在缩略图中选择内容的操作，在缩略图中和/或缩略图的周边区域放大显示已选择内容。

37.如权利要求25所述的智能终端，其中，所述处理器被配置为显示缩略图时，还被配置为：当更新内容时，在缩略图中显示更新的内容。

38.如权利要求25所述的智能终端，其中，所述处理器还被配置为：当在触摸板上检测到对象并且所述内容被所述对象遮挡时，在除了所述对象占据的区域之外的区域上重新排列和显示所述内容；所述对象为所述触摸板的外在遮挡物。

39.一种计算机可读存储介质，其特征在于，存储介质中存储有计算机程序，所述计算机程序在被处理器运行时，执行权利要求1至19中任一项所述的方法。

Images