CN115909370A - 一种多用户协同书写的方法、系统和相关设备 - Google Patents

Abstract

本申请提供了一种多用户协同书写的方法、系统和相关设备。其中，该方法应用于第一显示装置，所述第一显示装置包括第一摄像头，该方法包括：获取所述第一摄像头拍摄的画面，确定所述画面中的纸张并记录用户在纸张上的手写画面；根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户；在所述第一显示装置的展示区显示多个用户的手写画面，所述手写画面包括用户在纸张上的手写动作和用户的标识信息。上述方法能够实现多用户在电子白板上同时书写，提升多用户的书写体验。

Description

一种多用户协同书写的方法、系统和相关设备

技术领域

本申请涉及电子白板技术领域，尤其涉及一种多用户协同书写的方法、系统和相关设备。

背景技术

电子白板结合了现代计算机技术、互联信息、多媒体资源和专业软件优势，可以便捷的调取教学和会议信息资料(文字、图片、课件和视频等)，并能大屏幕生动的演示，因此在多媒体会议、智慧课堂和远程教育等场景中有着广泛的应用。相比于普通白板，电子白板具有展示内容丰富、内容易编辑、无污染等优势。

目前，用户在使用电子白板书写时，使用可触控的电子白板的用户无法与其他不操作电子白板的用户协同书写，例如在会议场景中，远离电子白板的用户无法直接使用电子白板，在智慧课堂中，在座位上的学生无法与电子白板直接互动。

因此，如何实现多用户同时书写，增强多用户与电子白板的互动能力，提升多用户的书写体验是目前亟待解决的技术问题。

发明内容

本申请提供了一种多用户协同书写的方法、系统及相关设备，可以实现多用户在电子白板上同时书写，提升多用户的书写体验。

第一方面，提供了一种多用户协同书写的方法，应用于第一显示装置，所述第一显示装置包括第一摄像头，所述方法包括：获取所述第一摄像头拍摄的画面，确定所述画面中的纸张并记录用户在纸张上的手写画面；根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户；在所述第一显示装置的展示区显示多个用户的手写画面，所述手写画面包括用户在纸张上的手写动作和用户的标识信息。

在本申请提供的方案中，第一显示装置通过第一摄像头拍摄用户在纸张上的手写画面，通过对第一摄像头拍摄的画面进行进一步处理可以确定每一个手写画面所关联的用户，最后在展示区显示多个用户的手写画面，这样可以增强第一显示装置与多用户之间的互动能力，同时显示多个用户的手写画面，提升多用户的书写体验。

结合第一方面，在第一方面一种可能的实现方式中，利用逆透视变换对所述手写画面进行校正；对所述手写画面中的手写内容进行提取并将提取得到的手写内容进行矢量化处理。

在本申请提供的方案中，利用逆透视变换对手写画面进行校正，可以避免摄像头的拍摄角度对手写画面的影响，保证能够对手写画面中的手写内容进行准确识别和提取。

结合第一方面，在第一方面一种可能的实现方式中，获取所述第一摄像头的内参和外参；根据所述第一摄像头的内参和外参确定所述第一摄像头拍摄的画面与物理世界的对应关系，得到变换矩阵；利用所述变换矩阵对所述手写画面进行校正。

在本申请提供的方案中，对第一摄像头进行标定后可以得到其对应的内参和外参，进而可以利用该内参和外参确定第一摄像头拍摄的画面与物理世界之间的变换矩阵，最终可以利用该变换矩阵对手写画面进行校正，确保对手写内容的准确识别和提取。

结合第一方面，在第一方面一种可能的实现方式中，获取第二摄像头拍摄的画面，确定所述第二摄像头拍摄的画面中的纸张并记录用户在纸张上的手写画面；根据所述第二摄像头拍摄的画面，确定每一个手写画面所关联的用户。

在本申请提供的方案中，第一显示装置不仅可以获取本地摄像头拍摄的手写画面，还可以获取线上或远端用户的手写画面，并在展示区进行展示，这样可以加强多用户之间的联系，打破了多用户与第一显示装置之间的地域限制，提高了多用户书写体验。

结合第一方面，在第一方面一种可能的实现方式中，对所述第一摄像头拍摄的画面进行人脸检测或语音识别，确定每一个手写画面所关联的用户。

在本申请提供的方案中，在得到第一摄像头拍摄的画面之后对其进行纸张检测得到多用户的手写画面，然后可以进一步进行人脸检测或检测当前用户是否发言等多模态的方法确定每一个手写画面关联的用户，从而可以准确确定每一个手写画面的归属。

结合第一方面，在第一方面一种可能的实现方式中，接收手写画面选择操作，所述手写画面选择操作用于从所述第一显示装置的展示区选择用户的手写画面；在所述第一显示装置的手写区展示所选择得到的用户的手写画面。

在本申请提供的方案中，可以根据需要从第一显示装置的展示区任意选择一个手写画面至手写区进行展示，展示区与手写区之间能够有效实现手写画面的传递和共享。

结合第一方面，在第一方面一种可能的实现方式中，对每一个手写画面进行显示判定，在确定所述手写画面所关联的用户选择展示手写画面时，在所述第一显示装置的展示区显示所述手写画面。

在本申请提供的方案中，可以根据用户意愿确定是否展示用户的手写画面，这样可以有效保护用户的隐私，进一步提高用户的书写体验。

第二方面，本申请提供了一种显示装置，包括：获取单元，用于获取第一摄像头拍摄的画面；处理单元，用于确定所述画面中的纸张并记录用户在纸张上的手写画面；所述处理单元，还用于根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户；显示单元，用于在展示区显示多个用户的手写画面，所述手写画面包括用户在纸张上的手写动作和用户的标识信息。

结合第二方面，在第二方面一种可能的实现方式中，所述处理单元，还用于：利用逆透视变换对所述手写画面进行校正；对所述手写画面中的手写内容进行提取并将提取得到的手写内容进行矢量化处理。

结合第二方面，在第二方面一种可能的实现方式中，所述处理单元，具体用于：获取所述第一摄像头的内参和外参；根据所述第一摄像头的内参和外参确定所述第一摄像头拍摄的画面与物理世界的对应关系，得到变换矩阵；利用所述变换矩阵对所述手写画面进行校正。

结合第二方面，在第二方面一种可能的实现方式中，所述获取单元，还用于获取第二摄像头拍摄的画面；所述处理单元，还用于确定所述第二摄像头拍摄的画面中的纸张并记录用户在纸张上的手写画面，根据所述第二摄像头拍摄的画面，确定每一个手写画面所关联的用户。

结合第二方面，在第二方面一种可能的实现方式中，所述处理单元，具体用于：对所述第一摄像头拍摄的画面进行人脸检测或语音识别，确定每一个手写画面所关联的用户。

结合第二方面，在第二方面一种可能的实现方式中，所述显示装置还包括接收单元，所述接收单元，用于接收手写画面选择操作，所述手写画面选择操作用于从所述展示区选择用户的手写画面；所述显示单元，还用于在手写区展示所选择得到的用户的手写画面。

结合第二方面，在第二方面一种可能的实现方式中，所述处理单元，还用于对每一个手写画面进行显示判定；所述显示单元，还用于在确定所述手写画面所关联的用户选择展示手写画面时，在所述展示区显示所述手写画面。

第三方面，本申请提供了一种计算设备，所述计算设备包括处理器和存储器，所述处理器调用所述存储器中的程序代码以执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

第四方面，本申请提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，当该计算机程序被处理器执行时实现上述第一方面以及结合上述第一方面中的任意一种实现方式所提供的方法的流程。

第五方面，本申请提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行上述第一方面以及结合上述第一方面中的任意一种实现方式所提供的方法的流程。

附图说明

图1为本申请实施例提供的一种多用户协同书写系统的示意图；

图2为本申请实施例提供的一种多人协同书写的交互界面的示意图；

图3为本申请实施例提供的一种多用户协同书写的方法的流程示意图；

图4为本申请实施例提供的一种物体检测的示意图；

图5为本申请实施例提供的一种逆透视变换校正的示意图；

图6为本申请实施例提供的一种特征点识别的示意图；

图7为本申请实施例提供的一种提取书写内容的示意图；

图8为本申请实施例提供的一种智能会议场景的示意图；

图9为本申请实施例提供的一种显示装置的结构示意图；

图10为本申请实施例提供的一种计算设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

首先，结合附图对本申请中所涉及的部分用语和相关技术进行解释说明，以便于本领域技术人员理解。

光学字符识别(opticalcharacterrecognition，OCR)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。

在线字符识别(onlinecharacterrecognition，OLCR)是指在数字化写字板手写的笔画，通过检测手写信息(例如笔画方向、笔画顺序、笔尖压力、笔划点状态和时间等特征)，然后用字符识别的方法把实时手写的笔划识别成计算机文字的过程。

物体检测(objectdetection)是计算机视觉中的经典问题之一，利用物体检测算法对图像中的目标物体进行检测和识别，其基本任务就是用框去标出图像中物体的位置，并给出物体的类别。

目前，在多用户共同使用一个显示装置的场景下，例如多用户会议、智慧课堂等，对于远离显示装置的用户来说，其无法直接使用显示装置，也无法及时将想要表达或书写的内容向其他用户展示，这导致用户体验较差。

在一种可能的实现方式中，用户使用特定标记的指示笔在纸张上书写，相机捕获包含原始笔划的视频并接收书写声音，记录此时图像和声音的时间戳以实现OCR；在相机捕获完成后对得到的视频数据进行处理，除去不存在声音期间的视频数据；最后通过图像检索的方式从处理后的视频数据中提取有效笔划并送入至识别引擎中进行进一步识别，并将识别结果进行展示。在上述方案中，为了能提取到有效笔划，用户需要使用特定标记笔进行书写，而在大部分场景下，这种特定标记笔很难获取，此外，在提取笔划信息时需要记录用户手写时的声音，容易受到外界环境噪声干扰，在嘈杂环境中将影响笔划提取与识别的准确性。

在另一种可能的实现方式中，基于声音脉冲将用户手写的内容展示到显示设备上，在该方案中，首先在纸张顶端放置一个接收器，该接收器用于接收手写笔内的发射器发送的信号；用户通过手写笔在纸张上进行书写，其书写的笔划信息(例如坐标、时间戳和压力等)通过发射器转化成脉冲信息并发射出去；接收器在接收到脉冲信号之后将笔划信息进行还原并实时渲染到显示设备上。可以看出，该方案需要使用声音脉冲发射装置和声音脉冲接收装置，使用条件比较苛刻，成本代价比较高，而且不能实现多人同时在纸张上书写，显示设备仅能显示一个人的书写内容。

综上所述，本申请提供了一种多用户协同书写的方法、系统和相关设备，可以实现多用户在电子白板上同时书写，提升多用户的书写体验。

本申请实施例的技术方案可以应用于各种多用户共享同一个显示装置的场景，包括但不限于多用户会议、智慧课堂、远程教育等。

多用户协同书写系统包括一个显示装置和多个用户，通过显示装置的摄像头拍摄多个用户的手写画面，对摄像头拍摄的画面进行相应处理后在展示区展示多用户手写画面，并可以任意选择一个手写画面至手写区进行显示、批注、编辑等。参见图1，图1是本申请提供的一种多用户协同书写系统示意图，如图1所示，多用户协同书写系统100包括显示装置110、用户120、用户130和用户140，显示装置110包括处理器1110、摄像头1120和显示白板1130，用户120、用户130和用户140在纸张上进行书写，摄像头1120对用户120、用户130和用户140的手写画面进行拍摄，处理器1110对摄像头1120拍摄得到的视频数据进行处理，确定每一个手写画面所关联的用户，然后处理器1110通过显示白板1130显示多个用户的手写画面。

进一步的，可以对显示白板1130进行不同的功能分区以实现不同的显示效果。示例性的，如图2所示，显示白板1130分成了手写区、检索区、展示区和工具栏，展示区用于展示与会者的手写画面，其中，这里的与会者包括现场与会者(即摄像头1120所拍摄到的用户)以及线上与会者和远端与会者，线上与会者可以是指使用与显示装置通过网络连接的电子设备的用户，该用户可以在电子设备上的电子白板上进行书写，然后通过网络将书写内容传输给显示装置，由显示装置在展示区进行显示，或者是该用户可以在电子设备的摄像头的范围内进行书写，最后通过网络将电子设备的摄像头采集的视频数据发送至显示装置，由显示装置在展示区进行显示。远端与会者可以是指与显示装置不在同一物理空间的用户，可以利用远端摄像头拍摄远端与会者的手写画面，再由远端摄像头将其传输至显示装置，由显示装置在展示区进行显示。每个手写画面附近，例如底端、顶端、左端或右端，都会标识与该手写画面对应的用户的标识信息，例如用户的姓名、员工编号、学生证号等。可选的，展示区具备置顶功能，可以主动选择需要置顶的与会者的手写画面，展示区还可以具备排序功能，可以按照发言顺序、时间顺序、姓名首字母、与会地域信息等关键词对手写画面进行排序。检索区用于定位具体的与会者，当与会人员过多，展示区无法展示所有与会者的手写画面时，可以利用检索区定位目标用户，获取目标用户的手写画面，可以通过虚拟键盘、手写键盘、实体键盘等在检索框中输入关键词，从而搜索到与关键词匹配的用户，该用户的手写画面可以以高亮的形式呈现在展示区，可选的，检索区除了用于实时检索当前用户的手写画面，还可以用于检索历史书写内容、与该显示装置连接的其他显示装置的内容或者接入商用搜索引擎的应用程序编程接口(applicationprogramminginterface，API)。手写区可以直接接收用户的书写并进行展示，其所占区域相较于展示区更大，一般为主讲人(例如智慧课堂中的老师、多人会议中的会议主持人等)直接使用，主讲人也可以选择(例如点选、长按、拖动等)展示区的某个手写画面至手写区进行显示，主讲人还可以利用工具栏中工具对手写区中的内容进行批注或编辑，例如裁剪、缩放、旋转、颜色调整等。

可以看出，利用图1所示的多用户协同书写系统可以实时显示多用户的手写画面，增强了多用户与显示装置的互动能力，提升了多用户的书写体验。

需要说明的是，本申请所涉及的显示装置包括但不限于有摄像头的电子白板、外置摄像头的电子白板、外置摄像头的个人计算机(personalcomputer，PC)、笔记本电脑、手机、平板电脑、膝上型计算机、物联网(internetofthings，IoT)设备等具有显示屏幕以及拍摄能力的装置。

请参见图3，图3为本申请实施例提供的一种多用户协同书写的方法的流程示意图。如图3所示，该方法包括但不限于以下步骤：

S301：获取第一摄像头拍摄的画面，确定所述画面中的纸张并记录用户在纸张上的手写画面。

具体地，多个用户在第一摄像头的环境中进行书写，第一摄像头实时获取用户的手写画面，得到视频数据流，第一摄像头在拍摄时，需要定位拍摄画面中的纸张，并持续跟踪用户在纸张上的手写动作。此外，在第一摄像头拍摄的过程中，可以采集用户的语音，利用自动语音识别技术(automaticspeechrecognition，ASR)将用户说的话转换成文本并保存至内存中。

S302：根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户。

具体地，对第一摄像头拍摄得到的视频数据流进行处理，运用物体检测对拍摄画面中的纸张进行识别，从而定位拍摄画面中的纸张，如图4所示，在图4所示的场景中，可以检测到多个纸张，然后利用人脸检测或当前用户是否发言等多模态的方法对拍摄画面中的用户进行识别，从而确定每一个手写画面所关联的用户。应理解，可以利用物体检测算法对拍摄画面中的纸张进行识别和定位，例如YOLO、Faster-RCNN等，本申请对此不作限定。

在一种可能的实现方式中，利用逆透视变换对第一摄像头拍摄的画面中的多个手写画面进行校正，提取每一个手写画面中的书写内容并将提取得到的手写内容进行矢量化处理。

容易理解，多个用户在第一摄像头拍摄范围内进行书写，每个用户的手写画面在第一摄像头拍摄的画面中所占的比例较小，此外，第一摄像头是固定的，因此用户所书写的纸张由于拍摄角度原因将会产生透视变换的效果，其形状将不是标准的矩形而是不规则的四边形，如图5所示，在第一摄像头拍摄的画面中，用户手写画面中的纸张是不规则的四边形而非矩形。因此，需要利用逆透视变换对每一个手写画面进行校正，以便于后续对用户手写内容的识别和提取。

具体地，首先获取第一摄像头的内外参数。每个摄像头的内参是由其规格决定的，因此可以直接获取，而对于外参，可以利用标定的方法获取，本申请对具体使用何种标定方法不作限定。

示例性的，利用检测特征点(例如会议室中会议桌面的四个角点)的方式获取第一摄像头的外参。首先确定第一摄像头的坐标与物理世界三维坐标的关系，他们之间的关系可以通过下述公式1进行表示：

其中，(x^w,y^w,z^w)是物体在物理世界的三维坐标，R是旋转矩阵，t是平移向量，它们都属于第一摄像头的外参。f_u和f_u是一个像素的长与宽，它们都与第一摄像头的焦距f相关，u₀和v₀是原点的平移向量，它们都属于相机的内参，一般来说，第一摄像头的规格确定，那么其内参也将确定，因此只需要确定R和t即可。对于R可以用下述公式2进行表示：

其中，α、β、γ和t为待估计的参数，这里一共存在四个参数，因此可以选取四个特征点以估计这四个参数，如图6所示，可以选取会议室桌面的四个角点，由于该四个角点比较容易辨认，可以较为准确的获取到该四个角点在图像中的二维坐标和在物理世界中的三维坐标，因此结合上述公式1和公式2可以估计出四个参数，从而确定第一摄像头的外参。

进一步的，上述公式1的变换关系可以简化为下述公式3进行表示：

可以看出，为了还原纸张的坐标，对第一摄像头拍摄的手写画面进行校正，只需要求出变换矩阵M的逆矩阵M^-1即可，如上述图5所示，利用逆透视变换可以将透视效果转换成正视效果，这样可以将手写画面中的纸张从不规则的四边形转换为矩形。

在完成校正之后，可以进一步提取用户在纸张上的书写内容，如图7所示，将用户在纸张上的书写内容进行识别和提取，可以使用图像处理的方法对手写画面进行预处理，例如二值化、边缘检测等，然后对提取得到的书写内容进行矢量化以便于对其进行二次编辑。在提取到画面中的书写内容后，可以封装成固定的数据结构存储到内存中或进行持久化存储。

在一种可能的实现方式中，对每一个手写画面进行显示判定，在确定所述手写画面所关联的用户选择展示手写画面时，在所述第一显示装置的展示区显示所述手写画面。

具体地，在第一摄像头实时拍摄用户的手写画面时，需要对每一个手写画面进行判定，判断其是否触发显示条件，若触发显示条件，则对该手写画面进行校正以及提取书写内容，最后进行显示。

示例性的，利用ASR实时记录用户的发言内容，当检测到用户发言内容中蕴含展示意图时(例如“我想展示一下”、“展示我的手写内容”等)，再进一步检测该用户的书写内容，最后对书写内容进行展示；或者是当第一摄像头无法检测到完整纸张时，判定该手写画面所关联的用户不希望自己写的内容被识别，拒绝展示，则停止对该手写画面的进一步校正及识别，不展示该手写画面；或者是，当第一摄像头检测到手写画面所关联的用户存在特定的手势动作，例如反向扣住纸张、捂住纸张等，则停止对该手写画面的进一步校正及识别，不展示该手写画面；或者是，当第一摄像头检测到纸张中有用户书写的特殊标记，该特殊标记用于标识用户拒绝展示手写画面，根据该特征标记不展示该手写画面。

容易理解，通过对手写画面的显示判定，可以有效保护用户的隐私，进一步提高用户的书写体验。

S303：在所述第一显示装置的展示区显示多个用户的手写画面。

具体地，在对每一个手写画面中的书写内容进行提取后，在第一显示装置的展示区显示用户的手写画面以及画面中的书写内容。在每个手写画面的附近存在用户的标识信息，例如用户的姓名、工号、学号等。

此外，展示区除了可以展示第一摄像头所拍摄的手写画面，还可以展示线上用户的手写画面以及远端用户的手写画面，这样将可以扩大使用场景，使得多用户不受地域的限制，加强了多用户之间的联系和互动，进一步提高了用户书写体验。另外，展示区还具备置顶功能和排序功能，主讲人可以根据需要选择置顶的手写画面或对手写画面进行排序。

在一种可能的实现方式中，接收手写画面选择操作，所述手写画面选择操作用于从所述第一显示装置的展示区选择用户的手写画面，在所述第一显示装置的手写区展示所选择得到的用户的手写画面。

具体地，主讲人可以通过点选、长按、拖动等操作从展示区选择某一个用户的手写画面，然后从后台提取该手写画面中的书写内容以及该用户的发言内容，并在第一显示装置的手写区进行显示，主讲人还可以通过工具栏中的相关工具对手写区所显示的内容进行编辑，例如对其进行裁剪、缩放、旋转或颜色调整等。

特别的，当用户过多，主讲人无法及时找到目标用户的手写画面时，主讲人还可以通过检索区进行检索，主讲人通过虚拟键盘、实体键盘或手写等方式在检索框中输入待搜索的关键词，后台搜索引擎将在本地依次搜索与关键词匹配的用户手写画面以及发言内容等，然后将搜索结果以高亮的形式呈现在展示区。

可选地，主讲人还可以利用检索区检索历史书写内容或与该第一显示装置连接的其他显示装置的内容，甚至可以将检索区接入商用搜索引擎的API，从而扩大检索范围，在完成检索得到检索结果后，主讲人可以选择检索结果并在手写区进行显示。

可以看出，通过执行图3所示的方法流程，可以同时显示多个用户的手写画面，实现多用户同时书写，增强了多用户与显示装置的互动能力，并且可以根据用户的意愿对用户的书写内容进行显示判定，有效保护了用户的隐私，提升了用户书写体验。

上述详细阐述了本申请实施例的方法，为了更进一步的说明如何实现多人协同书写，下面以智能会议场景为例进行说明。

如图8所示，是一种智能会议场景，在该场景中，主讲人操作电子白板，现场的与会人在自己的座位，电子白板的摄像头或独立的摄像头实时拍摄当前会场的画面，此外，还可以有线上与会人员(图中未展示)，线上与会人可以使用PC的内置电子白板程序或者在PC自带的摄像头拍摄范围内进行书写，以及其他分会场的与会人(图中未展示)，分会场同时配置了摄像头，可以拍摄用户的手写画面。

主讲人可以根据会议主题在电子白板的手写区书写要点，然后检测现场与会人是否有书写内容共享请求，现场与会人可以使用特定手势、在纸张上做特殊标记或用语言表达自己的展示请求，此时，对摄像头拍摄的画面进行纸张检测，获取与会人的手写画面并实时显示在电子白板的展示区，若当前有多个与会者都想进行展示时，可以同时检测多个与会者的纸张。另外，检测线上与会人是否有书写内容共享请求，若线上与会人所使用的个人电脑内置有白板程序时，该与会人可以通过程序内部的开关控制是否共享自己的手写内容，当开启共享时，该与会者在白板上书写的内容会实时同步到主讲人白板的展示区，若线上与会人所使用的个人电脑没有内置白板程序，但带有摄像头，则可以利用该摄像头拍摄线上与会者的手写画面，然后将其同步至主讲人白板的展示区。同理，检测远程会场的与会人是否有书写内容共享请求，若远程会场中配置有电子白板，远程会场的与会人可以在电子白板上书写，并通过开关控制是否共享书写画面到主会场的电子白板上，若远程会场没有配置电子白板，但有摄像头设备，此时可以利用摄像头拍摄远程会场中的与会人的手写画面并将其同步至主讲人白板的展示区。接着，主讲人可以根据需要选择展示区中某个手写画面，例如当主讲人对展示区某个与会者的书写内容感兴趣时，可以通过点选、长按等操作手动选择该与会人的手写画面，或者通过检索区检索目标与会者，从而找到该与会者的手写画面。应理解，为了实现对手写画面进行校正，在主讲人选择手写画面之前，可以对摄像头进行标定从而确定摄像头的参数(内参和外参)，其标定方法可以参照上述所描述的标定方法，在此不再赘述，假设所有摄像头在使用时皆已完成标定，可以利用逆透视变换将主讲人所选择的手写画面进行校正，将其调整为正视，然后提取手写画面中的书写内容并进行二值化、边缘检测、矢量化等操作，最后将处理后的书写内容渲染到主讲人白板的手写区，主讲人可以利用电子白板中工具栏里的工具对手写区的展示内容做进一步的批注和编辑。

上述详细阐述了本申请实施例的方法，为了便于更好地实施本申请实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关设备。

参见图9，图9是本申请实施例提供的一种显示装置的结构示意图，该显示装置用于执行前述多用户协同书写的方法，本申请对该显示装置的功能单元的划分不做限定，可以根据需要对该显示装置中的各个单元进增加、减少或合并。图9示例性的提供了一种功能单元的划分：

显示装置900包括获取单元910、处理单元920和显示单元930。

具体地，所述获取单元910用于执行前述步骤S301，且可选的执行前述步骤中可选的方法，获取摄像头拍摄的画面。

所述处理单元920用于执行前述步骤S302，且可选的执行前述步骤中可选的方法，确定画面中的纸张并记录用户在纸张上的手写画面，确定每一个手写画面所关联的用户。

所述显示单元930,用于执行前述步骤S303，且可选的执行前述步骤中可选的方法，在展示区显示多个用户的手写画面。

上述三个单元之间互相通过通信链路进行数据传输，应理解，显示装置900包括的各个单元可以为软件单元、也可以为硬件单元、或部分为软件单元部分为硬件单元。

参见图10，图10是本申请实施例提供的一种计算设备的结构示意图。如图10所示，该计算设备10包括：处理器11、通信接口12以及存储器13，所述处理器11、通信接口12以及存储器13通过内部总线14相互连接。应理解，该计算设备可以是通用服务器。

所述处理器11可以由一个或者多个通用处理器构成，例如中央处理器(centralprocessing unit，CPU)，或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)、可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)、现场可编程逻辑门阵列(field-programmable gatearray，FPGA)、通用阵列逻辑(generic array logic，GAL)或其任意组合。

总线14可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线14可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但不表示仅有一根总线或一种类型的总线。

存储器13可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器13也可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器13还可以包括上述种类的组合。程序代码可以是用来实现显示装置900所示的功能模块，或者用于实现图3所示的方法实施例中以第一显示装置为执行主体的方法步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，可以实现上述方法实施例中记载的任意一种的部分或全部步骤，以及实现上述图9所描述的任意一个功能模块的功能。

本申请实施例还提供了一种计算机程序产品，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述所涉及的设备的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。

在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

应理解，本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分，并不用来限制本申请的范围。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (17)

1.一种多用户协同书写的方法，其特征在于，应用于第一显示装置，所述第一显示装置包括第一摄像头，所述方法包括：

获取所述第一摄像头拍摄的画面，确定所述画面中的纸张并记录用户在纸张上的手写画面；

根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户；

在所述第一显示装置的展示区显示多个用户的手写画面，所述手写画面包括用户在纸张上的手写动作和用户的标识信息。

2.如权利要求1所述的方法，其特征在于，在获取所述第一摄像头拍摄的画面，确定所述画面中的纸张并记录用户在纸张上的手写画面之后，所述方法还包括：

利用逆透视变换对所述手写画面进行校正；

对所述手写画面中的手写内容进行提取并将提取得到的手写内容进行矢量化处理。

3.如权利要求2所述的方法，其特征在于，所述利用逆透视变换对所述手写画面进行校正包括：

获取所述第一摄像头的内参和外参；

根据所述第一摄像头的内参和外参确定所述第一摄像头拍摄的画面与物理世界的对应关系，得到变换矩阵；

利用所述变换矩阵对所述手写画面进行校正。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取第二摄像头拍摄的画面，确定所述第二摄像头拍摄的画面中的纸张并记录用户在纸张上的手写画面；

根据所述第二摄像头拍摄的画面，确定每一个手写画面所关联的用户。

5.如权利要求1-4任一项所述的方法，其特征在于，根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户，包括：

对所述第一摄像头拍摄的画面进行人脸检测或语音识别，确定每一个手写画面所关联的用户。

6.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

接收手写画面选择操作，所述手写画面选择操作用于从所述第一显示装置的展示区选择用户的手写画面；

在所述第一显示装置的手写区展示所选择得到的用户的手写画面。

7.如权利要求1-6任一项所述的方法，其特征在于，在所述第一显示装置的展示区显示多个用户的手写画面之前，所述方法还包括：

对每一个手写画面进行显示判定，在确定所述手写画面所关联的用户选择展示手写画面时，在所述第一显示装置的展示区显示所述手写画面。

8.一种显示装置，其特征在于，包括：

获取单元，用于获取第一摄像头拍摄的画面；

处理单元，用于确定所述画面中的纸张并记录用户在纸张上的手写画面；

所述处理单元，还用于根据所述第一摄像头拍摄的画面，确定每一个手写画面所关联的用户；

显示单元，用于在展示区显示多个用户的手写画面，所述手写画面包括用户在纸张上的手写动作和用户的标识信息。

9.如权利要求8所述的显示装置，其特征在于，所述处理单元，还用于：

利用逆透视变换对所述手写画面进行校正；

对所述手写画面中的手写内容进行提取并将提取得到的手写内容进行矢量化处理。

10.如权利要求9所述的显示装置，其特征在于，所述处理单元，具体用于：

获取所述第一摄像头的内参和外参；

根据所述第一摄像头的内参和外参确定所述第一摄像头拍摄的画面与物理世界的对应关系，得到变换矩阵；

利用所述变换矩阵对所述手写画面进行校正。

11.如权利要求8所述的显示装置，其特征在于，

所述获取单元，还用于获取第二摄像头拍摄的画面；

所述处理单元，还用于确定所述第二摄像头拍摄的画面中的纸张并记录用户在纸张上的手写画面，根据所述第二摄像头拍摄的画面，确定每一个手写画面所关联的用户。

12.如权利要求8-11任一项所述的显示装置，其特征在于，所述处理单元，具体用于：

对所述第一摄像头拍摄的画面进行人脸检测或语音识别，确定每一个手写画面所关联的用户。

13.如权利要求8-12任一项所述的显示装置，其特征在于，所述显示装置还包括接收单元，

所述接收单元，用于接收手写画面选择操作，所述手写画面选择操作用于从所述展示区选择用户的手写画面；

所述显示单元，还用于在手写区展示所选择得到的用户的手写画面。

14.如权利要求8-13任一项所述的显示装置，其特征在于，

所述处理单元，还用于对每一个手写画面进行显示判定；

所述显示单元，还用于在确定所述手写画面所关联的用户选择展示手写画面时，在所述展示区显示所述手写画面。

15.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述处理器执行所述存储器存储的计算机指令，使得所述计算设备执行权利要求1-7任一项所述的方法。

16.一种计算机存储介质，所述计算机存储介质存储有计算机程序，当该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。

17.一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行权利要求1-7任一项所述的方法。

Images