CN107168674A - 投屏批注方法和系统 - Google Patents

投屏批注方法和系统 Download PDF

Info

Publication number
CN107168674A
CN107168674A CN201710467197.3A CN201710467197A CN107168674A CN 107168674 A CN107168674 A CN 107168674A CN 201710467197 A CN201710467197 A CN 201710467197A CN 107168674 A CN107168674 A CN 107168674A
Authority
CN
China
Prior art keywords
terminal
information
coordinate
annotation
handwriting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710467197.3A
Other languages
English (en)
Other versions
CN107168674B (zh
Inventor
蒋晓宁
朱咸寅
甘志刚
章丰青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou xinyada Sanjia systems engineering Limited by Share Ltd.
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201710467197.3A priority Critical patent/CN107168674B/zh
Publication of CN107168674A publication Critical patent/CN107168674A/zh
Application granted granted Critical
Publication of CN107168674B publication Critical patent/CN107168674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种投屏批注方法和系统，其中，方法包括：将第一终端分为多个画布层，多个画布层包括第一画布层和第二画布层；实时获取坐标信息，根据坐标信息在第一画布层上绘制第一批注笔迹直接显示，同时将坐标信息通过网络传输至第二终端；对坐标信息进行换算，得到坐标换算信息，并根据坐标换算信息在第二终端中绘制第二批注笔迹；获取并存储第二终端上当前屏幕的截屏图像，将截屏图像通过网络传输至第一终端，并将截屏图像显示在第二画布层上；擦除第一画布层上绘制的第一批注笔迹，显示第一终端截屏图像。本发明解决了由于无线环境和硬件资源影响产生的显示批注的笔记滞后导致操作不便的问题，让用户感觉不到书写的迟钝感，提高用户体验感。

Description

投屏批注方法和系统
技术领域
本发明涉及显示技术领域，尤其涉及一种投屏批注方法和系统。
背景技术
在现代化的课堂上，多媒体互动式教学是现代化课堂的重要组成部分。多媒体交互教学主要通过压缩教师教学现场的视频、音频流结合同步浏览课件命令，形成教学资源流，利用网络实时传送到远端学生的电脑上，学生可以及时通过举手提问、共享教师端程序、文字交流等方式实现互动教学。如以下场景：学生利用电子书本、笔记本电脑、平板、手机终端等获取教学课件以及课堂作业，并现场提交作业，甚至提交自己的学习进度以便教师安排；学生将自己的移动终端屏幕投影到无线投屏仪上提问或是分享，教师通过远程控制来进行指导。这就要求无线投屏的过程中具有良好的流畅性和实时性。流畅性是指在传屏播放过程中不出现卡顿、不出现画面失真，同时播放的帧率至少20fps以上；实时性是指两个终端间的画面同步延时至少要小于200ms。
目前，采用标准协议所能达到的无线投屏的同步延时基本在200ms以上，甚至达到秒级，特别是在无线环境和硬件资源差的条件下，导致了显示批注的笔记滞后而引起操作不便，降低用户体验感。
发明内容
本发明的目的是提供一种投屏批注方法和系统，解决了由于无线环境和硬件资源影响产生的显示批注的笔记滞后导致操作不便的问题，让用户感觉不到书写的迟钝感，提高用户体验感。
本发明提供了一种投屏批注方法，包括以下步骤：
将第一终端分为多个画布层，所述多个画布层包括第一画布层和第二画布层；
实时获取坐标信息，根据所述坐标信息在所述第一画布层上绘制第一批注笔迹直接显示，同时将所述坐标信息通过网络传输至第二终端；
对所述坐标信息进行换算，得到坐标换算信息，并根据所述坐标换算信息在所述第二终端中绘制第二批注笔迹；
获取并存储所述第二终端上当前屏幕的截屏图像，将所述截屏图像通过网络传输至所述第一终端，并将所述截屏图像显示在所述第二画布层上；
擦除所述第一画布层上绘制的所述第一批注笔迹，显示所述第二画布层上的所述截屏图像。
作为一种可实施方式，所述实时获取坐标信息，根据所述坐标信息在所述第一画布层上绘制第一批注笔迹直接显示，包括以下步骤：
在实时获取坐标信息后，根据时间顺序将每个所述坐标信息进行存储，得到第一队列数据；
将所述第一队列数据中每个相邻的所述坐标信息进行绘制，得到第三批注笔迹；
同时获取传输延迟值，并根据所述传输延迟值提取第一队列数据中相应的所述坐标信息，得到坐标延迟信息；
根据所述坐标延迟信息对所述第三批注笔迹进行擦除绘制，得到第一批注笔迹。
作为一种可实施方式，所述同时将所述坐标信息通过网络传输至第二终端，包括以下步骤：
将单次的所述坐标信息通过网络传输至第二终端；
或，根据预设时间将所述坐标信息通过网络传输至第二终端。
作为一种可实施方式，所述对所述坐标信息进行换算，得到坐标换算信息，并根据所述坐标换算信息在所述第二终端中绘制第二批注笔迹，包括以下步骤：
获取所述第一终端的第一分辨率和所述第二终端的第二分辨率；
根据所述第一分辨率和所述第二分辨率，对所述坐标信息进行换算，得到坐标换算信息；
根据时间顺序将每个所述坐标换算信息进行存储，得到第二队列数据；
将所述第二队列数据中每个相邻的所述坐标换算信息进行绘制，得到第二批注笔迹。
作为一种可实施方式，所述获取并存储所述第二终端上当前屏幕的截屏图像，将所述截屏图像通过网络传输至所述第一终端，并将所述截屏图像显示在所述第二画布层上，还包括以下步骤：
在获取并存储所述第二终端上当前屏幕的截屏图像后，对所述截屏图像进行压缩处理。
在将所述截屏图像显示在所述第二画布层上前，对所述截屏图像进行解码、渲染处理，并将处理结果显示在所述第二画布层上。
相应的，本发明还提供一种投屏批注系统，包括分层模块、获取批注模块、换算批注模块、获取显示模块以及擦除模块；
所述分层模块，用于将第一终端分为多个画布层，所述多个画布层包括第一画布层和第二画布层；
所述获取批注模块，用于实时获取坐标信息，根据所述坐标信息在所述第一画布层上绘制第一批注笔迹直接显示，同时将所述坐标信息通过网络传输至第二终端；
所述换算批注模块，用于对所述坐标信息进行换算，得到坐标换算信息，并根据所述坐标换算信息在所述第二终端中绘制第二批注笔迹；
所述获取显示模块，用于获取并存储所述第二终端上当前屏幕的截屏图像，将所述截屏图像通过网络传输至所述第一终端，并将所述截屏图像显示在所述第二画布层上；
所述擦除模块，用于擦除所述第一画布层上绘制的所述第一批注笔迹，显示所述第二画布层上的所述截屏图像。
作为一种可实施方式，所述获取批注模块包括第一存储单元、第一绘制单元、提取单元以及擦除绘制单元；
所述第一存储单元，用于在实时获取坐标信息后，根据时间顺序将每个所述坐标信息进行存储，得到第一队列数据；
所述第一绘制模块，用于将所述第一队列数据中每个相邻的所述坐标信息进行绘制，得到第三批注笔迹；
所述提取单元，用于同时获取传输延迟值，并根据所述传输延迟值提取第一队列数据中相应的所述坐标信息，得到坐标延迟信息；
所述擦除绘制单元，用于根据所述坐标延迟信息对所述第三批注笔迹进行擦除绘制，得到第一批注笔迹。
作为一种可实施方式，所述获取批注模块还包括单此传输单元或批量传输单元；
所述单此传输单元，用于将单次的所述坐标信息通过网络传输至第二终端；
所述批量传输单元，用于根据预设时间将所述坐标信息通过网络传输至第二终端。
作为一种可实施方式，所述换算批注模块包括获取分辨率单元、换算单元、第二存储单元以及第二绘制单元；
所述获取分辨率单元，用于获取所述第一终端的第一分辨率和所述第二终端的第二分辨率；
所述换算单元，用于根据所述第一分辨率和所述第二分辨率，对所述坐标信息进行换算，得到坐标换算信息；
所述第二存储单元，用于根据时间顺序将每个所述坐标换算信息进行存储，得到第二队列数据；
所述第二绘制单元，用于将所述第二队列数据中每个相邻的所述坐标换算信息进行绘制，得到第二批注笔迹。
作为一种可实施方式，所述获取显示模块包括压缩单元和解码渲染单元；
所述压缩单元，用于在获取并存储所述第二终端上当前屏幕的截屏图像后，对所述截屏图像进行压缩处理；
所述解码渲染单元，用于在将所述截屏图像显示在所述第二画布层上前，对所述截屏图像进行解码、渲染处理，并将处理结果显示在所述第二画布层上。
与现有技术相比，本技术方案具有以下优点：
本发明提供的投屏批注方法和系统，通过将第一终端分为第一画布层和第二画布层，用户在第一终端上做标注时，第一终端的第一画布层中直接绘制出第一批注笔迹，立即呈现给使用者观看。在第一终端显示第一批注笔迹上的同时，第一终端向第二终端传输坐标信息，第二终端根据坐标信息绘制第二批注笔迹。并且将第二批注笔迹进行回传，在第一终端的第二画布层中显示，同时擦除第一画布层上绘制的第一批注笔迹，最终呈现给用户观看。本发明解决了由于无线环境和硬件资源影响产生的显示批注的笔记滞后导致操作不便的问题，实现了在无线投屏的过程中，在画面传输时的同步延时客观存在的情况下，使用户在进行远程批注时，书写能够得到实时响应，不仅让用户感觉不到书写的迟钝感，而且提高用户体验感。
附图说明
图1为本发明实施例一提供的投屏批注方法的流程示意图；
图2为本发明实施例二提供的投屏批注系统的结构示意图；
图3为图2中获取批注模块的结构示意图；
图4为图2中换算批注模块的结构示意图；
图中：100、分层模块；200、获取批注模块；210、第一存储单元；220、第一绘制单元；230、提取单元；240、擦除绘制单元；300、换算批注模块；310、获取分辨率单元；320、换算单元；330、第二存储单元；340、第二绘制单元；400、获取显示模块；410、压缩单元；420、解码渲染单元；500、擦除模块。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
请参阅图1，本发明实施例一提供的投屏批注方法，包括以下步骤：
S100、将第一终端分为多个画布层，多个画布层包括第一画布层和第二画布层；
S200、实时获取坐标信息，根据坐标信息在第一画布层上绘制第一批注笔迹直接显示，同时将坐标信息通过网络传输至第二终端；
S300、对坐标信息进行换算，得到坐标换算信息，并根据坐标换算信息在第二终端中绘制第二批注笔迹；
S400、获取并存储第二终端上当前屏幕的截屏图像，将截屏图像通过网络传输至第一终端，并将截屏图像显示在第二画布层上；
S500、擦除第一画布层上绘制的第一批注笔迹，显示第二画布层上的截屏图像。
这里需要对多个画布层中进行说明，于本实施例中只用到第一画布层和第二画布层用来绘制显示，其他画布层设置为不影响呈现效果，例如设置为空白层；而第一画布层设置在第二画布层的上层，也就是说第一画布层设置在接近视觉处，第二画布层的设置在远离视觉处；通过这种方式，在第二画布层上显示的第二批注笔迹可以被显示在第一画布层上的第一批注笔迹覆盖；而在第一批注笔迹被擦除后，第二批注笔迹可以呈现。第一终端是一个带有批注和远程交互功能的装置，可以是电子书本、电脑、平板以及手机终端的一种；第二终端是一个带有处理功能的装置，可以是电脑。
实时获取坐标信息可以是在响应于点击第一终端，每一次点击都会将点击的当前坐标信息实时记录下来，提高绘制线条的清晰度。
为了保证坐标信息传输的及时性，在网络传输时使用UDP(UserDatagramProtocol，用户数据协议)和帧率自动调节机制。UDP是OSI(Open SystemInterconnection，开放式系统互联)参考模型中一种无连接的传输层协议。利用UDP数据包传输策略和帧率自动调节机制使得本实施例资源消耗小，处理速度快。
本发明提供的投屏批注方法，通过将第一终端分为第一画布层和第二画布层，用户在第一终端上做标注时，第一终端的第一画布层中直接绘制出第一批注笔迹，立即呈现给使用者观看。在第一终端显示第一批注笔迹上的同时，第一终端向第二终端传输坐标信息，第二终端根据坐标信息绘制第二批注笔迹。并且将第二批注笔迹进行回传，在第一终端的第二画布层中显示，同时擦除第一画布层上绘制的第一批注笔迹，最终呈现给用户观看。本发明解决了由于无线环境和硬件资源影响产生的显示批注的笔记滞后导致操作不便的问题，实现了在无线投屏的过程中，在画面传输时的同步延时客观存在的情况下，使用户在进行远程批注时，书写能够得到实时响应，不仅让用户感觉不到书写的迟钝感，而且提高用户体验感。
具体的，步骤S200包括以下步骤：
S210、在实时获取坐标信息后，根据时间顺序将每个坐标信息进行存储，得到第一队列数据；
S220、将第一队列数据中每个相邻的坐标信息进行绘制，得到第三批注笔迹；
S230、同时获取传输延迟值，并根据传输延迟值提取第一队列数据中相应的坐标信息，得到坐标延迟信息；
S240、根据坐标延迟信息对第三批注笔迹进行擦除绘制，得到第一批注笔迹。
例如，第一终端程序启用两个线程使用两层画布，包括第一画布层和第二画布层，都是定义的canvas类，第二画布层用来显示第二终端传输回来的第二批注笔迹，第一画布层用来显示在第一终端的屏幕画的第一批注笔迹。在第一画布层中，实时获取坐标信息采用onTouchEvent(MotionEvent event)方法来检测到鼠标左击的动作MotionEvent.ACTION_DOWN时，记录下坐标信息(X2，Y2)，根据时间顺序将坐标信息(X2，Y2)存入第一队列数据中。然后调用canvas.drawPath(myPath,myPaint)来画线，将第一队列数据中每个相邻的坐标信息进行绘制，也就是将(X2，Y2)与队列中的上一个坐标(X1，Y1)用线连接起来，最终将第一队列数据中每个相邻的坐标信息用线连接起来得到第三批注笔迹。为了防止绘制结束后画布被清空，调用方法canvas.drawBitmap(myBitmap,0,0,mBitmapPaint)。
在获取传输延迟值，并根据传输延迟值提取第一队列数据中相应的坐标信息，得到坐标延迟信息；采用调用方法myBitmap.eraseColor(myResources.getColor(R.color.touming))将位图清除为白色，并且调用invalidate()根据坐标延迟信息刷新绘制得到第一批注笔迹。
这里需要说明的是对于存放坐标的队列长度的计算：假设鼠标移动一个坐标的时间是T毫秒，则第一终端存放坐标的队列的长度为L>＝N/T。如果队列的长度太长，会浪费资源；如果队列的长度太短，则会在擦除的时候，使得前面的线条擦除不干净，而影响批注视觉体验。
采用上述方法，在无线投屏的过程中，在画面传输时的同步延时客观存在的情况下，使用户在进行远程批注时，保证第一终端和第二终端的显示的批注笔迹一致性，不仅让用户感觉不到书写的迟钝感，而且提高用户体验感。
具体的，步骤S200还包括以下步骤：
将单次的坐标信息通过网络传输至第二终端；将坐标信息进行单次传输使得绘制的批注笔迹更加清楚，提高批注笔迹质量。
或，根据预设时间将坐标信息通过网络传输至第二终端；降低系统运算负担，提高运算速率；于本实施例中，采用根据预设时间将坐标信息通过网络传输至第二终端，预设时间根据网络传输的传输延迟值确定。
具体的，步骤S300包括以下步骤：
S310、获取第一终端的第一分辨率和第二终端的第二分辨率；
S320、根据第一分辨率和第二分辨率，对坐标信息进行换算，得到坐标换算信息；
S330、根据时间顺序将每个坐标换算信息进行存储，得到第二队列数据；
S340、将第二队列数据中每个相邻的坐标换算信息进行绘制，得到第二批注笔迹。
对坐标信息进行换算的换算公式为：
式中，第二终端坐标换算信息为(X'2，Y'2)、第一终端坐标信息为(X2，Y2)、第一终端屏幕分辨率为(W1，H1)以及第二终端屏幕分辨率为(W2，H2)。
具体的，步骤S400还包括以下步骤：
S410、在获取并存储第二终端上当前屏幕的截屏图像后，对截屏图像进行压缩处理。采用H.264的压缩技术，提高传输速度，降低资源占用率；
S420、在将截屏图像显示在第二画布层上前，对截屏图像进行解码、渲染处理，并将处理结果显示在第二画布层上。
第一终端使用ffmpeg视频解码库对接收到的截屏图像进行解码，得到的YUV图像数据格式，再对YUV图像数据进行渲染处理。用户最后看到的图像是两层画布层上的像素按不同比例合成的。两层画布层上的像素都采用RGBA的格式(A代表透明度)，在同一坐标下，第一画布层的像素为R1G1B1A1，第二画布层的像素为R2G2B2A2，其中，A1+A2＝255。最后，用户看到的点的像素为RGB，其中R＝(R1A1+R2A2)/255，G＝(G1A1+G2A2)/255，B＝(B1A1+B2A2)/255。刚开始时，第一画布层是透明的(让所有的像素点的A1设置为0)，当在第一画布层上开始画线时，根据第一队列数据中的坐标信息，将显示出来的线条的像素点的A1设置为255；当客户端的屏幕显示在第二画布层时，就需要将第一画布层上前N毫秒的像素点的A1设置为0。在判断鼠标的状态为MotionEvent.ACTION_UP时，将第一队列数据中所有坐标信息的像素点中的A1设置为0。清空队列，将上一层画布的位图全部清除为透明色，从而能将下一层的图像全部显示出来。
采用上述方法，在网络状态很差的情况下，也能保证在无线投屏的过程中，第一终端和第二终端的显示的批注笔迹一致性，不仅让用户感觉不到书写的迟钝感，而且提高用户体验感。
基于同一发明构思，本发明实施例还提供一种投屏批注系统，该系统的实施可参照上述方法的过程实现，重复之处不再冗述。
如图2所示，是本发明实施例二提供的投屏批注系统的结构示意图，包括：
分层模块100用于将第一终端分为多个画布层，多个画布层包括第一画布层和第二画布层；
获取批注模块200用于实时获取坐标信息，根据坐标信息在第一画布层上绘制第一批注笔迹直接显示，同时将坐标信息通过网络传输至第二终端；
换算批注模块300用于对坐标信息进行换算，得到坐标换算信息，并根据坐标换算信息在第二终端中绘制第二批注笔迹；
获取显示模块400用于获取并存储第二终端上当前屏幕的截屏图像，将截屏图像通过网络传输至第一终端，并将截屏图像显示在第二画布层上；
擦除模块500用于擦除第一画布层上绘制的第一批注笔迹，显示第二画布层上的截屏图像。
如图3所示，是获取批注模块200的结构示意图，包括第一存储单元210、第一绘制单元220、提取单元230以及擦除绘制单元240；
第一存储单元210用于在实时获取坐标信息后，根据时间顺序将每个坐标信息进行存储，得到第一队列数据；
第一绘制模块用于将第一队列数据中每个相邻的坐标信息进行绘制，得到第三批注笔迹；
提取单元230用于同时获取传输延迟值，并根据传输延迟值提取第一队列数据中相应的坐标信息，得到坐标延迟信息；
擦除绘制单元240用于根据坐标延迟信息对第三批注笔迹进行擦除绘制，得到第一批注笔迹。
进一步地，获取批注模块200还包括单此传输单元或批量传输单元；
单此传输单元用于将单次的坐标信息通过网络传输至第二终端；
批量传输单元用于根据预设时间将坐标信息通过网络传输至第二终端。
如图4所示，是换算批注模块300的结构示意图，包括获取分辨率单元310、换算单元320、第二存储单元330以及第二绘制单元340；
获取分辨率单元310用于获取第一终端的第一分辨率和第二终端的第二分辨率；
换算单元320用于根据第一分辨率和第二分辨率，对坐标信息进行换算，得到坐标换算信息；
第二存储单元330用于根据时间顺序将每个坐标换算信息进行存储，得到第二队列数据；
第二绘制单元340用于将第二队列数据中每个相邻的坐标换算信息进行绘制，得到第二批注笔迹。
进一步地，参阅图1，获取显示模块400包括压缩单元410和解码渲染单元420；
压缩单元410用于在获取并存储第二终端上当前屏幕的截屏图像后，对截屏图像进行压缩处理。
解码渲染单元420用于在将截屏图像显示在第二画布层上前，对截屏图像进行解码、渲染处理，并将处理结果显示在第二画布层上。
本发明提供的投屏批注系统，通过将第一终端分为第一画布层和第二画布层，用户在第一终端上做标注时，第一终端的第一画布层中直接绘制出第一批注笔迹，立即呈现给使用者观看。在第一终端显示第一批注笔迹上的同时，第一终端向第二终端传输坐标信息，第二终端根据坐标信息绘制第二批注笔迹。并且将第二批注笔迹进行回传，在第一终端的第二画布层中显示，同时擦除第一画布层上绘制的第一批注笔迹，最终呈现给用户观看。本发明解决了由于无线环境和硬件资源影响产生的显示批注的笔记滞后导致操作不便的问题，实现了在无线投屏的过程中，在画面传输时的同步延时客观存在的情况下，使用户在进行远程批注时，书写能够得到实时响应，不仅让用户感觉不到书写的迟钝感，而且提高用户体验感。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种投屏批注方法，其特征在于，包括以下步骤：
将第一终端分为多个画布层，所述多个画布层包括第一画布层和第二画布层；
实时获取坐标信息，根据所述坐标信息在所述第一画布层上绘制第一批注笔迹直接显示，同时将所述坐标信息通过网络传输至第二终端；
对所述坐标信息进行换算，得到坐标换算信息，并根据所述坐标换算信息在所述第二终端中绘制第二批注笔迹；
获取并存储所述第二终端上当前屏幕的截屏图像，将所述截屏图像通过网络传输至所述第一终端，并将所述截屏图像显示在所述第二画布层上；
擦除所述第一画布层上绘制的所述第一批注笔迹，显示所述第二画布层上的所述截屏图像。
2.如权利要求1所述的投屏批注方法，其特征在于，所述实时获取坐标信息，根据所述坐标信息在所述第一画布层上绘制第一批注笔迹直接显示，包括以下步骤：
在实时获取坐标信息后，根据时间顺序将每个所述坐标信息进行存储，得到第一队列数据；
将所述第一队列数据中每个相邻的所述坐标信息进行绘制，得到第三批注笔迹；
同时获取传输延迟值，并根据所述传输延迟值提取第一队列数据中相应的所述坐标信息，得到坐标延迟信息；
根据所述坐标延迟信息对所述第三批注笔迹进行擦除绘制，得到第一批注笔迹。
3.如权利要求1所述的投屏批注方法，其特征在于，所述同时将所述坐标信息通过网络传输至第二终端，包括以下步骤：
将单次的所述坐标信息通过网络传输至第二终端；
或，根据预设时间将所述坐标信息通过网络传输至第二终端。
4.如权利要求1所述的投屏批注方法，其特征在于，所述对所述坐标信息进行换算，得到坐标换算信息，并根据所述坐标换算信息在所述第二终端中绘制第二批注笔迹，包括以下步骤：
获取所述第一终端的第一分辨率和所述第二终端的第二分辨率；
根据所述第一分辨率和所述第二分辨率，对所述坐标信息进行换算，得到坐标换算信息；
根据时间顺序将每个所述坐标换算信息进行存储，得到第二队列数据；
将所述第二队列数据中每个相邻的所述坐标换算信息进行绘制，得到第二批注笔迹。
5.如权利要求1所述的投屏批注方法，其特征在于，所述获取并存储所述第二终端上当前屏幕的截屏图像，将所述截屏图像通过网络传输至所述第一终端，并将所述截屏图像显示在所述第二画布层上，还包括以下步骤：
在获取并存储所述第二终端上当前屏幕的截屏图像后，对所述截屏图像进行压缩处理；
在将所述截屏图像显示在所述第二画布层上前，对所述截屏图像进行解码、渲染处理，并将处理结果显示在所述第二画布层上。
6.一种投屏批注系统，其特征在于，包括分层模块、获取批注模块、换算批注模块、获取显示模块以及擦除模块；
所述分层模块，用于将第一终端分为多个画布层，所述多个画布层包括第一画布层和第二画布层；
所述获取批注模块，用于实时获取坐标信息，根据所述坐标信息在所述第一画布层上绘制第一批注笔迹直接显示，同时将所述坐标信息通过网络传输至第二终端；
所述换算批注模块，用于对所述坐标信息进行换算，得到坐标换算信息，并根据所述坐标换算信息在所述第二终端中绘制第二批注笔迹；
所述获取显示模块，用于获取并存储所述第二终端上当前屏幕的截屏图像，将所述截屏图像通过网络传输至所述第一终端，并将所述截屏图像显示在所述第二画布层上；
所述擦除模块，用于擦除所述第一画布层上绘制的所述第一批注笔迹，显示所述第二画布层上的所述截屏图像。
7.如权利要求6所述的投屏批注系统，其特征在于，所述获取批注模块包括第一存储单元、第一绘制单元、提取单元以及擦除绘制单元；
所述第一存储单元，用于在实时获取坐标信息后，根据时间顺序将每个所述坐标信息进行存储，得到第一队列数据；
所述第一绘制模块，用于将所述第一队列数据中每个相邻的所述坐标信息进行绘制，得到第三批注笔迹；
所述提取单元，用于同时获取传输延迟值，并根据所述传输延迟值提取第一队列数据中相应的所述坐标信息，得到坐标延迟信息；
所述擦除绘制单元，用于根据所述坐标延迟信息对所述第三批注笔迹进行擦除绘制，得到第一批注笔迹。
8.如权利要求6所述的投屏批注系统，其特征在于，所述获取批注模块还包括单此传输单元或批量传输单元；
所述单此传输单元，用于将单次的所述坐标信息通过网络传输至第二终端；
所述批量传输单元，用于根据预设时间将所述坐标信息通过网络传输至第二终端。
9.如权利要求6所述的投屏批注系统，其特征在于，所述换算批注模块包括获取分辨率单元、换算单元、第二存储单元以及第二绘制单元；
所述获取分辨率单元，用于获取所述第一终端的第一分辨率和所述第二终端的第二分辨率；
所述换算单元，用于根据所述第一分辨率和所述第二分辨率，对所述坐标信息进行换算，得到坐标换算信息；
所述第二存储单元，用于根据时间顺序将每个所述坐标换算信息进行存储，得到第二队列数据；
所述第二绘制单元，用于将所述第二队列数据中每个相邻的所述坐标换算信息进行绘制，得到第二批注笔迹。
10.如权利要求6所述的投屏批注系统，其特征在于，所述获取显示模块包括压缩单元和解码渲染单元；
所述压缩单元，用于在获取并存储所述第二终端上当前屏幕的截屏图像后，对所述截屏图像进行压缩处理；
所述解码渲染单元，用于在将所述截屏图像显示在所述第二画布层上前，对所述截屏图像进行解码、渲染处理，并将处理结果显示在所述第二画布层上。
CN201710467197.3A 2017-06-19 2017-06-19 投屏批注方法和系统 Active CN107168674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710467197.3A CN107168674B (zh) 2017-06-19 2017-06-19 投屏批注方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710467197.3A CN107168674B (zh) 2017-06-19 2017-06-19 投屏批注方法和系统

Publications (2)

Publication Number Publication Date
CN107168674A true CN107168674A (zh) 2017-09-15
CN107168674B CN107168674B (zh) 2020-08-11

Family

ID=59819774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710467197.3A Active CN107168674B (zh) 2017-06-19 2017-06-19 投屏批注方法和系统

Country Status (1)

Country Link
CN (1) CN107168674B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241480A (zh) * 2018-01-24 2018-07-03 上海哇嗨网络科技有限公司 显示内容的批注方法、显示客户端及投屏客户端
CN108260011A (zh) * 2018-01-24 2018-07-06 上海哇嗨网络科技有限公司 在显示设备上实现写画的方法和系统
CN108491131A (zh) * 2018-01-19 2018-09-04 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN108563391A (zh) * 2018-04-04 2018-09-21 广州视源电子科技股份有限公司 无线传屏触摸回传方法及系统
WO2019128742A1 (zh) * 2017-12-26 2019-07-04 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN110119241A (zh) * 2019-04-26 2019-08-13 广州视源电子科技股份有限公司 一种投屏内容评价方法、装置、用户终端和接收终端
CN111046638A (zh) * 2018-10-12 2020-04-21 北京金山办公软件股份有限公司 一种墨迹清除的方法、装置、电子设备及存储介质
TWI692715B (zh) * 2018-11-29 2020-05-01 中華電信股份有限公司 電子系統及其運作方法
CN111415398A (zh) * 2019-01-08 2020-07-14 杭州海康威视数字技术股份有限公司 一种在显示屏上显示批注的方法及装置
CN111984151A (zh) * 2020-08-19 2020-11-24 北京盛世和安电子科技有限公司 一种提高处理效率的白板画布大小、位置漫游控制方法
CN112202965A (zh) * 2020-09-23 2021-01-08 广州华欣电子科技有限公司 通信设备控制方法、装置、系统和存储介质
CN112383807A (zh) * 2021-01-11 2021-02-19 北京拓课网络科技有限公司 一种在线教育的方法、装置及电子设备
CN112463086A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种显示控制方法及电子设备
CN112580313A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备和存储介质
CN112579020A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备与存储介质
CN112579019A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备和存储介质
CN112947878A (zh) * 2021-02-26 2021-06-11 郑州阿帕斯数云信息科技有限公司 一种涂鸦显示方法、装置和系统
CN113312017A (zh) * 2021-05-25 2021-08-27 广州市奥威亚电子科技有限公司 终端笔迹同步方法、系统、设备及存储介质
CN113316011A (zh) * 2021-05-25 2021-08-27 广州市奥威亚电子科技有限公司 电子白板系统的控制方法、系统、设备及存储介质
CN113934876A (zh) * 2021-12-21 2022-01-14 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及系统
CN114461160A (zh) * 2021-12-31 2022-05-10 广东省教育研究院 笔迹同步方法、装置及教学系统
CN114764344A (zh) * 2021-01-15 2022-07-19 阿里巴巴集团控股有限公司 数据同步方法、系统、装置、设备和存储介质
CN114879897A (zh) * 2022-05-05 2022-08-09 北京有竹居网络技术有限公司 一种笔画处理方法、装置、设备及存储介质
CN114879926A (zh) * 2022-05-26 2022-08-09 北京字跳网络技术有限公司 一种信息绘制处理方法、装置、电子设备及存储介质
WO2022247456A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 一种手写笔输入方法、电子设备及系统
WO2023283941A1 (zh) * 2021-07-16 2023-01-19 华为技术有限公司 一种投屏图像的处理方法和装置
WO2023001043A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 一种显示内容方法、电子设备及系统
CN117111817A (zh) * 2023-10-24 2023-11-24 福昕鲲鹏(北京)信息科技有限公司 批注信息擦除方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984512A (zh) * 2014-04-01 2014-08-13 广州视睿电子科技有限公司 远程批注方法及系统
CN105446689A (zh) * 2015-12-16 2016-03-30 广州视睿电子科技有限公司 远程批注同步的方法与系统
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984512A (zh) * 2014-04-01 2014-08-13 广州视睿电子科技有限公司 远程批注方法及系统
CN105446689A (zh) * 2015-12-16 2016-03-30 广州视睿电子科技有限公司 远程批注同步的方法与系统
CN105573702A (zh) * 2015-12-16 2016-05-11 广州视睿电子科技有限公司 远程批注移动、缩放的同步方法与系统

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128742A1 (zh) * 2017-12-26 2019-07-04 腾讯科技（深圳）有限公司 图像处理方法、装置、终端及存储介质
CN108491131A (zh) * 2018-01-19 2018-09-04 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN108491131B (zh) * 2018-01-19 2020-12-22 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置以及智能交互平板
CN108260011A (zh) * 2018-01-24 2018-07-06 上海哇嗨网络科技有限公司 在显示设备上实现写画的方法和系统
CN108241480A (zh) * 2018-01-24 2018-07-03 上海哇嗨网络科技有限公司 显示内容的批注方法、显示客户端及投屏客户端
CN108260011B (zh) * 2018-01-24 2024-01-12 堃昊电子科技(江苏)有限公司 在显示设备上实现写画的方法和系统
CN108563391A (zh) * 2018-04-04 2018-09-21 广州视源电子科技股份有限公司 无线传屏触摸回传方法及系统
CN111046638A (zh) * 2018-10-12 2020-04-21 北京金山办公软件股份有限公司 一种墨迹清除的方法、装置、电子设备及存储介质
TWI692715B (zh) * 2018-11-29 2020-05-01 中華電信股份有限公司 電子系統及其運作方法
CN111415398B (zh) * 2019-01-08 2024-01-05 杭州海康威视数字技术股份有限公司 一种在显示屏上显示批注的方法及装置
CN111415398A (zh) * 2019-01-08 2020-07-14 杭州海康威视数字技术股份有限公司 一种在显示屏上显示批注的方法及装置
CN110119241A (zh) * 2019-04-26 2019-08-13 广州视源电子科技股份有限公司 一种投屏内容评价方法、装置、用户终端和接收终端
CN110119241B (zh) * 2019-04-26 2021-11-02 广州视源电子科技股份有限公司 一种投屏内容评价方法、装置、用户终端和接收终端
CN112463086A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种显示控制方法及电子设备
CN112580313B (zh) * 2019-09-30 2023-06-20 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备和存储介质
CN112580313A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备和存储介质
CN112579020A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备与存储介质
CN112579019A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备和存储介质
CN112579020B (zh) * 2019-09-30 2024-05-10 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备与存储介质
CN112579019B (zh) * 2019-09-30 2024-03-12 广州视源电子科技股份有限公司 一种课件的批注方法、系统、设备和存储介质
CN111984151A (zh) * 2020-08-19 2020-11-24 北京盛世和安电子科技有限公司 一种提高处理效率的白板画布大小、位置漫游控制方法
CN111984151B (zh) * 2020-08-19 2024-04-12 北京盛世和安电子科技有限公司 一种提高处理效率的白板画布大小、位置漫游控制方法
CN112202965A (zh) * 2020-09-23 2021-01-08 广州华欣电子科技有限公司 通信设备控制方法、装置、系统和存储介质
CN112383807A (zh) * 2021-01-11 2021-02-19 北京拓课网络科技有限公司 一种在线教育的方法、装置及电子设备
CN112383807B (zh) * 2021-01-11 2021-04-06 北京拓课网络科技有限公司 一种在线教育的方法、装置及电子设备
CN114764344A (zh) * 2021-01-15 2022-07-19 阿里巴巴集团控股有限公司 数据同步方法、系统、装置、设备和存储介质
CN112947878A (zh) * 2021-02-26 2021-06-11 郑州阿帕斯数云信息科技有限公司 一种涂鸦显示方法、装置和系统
CN113316011A (zh) * 2021-05-25 2021-08-27 广州市奥威亚电子科技有限公司 电子白板系统的控制方法、系统、设备及存储介质
CN113312017B (zh) * 2021-05-25 2023-02-21 广州市奥威亚电子科技有限公司 终端笔迹同步方法、系统、设备及存储介质
CN113312017A (zh) * 2021-05-25 2021-08-27 广州市奥威亚电子科技有限公司 终端笔迹同步方法、系统、设备及存储介质
WO2022247456A1 (zh) * 2021-05-28 2022-12-01 华为技术有限公司 一种手写笔输入方法、电子设备及系统
WO2023283941A1 (zh) * 2021-07-16 2023-01-19 华为技术有限公司 一种投屏图像的处理方法和装置
WO2023001043A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 一种显示内容方法、电子设备及系统
CN113934876B (zh) * 2021-12-21 2022-02-22 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及系统
CN113934876A (zh) * 2021-12-21 2022-01-14 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及系统
CN114461160A (zh) * 2021-12-31 2022-05-10 广东省教育研究院 笔迹同步方法、装置及教学系统
CN114879897A (zh) * 2022-05-05 2022-08-09 北京有竹居网络技术有限公司 一种笔画处理方法、装置、设备及存储介质
CN114879897B (zh) * 2022-05-05 2024-04-02 北京有竹居网络技术有限公司 一种笔画处理方法、装置、设备及存储介质
CN114879926A (zh) * 2022-05-26 2022-08-09 北京字跳网络技术有限公司 一种信息绘制处理方法、装置、电子设备及存储介质
CN117111817A (zh) * 2023-10-24 2023-11-24 福昕鲲鹏(北京)信息科技有限公司 批注信息擦除方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN107168674B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN107168674A (zh) 投屏批注方法和系统
CN104106037B (zh) 投影仪，图形输入·显示装置，便携终端和程序
US11151768B2 (en) Information processing apparatus, information processing method, and program
US6388654B1 (en) Method and apparatus for processing, displaying and communicating images
US9980008B2 (en) Meeting system that interconnects group and personal devices across a network
CN106454199B (zh) 一种视频通信方法及移动终端
JP2001245269A (ja) コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体
EP0924648A3 (en) Image processing apparatus and method
CN108475160A (zh) 图像处理装置、图像显示方法和程序
CN113434106B (zh) 一种在线电子白板内容同步分享系统
CN106648391A (zh) 笔迹同步的方法、装置及系统
CN101729850A (zh) 基于笔迹特征数据流的视频通信方法及其处理系统
CN107615230A (zh) 信息处理装置、图像显示方法和程序
CN106899872A (zh) 一种实时互动的信息展示方法
CN107037939A (zh) 电子黑板和图像处理方法
JP5083697B2 (ja) 画像表示装置、入力装置、及び画像表示方法
US20150095805A1 (en) Information processing apparatus and electronic conferencing system
CN107665139A (zh) 用于在线教学中的实时双向绘制的实现方法及装置
JP4348831B2 (ja) 手書き入力データ表示システム，座標データ入力装置，表示装置及び手書き入力データ表示装置
TW200937340A (en) Method for processing image, methods for applying to digital photo frame and interaction image process
CN114741041A (zh) 批注同步的方法、装置及教学系统的批注同步方法
CN108549663A (zh) 视频相册的绘制方法及装置
JP6161544B2 (ja) 携帯端末
Friedland et al. Human-centered webcasting of interactive-whiteboard lectures
JP2006065498A (ja) 会議支援システムとそのサーバ装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210201

Address after: 310051 west area, 2nd floor, xinyada technology building, 3888 Jiangnan Avenue, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou xinyada Sanjia systems engineering Limited by Share Ltd.

Address before: No.18 Xuezheng street, Xiasha Higher Education Park, Hangzhou, Zhejiang 310000

Patentee before: ZHEJIANG GONGSHANG University

TR01 Transfer of patent right