CN111475096B - 将页面投射至显示屏的方法、装置及计算机可读存储介质 - Google Patents

将页面投射至显示屏的方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111475096B
CN111475096B CN202010238797.4A CN202010238797A CN111475096B CN 111475096 B CN111475096 B CN 111475096B CN 202010238797 A CN202010238797 A CN 202010238797A CN 111475096 B CN111475096 B CN 111475096B
Authority
CN
China
Prior art keywords
frame
page
note
background image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010238797.4A
Other languages
English (en)
Other versions
CN111475096A (zh
Inventor
程超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ireader Technology Co Ltd
Zhangyue Technology Co Ltd
Original Assignee
Ireader Technology Co Ltd
Zhangyue Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ireader Technology Co Ltd, Zhangyue Technology Co Ltd filed Critical Ireader Technology Co Ltd
Priority to CN202010238797.4A priority Critical patent/CN111475096B/zh
Publication of CN111475096A publication Critical patent/CN111475096A/zh
Application granted granted Critical
Publication of CN111475096B publication Critical patent/CN111475096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开揭露一种将阅读终端的页面投射至远端显示屏显示的方法、装置及计算机可读存储介质。首先,阅读终端发送第i+1帧笔记图像信息及第i帧页面至显示屏,显示屏接收第i+1帧笔记图像信息及第i帧页面,并显示第i‑1帧页面;接着阅读终端为显示屏合成第i+2帧页面,显示屏合成第i+1帧页面并显示所述第i帧页面。阅读终端为显示屏合成图像,并减少了传输时的数据量,使得用户在阅读终端手写操作和远端显示屏显示画面得以同步。

Description

将页面投射至显示屏的方法、装置及计算机可读存储介质
技术领域
本公开一般地涉及信息领域。更具体地,本公开涉及将阅读终端的页面投射至远端显示屏显示的方法、装置及计算机可读存储介质。
背景技术
阅读终端是一种手持阅读电子书的电子阅读器,其显示屏幕采用电子纸技术,提供类似纸张阅读感受。相较于传统的显示器,例如LCD或LED,电子纸的技术可以使眼睛在长时间阅读下不感到疲劳。不仅如此,随着互联网的发展,阅读终端可以下载电子书,并且具有大容量的内存储存这些电子书。阅读终端具有便携、容易使用、不伤眼、大容量的特点,非常适合现代生活。
为了满足用户的需求,阅读终端的功能越来越强大。例如市面上大部分的阅读终端都具有触控屏,其置于墨水屏下方,用以检测触控信号,不仅在操控上更为直接,同时还能让用户在页面上手写输入笔记。
当用户在阅读页上进行手写操作时,其手写轨迹事实上是一连串的手写点做组成,阅读终端会在一个透明的笔记图层上根据这些报点数据逐帧绘制手写笔记,每完成一帧,便将该帧笔记图层与当前阅读页的图层进行叠加合并,以获得对应当前帧的叠加图像。这个图像输出到显示屏上就像是直接在阅读页上手写笔记一样。
为了便于携带,阅读终端的显示屏不会太大,然而在一些使用环境里,例如在家中,是具备大型显示设备的。阅读终端可以连线上这些大型显示设备,将阅读终端的页面投影出来,更利于阅读。但是现有技术需要将笔记图像发送到阅读终端的缓存,接着读取背景图像,在系统缓存中对两者图像进行叠加合成,最后发送给远端的显示装置显示。这个过程根据硬件性能的差异,每帧存在几十毫秒到上百毫秒的耗时,在连续合成图像的过程中,会造成远端显示装置显示的延迟。不仅如此,合成后图像的数据量大,传输时容易受到频宽的限制,出现卡顿,使得用户感觉影像与自己手写速度不同步,影响用户体验。
发明内容
为了至少部分地解决背景技术中提到的技术问题,本公开的方案提供了一种将阅读终端的页面投射至远端显示屏显示的方法、装置及计算机可读存储介质。
在一个方面中,本公开揭露一种将阅读终端的页面投射至远端的显示屏显示的方法,所述页面包括背景图像及笔记图像。所述方法包括:循环执行下列步骤,直到所有页面都在所述显示屏上显示:当F=i时,发送第i+1帧笔记图像信息及第i帧页面至所述显示屏;以及当F=i+1时,为所述显示屏合成第i+2帧的背景图像及笔记图像为第i+2帧页面。
在另一个方面,本公开揭露一种将阅读终端的页面投射至远端显示屏显示的方法,所述页面包括背景图像及笔记图像,所述方法包括:循环执行下列步骤,直到所有页面都在所述显示屏上显示:当F=i时,执行下列步骤:接收所述阅读终端发送的第i+1帧笔记图像信息;接收所述阅读终端发送的第i帧页面;以及显示第i-1帧页面。当F=i+1时,执行下列步骤:根据所述第i+1帧笔记图像信息,合成第i+1帧页面;以及显示所述第i帧页面。
在另一个方面,本公开揭露一种将页面投射至远端的显示屏显示的电子设备,所述页面包括背景图像及笔记图像。所述电子设备包括:通信接口及处理器。当F=i时,通信接口发送第i+1帧笔记图像信息及第i帧页面至所述显示屏。当F=i+1时,处理器为所述显示屏合成第i+2帧的背景图像及笔记图像为第i+2帧页面。其中,循环执行上述操作,直到所有页面都在所述显示屏上显示。
在另一个方面,本公开揭露一种将远端阅读终端发送的页面投射显示的显示装置,所述页面包括背景图像及笔记图像。显示装置包括:通信接口、显示屏及处理器。当F=i时,通信接口用以:接收所述阅读终端发送的第i+1帧笔记图像信息及第i帧页面;且显示屏用以显示第i-1帧页面。当F=i+1时,处理器用以根据所述第i+1帧笔记图像信息,合成第i+1帧页面,并驱动所述显示屏显示所述第i帧页面。循环执行上述操作,直到所有页面都在所述显示屏上显示。
在另一个方面,本公开揭露一种计算机可读存储介质,其上存储有将阅读终端的页面投射至远端的显示屏显示的计算机程序代码,当所述计算机程序代码由处理器运行时,执行前述的方法。
在另一个方面,本公开揭露一种阅读终端,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行前述的方法的操作。
本公开的阅读终端为远端显示装置提供合成图像,同时减少了传输时的数据量,使得阅读终端手写操作和远端显示装置显示画面达到同步,以提升用户体验。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分其中:
图1是示出本公开实施例的阅读终端的示意图;
图2是示出本公开实施例的显示装置的示意图;
图3是示出本公开实施例的环境的示意图;
图4是示出本公开实施例的图像传输与处理沿着时间轴执行的示意图;以及
图5是示出本公开另一实施例的流程图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
应当理解,本公开的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
下面结合附图来详细描述本公开的具体实施方式。
本公开的一个实施例是一种阅读终端与远端显示装置互动的系统,用以将阅读终端的页面即时传输至远端的显示装置显示。所述阅读终端具有如图1所示的结构。
如图1所示,阅读终端100包括:处理器101、通信接口102、电源组件103、显示器104、音频组件105、存储器106以及按键接口107。
处理器101可以是中央处理器CPU或者是特定集成电路ASIC,或者是被配置成实施本公开实施例的集成电路。不仅如此,阅读终端100可以包括多个处理器,其是由同一类型的处理器或是不同类型的处理器所组成,如多个CPU、多个ASIC、或是一个CPU加上一个ASIC。
通信接口102被配置为阅读终端100和其他设备之间以无线方式通信的模块,包括蓝牙112、WiFi天线122、4G/5G天线通讯132等。在其他一个实施例中,通信接口102还包括近距离无线通信(NFC)模块,以促进短程通信。
电源组件103为阅读终端100的各种组件提供电力。电源组件103可以包括外接电源接口113及充电接口电路123。
显示器104是指阅读终端100和用户之间的一个互动显示接口,包括电磁膜114、电容屏124和墨水屏134等。
电磁膜114用以接收电磁笔的信号,其靠电磁笔操作过程中和面板下的感应器产生磁场变化来判别,电磁笔为信号发射端,电磁膜114为信号接收端,当电磁笔接近感应时磁通量发生变化,由运算定义位置点。
电容屏124是一种触摸屏,用以接收来自用户手指输入的信号,其包括一个或多个触摸传感器以检测触摸、滑动和触摸屏面板上的手势。所述触摸传感器不仅可以检测触摸或滑动动作的边界,而且还可以检测与所述触摸或滑动操作相关的持续时间和压力。
电磁膜114与电容屏124合称触控屏174。
墨水屏134是一种使用电子墨水的显示屏,也被称为电子纸显示技术,主要结构包括顶层透明电极层、电泳层以及底层电极像素层。电泳层内有多个细小的微胶囊,微胶囊中具有透明液体以及若干的微小的电泳粒子,这些电泳粒子分布在透明的电泳液中形成悬浮体系,电泳粒子的表面易吸附电荷,这些能够感应电荷的微粒可以在外加电场的作用下运动。
具体地,电泳粒子分为带有负电的黑色粒子和带正电的白色粒子。当底层电极像素层施加正电压时,白色粒子受到排斥向顶层透明电极层方向移动,黑色粒子则受到吸引向底层电极像素层方向移动,在这情况下,该像素显示为白色。相反地,当底层电极像素层施加负电压时,白色粒子受到吸引向底层电极像素层方向移动,黑色粒子则受到排斥向顶层透明电极层方向移动,该像素则显示为黑色。
显示器104还包括传感组件144,配置有多个各式传感器用于为电子设备提供各个方面的状态评估。例如:传感组件144中的温度传感器154可以检测到显示器104的温度变化,所侦测到的温度被传送至处理器101,再被传送至时序控制器108作为查表的参数。
显示器104还包括前光源和导光板164,设置在显示器104的侧边,用以提供稳定且均匀的光源。
音频组件105被配置为输出和/或输入音频信号。例如,音频组件105包括麦克风118,当阅读终端100需要接收语音时,如呼叫模式、记录模式和语音识别模式,麦克风118被配置为接收外部音频信号。音频组件128还包括一个扬声器128,用于输出音频信号。
存储器106用于存放程序、电子书及笔记,其可以是高速RAM存储器,或非易失性存储器(non-volatile memory),例如磁盘存储器。
按键接口107用以使用户控制翻页,一般来说是物理性的实体按键,配置在阅读终端100的侧边,包括前翻页按键及后翻页按键。
时序控制器108用以通过查找表找出对应的控制参数,也就是驱动波形。由于墨水屏134中的黑白粒子对温度比较敏感,当温度越低时,粒子活性越差,相比常温下移动到微胶囊中同样位置所需要的时间越长;当温度越高时,粒子运动越快,相比常温下移动到微胶囊中同样位置所需要的时间相对越短。温度传感器154采集显示器104上的温度数据,时序控制器108根据温度数据找出对应的控制参数,来选择适当的驱动波形。
显示驱动器109将驱动波形转换为控制信号,驱动墨水屏134上的墨水粒子移动,使得待显示的图像数据可以在墨水屏134上成像。
此实施例的显示装置可以是任何具有显示屏的装置,例如屏幕、电视、投影设备等,其结构如图2所示。显示装置200包括:处理器201、存储器202、显示屏203、通信接口204及通信总线205。处理器201用以判断投屏信息为背景图像信息或笔记图像信息,并基于背景图像信息与笔记图像信息来合成页面;存储器202用以存储各种图像信息;显示屏203用以显示合成后的页面;通信接口204用以与阅读终端100进行通信,例如接收投屏信息;通信总线205做为处理器201、存储器202、显示屏203和通信接口204相互间信息传递的渠道。
图3是示出此实施例的环境,该环境包括阅读终端100、显示装置200及无线网络路由器301。阅读终端100和显示装置200通过无线网络路由器301连接,如果该无线网络是内部网络,则无线网络路由器301是WIFI热点,如果该无线网络是近程网络,则无线网络路由器301是蓝牙模块或NFC模块,如果该无线网络是远程网络,则无线网络路由器301是4G或5G基站。
阅读终端100还包括手写笔302,当用户进行手写输入时,可以利用手指或是手写笔302在显示器104上编辑,触控屏174会接收触控信号,并发送给处理器101,处理器101将图像信息合成为页面后,驱动墨水屏134显示页面。同步地,阅读终端100将图像信息发送给显示装置200,让显示装置200亦能显示阅读终端100的页面。
阅读终端100的图像可以区分为背景图像及笔记图像。背景图像指的是系统图层和内容图层的图像,系统图层用以显示阅读终端100的功能键,内容图层用以显示电子书文本,而笔记图像指的是记录用户笔记轨迹的图层,其可以是手写笔记图像。前述这些图层经处理器101合成叠加在一起,便是墨水屏134所显示的页面。
背景图像并非每帧都会发生变化,事实上,在阅读的情境下,只有在翻页或用户点击功能键时才会改变,故在此实施例中,阅读终端100不会每次都发送背景图像信息给显示装置200。在背景图像未发生改变的前提下,阅读终端100仅发送笔记图像信息至显示装置200。
图4是示出此实施例在进行同步显示时,图像传输与处理沿着时间轴执行的示意图,其中F0至F5指的是阅读终端100与显示装置200处理每帧图像的时间间隔。在开始传输图像信息前,即在F=0前,阅读终端100与显示装置200通过无线网络路由器301建立连线。
当F=0时,阅读终端100的通信接口102发送第1帧笔记图像信息及背景图像信息至显示装置200,显示装置200的通信接口204接收阅读终端100发送的第1帧笔记图像信息及背景图像信息,存储至储存器202。
此实施例的阅读终端100是在安卓的环境中运行的,安卓支持RGBA图像信息,即支持显示彩色图像信息,但此实施例的阅读终端100仅能显示灰度图像。灰度图像是每个像素只有一个采样颜色的图像,通常为从最暗黑色到最亮白色的灰度,灰度图像在黑色与白色之间还有许多级的颜色深度,一般灰度介于0至255间。处理器101可以利用多种算法将RGBA图像信息转换成灰度图像信息,例如浮点算法、整数方法、移位方法、平均值法等。在这种情况下,发送笔记/背景图像信息即是发送灰度图像信息,而不是发送RGBA图像信息,以降低数据传输量。
在另一种情况下,处理器101进一步将灰度图像信息转换成二值化信息。所谓二值化指的是仅有黑白两色,并无灰度,故发送笔记图像信息即是发送二值化图像信息,图像数据量更低。
如果笔记是用手写编辑的,则笔记图像就是一连串的手写点连接而成的,因此笔记图像信息即为手写轨迹的报点数据,所述报点数据是手写点在页面中的坐标,发送笔记图像信息即等同于发送报点数据。相对于前述图像格式数据,报点数据是字符串数据,更能够大幅减少笔记图像信息的数据传输量。
回到图4,当F=1时,阅读终端100的处理器101为显示装置200合成第2帧的背景图像及笔记图像为第2帧页面。显示装置200的处理器·201根据在F=0时接收到的第1帧笔记图像信息及背景图像信息,叠加合成第1帧页面。
当F=2时,阅读终端100的处理器101判断第3帧的背景图像相较于第1帧的背景图像是否发生变化,如没有,通信接口102仅发送第3帧笔记图像信息及第2帧页面至显示装置200。显示装置200的通信接口204接收阅读终端100发送的第3帧笔记图像信息及第2帧页面,并存储至储存器202,同时显示屏203显示第1帧页面。如第3帧的背景图像相较于第1帧的背景图像发生了变化,则阅读终端100的通信接口102还会发送第3帧背景图像信息,显示装置200的通信接口204还会接收第3帧背景图像信息。
当F=3时,阅读终端100的处理器101为显示装置200合成第4帧的背景图像及笔记图像为第4帧页面。显示装置200的处理器201根据第3帧笔记图像信息,合成第3帧页面,并驱动显示屏203显示第2帧页面。
在合成第3帧页面时,处理器201先判断在F=2时是否接收到第3帧背景图像信息。如没有,表示背景图像未发生变化,即第3帧背景图像与第1帧背景图像相同,因此处理器201自储存器202取出第1帧背景图像与第3帧笔记图像信息进行叠加合成;如在F=2时接收到第3帧背景图像信息,表示背景图像发生了变化,处理器201自储存器202取出第3帧背景图像与第3帧笔记图像信息进行叠加合成。
当F=4时,阅读终端100的处理器101判断第5帧的背景图像相较于第3帧的背景图像是否发生变化,如没有,通信接口102仅发送第5帧笔记图像信息及第4帧页面至显示装置200。显示装置200的通信接口204接收阅读终端100发送的第5帧笔记图像信息及第4帧页面,并存储至储存器202,同时其显示屏203显示第3帧页面。同样地,如第5帧的背景图像相较于第3帧的背景图像发生了变化,则阅读终端100的通信接口102还会发送第5帧背景图像信息,显示装置200的通信接口204还会接收该第5帧背景图像信息。
当F=5时,阅读终端100的处理器101为显示装置200合成第6帧的背景图像及笔记图像为第6帧页面。显示装置200的处理器201根据第5帧笔记图像信息,合成第5帧页面,并驱动显示屏203显示第4帧页面。
同样地,在合成第5帧页面时,处理器201先判断在F=4时是否接收到第5帧背景图像信息。如没有,表示背景图像未发生变化,即第5帧背景图像与第3帧背景图像相同,因此处理器201自储存器202取出第3帧背景图像与第5帧笔记图像信息进行叠加合成;如在F=2时接收到第5帧背景图像信息,表示背景图像发生了变化,因此处理器201自储存器202取出第5帧背景图像与第5帧笔记图像信息进行叠加合成。
图4的虚线轨迹示例了每帧图像经历发送→接收→合成→显示的时间流操作。阅读终端100与显示装置200依前述方式循环执行,直到所有页面都在显示屏203上显示。
综上所述,此实施例在处理第i帧图像信息的时间顺序如下:
当F=i-2时,阅读终端100的通信接口102先发送第i-1帧背景图像至显示装置200。
当F=i时,阅读终端100的处理器101判断第i+1帧背景图像与第i-1帧背景图像是否相同,如相同,阅读终端100的通信接口102仅发送第i+1帧笔记图像信息及第i帧页面至显示装置200;如不同,通信接口102还会发送第i+1帧背景图像至显示装置200。显示装置200的通信接口204接收阅读终端100发送的第i+1帧笔记图像信息(可能还有第i+1帧背景图像)及第i帧页面,且显示屏203显示第i-1帧页面。
进一步地,如果笔记图像信息为报点数据,则处理器101在发送笔记图像信息时可以仅发送第i+1帧的报点数据,无需将前帧累计的所有报点数据重复传输,可以降低数据传输量。
当F=i+1时,阅读终端100的处理器101合成第i+2帧的背景图像及笔记图像为第i+2帧页面;显示装置200的处理器201根据第i+1帧笔记图像信息,合成第i+1帧页面,并驱动显示屏203显示第i帧页面。在合成第i+1帧页面时,处理器201先判断是否接收到第i+1帧背景图像信息。如没有,表示背景图像未发生变化,即第i+1帧背景图像与第i-1帧背景图像相同,因此合成第i-1帧背景图像与第i+1帧笔记图像信息;如接收到第i+1帧背景图像信息,则合成第i+1帧背景图像与第i+1帧笔记图像信息。如果笔记图像信息为报点数据,处理器201先读取第i-1帧笔记图像,根据报点数据,在第i-1帧笔记图像上积累绘制第i+1帧笔记点,以形成第i+1帧笔记图像,之后再合成第i+1帧页面。
本公开的另一个实施例亦为一种阅读终端与远端显示装置互动的系统,其阅读终端、显示装置同样分别具有如图1、图2所示的结构。与前一个实施例不同处在于,当阅读终端100发送出来的笔记图像信息或背景图像信息为灰度信息时,显示装置200可以将灰度图像转换成RGBA图像。
更详细来说,显示装置200的处理器201可以直接基于灰度图像信息合成图像,或是将灰度的笔记/背景图像信息进行还原处理,还原为RGBA的笔记/背景图像信息再和背景/笔记图像信息进行合成。当F=i+1时,在处理器201合成第i+1帧页面之前,处理器201将灰度信息转换为RGBA信息,再根据RGBA信息合成第i+1帧页面。在此实施例中,处理器201利用灰度分割法、灰度级-彩色变换法或滤波法等进行部分颜色还原,以提升用户的视觉体验。
如果阅读终端100发送出来的笔记/背景图像信息是二值化图像信息,由于信息有限,难以还原成灰度图像信息或是彩色信息,因此显示装置200在接收到二值化处理后的笔记/背景图像信息时,直接基于二值化图像信息合成图像。
前述实施例中的阅读终端分担了合成笔记/背景图像信息为页面的工作,再搭配流水线执行发送→接收→合成→显示等任务,在F=2之后,每帧处理时间里,显示屏203都能显示一帧页面,使得阅读终端手写操作和远端显示装置显示画面达到同步,以提升用户体验。不仅如此,阅读终端的处理器在图像信息发送前会先减少传输时的数据量,避免占用过多的频宽,降低卡顿的可能性。
本公开的另一个实施例是一种阅读终端与远端显示装置互动的方法,用以将阅读终端页面即时传输至远端的显示装置显示。
此实施例的页面同样可以区分为背景图像及笔记图像。背景图像指的是系统图层和内容图层的图像,系统图层用以显示阅读终端的功能键,内容图层用以显示电子书文本,而笔记图像指的是记录用户笔记轨迹的图层,其可以是手写笔记图像。前述这些图层合成叠加在一起便是阅读终端和远端显示装置所显示的页面。图5是示出此实施例的流程图。
当F=i-2时,在步骤501中,阅读终端发送第i-1帧背景图像至显示装置。
当F=i时,在步骤502中,阅读终端判断第i+1帧背景图像与第i-1帧背景图像是否相同,如不同,执行步骤503,阅读终端发送第i+1帧背景图像至显示装置;如相同,执行步骤504,阅读终端送第i+1帧笔记图像信息及第i帧页面至显示装置。如果笔记图像信息为报点数据,则阅读终端在发送笔记图像信息时可以仅发送第i+1帧的报点数据,无需将前帧累计的所有报点数据重复传输,可降低数据传输量。在步骤505中,显示装置接收阅读终端发送的第i+1帧笔记图像信息(可能还有第i+1帧背景图像)及第i帧页面。在步骤506中,显示装置显示第i-1帧页面。
当F=i+1时,在步骤507中,阅读终端合成第i+2帧的背景图像及笔记图像为第i+2帧页面。在步骤508中,显示装置判断是否接收到第i+1帧背景图像信息。如没有,执行步骤509,显示装置合成第i-1帧背景图像与第i+1帧笔记图像信息,以产生第i+1帧页面。如接收到第i+1帧背景图像信息,则执行步骤510,显示装置合成第i+1帧背景图像与第i+1帧笔记图像信息,以产生第i+1帧页面。在步骤511中,显示装置显示第i帧页面。
如果笔记图像信息为报点数据,显示装置先读取第i-1帧笔记图像,根据报点数据,在第i-1帧笔记图像上积累绘制第i+1帧笔记点,以形成第i+1帧笔记图像,之后再合成第i+1帧页面。
当阅读终端发送出来的笔记图像信息或背景图像信息为灰度信息时,显示装置可以直接基于灰度图像信息合成图像,或是将灰度的笔记/背景图像信息进行还原处理,还原为RGBA的笔记/背景图像信息再和背景/笔记图像信息进行合成。更详细来说,当F=i+1时,在步骤509及步骤510中,显示装置合成第i+1帧页面时,先将灰度信息转换为RGBA信息,再根据RGBA信息合成第i+1帧页面。在此实施例中,显示装置可以利用灰度分割法、灰度级-彩色变换法或滤波法等进行部分颜色还原。
如果阅读终端发送出来的笔记/背景图像信息是二值化图像信息,由于信息有限,难以还原成灰度图像信息或是彩色信息,因此在步骤509及步骤510中,显示装置直接基于二值化图像信息合成图像。
循环执行图5的步骤,直到所有页面都在显示装置显示为止。
本公开的另一个实施例是一种计算机可读存储介质,其上存储有将阅读终端的页面投射至远端的显示屏显示的计算机程序代码,当所述计算机程序代码由处理器运行时,执行如图5所示的方法。
还应当理解,本文示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质,诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的例如磁盘、光盘或磁带。计算机可读存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性,可移动和不可移动介质,例如计算机可读指令、数据结构、程序模块或其他数据。
计算机可读存储介质包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备,或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机可读存储介质可以是设备的一部分或可访问或可连接到设备。本文描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
本公开的另一个实施例是一种阅读终端,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行步骤501、步骤502、步骤503、步骤504、步骤507的方法。
本公开的另一个实施例是一种显示装置,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行步骤505、步骤506、步骤508、步骤509、步骤510、步骤511的方法。
通过前述实施例的说明,本领域技术人员可以理解本公开的阅读终端分担了合成笔记/背景图像信息为页面的工作,再搭配整个系统以流水线方式执行发送→接收→合成→显示等任务,在每帧处理时间里,显示装置都能显示一帧页面,使得阅读终端手写操作和远端显示装置显示画面达到同步,以提升用户体验。不仅如此,阅读终端在图像信息发送前会尽可能地减少传输时的数据量,以避免占用过多的频宽,降低卡顿的可能性。
以上对本披露实施例进行了详细介绍,本文中应用了具体个例对本披露的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本披露的方法及其核心思想;同时,对于本领域的一般技术人员,依据本披露的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本披露的限制。

Claims (32)

1.一种将阅读终端的页面投射至远端的显示屏显示的方法,所述页面包括背景图像及笔记图像,所述方法包括:
循环执行下列步骤,直到所有页面都在所述显示屏上显示:
当F=0时,所述阅读终端发送第1帧笔记图像信息及第1帧背景图像至所述显示屏;所述显示屏接收阅读终端发送的第1帧笔记图像信息及第1帧背景图像;
当F=1时,所述阅读终端为所述显示屏合成第2帧的背景图像及笔记图像为第2帧页面,所述显示屏根据所述第1帧笔记图像信息及第1帧背景图像,合成第1帧页面;
从i≥2开始,i为偶数
当F=i时:所述阅读终端判断第i+1帧背景图像与所述第i-1帧背景图像是否不同;
如是,所述阅读终端发送第i+1帧背景图像、第i+1帧笔记图像信息及第i帧页面至所述显示屏;所述显示屏接收所述阅读终端发送的第i+1帧背景图像、第i+1帧笔记图像信息及的第i帧页面;以及所述显示屏显示第i-1帧页面;
若否,所述阅读终端发送第i+1帧笔记图像信息及第i帧页面至所述显示屏;所述显示屏接收所述阅读终端发送的第i+1帧笔记图像信息及第i帧页面;以及所述显示屏显示第i-1帧页面;
当F=i+1时:所述显示屏判断在F=i时是否接收到第i+1帧背景图像;
若否,所述显示屏根据所述第i+1帧笔记图像信息及第i-1帧背景图像,合成第i+1帧页面;以及显示所述第i帧页面;
若是,所述显示屏根据所述第i+1帧笔记图像信息及第i+1帧背景图像,合成第i+1帧页面;以及显示所述第i帧页面;
所述阅读终端为所述显示屏合成第i+2帧的背景图像及笔记图像为第i+2帧页面。
2.根据权利要求1所述的方法,其中所述第i+1帧笔记图像信息包括第i+1帧手写笔记的报点数据。
3.根据权利要求2所述的方法,其中所述显示屏根据所述第i+1帧笔记图像信息及第i-1帧背景图像,合成第i+1帧页面步骤包括:
读取第i-1帧笔记图像及背景图像;
根据所述报点数据,在所述第i-1帧笔记图像上积累绘制第i+1帧笔记点,以形成第i+1帧笔记图像;以及
合成所述第i-1帧背景图像及所述第i+1帧笔记图像为所述第i+1帧页面。
4.根据权利要求2所述的方法,其中,所述显示屏根据所述第i+1帧笔记图像信息第i+1帧背景图像,合成第i+1帧页面步骤包括:
读取第i-1帧笔记图像;
根据所述报点数据,在所述第i-1帧笔记图像上积累绘制第i+1帧笔记点,以形成第i+1帧笔记图像;以及
合成所述第i+1帧背景图像及所述第i+1帧笔记图像为所述第i+1帧页面。
5.根据权利要求2所述的方法,其中所述报点数据包括字符串数据。
6.根据权利要求1所述的方法,其中所述第i+1帧笔记图像信息包括第i+1帧手写笔记图像。
7.根据权利要求6所述的方法,其中所述显示屏根据所述第i+1帧笔记图像信息及第i-1帧背景图像,合成第i+1帧页面步骤包括:
读取第i-1帧背景图像;以及
合成所述第i-1帧背景图像及所述第i+1帧手写笔记图像为所述第i+1帧页面。
8.根据权利要求6所述的方法,其中,所述显示屏根据所述第i+1帧笔记图像信息及第i+1帧背景图像,合成第i+1帧页面步骤包括:
合成所述第i+1帧背景图像及所述第i+1帧手写笔记图像为所述第i+1帧页面。
9.根据权利要求1所述的方法,其中所述第i+1帧笔记图像信息为灰度信息。
10.根据权利要求9所述的方法,其中所述显示屏根据所述第i+1帧笔记图像信息及第i-1帧背景图像,合成第i+1帧页面步骤包括:
将所述灰度信息转换为RGBA信息;以及
根据所述RGBA信息及第i-1帧背景图像,合成所述第i+1帧页面。
11.根据权利要求1、3、4、7或8所述的方法,其中所述背景图像为灰度图像。
12.根据权利要求11所述的方法,其中所述显示屏根据所述第i+1帧笔记图像信息及第i-1帧背景图像,合成第i+1帧页面步骤包括:
将灰度信息转化为RGBA信息;以及
根据第i+1帧笔记图像信息及所述RGBA信息,合成所述第i+1帧页面。
13.根据权利要求1所述的方法,其中所述第i+1帧笔记图像信息为二值化信息。
14.根据权利要求1、3、4、7或8所述的方法,其中所述背景图像为二值化图像。
15.根据权利要求1、3、4、7或8所述的方法,其中所述背景图像包括内容图层及系统图层。
16.一种计算机可读存储介质,其上存储有将阅读终端的页面投射至远端的显示屏显示的计算机程序代码,当所述计算机程序代码由处理器运行时,执行根据权利要求1至15任一项所述的方法。
17.一种阅读终端与远端显示装置互动的系统,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-15中任一项所述的方法的操作。
18.一种阅读终端与远端显示装置互动的系统,所述系统包括将页面投射至远端的显示屏显示的阅读终端及将远端阅读终端发送的页面投射显示的远端显示装置,所述页面包括背景图像及笔记图像;
其中,所述阅读终端包括:通信接口,当F=0时,所述阅读终端发送第1帧笔记图像信息及第1帧背景图像至所述显示屏;从i≥2开始,i为偶数,当F=i时,用以若第i+1帧背景图像与所述第i-1帧背景图像相同,发送第i+1帧笔记图像信息及第i帧页面至所述显示屏;若第i+1帧背景图像与所述第i-1帧背景图像不同,发送第i+1帧背景图像、第i+1帧笔记图像信息及第i帧页面至所述显示屏;以及
处理器,当F=1时,所述阅读终端为所述显示屏合成第2帧的背景图像及笔记图像为第2帧页面;从i≥2开始,i为偶数,当F=i时,判断第i+1帧背景图像与所述第i-1帧背景图像是否不同;
当F=i+1时,用以为所述显示屏合成第i+2帧的背景图像及笔记图像为第i+2帧页面;
其中,循环执行所述发送、判断及合成操作,直到所有页面都在所述显示屏上显示;
远端显示装置包括:通信接口,当F=0时,所述通信接口接收阅读终端发送的第1帧笔记图像信息及第1帧背景图像;
从i≥2开始,i为偶数,当F=i时,用以:
接收所述阅读终端发送的第i+1帧笔记图像信息及第i帧页面;或者
接收所述阅读终端发送的第i+1帧笔记图像信息、第i+1帧背景图像及第i帧页面;
显示屏,用以当F=i时,显示第i-1帧页面;当F=i+1时,显示第i帧页面;以及
处理器,当F=1时,根据所述第1帧笔记图像信息及第1帧背景图像,合成第1帧页面;
当F=i+1时,用以判断在F=i时是否接收到第i+1帧背景图像;
若否,所述处理器根据所述第i+1帧笔记图像信息及第i-1帧背景图像,合成第i+1帧页面,并驱动所述显示屏显示所述第i帧页面;
若是,所述处理器根据所述第i+1帧笔记图像信息及第i+1帧背景图像,合成第i+1帧页面,并驱动所述显示屏显示所述第i帧页面;
其中,循环执行所述接收、显示及合成操作,直到所有页面都在所述显示屏上显示。
19.根据权利要求18所述的系统,其中所述第i+1帧笔记图像信息包括第i+1帧手写笔记的报点数据。
20.根据权利要求19所述的系统,其中所述远端显示装置中的处理器在根据所述第i+1帧笔记图像信息及第i-1帧背景图像合成所述第i+1帧页面时:
读取第i-1帧笔记图像及背景图像;
根据所述报点数据,在所述第i-1帧笔记图像上积累绘制第i+1帧笔记点,以形成第i+1帧笔记图像;以及
合成所述第i-1帧背景图像及所述第i+1帧笔记图像为所述第i+1帧页面。
21.根据权利要求19所述的系统,其中,所述远端显示装置中的处理器在根据所述第i+1帧笔记图像信息及第i+1帧背景图像合成所述第i+1帧页面时:
读取第i-1帧笔记图像;
根据所述报点数据,在所述第i-1帧笔记图像上积累绘制第i+1帧笔记点,以形成第i+1帧笔记图像;以及
合成所述第i+1帧背景图像及所述第i+1帧笔记图像为所述第i+1帧页面。
22.根据权利要求19所述的系统,其中所述报点数据包括字符串数据。
23.根据权利要求18所述的系统,其中所述第i+1帧笔记图像信息包括第i+1帧手写笔记图像。
24.根据权利要求23所述的系统,其中所述远端显示装置中的处理器在根据所述第i+1帧笔记图像信息及第i-1帧背景图像合成所述第i+1帧页面时:
读取第i-1帧背景图像;以及
合成所述第i-1帧背景图像及所述第i+1帧手写笔记图像为所述第i+1帧页面。
25.根据权利要求23所述的系统,其中,所述远端显示装置中的处理器在根据所述第i+1帧笔记图像信息及第i+1帧背景图像合成所述第i+1帧页面时:
合成所述第i+1帧背景图像及所述第i+1帧手写笔记图像为所述第i+1帧页面。
26.根据权利要求18所述的系统,其中所述第i+1帧笔记图像信息为灰度信息。
27.根据权利要求26所述的系统,其中所述远端显示装置中的处理器在根据所述第i+1帧笔记图像信息及第i-1帧背景图像合成所述第i+1帧页面时:
将所述灰度信息转换为RGBA信息;以及
根据所述RGBA信息及第i-1帧背景图像,合成所述第i+1帧页面。
28.根据权利要求18、20、21、24或25所述的系统,其中所述背景图像为灰度图像。
29.根据权利要求28所述的系统,其中所述远端显示装置中的处理器在根据所述第i+1帧笔记图像信息及第i-1帧背景图像合成所述第i+1帧页面时:
将灰度信息转化为RGBA信息;以及
根据第i+1帧笔记图像信息及所述RGBA信息,合成所述第i+1帧页面。
30.根据权利要求18所述的系统,其中所述第i+1帧笔记图像信息为二值化信息。
31.根据权利要求18、20、21、24或25所述的系统,其中所述背景图像为二值化图像。
32.根据权利要求18、20、21、24或25所述的系统,其中所述背景图像包括内容图层及系统图层。
CN202010238797.4A 2020-03-30 2020-03-30 将页面投射至显示屏的方法、装置及计算机可读存储介质 Active CN111475096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010238797.4A CN111475096B (zh) 2020-03-30 2020-03-30 将页面投射至显示屏的方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238797.4A CN111475096B (zh) 2020-03-30 2020-03-30 将页面投射至显示屏的方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111475096A CN111475096A (zh) 2020-07-31
CN111475096B true CN111475096B (zh) 2021-07-23

Family

ID=71749264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238797.4A Active CN111475096B (zh) 2020-03-30 2020-03-30 将页面投射至显示屏的方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111475096B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166127A (zh) * 2014-06-12 2014-11-26 中国人民解放军海军航空工程学院 一种波束交错投影与多假设抛物线Hough变换的滑跃式目标检测方法
CN105988567A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 手写信息的识别方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342710A (ja) * 2001-05-16 2002-11-29 Nec Corp 文字切出し装置及びそれに用いる文字切出し方法並びにそのプログラム
CN102651810A (zh) * 2011-02-25 2012-08-29 株式会社理光 白板共享系统和白板共享方法
JP6538482B2 (ja) * 2015-08-25 2019-07-03 Dynabook株式会社 電子機器及び方法
CN106066768A (zh) * 2016-05-31 2016-11-02 广东能龙教育股份有限公司 一种ppt互动演示装置和方法
CN107589876B (zh) * 2017-09-27 2020-06-30 深圳如果技术有限公司 一种投影系统和方法
CN108776575B (zh) * 2018-06-08 2019-04-16 掌阅科技股份有限公司 用户手写笔记的同步方法、电子书阅读设备及存储介质
CN109085965B (zh) * 2018-07-19 2019-09-06 掌阅科技股份有限公司 笔记生成方法、电子设备及计算机存储介质
CN110703978B (zh) * 2019-09-25 2020-09-08 掌阅科技股份有限公司 信息显示方法、阅读器以及计算机存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104166127A (zh) * 2014-06-12 2014-11-26 中国人民解放军海军航空工程学院 一种波束交错投影与多假设抛物线Hough变换的滑跃式目标检测方法
CN105988567A (zh) * 2015-02-12 2016-10-05 北京三星通信技术研究有限公司 手写信息的识别方法和装置

Also Published As

Publication number Publication date
CN111475096A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN112717370B (zh) 一种控制方法和电子设备
US20220137713A1 (en) Gesture Processing Method and Device
US20220107821A1 (en) User interface layout method and electronic device
CN112394811B (zh) 一种隔空手势的交互方法及电子设备
EP4012558A1 (en) Method for displaying page elements and electronic device
CN105051792A (zh) 用于使用深度映射和光源合成增强3d图像的设备
US11914850B2 (en) User profile picture generation method and electronic device
KR20140104806A (ko) 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
CN113132526B (zh) 一种页面绘制方法及相关装置
WO2020092025A1 (en) Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN111752063B (zh) 可变换显示模式的方法、阅读终端及计算机存储介质
CN111752517B (zh) 可投屏至远端显示屏的方法、终端及计算机可读存储介质
CN109086366B (zh) 浏览器中的推荐新闻显示方法、装置、设备及存储介质
CN114023272B (zh) 消除墨水屏残影的方法和终端设备
CN109616058B (zh) 数据传输方法及装置、液晶显示装置
CN114461051B (zh) 帧率切换方法、装置及存储介质
US20220050975A1 (en) Content Translation Method and Terminal
EP4216563A1 (en) Photographing method and electronic device
CN111459363A (zh) 信息展示方法、装置、设备及存储介质
CN111338593B (zh) 投屏展示信息的方法、阅读终端及存储介质
CN111475096B (zh) 将页面投射至显示屏的方法、装置及计算机可读存储介质
CN111275607B (zh) 界面显示方法、装置、计算机设备及存储介质
EP2943039A1 (en) User terminal device for generating playable object, and interaction method therefor
US20240111403A1 (en) Page sliding processing method and related apparatus
CN114863432A (zh) 一种终端设备、对比度调整方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant