CN113176834A - 屏幕书写系统 - Google Patents

屏幕书写系统 Download PDF

Info

Publication number
CN113176834A
CN113176834A CN202110274372.3A CN202110274372A CN113176834A CN 113176834 A CN113176834 A CN 113176834A CN 202110274372 A CN202110274372 A CN 202110274372A CN 113176834 A CN113176834 A CN 113176834A
Authority
CN
China
Prior art keywords
display screen
display
image
screen
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110274372.3A
Other languages
English (en)
Other versions
CN113176834B (zh
Inventor
黄忠明
艾杨林
倪盈
沈巍
苏辉
张诗怡
郁永良
顾海青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shidongkou First Power Plant of Huaneng Power International Inc
Original Assignee
Shanghai Shidongkou First Power Plant of Huaneng Power International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shidongkou First Power Plant of Huaneng Power International Inc filed Critical Shanghai Shidongkou First Power Plant of Huaneng Power International Inc
Priority to CN202110274372.3A priority Critical patent/CN113176834B/zh
Publication of CN113176834A publication Critical patent/CN113176834A/zh
Application granted granted Critical
Publication of CN113176834B publication Critical patent/CN113176834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种屏幕书写系统,其中包括显示装置、位置信息膜和书写装置,其中,所述的显示装置经配置其包括非位置感测型显示屏和主机;所述位置信息膜包括透明基底和设置在所述基底上的位置编码图案;所述位置信息膜可活动地铺设在所述显示屏的显示区域;所述书写装置与所述主机无线通信,经配置以建立位置信息膜在显示屏显示区域上的位置编码坐标系统,在其点触显示屏的显示区域时识别其在显示屏上的点触位置并生成点触轨迹图像,将所述点触轨迹图像发送给所述主机,以在所述显示屏的点触位置显示对应的点触轨迹。本发明可以在非位置感测型显示屏上的书写、涂画实时地在显示屏上显示出来,定位准确、成本低廉、操作简便。

Description

屏幕书写系统
技术领域
本发明涉及电子器件技术领域,特别地涉及一种屏幕书写系统。
背景技术
显示器作为计算机系统的一种信息输出设备,在现代的各个领域扮演着重要的角色。其中,按照信息的传输方向,显示器可以分为两种,一种是位置感测型显示器,不但可以显示信息,还可以感测到对屏幕的点触位置,例如手机显示屏、平板电脑显示屏、各种工业控制领域中使用的触摸屏等均为位置感测型显示器。显示器屏幕可以感测到对屏幕的点触、滑动,将其感测到的屏幕位置一种输入信息发送给相关处理系统。一种是单纯进行信息输出、显示的显示器,如个人电脑(PC)显示器、笔记本电脑显示器、各种尺寸的监视器、电视显示屏幕等。对于一些需要输入信息的场合,例如用户针对显示器当前显示内容与他人进行讨论时,很多时候针对当前屏幕显示内容需要做出各种标记。由于无法针对非位置感测型显示器进行操作,因而通常需要借助于手写板等工具。利用手写板时,需要打开手写板应用进行相应的设置,既需要增加硬件设备,提高了成本,还需要在使用前进行相应的操作,过程繁琐。另一种标记方法是在某些特定软件中打开包括当前显示内容的文档,在该软件中进行标记操作。例如,由Word、PowerPoint等软件打开并显示该内容,在需要的地方进行下划线、加粗、设置突出颜色等操作以突出重点部分。但是,这种增加的标记是增加到原文档中的,因而改变了原文档内容。并且,在对原文档设定文档保护之后,则无法进行标记。因而,针对目前的非位置感测型显示器,有必要提供一种可以方便感测屏幕位置的方法,以解决屏幕信息输入问题。
发明内容
针对现有技术中存在的技术问题,本发明提出了一种屏幕书写系统,用以识别非位置感测型显示器上的点触位置,实现在普通显示屏上书写的数字化。
为了解决上述技术问题,本发明提供了一种屏幕书写系统,其中包括显示装置、位置信息膜和书写装置,其中,所述的显示装置经配置其包括非位置感测型显示屏和主机;所述位置信息膜包括透明基底和设置在所述基底上的位置编码图案;所述位置信息膜可活动地铺设在所述显示屏的显示区域;所述书写装置与所述主机无线通信,经配置以建立位置信息膜在显示屏显示区域上的位置编码坐标系统,在其点触显示屏的显示区域时识别其在显示屏上的点触位置并生成点触轨迹图像,将所述点触轨迹图像发送给所述主机,以在所述显示屏的点触位置显示对应的点触轨迹。
优选地,所述位置信息膜的基底为PET薄膜、ARM薄膜、PE薄膜、OCA薄膜、钢化玻璃薄膜或者透明纸;所述位置编码图案涂敷或雕刻在所述基底上。
优选地,雕刻在所述基底上的所述位置编码图案低于或高于所述基底,或者部分编码图案高于基底,部分编码图案低于基底。
优选地,所述书写装置包括壳体、笔尖及位于壳体内的检测模块、图像采集模块、处理模块和无线通信模块;其中,
所述壳体末端设置有检测口;
所述笔尖的第一端固定在壳体内,第二端从壳体末端的检测口伸出;
所述检测模块经配置在感测到笔尖对显示屏的书写操作时输出电信号;
所述图像采集模块与所述检测模块相连接,经配置在接收到所述检测模块输出的电信号时通过所述检测口获取与点触位置相应的采集区图像和对应的时间信息,所述图像包括显示屏上的位置编码图案;
所述处理模块与所述图像采集模块相连接,经配置以接收所述图像采集模块采集的图像数据,建立位置信息膜在显示屏显示区域上的位置编码坐标系统;识别出在笔尖在显示屏上的点触位置,并根据对应的时间信息生成点触轨迹图像;
所述无线通信模块经配置与所述主机相连接,将所述点触轨迹图像发送给所述主机,以在所述显示屏的点触位置显示对应的点触轨迹。
优选地,所述检测模块包括压力传感器或接近传感器或距离传感器。
优选地,所述图像采集模块包括透镜组件和图像传感器,所述透镜组件经配置其视场角与所述采集区相适应;所述图像传感器与所述透镜组件光学连接,经配置以通过所述透镜组件获取采集区内的图像数据。
优选地,所述图像采集模块还可以包括信号发射单元、信号接收单元和模数转换单元,所述信号发射单元经配置以向所述采集区发送探测信号;所述信号接收单元经配置以接受从所述采集区反射回的探测信号反射信号,并根据所述反射信号生成所述采集区的图像数据;所述模数转换单元与所述信号接收单元相连接,经配置以将信号接收单元生成的所述图像数据的模拟信号转换成数字信号。
优选地,所述处理模块包括编码图案识别单元、定位系统建立单元、位置识别单元、图层单元、点触轨迹生成单元以及图像生成单元;其中,所述编码图案识别单元与所述图像采集模块相连接,从所述图像采集模块发送来的图像数据中识别出位置编码图案;所述定位系统建立单元经配置根据用于定位的位置编码图案确定与显示屏的显示区域对应的位置信息膜上的位置编码坐标系统;所述位置识别单元与所述编码图案识别单元相连接,经配置根据位置编码坐标系统确定识别出的位置编码图案在显示屏的点触位置;所述图层单元经配置生成与显示屏显示区域大小相同的透明图层,其位置坐标系统与所述位置编码坐标系统相同;所述点触轨迹生成单元与所述位置识别单元相连接,经配置以在所述透明图层上确定所述点触位置,并按照对应的时间依次连接多个点触位置以得到点触轨迹;所述图像生成单元经配置以在所述透明图层生成点触轨迹的过程中按照预置频率生成多帧点触轨迹图像。
优选地,所述图层单元经进一步配置,在所述透明图层生成包含多个编辑工具的工具区;对应地,在所述位置识别单元得到的点触位置对应于工具区中的一编辑工具时,点触轨迹生成单元按照所述编辑工具对透明图层上的点触轨迹进行相应的处理。
优选地,所述无线通信模块包括信号发射器和信号接收器,所述信号发射器位于所述壳体内的电路板上,将待发送的图像数据按照预定协议调制成无线载波信号发射出去;所述信号接收器包括数据接口,用于与所述主机相连接;其接收所述信号发射器发送的无线载波信号,并从中解调出数据,经所述数据接口发送给所述主机。
本发明通过在普通的显示屏增加位置信息膜,可以将普通的显示屏演变为位置感测显示屏,从而实现屏幕书写的数字化,解决了在非位置感测型显示器上的屏幕输入问题,为普通显示屏增加了功能。本发明中使用的位置信息膜的材料普通、制造容易,相比于位置感测显示屏的材料、制造复杂度,本发明大幅降低了装置成本。位置信息膜在显示屏上的铺设方便,可以随用随铺设,不使用时可从显示屏上取下,操作简便。本发明对屏幕点触位置的识别、定位精确,能够实时显示书写、涂画及操作轨迹,实时性好。
附图说明
下面,将结合附图对本发明的优选实施方式进行进一步详细的说明,其中:
图1是根据本发明的一个实施例的屏幕书写系统的结构连接示意图;
图2是根据本发明的一个实施例的铺设了位置信息膜的显示屏的部分示意图;
图3A是根据本发明另一实施例铺设了位置信息膜的显示屏的部分示意图;
图3B是根据本发明另一实施例铺设了位置信息膜的显示屏的部分示意图;
图3C是根据本发明另一实施例铺设了位置信息膜的显示屏的部分示意图;
图4A是根据本发明一个实施例的位置编码图案单元示意图;
图4B是根据本发明另一个实施例的位置编码图案单元示意图;
图4C是根据本发明又一个实施例的位置编码图案单元示意图;
图5是根据本发明一个实施例的书写笔结构示意图;
图6是根据本发明一个实施例的的书写笔原理框图;
图7是根据本发明一个实施例的图像采集模块原理框图;
图8是根据本发明另一个实施例的图像采集模块原理框图;
图9是根据本发明一个实施例提供的处理模块原理框图;
图10是根据本发明另一个实施例提供的屏幕书写系统的结构连接示意图;以及
图11是根据本发明另一个实施例的屏幕书写操作过程的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在以下的详细描述中,可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中,相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述,使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解,还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。
本发明提供了一种可进行屏幕位置识别的显示系统,其包括显示模块、位置采集模块和显示处理模块,其中,所述显示模块具有非位置感测型显示屏,其可以是一个独立的个人电脑显示器、平板显示器等,也可以是与主机集成在一起的笔记本电脑显示器、一体机的显示器。非位置感测型显示屏的外表面铺设有透明的位置信息膜,所述位置信息膜上设置有位置编码图案。所述位置采集模块或者其与显示处理模块一起制成笔的形状,作为一个独立的书写笔,便于操作。其中,所述位置采集模块和显示处理模块可以分别制成两个独立装置,如所述位置采集模块制成书写笔,显示处理模块制成一个小盒子,二者可进行无线或有线的数据传输。当用户使用书写笔在显示屏上书写、涂画时,其内部的位置采集模块能够获取与点触位置相应的采集区的位置编码图案图像及对应的时间,并将其发送给显示处理模块。显示处理模块与书写笔内的所述位置采集装置通信,接收其发送来的数据,识别出其在显示装置上进行的点触时的位置编码图案,并生成点触轨迹以显示到显示屏上。其中,所述显示处理模块也可以为集成在个人电脑或笔记本电脑中的一个模块。当显示处理装置为单独的一个装置时,其与驱动显示装置的个人电脑或笔记本电脑等连接,以将生成的点触轨迹图像发送给个人电脑或笔记本电脑,使其显示到显示装置的显示屏上。
图1是根据本发明一个实施例的一种屏幕书写系统的结构连接示意图,所述屏幕书写系统包括显示装置1、透明的位置信息膜2和书写笔3,其中,显示装置1包括非位置感测型的显示屏11和主机12。所述显示屏11可以是任何一种非位置感测型的硬质显示屏,例如桌上型个人电脑显示器、一体机显示屏、笔记本电脑显示器、监视器、电视机屏幕等,上述的显示屏11与相应的主机12连接以显示相应的信息,例如为个人电脑显示器、一体机显示屏和笔记本电脑显示器等,显示各自电脑主机运行的各种程序、文档、图片、视频信息等;监视器连接监视摄像头以显示监视区域的画面;电视机屏幕显示电视视频信息。透明的位置信息膜2可活动地铺设于显示屏11外表面,其上的透明感测区域与显示屏11的显示区域相适应,其上设置有位置编码图案。位置信息膜2为一透明薄膜,根据薄膜的材质不同,铺设在显示屏1的方式各不相同。例如,当位置信息膜2采用PET薄膜(化学名称为聚酯薄膜)时,可以依靠静电将PET薄膜吸附在显示屏11的外表面,铺设简单、易操作,并且在表面有污渍时可以随时取下来清洁,然后再吸附到显示屏11上。位置信息膜2也可以采用ARM薄膜,ARM薄膜通常是一个多层结构的薄膜。其内层为吸附层,是一层经过化学方式处理后得到硅胶层,可以很好地吸附在显示屏11上,在揭下时又不会留有胶痕;中间为PET层;外层为特殊处理层,如经过抗眩光处理的AG处理层,或经过硬度处理的HC处理层。位置信息膜2也可以采用主要原材料为LLDPE的PE膜,其依赖静电吸附在显示屏11上。位置信息膜2还可以是OCA材质的薄膜或者为钢化玻璃薄膜。钢化玻璃薄膜通常由AB胶层、钢化玻璃层和涂层构成,其通过AB胶层粘贴在显示屏11上。另外,位置信息膜2也可以采用透明纸,透明纸是一种在造纸过程中向其中增加丙烯酸树脂得到的一种透明状态的纸,其中,纸浆约占30%,丙烯酸树脂约占70%,其重量与厚度都和一般复印纸差不多。
位置信息膜2采用上述各种材质的薄膜为基底,在其上设置位置编码图案,其中位置编码图案的设置方式有多种方式。例如,采用涂敷工艺将涂料涂敷到基底薄膜上。如图2所示,其为根据本发明一个实施例中铺设了位置信息膜的显示屏的部分示意图,在本实施例中,位置信息膜2a位于显示屏11a的外表面,本实施例采用涂料在基底21a上涂敷出位置编码图案22a。为了不影响显示屏显示信息,形成位置编码图案的点或线尽可能小,二者之间的距离尽可能地大,形成位置编码图案的最大点的最大尺寸不应大于人眼分辨率。例如,形成位置编码图案的最大点的最大尺寸小于5微米。图3A-3B是根据本发明另一实施例中铺设了位置信息膜的显示屏的部分示意图,在本实施例中,位置信息膜2b位于显示屏11b的外表面,本实施例在基底21b上雕刻出位置编码图案22b。在图3A中,在雕刻时,从基底21b上去除与所述位置编码图案相同的部分,从而得到的位置编码图案22b低于所述基底21b,而在图3B中,在雕刻时,在基底21c上保留与所述位置编码图案相同的部分,因而得到的位置编码图案22c高于所述基底21c。或者,如图3C所示,构成位置编码图案的点或线雕刻成不同的深度,如图中所示,点22d较深,而点23d较浅,通过点的深浅为特征来编码,如果再结合点的大小,则可以构成另一个更为复杂的编码。
本发明中的位置编码图案可以是采用任意一种编码规则形成的图案。图4A为一个4×4的编码图案单元,其中的大圆点与小圆点分别指代可由计算机识别的1和0。通过不同圆点排列可以得到不同的信息,其分别与相应的屏幕位置相对应。图4B是另一种编码图案单元,根据圆点与其基准线的不同偏离方向及位置编码。或者如图4C所示,由线段的长段、线段绕其基准点的旋转方向进行编码。
图5是根据本发明一实施例的书写笔结构示意图。所述书写笔3包括壳体301、笔尖303及内部电路。其中,壳体301的末端设置有检测口302,笔尖303的第一端固定在壳体301内,第二端从壳体末端的检测口302伸出。壳体301内部固定有电路板304,其中设置有各种电气元件。进一步地,所述屏幕书写笔3还包括笔帽305,在不使用书写笔3时,盖在笔的末端以保护笔尖,并防止灰尘等通过检测口进入壳体内部而污染相关元件。在笔的顶端设有用于设置挂绳4的挂孔307或凹槽306。另外,本实施例中的屏幕书写笔3的充电电路设置在电路板上,为电子各个电子元件供电,充电电路与充电接口308相连接,在电量不足时通过指示灯309显示电量不足的信息,例如使指示灯闪烁以提示用户电量不足。另外,还包括电源指示灯和工作指示灯等以指示相应的状态。
图6是根据本发明一实施例的书写笔的原理框图,书写笔3包括检测模块31、图像采集模块32、处理模块33和通信模块34,其中,检测模块31与笔尖相连,在笔尖点触到屏幕或接近屏幕时发出电信号。检测模块31例如为接近传感器或压力传感器。当采用接近传感器时,在笔尖与显示屏11(包含了位置信息膜)的距离达到检测距离时,接近传感器发出电信号。当采用压力传感器时,在笔尖压触到显示屏11时,压力传感器发出电信号。当然还可以是其他的测距传感器,功能与接近传感器相同。
图像采集模块32与所述检测模块31相连接,在接收到其发送的电信号后,开始获取采集区的图像数据。图7是根据本发明一个实施例的图像采集模块的原理框图。在本实施例中,所述图像采集模块32包括透镜组件321和图像传感器322。透镜组件321与图像传感器322光学连接,透镜组件321可以获取来自所述采集区的光线,当检测模块31发送电信号给所述图像传感器322时,图像传感器322可以采集到采集区内的图像数据。其中的图像传感器322可以为CMOS组件或CCD组件,其可以按照设定的频率采集数据。为了能够更好地获取到采集区的图像数据。在本实施例中,书写笔3笔尖处的检测口302较大,且透镜组件321分布于笔尖周围,使得采集区足够大,即使形成位置编码图案的点或线相隔距离较大也能够获取到足够的图像数据。图8是根据本发明另一个实施例的所述图像采集模块的原理框图。在本实施例中,所述图像采集模块32包括信号发射单元324、信号接收单元325和模数转换单元326。其中,所述信号发射单元324经配置以向所述采集区发送探测信号,所述探测信号包括红外线信号、紫外线信号、超声波信号等等。通过设置所述信号发射单元324在笔管内的位置及其发射角度可以确定有效的采集区范围,并可以确定其反射信号能够返回笔管被信号接收单元325接收。信号接收单元325接受从所述采集区反射回的反射信号,并根据所述反射信号生成采集区的图像数据。由于所生成的图像数据为模拟信号,为了方便处理及传输,模数转换单元326将信号接收单元325生成的所述图像数据的模拟信号转换成数字信号。
所述处理模块33与所述图像采集模块32相连接,经配置以接收所述图像采集模块32采集的图像数据,建立位置信息膜在显示屏11显示区域上的位置编码坐标系统,并识别出在显示屏11上的点触位置,并根据对应的时间信息生成点触轨迹图像。
图9是根据本发明一实施例的处理模块原理框图。所述处理模块33包括编码图案识别单元331、定位系统建立单元332、位置识别单元333、图层单元334、点触轨迹生成单元335和图像生成单元336,其中,所述编码图案识别单元331与所述图像采集模块32相连接,从所述图像采集模块32发送来的图像数据中识别出位置编码图案。由于显示屏本身正在显示的内容不同,因而采集到的点触位置除了位置信息膜上的位置编码图案后,还可能包括原显示屏上的显示内容的图案信息,所述编码图案识别单元331利用现有的图像分析法从当前的图像中提取出位置编码图案。在书写笔开机时,其首先建立位置编码坐标系统,此时,用户需点触显示屏显示区的四个角,此时获得的四个点触位置的采集图像。所述编码图案识别单元331提取出位置编码图案后,将其发送给所述定位系统建立单元332。定位系统建立单元332根据用于定位的四个位置编码图案确定与显示屏的显示区域对应的位置信息膜上的位置编码坐标系统。具体地,从四个位置编码图案中取出一个作为第一位置编码图案,从该第一位置编码图案中确定一个位置编码单元,将其作为第一点;按照编码规则从其他三个编码图案中确定出一个与所述第一点同行的位置编码单元,将其作为第二点,此时,具有该第二点的位置编码图案为第二位置编码图案;按照编码规则从其他两个编码图案中确定出一个与所述第一点同列的位置编码单元,将其作为第三点,此时,具有该第三点的位置编码图案为第三位置编码图案,在第四位置编码图案中确定一个与第三点同行,与第二点同列的位置编码单元作为第四点,从而得到了与四个点触位置对应的四个点。以所述四个点作为顶点建立定位区的边界,再读取定位区内的所有位置编码图案,为位置编码图案中的每一个位置编码单元确定其在定位区内的坐标,从而建立起的位置编码坐标系统可使位置信息膜与当前显示屏的位置一一对应。在位置编码坐标系统建立起后,图层单元334建立与所述定位区大小相同的透明图层,且所述透明图层的位置坐标系统与所述位置编码坐标系统相同。由于定位区与显示屏显示区域大小、位置相同,因而,所述的透明图层能够被显示屏完整地显示,并且透明图层上的位置与显示屏的位置一一对应。图像生成单元336将生成的透明图层生成一帧图像,作为图像数据发送到主机12,在显示屏上显示。在书写笔在显示屏上书写时,图像采集模块高速获取点触位置的图像,对应地,编码图案识别单元331从中识别出对应的位置编码图案,将其发送给位置识别单元333。位置识别单元333根据位置编码坐标系统确定出每一个位置识别单元333识别出的位置编码图案在显示屏的点触位置,从而得到多个点触位置。点触轨迹生成单元335将所述多个点触位置分别映射成透明图层的多个第二位置,由于透明图层的位置坐标系统与所述位置编码坐标系统相同,因而前述的点触位置与透明图层上的位置相同,点触轨迹生成单元335在所述透明图层上所述多个第二位置(或称为点触位置),并按照每个点触位置的时间,依次连接多个第二位置以得到点触轨迹。在连接时,如没有用户的干预,则以一个预定的颜色及线粗连接多个点触位置。在所述透明图层生成点触轨迹的过程中,图像生成单元336按照预置频率生成多帧点触轨迹图像。通信模块34将所述多帧点触轨迹图像发送给显示装置1的主机12。其中,所述通信模块34可以采用蓝牙通讯协议或者近场通信协议。由于大部的主机系统都集成有蓝牙通信模块,因而书写笔3在使用前可先与主机12配对建立起通信连接。或者,书写笔3的通信模块34包括信号发射器和信号接收器。信号发射器位于所述壳体301内的电路板上,将待发送的图像数据按照预定协议调制成无线载波信号发射出去;信号接收器包括数据接口,如USB接口,在使用书写笔时,将信号接收器插入主机12的USB接口,使二者相连接。信号接收器接收所述信号发射器发送的无线载波信号,并从中解调出图像数据,所述主机12经所述数据接口收到所述图像数据。再将所述图像数据发送到显示屏11上显示。
在前述实施例中,图层单元334在建立所述定位区大小相同的透明图层时,在所述透明图层生成包含多个编辑工具的工具区。工具区可能位置透明图层的边缘,如四个边界的附近,如图1所示,位于图层的下方。编辑工具例如为删除、移动、复制、改变颜色或改变线粗、保存等。图像生成单元336将此时具有工具区透明图层生成一帧图像,作为图像数据由通信模块34发送到主机12,在显示屏上显示。此时,用户在屏幕上的书写过程中,可以对其书写内容进行相应的删除、移动、复制、保存等,还可以设定显示点触轨迹时的线条的颜色、粗细等。当位置识别单元333识别出的点触位置对应于某个编辑工具时,点触轨迹生成单元335按照对应的编辑工具对当前透明图层上的点触轨迹进行相应的操作。由于图像生成单元336在点触轨迹生成单元335对透明图层操作过程中按照预定的频率获取当前的图层的图像,因而所编缉的过程也实时地显示在显示屏11上。
在本实施例中,通过在普通的显示屏增加位置信息膜,可以将普通的显示屏演变为位置感测显示屏,从而实现屏幕书写的数字化,为普通显示屏增加了功能。位置信息膜的材料普通、制造容易,相比于位置感测显示屏的材料、制造复杂度,本发明大幅降低了装置成本。位置信息膜在显示屏上的铺设方便,可以随用随铺设,不使用时可从显示屏上取下,操作简便。本发明对屏幕点触位置的识别、定位精确,能够实时显示书写、涂画及操作轨迹,实时性好。
在上述实施例中,处理模块34位于书写笔3中,在另一些实施例中,所述处理模块34也可以位于主机12中。此时的书写笔3在获取到与点触位置对应的采集区的图像后,将所述图像及其对应的时间合成传输数据,经由通信模块发送到主机12。主机12中的处理模块进行定位系统的建立、位置识别等操作。而在另一些实施例中,如图10所示,书与装置包括书写笔3和显示处理装置7。显示处理装置7为一个单独的装置,其包括无线模块与书写笔3通信,完成处理模块34的功能,其可以通过另一个无线模块与个人笔记本电脑6通信,也可以通过USB接口等数据接口与个人笔记本电脑6相连,将生成的点触轨迹图像发送给个人笔记本电脑6,以显示在个人笔记本电脑6的显示屏中。
图11是根据本发明一个实施例的屏幕书写操作过程的流程图。在本实施例中,当用户利用书写笔在普通个人电脑显示器上对当前显示的内容进行标记时,使标记内容显示在显示屏上的操作包括以下步骤:
步骤S1,打开书写笔的电源,建立书写笔与个人电脑的通信连接。其中,所述个人电脑包括主机和显示器,显示器的显示屏为普通显示屏。当然,个人电脑也可以是集成主机与显示器的一体机。当书写笔提供无线通信的接收器时,将所述接收器插入电脑的数据接口。如果书写笔具有蓝牙模块,将所述书写笔与电脑进行蓝牙配对,建立无线通信连接。
步骤S2,将一块位置信息膜贴在显示器的显示屏上,使其完全覆盖显示屏的显示区域。
步骤S3,用书写笔在显示屏显示区域的四角各点触一下,以确定定位区域,并建立位置信息膜在显示屏显示区域上的位置编码坐标系统。
在本步骤中,当书写笔在显示屏显示区域点触时,书写笔的检测模块可以检测到书写笔的点触操作,例如书写笔中压力传感器感测到压力,或者书写笔中的接近传感器感测到笔尖与屏幕的距离达到预定距离时确定书写笔的点触操作,此时书写笔内的图像采集模块采集通过书写笔尖端的检测口获取与点触位置相应的采集区图像和对应的时间信息。
由于显示屏上铺设了位置信息膜,采集的图像上包括位置信息膜上的位置编码图案。由于四角各点触了一下,因而得到四个点触位置的图像。由于图像采集模块按照一定的频率采集图像,因而每个位置可能会得到多个图像,在一个可选的方案中对多个图像进行预处理以得到一幅图像作为待识别图像,对其进行识别从中得到位置编码图案,或者对所有图像都进行识别,之后再进行分析以得到对应点触位置的位置编码图案。
在得到四个点触位置的位置编码图案后,从每一个点触位置的位置编码图案中确定出一个位置编码单元以作为定位区的四个顶点。例如,将第一点触位置的位置编码图案中的一个位置编码单元作为第一点;将与第一点触位置相邻的第二点触位置中的、与所述第一点同行的位置编码单元作为第二点;将与第一点触位置相邻的第三点触位置中的、与所述第一点同列的位置编码单元作为第三点;将第四点触位置中与第二点的位置编码单元同列、与第三点的位置编码单元同行的位置编码单元作为第四点。
以所述四个点作为四个顶点建立定位区的边界。
获取定位区内的位置编码图案,为位置编码图案中的每一个位置编码单元确定其在定位区内的坐标。
通过以上步骤得到与显示屏的显示区域对应的位置信息膜上的位置编码坐标系统。
在建立起位置信息膜在显示屏显示区域上的位置编码坐标系统之后,建立与所述定位区大小相同的透明图层,所述透明图层的位置坐标系统与所述位置编码坐标系统相同。可选地,在在所述透明图层上生成工具区图像,其中包含多个编辑工具图像,如删除、移动、复制、保存、改变颜色或改变线粗等图标。再所述透明图层生成图像发送到显示屏显示。
如果透明图层上没有工具区图像,对于用户来说,当前显示屏没有变化,如果透明图层上有工具区图像,用户在完成本步骤后,可以在显示屏上看到删除、移动、复制、保存、改变颜色或改变线粗等图标。
上述处理过程可以由书写笔完成,也可以由书写笔将采集到的图像发送给个人电脑,由个人电脑中的特定处理模块完成。
步骤S4,用书写笔在需要进行标记的位置做标记,如画圈、下划线、做注释,也可以由当前的标记进行删除、复制、移动和保存。当用户进行标记时,随着书写笔在屏幕上的移动,其轨迹同步显示在显示器其点触的位置。
在本步骤中,当用户采用书写笔在屏幕上标记时,书写笔按照预定频率采集其点触所述显示屏时与其点触位置相应的采集区图像和对应的时间;而后从所述采集区图像中识别出每一次采集的图像中的位置编码图案,根据所述位置编码坐标系统确定所述位置编码图案对应的显示屏点触位置;将所述点触位置映射为透明图层的第二位置(或称为点触位置)。再按照每个点触位置的时间,依次连接透明图层上的多个第二位置则得到点触轨迹。在生成点触轨迹过程中,按照预定的频率成生点触轨迹图像,所述点触轨迹图像被显示到显示屏的对应点触位置。在视觉上看,随着书写笔在屏幕上的移动,其轨迹同步显示在书写位置,位置准确定、实时性好。
步骤S5,使用完后,关闭书写笔电源,拿下位置信息膜。当书写笔电源关闭后,与主机的通信连接断开,则主机不再显示透明图层,因而从视觉上看显示屏上所有的标记消失,恢复到未使用书写笔之前的状态。
上述处理过程可以由书写笔完成,也可以由个人电脑中的特定处理模块完成。
本发明提供的屏幕书写系统可以满足用户通过屏幕对显示内容标记、注释等需求。例如,当用户在针对当前显示的内容与他人进行讨论时,打开书写笔3的电源,建立其与主机12的通信连接。用户在讨论过程中需要对某个地方进行强调、注释时,可以通过书写笔3在显示屏幕上的相应位置画圈、下划线等标记操作或在显示内容旁边的适当位置写下注释,用户所作的所有这些屏幕输入操作都可以生成对应的图像实时地显示在屏幕原位置,既不用在原文档中作修改,也不需要额外增加手写板,只需要一根书写笔3,操作简单,使用方便。并且,显示屏上铺设的位置信息膜不但可以提供用于位置识别的位置编码图案,而且也起到对显示屏的保护作用,减小书写笔3的笔尖对显示屏的损害。笔尖也可以做特殊处理,类似采用较软材料做笔尖,可以进一步减小对显示屏的损害。本发明解决了在非位置感测型显示器上的屏幕输入问题,可将在显示屏外表面上的书写、涂画实时地显示出来,操作简便,成本低廉。
上述实施例仅供说明本发明之用,而并非是对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明范围的情况下,还可以做出各种变化和变型,因此,所有等同的技术方案也应属于本发明公开的范畴。

Claims (10)

1.一种屏幕书写系统,其中包括:
显示装置,经配置其包括非位置感测型显示屏和主机;
位置信息膜,其包括透明基底和设置在所述基底上的位置编码图案;所述位置信息膜可活动地铺设在所述显示屏的显示区域;
书写装置,其与所述主机无线通信,经配置以建立位置信息膜在显示屏显示区域上的位置编码坐标系统,在其点触显示屏的显示区域时识别其在显示屏上的点触位置并生成点触轨迹图像,将所述点触轨迹图像发送给所述主机,以在所述显示屏的点触位置显示对应的点触轨迹。
2.根据权利要求1所述的屏幕书写系统,其中,所述位置信息膜的基底为PET薄膜、ARM薄膜、PE薄膜、OCA薄膜、钢化玻璃薄膜或者透明纸;所述位置编码图案涂敷或雕刻在所述基底上。
3.根据权利要求2所述的屏幕书写系统,其中,雕刻在所述基底上的所述位置编码图案低于或高于所述基底,或者部分编码图案高于基底,部分编码图案低于基底。
4.根据权利要求1所述的屏幕书写系统,其中,所述书写装置包括壳体、笔尖及位于壳体内的检测模块、图像采集模块、处理模块和无线通信模块;其中,
所述壳体末端设置有检测口;
所述笔尖的第一端固定在壳体内,第二端从壳体末端的检测口伸出;
所述检测模块经配置在感测到笔尖对显示屏的书写操作时输出电信号;
所述图像采集模块与所述检测模块相连接,经配置在接收到所述检测模块输出的电信号时通过所述检测口获取与点触位置相应的采集区图像和对应的时间信息,所述图像包括显示屏上的位置编码图案;
所述处理模块与所述图像采集模块相连接,经配置以接收所述图像采集模块采集的图像数据,建立位置信息膜在显示屏显示区域上的位置编码坐标系统;识别出在笔尖在显示屏上的点触位置,并根据对应的时间信息生成点触轨迹图像;
所述无线通信模块经配置与所述主机相连接,将所述点触轨迹图像发送给所述主机,以在所述显示屏的点触位置显示对应的点触轨迹。
5.根据权利要求4所述的屏幕书写系统,其中,所述检测模块包括压力传感器或接近传感器或距离传感器。
6.根据权利要求4所述的屏幕书写系统,其中,所述图像采集模块包括:
透镜组件,经配置其视场角与所述采集区相适应;以及
图像传感器,与所述透镜组件光学连接,经配置以通过所述透镜组件获取采集区内的图像数据。
7.根据权利要求4所述的屏幕书写系统,其中,所述图像采集模块包括:
信号发射单元,经配置以向所述采集区发送探测信号;
信号接收单元,经配置以接受从所述采集区反射回的探测信号反射信号,并根据所述反射信号生成所述采集区的图像数据;以及
模数转换单元,与所述信号接收单元相连接,经配置以将信号接收单元生成的所述图像数据的模拟信号转换成数字信号。
8.根据权利要求4所述的屏幕书写系统,其中,所述处理模块包括:
编码图案识别单元,与所述图像采集模块相连接,从所述图像采集模块发送来的图像数据中识别出位置编码图案;
定位系统建立单元,经配置根据用于定位的位置编码图案确定与显示屏的显示区域对应的位置信息膜上的位置编码坐标系统;
位置识别单元,与所述编码图案识别单元相连接,经配置根据位置编码坐标系统确定识别出的位置编码图案在显示屏的点触位置;
图层单元,经配置生成与显示屏显示区域大小相同的透明图层,其位置坐标系统与所述位置编码坐标系统相同;以及
点触轨迹生成单元,与所述位置识别单元相连接,经配置以在所述透明图层上确定所述点触位置,并按照对应的时间依次连接多个点触位置以得到点触轨迹;以及
图像生成单元,经配置以在所述透明图层生成点触轨迹的过程中按照预置频率生成多帧点触轨迹图像。
9.根据权利要求8所述的屏幕书写系统,其中,所述图层单元经进一步配置,在所述透明图层生成包含多个编辑工具的工具区;对应地,在所述位置识别单元得到的点触位置对应于工具区中的一编辑工具时,点触轨迹生成单元按照所述编辑工具对透明图层上的点触轨迹进行相应的处理。
10.根据权利要求4所述的屏幕书写系统,其中,所述无线通信模块包括:
信号发射器,其位于所述壳体内的电路板上,将待发送的图像数据按照预定协议调制成无线载波信号发射出去;和
信号接收器,其包括数据接口,用于与所述主机相连接;其接收所述信号发射器发送的无线载波信号,并从中解调出数据,经所述数据接口发送给所述主机。
CN202110274372.3A 2021-03-15 2021-03-15 屏幕书写系统 Active CN113176834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110274372.3A CN113176834B (zh) 2021-03-15 2021-03-15 屏幕书写系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110274372.3A CN113176834B (zh) 2021-03-15 2021-03-15 屏幕书写系统

Publications (2)

Publication Number Publication Date
CN113176834A true CN113176834A (zh) 2021-07-27
CN113176834B CN113176834B (zh) 2023-03-24

Family

ID=76922012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110274372.3A Active CN113176834B (zh) 2021-03-15 2021-03-15 屏幕书写系统

Country Status (1)

Country Link
CN (1) CN113176834B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627408A (zh) * 2021-10-13 2021-11-09 北京易言科技有限公司 文字书写的展示方法、文字书写的展示和训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576935A (zh) * 2013-11-01 2014-02-12 北京汉神科创文化发展有限公司 基于书写的人机交互辅助系统及方法
CN106484151A (zh) * 2016-09-29 2017-03-08 武汉工程大学 基于微图数据采集和人工智能技术的智能笔系统及控制方法
CN108664863A (zh) * 2017-04-02 2018-10-16 田雪松 基于编码图案的图像数据处理系统
KR20190035341A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 전자칠판 및 그 제어방법
CN110096209A (zh) * 2019-04-01 2019-08-06 北京新界教育科技有限公司 书写轨迹显示方法及装置
CN211742061U (zh) * 2020-03-09 2020-10-23 深圳市九学王信息科技有限公司 一种新型可同步显示轨迹的智能电子画板

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576935A (zh) * 2013-11-01 2014-02-12 北京汉神科创文化发展有限公司 基于书写的人机交互辅助系统及方法
CN106484151A (zh) * 2016-09-29 2017-03-08 武汉工程大学 基于微图数据采集和人工智能技术的智能笔系统及控制方法
CN108664863A (zh) * 2017-04-02 2018-10-16 田雪松 基于编码图案的图像数据处理系统
KR20190035341A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 전자칠판 및 그 제어방법
CN110096209A (zh) * 2019-04-01 2019-08-06 北京新界教育科技有限公司 书写轨迹显示方法及装置
CN211742061U (zh) * 2020-03-09 2020-10-23 深圳市九学王信息科技有限公司 一种新型可同步显示轨迹的智能电子画板

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627408A (zh) * 2021-10-13 2021-11-09 北京易言科技有限公司 文字书写的展示方法、文字书写的展示和训练方法及装置

Also Published As

Publication number Publication date
CN113176834B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US6567078B2 (en) Handwriting communication system and handwriting input device used therein
US8723791B2 (en) Processor control and display system
US6111565A (en) Stylus for use with transcription system
US6100877A (en) Method for calibrating a transcription system
TW381235B (en) Pen like computer pointing device
US7257255B2 (en) Capturing hand motion
RU2392656C2 (ru) Универсальное компьютерное устройство
US8077155B2 (en) Relative-position, absolute-orientation sketch pad and optical stylus for a personal computer
US6211863B1 (en) Method and software for enabling use of transcription system as a mouse
US6147681A (en) Detector for use in a transcription system
US20070188477A1 (en) Sketch pad and optical stylus for a personal computer
US6177927B1 (en) Transcription system kit
JP2011123833A (ja) 情報処理システムおよび電子ペン
CN107621893A (zh) 在非电子表面上使用电子输入设备的内容创建
JP2004164609A (ja) 汎用入力デバイス
US6124847A (en) Collapsible detector assembly
US6191778B1 (en) Transcription system kit for forming composite images
US20130033460A1 (en) Method of notetaking using optically imaging pen with source document referencing
CN113176834B (zh) 屏幕书写系统
CN215932586U (zh) 屏幕书写系统
CN215932585U (zh) 一种屏幕书写装置
US20130033429A1 (en) Method of notetaking with source document referencing
JP5413315B2 (ja) 情報処理システム及び表示処理プログラム
TWI431518B (zh) 顯示及書寫裝置
CN214623634U (zh) 一种投影显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant