CN108260011A - 在显示设备上实现写画的方法和系统 - Google Patents

在显示设备上实现写画的方法和系统 Download PDF

Info

Publication number
CN108260011A
CN108260011A CN201810131521.9A CN201810131521A CN108260011A CN 108260011 A CN108260011 A CN 108260011A CN 201810131521 A CN201810131521 A CN 201810131521A CN 108260011 A CN108260011 A CN 108260011A
Authority
CN
China
Prior art keywords
display
equipment
picture
operating system
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810131521.9A
Other languages
English (en)
Other versions
CN108260011B (zh
Inventor
祝枫
黄雯琼
王平
李奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunhao Electronic Technology Jiangsu Co ltd
Original Assignee
Shanghai Wow Hi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wow Hi Network Technology Co Ltd filed Critical Shanghai Wow Hi Network Technology Co Ltd
Publication of CN108260011A publication Critical patent/CN108260011A/zh
Application granted granted Critical
Publication of CN108260011B publication Critical patent/CN108260011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种在显示设备上实现写画的方法和系统，其系统包括用于改装显示设备的改装套件，所述的改装套件包括连接于显示设备的定制操作系统控制装置，所述的定制操作系统控制装置包括中央控制器和连接于中央控制器的控制器信号输入端且用于检测用户在定制操作系统界面上触摸手势的触摸感应设备，所述控制器信号输入端包括至少一个信号接口，且其中一个信号接口连接于所述的触摸感应设备，且所述的触摸感应设备为同尺寸包覆在显示设备周向边缘的红外触摸框。本发明具有适用范围广，能够赋予普通的显示设备额外的功能，且方法简单、升级成本低等优点。

Description

在显示设备上实现写画的方法和系统
技术领域
本发明涉及多媒体技术领域，尤其涉及一种在显示设备上实现写画的方法和系统。
背景技术
如今，液晶电视设备已具有成熟的技术，但是现有技术的液晶电视设备都只具有显示观赏功能，用户无法通过触摸液晶电视屏幕与液晶电视交互，并且，即使具有触摸功能的液晶电视设备，也只有选择功能而已，就是说用户可以通过点击液晶电视屏幕对液晶电视液晶电视节目进行选择，对液晶电视状进行态设置等操作，无法实现在液晶电视屏幕上随意写画批注的目的。
为了解决上述技术问题，人们进行了长期的探索，例如中国专利公开了一种体感多点触控装置[申请号：CN201410634430.9]，包括红外摄像头和计算机，所述红外摄像头设在液晶屏的后方，所述红外摄像头连接所述计算机；所述液晶屏的表面设有红外线薄层；所述红外摄像头的表面设有红外过滤片。
另外，还公开了一种多功能一体机[申请号：CN201020003550.6]，包括壳体和设置在该壳体中的显示屏、触摸屏、控制模块和计算机模块；所述显示屏与所述触摸屏相互重叠地安装在壳体的前端，且所述触摸屏覆盖在所述显示屏界面上；所述计算机模块的音视频输出端与所述控制模块相连接，所述触摸屏的触摸信号输出端与所述控制模块相连接，由所述控制模块对音视频信号和触摸信号进行驱动控制。
上述方案赋予了液晶电视设备触摸功能，可以满足用户在显示屏上触摸控制的需求，但是其只是有一些控制显示的操控功能而已，并没有随意切换液晶电视和其他操作系统的功能，也没有其他的一些例如随意写画等实用功能，不能满足会议等场景需要，并且具有触摸功能的液晶电视设备相较于传统的普通液晶电视具有更高昂的价格，而现在的一般家庭以及办公室的液晶电视都只有显示功能而已，若需要具有触摸功能的液晶电视就需要更换原有的液晶电视设备，提高升级代价，而且具有触摸功能的液晶电视设备若是显示器损坏了就需要将触摸屏、控制器等整个设备更换，维护费用较高，并且用于某一个显示设备的控制器和触摸感应设备均无法用于其他的显示设备，适用范围有限。
发明内容
本发明的目的是针对上述问题，提供一种能够在显示设备上实现写画的系统；
本发明的另一目的是针对上述技术问题，提供一种能够在显示设备上实现写画的方法。
为达到上述目的，本发明采用了下列技术方案：
本发明的在显示设备上实现写画的方法，包括以下步骤：
一种在显示设备上实现写画的系统，包括用于改装显示设备的改装套件，所述的改装套件包括连接于显示设备的定制操作系统控制装置，所述的定制操作系统控制装置包括中央控制器和连接于中央控制器的控制器信号输入端且用于检测用户在定制操作系统界面上触摸手势的触摸感应设备。
在上述的在显示设备上实现写画的系统中，所述控制器信号输入端包括至少一个信号接口，且其中一个信号接口连接于所述的触摸感应设备，且所述的触摸感应设备为同尺寸包覆在显示设备周向边缘的红外触摸框。
在上述的在显示设备上实现写画的系统中，所述的显示设备具有至少两个显示信号输入端，所述中央控制器的控制器信号输出端连接于显示设备的其中的一个显示信号输入端。
在上述的在显示设备上实现写画的系统中，所述的中央控制器还包括有投屏模块和写画批注模块，所述的投屏模块又包括画面流接受模块和画面帧获取模块，其中，
投屏模块，用于将客户端的投屏内容投屏到所述显示设备上；
画面流接受模块，用于接受客户端投屏给本系统的画面流；或者接受摄像头拍摄的画面流；或者接受浏览器中的互联网画面流；
画面帧获取模块，用于在接收到批注指令时获取当前画面帧，并切换写画批注模块至前台，同时将当前画面帧发送给写画批注模块使显示设备冻结在获取到的当前画面帧页面；
写画批注模块，用于将用户在定制操作系统界面的触摸轨迹进行渲染以在定制操作系统界面显示用户的批注笔记；用于将冻结的当前画面帧转换为可渲染格式的内容画布，或者直接将当前画面转换为可渲染格式的内容画布，并实时将触摸轨迹在内容画布上进行渲染并将渲染轨迹显示在内容画布上。
在上述的在显示设备上实现写画的系统中，所述的中央控制器还包括有用于接收处理并响应客户端发送的遥控指令的遥控信息处理及响应模块，用于存储用户在显示设备上的批注笔迹和/或渲染有批注笔迹的内容画布的存储模块，以及用于将保存的内容画布发送给相应客户端的发送模块。
本发明在显示设备上实现写画的方法，包括以下步骤：
S1：根据用户操作选择显示设备的信号输入源，当用户选择定制操作系统信号源时，显示设备进入定制操作系统并显示定制操作系统界面；
S2：进入定制操作系统后，检测用户在定制操作系统界面中的触摸手势，并将触摸手势传输至中央控制器；
S3：中央控制器对触摸手势进行识别，并将识别结果转换为数字信号发送给显示设备使显示设备显示用户的触摸轨迹，或者根据用户的触摸手势执行相应动作。
在上述的在显示设备上实现写画的方法中，所述显示设备的显示信号输入端连接有定制操作系统控制装置，所述的定制操作系统信号源由该定制操作系统控制装置提供。
在上述的在显示设备上实现写画的方法中，所述的定制操作系统控制器包括所述的中央控制器，且所述中央控制器的控制器信号输出端连接于显示设备的显示信号输入端；
或者，所述的定制操作系统控制装置还包括安装在显示设备周向边缘且用于检测用户在定制操作系统界面上触摸手势的红外触摸框，所述的红外触摸框连接于所述中央控制器的控制器信号输入端。
在上述的在显示设备上实现写画的方法中，其特征在于，在显示设备显示定制操作系统界面时，还包括以下步骤：
A:接收客户端发送给服务器的投屏请求并与发送投屏请求的客户端建立投屏连接；
B：接收所述客户端发送的投屏数据并将该投屏数据对应的投屏内容显示在显示设备上。
在上述的在显示设备上实现写画的方法中，其特征在于，在显示投屏内容的过程中接收到批注指令时，获取当前画面帧或当前画面并将当前画面帧或当前画面冻结显示在显示设备上后执行步骤S2至S3，并将触摸轨迹叠加显示在当前画面帧或当前画面之上。
在上述的在显示设备上实现写画的方法中，其特征在于，在建立投屏连接的过程中，当接收到客户端发出的控制指令时根据控制指令控制显示设备的显示状态。
在上述的在显示设备上实现写画的方法中，在显示设备显示定制操作系统界面时，还包括以下步骤：
C：中央控制器接收连接于该中央控制器信号输入端的摄像头所拍摄到的摄像内容或客户端所在终端所拍摄到的摄像内容，并将该摄像内容发送至显示设备进行同步显示；
D：在显示摄像内容的过程中接收到批注指令时，获取当前画面帧并将当前画面帧冻结显示在显示设备上后执行步骤S2至S3，并将触摸轨迹叠加显示在当前画面帧之上。
本发明在显示设备上实现写画的方法和系统相较于现有技术具有以下优点：1、实现方法简单，操作方便且流畅；2、搭配不同尺寸的框体能够适应于不同的显示设备，且一个定制操作系统控制装置能够用于接入任意的显示设备，适用范围广；3、能够给予已存在的普通液晶电视额外的写画功能，降低液晶电视的升级成本；4、在显示设备损坏需要更换的情况下只需要更换用于显示的显示设备即可，无需更换触摸感应设备以及定制操作系统控制装置，降低维护成本；5、只需要在普通的液晶电视设备上接入定制操作系统控制装置即可，安装方便，连接简单；6、用户可根据需要自由切换信号源，给予液晶电视额外的定制操作系统功能外，不影响液晶电视的基本功能。
附图说明
图1是本发明的系统框图；
图2是本发明红外触摸框与紧固件的连接示意图；
图3是本发明红外触摸框与显示设备的连接方式；
图4是本发明盒体的结构示意图；
图5是本发明中央控制器的模块框图；
图6是本发明的方法流程图；
图7是本发明的部分方法流程图；
图8是本发明投屏方法一的方法流程图；
图9是本发明投屏方法二的方法流程图；
图10是本发明在视频流上面写画批注的方法流程图；
图11是本发明在图片上写画批注的方法流程图。
附图标记：显示设备1；定制操作系统控制装置2；中央控制器21；触摸感应设备22；红外触摸框221；投屏模块24；画面流接受模块242；画面帧获取模块241；写画批注模块25；遥控信息处理及响应模块28；存储模块29；发送模块20；HDMI接口31；USB接口32；装置电源接口33；显示设备电源接口34；USB插口35；HDMI插口36；紧固件4；矩形金属板41；折形金属板42；螺栓43；USB接线44。
具体实施方式
虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
以下采用本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
本实施例的系统能够应用于普通的有触摸功能或没有触摸功能的液晶电视、液晶显示器、会议电视、会议平板等大屏显示设备。此外，本实施例的客户端可以被安装于智能手机、PAD或平板电脑等移动终端上，通过移动终端的处理器执行本客户端的程序。
具体地，如图1所示，本实施例的在显示设备上实现写画的系统，包括显示设备1和用于改装显示设备1的改装套件，改装套件包括连接于显示设备1的定制操作系统控制装置，所述的定制操作系统控制装置2包括中央控制器21，该中央控制器21的控制器信号输入端的触摸感应设备22，这里的触摸感应设备22可以是显示设备1本身具有的，例如具有触摸功能的多媒体一体机等，此时，只要将该多媒体一体机原本具有的触摸输出信号线插入中央控制器21的控制器信号输入端即可；当然，现有的显示设备1，例如液晶电视，会议电视等多是没有触摸功能的，此时，需要在显示设备1上外置一个能够检测用户在显示设备1上的触摸信号的触摸感应设备22，然后将该触摸感应设备22的信号输出线连接控制器信号输入端即可，且如图2和图3所示，本实施例本实施例外置的触摸感应设备22为一个能够安装在显示设备周向边缘的红外触摸框221，它引出有能够连接至控制器信号输入端的USB接线44，通过将该红外触摸框221的信号输出线连接控制器信号输入端，且这里的红外触摸框221通过紧固件4固定在显示设备1的前表面红外触摸框221，紧固件4包括一通过螺钉固定在红外触摸框221上的矩形金属板41和固定在显示设备1后背上的折形金属板42，所述的折形金属板42和矩形金属板41上均开设有螺纹孔，且通过螺栓43穿过矩形金属板41和折形金属板42上的螺纹孔将条形金属板固定在折形金属板42上。
进一步地，显示设备1具有至少两个显示信号输入端，所述中央控制器21的控制器信号输出端连接于显示设备1的其中的一个显示信号输入端，且本实施例的控制器信号输出端包括一个HDMI接口31。
进一步地，所述控制器信号输入端包括至少一个信号接口，且其中一个信号接口连接于所述的红外触摸框221，其余的信号接口可以用于连接U盘等存储设备，以及摄像头、鼠标、键盘等外置设备，进一步地，这里的信号接口可以为USB、DVI、VGA等接口，并且连接于红外触摸框221的信号接口为USB接口32。并且，如图4所示，本实施例的中央控制器被安装在一盒体内，盒体内除了中央控制器还具电源装置等其他元器件，且盒体上开设有连接于电源装置且用于输出市电电压的显示设备电源插口34，用于供定制操作系统控制装置2供电的电源线插接的装置电源插口33，与USB接口32连接的USB插口35和与HDMI接口31连接的HDMI插口36等。
优选地，如图5所示，中央控制器21还包括有投屏模块24和写画批注模块25，所述的投屏模块24又包括画面流接受模块242和画面帧获取模块241，其中，
投屏模块24，用于将客户端的投屏内容投屏到所述显示设备1上，这里客户端是指通过服务器与本系统的中央控制器21建立投屏连接并且被安装在终端内的应用程序。
画面流接受模块242，用于接受客户端投屏给本系统的画面流；或者接受摄像头拍摄的画面流；或者接受浏览器中的互联网画面流；
画面帧获取模块241，用于在接收到批注指令时获取当前画面帧，并切换写画批注模块25至前台，同时将当前画面帧发送给写画批注模块25使显示设备1冻结在获取到的当前画面帧页面；
写画批注模块25，用于将用户在定制操作系统界面的触摸轨迹进行渲染以在定制操作系统界面显示用户的批注笔记；用于将冻结的当前画面帧转换为可渲染格式的内容画布，或者直接将当前画面转换为可渲染格式的内容画布，并实时将触摸轨迹在内容画布上进行渲染并将渲染轨迹显示在内容画布上。
更进一步地，所述的中央控制器21还包括有用于接收处理并响应客户端发送的遥控指令的遥控信息处理及响应模块28，用于存储用户在显示设备1上的批注笔迹和/或渲染有批注笔迹的内容画布的存储模块29，以及将保存的内容画布发送给相应客户端的发送模块20，这里的相应客户端是指在进行写画批注的过程中与本中央控制器21建立投屏连接关系的客户端，可以为一个或者多个。
具体地，如图6所示，通过上述系统实现在显示设备上实现写画的方法，包括以下步骤：
S1：根据用户操作选择显示设备1的信号输入源，当用户选择改装套件的定制操作系统信号源时，显示设备1打开定制操作系统并显示定制操作系统界面，本实施例以黑板界面为例，也就是在进入本定制操作系统之后，主界面显示的是类似黑板的界面，用户可以像黑板一样在该界面上随意写画，具体地，显示设备1的显示信号输入端连接有定制操作系统控制装置2，而定制操作系统信号源由该定制操作系统控制装置2提供。需要说明的是，这里说的根据用户操作选择显示设备1的信号输入源，指用户的作为操作和不作为操作，也就是说，当本显示设备默认为开机就是定制操作系统信号源的时候，本步骤中用户在打开本系统但是不对信号输入源进行切换操作时就默认用户选择了本定制操作系统信号源。
用户可以在该定制操作系统界面上进行写画操作，通过该方法将液晶电视、一体机、会议电视等显示设备1改装为具有两套系统的设备，以液晶电视为例，经过本发明的改装后，液晶电视的两套系统分别为：液晶电视本身具有的用于观看电视节目的电视系统和本系统接入液晶电视的可用于写画操作等动作的定制操作系统；
优选地，在显示设备1切换至定制操作系统之后，每接收到一次清屏指令或每过一段预设时间将定制操作系统界面转换为图片格式进行保存以将批注笔迹进行保存，其中，用户通过在定制操作系统界面上写画设定的手势或触摸定制操作系统界面设定的位置发出清屏指令，中央控制器21接受到批注指令之后便清除定制操作系统界面上的批注笔迹，当然，在批注笔迹清除之前，中央控制器21首先将当前带有批注笔迹的定制操作系统界面转换为图片格式进行保存，事后，用户只需要查询本系统的本地文件便可以查看之前保存的批注笔迹。
S2：进入定制操作系统后，检测用户在定制操作系统界面中的触摸手势，并将触摸手势传输至中央控制器21；
S3：中央控制器21对触摸手势进行识别，并将识别结果转换为数字信号发送给显示设备1，使显示设备1在显示屏上显示用户的触摸轨迹，或者根据用户的触摸手势执行相应动作。根据不同的程序，用户的触摸手势可以为只有一种写画手势，或存在两种情况，即写画手势和控制手势。当只有一种写画手势的时候，中央控制器21只需对触摸轨迹进行渲染，然后在显示设备1上直接显示经过渲染的触摸轨迹即可；当存在两种情况时，控制手势用于对定制操作系统界面的内容进行操作，写画手势用于直接在定制操作系统界面上显示批注笔迹，也就是触摸轨迹，而两种手势的输入可以通过相应的指令进行切换，例如点击定制操作系统界面上相应的触摸开关或对定制操作系统界面写画相应的手势，中央控制器21接收到相应触摸开关的触摸或相应手势的写画之后便进入写画模式或控制模式，例如以定制操作系统界面上的触摸键切换两种模式为例进行说明：用户选择定制操作系统界面上的触摸键进入写画模式，此时，用户在定制操作系统界面上的触摸轨迹会实时显示在显示设备1上，当用户再次点击触摸键时中央控制器21便控制定制操作系统界面进入控制模块，此时，定制操作系统界面不会显示用户在定制操作系统界面上的触摸轨迹，而是根据触摸轨迹分析用户做出了何种指令，然后根据分析结果响应用户的指令即可，例如用户双指覆盖于定制操作系统界面上的显示内容，并使两个手指相互远离来判断用户需要将显示内容放大，所以响应结果就是放大显示内容，具体的手势代表的指令以具体程序为准，在此不进行限制。
优选地，如图7所示，在显示设备1显示定制操作系统界面时，还包括以下步骤：
A:接收客户端发送给服务器的投屏请求并与发送投屏请求的客户端建立投屏连接；
建立投屏连接的具体方法包括：
如图8所示，定制操作系统控制装置2，也可以直接说是中央控制器21向服务器注册用于配对的ID号和配对码；用户在客户端中选择表示相应的定制操作系统的ID号后输入配对码，服务器检测ID号与配对码的配对关系，当配对正确的时候查询相应的定制操作系统，告知该定制操作系统有客户端请求建立投屏连接，然后建立webrtc连接，定制操作系统控制装置2与客户端通过roomld连接到同一个WebSocket服务器开始交换信令然后建立定制操作系统控制装置与客户端之间的端对端连接方式，之后，客户端发送给定制操作系统控制装置的投屏内容均以端对端的传输方式进行传输；
或者如图9所示，定制操作系统控制装置2向服务器请求一个携带有表示该定制操作系统控制装置2的id的投屏二维码，手机客户端通过扫描该投屏二维码调用服务端接口，服务端通过长连接发送通知给定制操作系统有客户端投屏要接入，然后建立webrtc连接，定制操作系统控制装置2与客户端通过roomld连接到同一个WebSocket服务器开始交换信令然后建立定制操作系统控制装置与客户端之间的端对端连接方式，之后，客户端发送给定制操作系统控制装置的投屏内容均以端对端的传输方式进行传输；
或者直接将定制操作系统控制装置2与客户端所在终端通过miracast同屏连接技术建立近场连接，或者将将定制操作系统控制装置2与客户端所在终端连接至同一局域网下并通过Airply同屏连接技术将定制操作系统控制装置2与终端设备建立投屏连接关系；
B：接收所述客户端发送的投屏数据并将该投屏数据对应的投屏内容显示在显示设备1上。
投屏数据包括指定的图片、手迹、文字、视频、文件、网页等内容，以及包括客户端所在终端的页面内容。其中，视频可以是客户端所在终端本身所具有的视频或者由客户端所在终端的摄像头拍摄的实时视频，也可以是网页内的网页视频等，本实施例通过客户端的方式能够选择性地向本系统投屏指定的内容；也可以直接向本系统投屏终端页面，例如在使用手机投屏的时候，手机的打开页面就会全屏同屏到本系统的显示设备1上，通过不同的投屏方式，使本系统投屏具有更高的灵活性和实用性。
进一步地，在显示的内容是视频类型或者全屏投屏等流数据的过程中接收到批注指令时执行以下步骤：
如图10所示，获取当前画面帧并将当前画面帧冻结显示在显示设备1上，同时切换写画批注模块25至前台并将冻结的当前画面帧转换为可渲染格式并叠加在写画批注模块25上获得内容画布以进入写画批注模式，此时用户可以在以当前画面帧为背景的内容画布上进行写画批注，在写画批注模式下执行步骤S2至S3；
如图11所示，在显示的内容是图片、文字或其他静态内容的时候，写画批注模块25一直处于前台，图片、文字或其他静态内容等直接在写画批注模块25上显示，在显示过程中直接被转换为可渲染格式叠加在写画批注模块25上获得内容画布，或者在接收到批注指令之后将前述显示内容转换为可渲染格式后再次叠加在写画批注模块25上获得内容画布以进入写画批注模式，进入写画批注模式的过程中执行步骤S2至S3，写画批注模式下用户可以在内容画布上随意写画，这样，触摸轨迹便会显示在内容画布之上，也就是叠加显示在当前画面帧或当前画面之上。进一步地，在批注模式结束后以图片格式保存携带有触摸轨迹的内容画布，并恢复显示设备1的显示，即恢复到没有批注时候的状态，批注模式的进入与退出通过批注指令来确定，可以通过单击、双击、长按、画圈等方式触摸定制操作系统界面进入或退出批注模式，图片格式包括BMP格式、JPEG格式、JPEG2000格式、TIFF格式、PNG格式等。
此外，上述保存的内容画布同时发送给与中央控制器21建立投屏连接关系的客户端供用户后续回顾。
进一步地，在建立投屏连接的过程中，当接收到客户端发出的控制指令时根据控制指令控制显示设备1的显示状态，通过该方法将客户端作为遥控器控制显示设备1的显示，例如，用户通过在客户端进行相应的操作控制显示内容在显示设备1上的上下移动等。
优选地，当客户端所在终端的摄像头拍摄内容投屏到本系统的显示设备1时，或者，当本系统的中央控制器21连接于外置摄像头，并将外置摄像头的摄像内容显示在本系统的显示设备1时，还包括以下步骤：
C：中央控制器21接收连接于该中央控制器21信号输入端的摄像头所拍摄到的摄像内容或客户端所在终端所拍摄到的摄像内容，并将该摄像内容发送至显示设备1进行同步显示；
D：如图9所示，在显示摄像内容的过程中接收到批注指令时，获取当前画面帧并将当前画面帧冻结显示在显示设备1上，同时切换写画批注模块25至前台并将冻结的当前画面帧转换为可渲染格式并叠加在写画批注模块25上获得内容画布以进入写画批注模式，此时用户可以在以当前画面帧为背景的内容画布上进行写画批注，进入写画批注模式的过程中执行步骤S2至S3，这样，触摸轨迹便会显示在内容画布之上，也就是叠加显示在当前画面帧之上，在冻结显示的过程中即使摄像头下的摄像内容有所改变，显示设备1上的显示内容也冻结不变，当结束批注模式后，同样将带有触摸轨迹的内容画布以图片格式进行保存，显示设备1恢复正常的摄像内容的播放流。
本发明的系统和方法对存量的整个电视显示市场，包括液晶电视具有一个很好地改造效果，使普通的显示设备1同时拥有两套系统，一套是是其本身具有的自有系统，例如液晶电视的电视系统，另一套是融入至显示设备1中的定制操作系统，用户可以根据需要随时切换系统，当用户切换为自有系统时，对于液晶电视来说，其就是一普通的电视机，当用户切换为定制操作系统时，电视设备打开就是一定制操作系统界面，用户可以在定制操作系统界面进行上写画、投屏等操作。目前的液晶电视、会议电视等只有观看功能，有的具有触摸功能的电视也只能通过触摸屏操作电视播放而已，本发明将定制操作系统结合在普通的显示设备1上，赋予显示设备1单纯的控制功能外，还能够将显示设备1作为黑板等使用，当显示设备1的输入信号源切换为定制操作系统的信号源时，显示设备1打开就是黑板界面，并且搭配不同尺寸的红外触摸框221能够适应于不同尺寸的显示设备1，降低设备升级的成本，并且在普通显示设备1损坏的情况下也只需要更换作为显示用的显示设备1，无需更换触摸感应设备22等，减少维护成本。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了显示设备1；定制操作系统控制装置2；中央控制器21；触摸感应设备22；投屏模块24；画面流接受模块242；画面帧获取模块241；写画批注模块25；遥控信息处理及响应模块28；存储模块29；发送模块20；HDMI接口31；USB接口32；装置电源接口33；显示设备电源接口34；USB插口35；HDMI插口36等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种在显示设备上实现写画的系统，其特征在于，包括用于改装显示设备(1)的改装套件，所述的改装套件包括连接于显示设备(1)的定制操作系统控制装置(2)，所述的定制操作系统控制装置(2)包括中央控制器(21)和连接于中央控制器(21)的控制器信号输入端且用于检测用户在定制操作系统界面上触摸手势的触摸感应设备(22)。
2.根据权利要求1所述的在显示设备上实现写画的系统，其特征在于，所述控制器信号输入端包括至少一个信号接口，且其中一个信号接口连接于所述的触摸感应设备(22)，且所述的触摸感应设备(22)为同尺寸包覆在显示设备(1)周向边缘的红外触摸框。
3.根据权利要求2所述的在显示设备上实现写画的系统，其特征在于，所述的显示设备(1)具有至少两个显示信号输入端，所述中央控制器(21)的控制器信号输出端连接于显示设备(1)的其中的一个显示信号输入端。
4.根据权利要求3所述的在显示设备上实现写画的系统，其特征在于，所述的中央控制器(21)还包括有投屏模块(24)和写画批注模块(25)，所述的投屏模块(24)又包括画面流接受模块(242)和画面帧获取模块(241)，其中，
投屏模块(24)，用于将客户端的投屏内容投屏到所述显示设备(1)上；
画面流接受模块(242)，用于接受客户端投屏给本系统的画面流；或者接受摄像头拍摄的画面流；或者接受浏览器中的互联网画面流；
画面帧获取模块(241)，用于在接收到批注指令时获取当前画面帧，并切换写画批注模块(25)至前台，同时将当前画面帧发送给写画批注模块(25)使显示设备(1)冻结在获取到的当前画面帧页面；
写画批注模块(25)，用于将用户在定制操作系统界面的触摸轨迹进行渲染以在定制操作系统界面显示用户的批注笔记；用于将冻结的当前画面帧转换为可渲染格式的内容画布，或者直接将当前画面转换为可渲染格式的内容画布，并实时将触摸轨迹在内容画布上进行渲染并将渲染轨迹显示在内容画布上。
5.根据权利要求4所述的在显示设备上实现写画的系统，其特征在于，所述的中央控制器(21)还包括有用于接收处理并响应客户端发送的遥控指令的遥控信息处理及响应模块(28)，用于存储用户在显示设备(1)上的批注笔迹和/或渲染有批注笔迹的内容画布的存储模块(29)，以及用于将保存的内容画布发送给相应客户端的发送模块(20)。
6.一种在显示设备上实现写画的方法，其特征在于，包括以下步骤：
S1：根据用户操作选择显示设备(1)的信号输入源，当用户选择改装套件的定制操作系统信号源时，显示设备(1)进入定制操作系统并显示定制操作系统界面；
S2：进入定制操作系统后，检测用户在定制操作系统界面中的触摸手势，并将触摸手势传输至中央控制器(21)；
S3：中央控制器(21)对触摸手势进行识别，并将识别结果转换为数字信号发送给显示设备(1)使显示设备(1)显示用户的触摸轨迹，或者根据用户的触摸手势执行相应动作。
7.根据权利要求6所述的在显示设备上实现写画的方法，其特征在于，所述显示设备(1)的显示信号输入端连接有定制操作系统控制器，所述的定制操作系统信号源由该定制操作系统控制器提供；所述的定制操作系统控制器包括所述的中央控制器(21)，且所述中央控制器(21)的控制器信号输出端连接于显示设备(1)的显示信号输入端；
或者，所述的定制操作系统控制装置(2)还包括安装在显示设备(1)周向外侧且用于检测用户在定制操作系统界面上触摸手势的触摸感应设备(22)，所述的触摸感应设备(22)连接于所述中央控制器(21)的控制器信号输入端。
8.根据权利要求6或7任意一项所述的在显示设备上实现写画的方法，其特征在于，在显示设备(1)显示定制操作系统界面时，还包括以下步骤：
A:接收客户端发送给服务器的投屏请求并与发送投屏请求的客户端建立投屏连接；
B：接收所述客户端发送的投屏数据并将该投屏数据对应的投屏内容显示在显示设备(1)上。
9.根据权利要求8所述的在显示设备上实现写画的方法，其特征在于，在显示投屏内容的过程中接收到批注指令时，获取当前画面帧或当前画面并将当前画面帧或当前画面冻结显示在显示设备(1)上后执行步骤S2至S3，并将触摸笔迹叠加显示在当前画面帧或当前画面之上；
并且，在建立投屏连接的过程中接收到客户端发出的控制指令时根据控制指令控制显示设备(1)的显示状态。
10.根据权利要求9所述的在显示设备上实现写画的方法，其特征在于，在显示设备(1)显示定制操作系统界面时，还包括以下步骤：
C：中央控制器(21)接收连接于该中央控制器(21)信号输入端的摄像头所拍摄到的摄像内容或客户端所在终端所拍摄到的摄像内容，并将该摄像内容发送至显示设备(1)进行同步显示；
D：在显示摄像内容的过程中接收到批注指令时，获取当前画面帧并将当前画面帧冻结显示在显示设备(1)上后执行步骤S2至S3，并将触摸轨迹叠加显示在当前画面帧之上。
CN201810131521.9A 2018-01-24 2018-02-09 在显示设备上实现写画的方法和系统 Active CN108260011B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810066473 2018-01-24
CN201810066473X 2018-01-24

Publications (2)

Publication Number Publication Date
CN108260011A true CN108260011A (zh) 2018-07-06
CN108260011B CN108260011B (zh) 2024-01-12

Family

ID=62744981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810131521.9A Active CN108260011B (zh) 2018-01-24 2018-02-09 在显示设备上实现写画的方法和系统

Country Status (1)

Country Link
CN (1) CN108260011B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050113A (zh) * 2018-10-11 2020-04-21 苏州品祺电子科技有限公司 一种会议一体机
CN111600977A (zh) * 2020-05-15 2020-08-28 魏天骋 一种以移动终端为数据处理器的共享装置
CN112216094A (zh) * 2020-10-26 2021-01-12 深圳乐播科技有限公司 基于遥控器的投屏控制系统及投屏控制方法
CN113709389A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 一种视频渲染方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303197A1 (en) * 2008-05-02 2009-12-10 Bonczek Bryan S Touch sensitive video signal display for a programmable multimedia controller
WO2010139136A1 (zh) * 2009-06-01 2010-12-09 海尔集团公司 信号源及具有该信号源的电视机
US20130027328A1 (en) * 2011-07-28 2013-01-31 Wistron Corporation Display device with on-screen display menu function
TW201432536A (zh) * 2013-03-20 2014-08-16 Focaltech Systems Ltd 一種終端設備的觸摸檢測系統及終端設備
CN104254010A (zh) * 2013-06-28 2014-12-31 捷达世软件（深圳）有限公司 虚拟遥控器输入信号源切换系统及方法
CN106415473A (zh) * 2014-05-21 2017-02-15 三星电子株式会社 显示器装置及其控制方法
CN107168674A (zh) * 2017-06-19 2017-09-15 浙江工商大学 投屏批注方法和系统
KR20180003968A (ko) * 2016-06-30 2018-01-10 엘지디스플레이 주식회사 터치 센서를 갖는 표시장치와 그 구동방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090303197A1 (en) * 2008-05-02 2009-12-10 Bonczek Bryan S Touch sensitive video signal display for a programmable multimedia controller
WO2010139136A1 (zh) * 2009-06-01 2010-12-09 海尔集团公司 信号源及具有该信号源的电视机
US20130027328A1 (en) * 2011-07-28 2013-01-31 Wistron Corporation Display device with on-screen display menu function
TW201432536A (zh) * 2013-03-20 2014-08-16 Focaltech Systems Ltd 一種終端設備的觸摸檢測系統及終端設備
CN104254010A (zh) * 2013-06-28 2014-12-31 捷达世软件（深圳）有限公司 虚拟遥控器输入信号源切换系统及方法
CN106415473A (zh) * 2014-05-21 2017-02-15 三星电子株式会社 显示器装置及其控制方法
KR20180003968A (ko) * 2016-06-30 2018-01-10 엘지디스플레이 주식회사 터치 센서를 갖는 표시장치와 그 구동방법
CN107168674A (zh) * 2017-06-19 2017-09-15 浙江工商大学 投屏批注方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASLIHAN TUFEKCI，等: "Developing a FPGA -Supported Touchscreen Writing/Drawing System for Educational Environments", 《JOURNAL OF MULTIDISCIPLINARY DEVELOPMENTS》 *
徐敏: "融合文化与技术创新初中化学主题式教学", 《中国优秀硕士学位论文全文数据库电子期刊》 *
林腾: "基于平板智能电视多媒体教学系统的设计构建与思考——以多媒体教室改造项目为例", 《电脑知识与技术》, vol. 12, no. 15 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050113A (zh) * 2018-10-11 2020-04-21 苏州品祺电子科技有限公司 一种会议一体机
CN111600977A (zh) * 2020-05-15 2020-08-28 魏天骋 一种以移动终端为数据处理器的共享装置
CN113709389A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 一种视频渲染方法、装置、电子设备及存储介质
CN112216094A (zh) * 2020-10-26 2021-01-12 深圳乐播科技有限公司 基于遥控器的投屏控制系统及投屏控制方法

Also Published As

Publication number Publication date
CN108260011B (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN108260011A (zh) 在显示设备上实现写画的方法和系统
EP2446619B1 (en) Method and device for modifying a composite video signal layout
US9769423B2 (en) System and method for point to point integration of personal computers with videoconferencing systems
US9756285B2 (en) Method, device, and display device for switching video source
CN108282677A (zh) 通过客户端实现内容投屏的方法、投屏装置及系统
CN105302285A (zh) 多屏显示方法、设备及系统
CN110572591B (zh) Kvm坐席系统信号源预览系统及预览方法
CN103984494A (zh) 用于多种设备间的直觉式用户互动系统及方法
CN112073765A (zh) 一种显示设备
CN108762702A (zh) 移动终端、图像显示装置及使用其的用户接口提供方法
CN112527224B (zh) 拼接屏视频布局装置、方法、终端设备、系统及介质
CN105718111A (zh) 交互智能平板及其交互方法、方式和系统
CN103312756A (zh) 电子设备间数据传输的方法、系统及服务器
Liao et al. Shared interactive video for teleconferencing
CN107959811B (zh) 一种可触摸交互式的hdmi in显示及处理方法
CN103336649A (zh) 一种多终端间反馈窗图像共享的方法及装置
CN103177373A (zh) 一种互动商用体验方法及系统
CN209248505U (zh) 一种基于多屏联动技术的数据可视化处理装置
JP6244735B2 (ja) 情報共有装置及び情報共有システム
CN206759648U (zh) 富媒体直播录播系统
CN101546221A (zh) 数据处理方法、装置和系统
CN106339193B (zh) 一种无线手持交互方法及手持交互式多媒体系统
CN105812899A (zh) 电子装置群连接系统及方法
CN108037971A (zh) 一种用于投影机的多方协作可视化装置及方法
CN111601042B (zh) 图像采集方法、图像展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 211800 12 / F, Kechuang No.1 building, NO.320, pubin Road, Jiangpu street, Pukou District, Nanjing City, Jiangsu Province

Applicant after: Nanjing wahi Network Technology Co.,Ltd.

Address before: 201620 Shanghai city Songjiang District Wenhui Road No. 1128

Applicant before: SHANGHAI WAHAI NETWORK TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20231212

Address after: 221400 plant 4, smart grid industrial park, Qiongjiang West Road, Xinyi City, Xuzhou City, Jiangsu Province

Applicant after: Kunhao Electronic Technology (Jiangsu) Co.,Ltd.

Address before: 211800 12th floor, Kechuang No.1 building, NO.320, pubin Road, Jiangpu street, Pukou District, Nanjing City, Jiangsu Province

Applicant before: Nanjing wahi Network Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant