CN113946400B - 在智能交互大屏上降低Windows端书写延迟的方法 - Google Patents

在智能交互大屏上降低Windows端书写延迟的方法 Download PDF

Info

Publication number
CN113946400B
CN113946400B CN202111268487.8A CN202111268487A CN113946400B CN 113946400 B CN113946400 B CN 113946400B CN 202111268487 A CN202111268487 A CN 202111268487A CN 113946400 B CN113946400 B CN 113946400B
Authority
CN
China
Prior art keywords
image
resolution
refresh rate
motion compensation
screen refresh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111268487.8A
Other languages
English (en)
Other versions
CN113946400A (zh
Inventor
杨军
吴明军
张楠楠
敖云露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Education Technology Co ltd
Original Assignee
Sichuan Changhong Education Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Education Technology Co ltd filed Critical Sichuan Changhong Education Technology Co ltd
Priority to CN202111268487.8A priority Critical patent/CN113946400B/zh
Publication of CN113946400A publication Critical patent/CN113946400A/zh
Application granted granted Critical
Publication of CN113946400B publication Critical patent/CN113946400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明涉及触摸交互技术，其公开了一种在智能交互大屏上降低Windows端书写延迟的方法，有效降低在Windows端的书写延迟，提高用户体验。该方案包括：Android系统解析Windows系统传入的图像后，进行以下处理：S1、根据图像的分辨率和屏幕刷新率调用相对应的画质参数；S2、根据图像的分辨率和屏幕刷新率判断是否需要进行运动补偿缓存，若需要，则进入步骤S3；若不需要，则进入步骤S4；S3、确定需要进行运动补偿缓存的帧数，然后进行运动补偿缓存处理，进入步骤S4；S4、将图像推送到显存上，等待显示。

Description

在智能交互大屏上降低Windows端书写延迟的方法
技术领域
本发明涉及触摸交互技术，具体涉及一种在智能交互大屏上降低Windows端书写延迟的方法。
背景技术
智能交互大屏是一种将触摸框、显示屏、电脑等集成到一台整机上的智能交互设备，系统包括Android系统，Windows系统。Android系统与Windows系统可正常通信，其中，Android系统主要负责交互大屏的开关机，常用设置(如背光，音量等)，Android系统开机后会把Windows电脑启动起来，Windows系统作为一个信号源使用，比如，在教育领域，用户主要采用Windows系统来授课。
Windows书写延迟是指用户触摸书写到显示屏显示出笔迹的时间差，这过程包括:用户通过触摸屏书写，触摸屏将触摸点信号发送给Windows系统，Windows系统把触摸点信号发送给Windows白板，Windows白板获取触摸点开始绘制，Windows系统将绘制的点合成一帧一帧的图像，图像通过HDMI线传递给Android系统，Android系统解码图像后会进行一系列处理(画质，运动补偿等)，处理完成后再把图像推送给显示屏显示。Android系统处理图像时间约占总时间的50％。
由于教学主要在Windows系统下完成，用户对Windows端的书写要求比较高，但由于Android系统标准的显示处理流程会对图像进行一系列处理，使书写延迟大大增加。
发明内容
本发明所要解决的技术问题是：提出一种在智能交互大屏上降低Windows端书写延迟的方法，有效降低在Windows端的书写延迟，提高用户体验。
本发明解决上述技术问题采用的技术方案是：
在智能交互大屏上降低Windows端书写延迟的方法，应用于智能交互大屏，所述智能交互大屏带有触摸框，并预装有Android系统和Windows系统；
该方法包括：Windows系统将根据触摸点绘制的图像传入Android系统，Android系统解析Windows系统传入的图像后，进行以下处理：
S1、根据图像的分辨率和屏幕刷新率调用相对应的画质参数；
S2、根据图像的分辨率和屏幕刷新率判断是否需要进行运动补偿缓存，若需要，则进入步骤S3；若不需要，则进入步骤S4；
S3、确定需要进行运动补偿缓存的帧数，然后进行运动补偿缓存处理，进入步骤S4；
S4、将图像推送到显存上，等待显示。
作为进一步优化，步骤S1中，所述画质参数提前预设，且设置有多组，与图像的不同分辨率和不同使用场景的屏幕刷新率对应。
作为进一步优化，步骤S1中，在当前屏幕刷新率较高的情况下，对于较高分辨率的图像，所调用的对应的画质参数中去掉饱和度、对比度和色调处理，以降低画质处理时间。
作为进一步优化，步骤S2中，所述根据图像的分辨率和屏幕刷新率判断是否需要进行运动补偿缓存，具体包括：
在当前屏幕刷新率较高的情况下，对于较高分辨率的图像不需要进行运动补偿缓存，对于较低分辨率的图像需要进行运动补偿缓存；在当前屏幕刷新率较低的情况下，对于较高分辨率和较低分辨率图像均需要进行运动补偿缓存。
作为进一步优化，步骤S3中，所述需要进行运动补偿缓存的帧数根据图像分辨率和不同使用场景的屏幕刷新率提前预设：在相同屏幕刷新率下，图像分辨率越高，需要进行运动补偿缓存的帧数越少；对于相同图像分辨率，屏幕刷新率越高，需要进行运动补偿缓存的帧数越少。由于缓存帧会极大增加书写延迟，在确保显示正常情况下应尽量减少。
本发明的有益效果是：
通过修改Android端图像处理流程，主要包括优化运动补偿缓存帧，减少画质处理，使得Windows端书写延迟能大幅度缩短，从而提升用户体验。该方案也可以应用到带触摸框的其它显示设备上。
附图说明
图1为实施例中的在智能交互大屏上降低Windows端书写延迟的方法流程图。
具体实施方式
本发明旨在提出一种在智能交互大屏上降低Windows端书写延迟的方法，有效降低在Windows端的书写延迟，提高用户体验。其核心思想是：对于Android系统解析图像后的处理流程进行优化，由于在较高屏幕刷新率的使用场景，对于较高分辨率的图像，在画质处理时去掉饱和度、对比度和色调处理依然能够满足显示要求，却能够节约画质处理时间；此外，在运动补偿缓存方面也进行了相应优化处理，比如：屏幕刷新率较高的情况下，对于高分辨率图像不进行补偿，对于相同图像分辨率，屏幕刷新率越高，需要进行运动补偿缓存的帧数越少，从而尽量减少会影响书写延迟的缓存帧的个数。
实施例：
如图1所示，本实施例中的在智能交互大屏上降低Windows端书写延迟的方法包括以下实施步骤：
1、Windows系统将根据触摸点绘制的图像传入Android系统；
2、Android系统解析Windows系统传入的图像；
3、根据图像的分辨率和屏幕刷新率调用相对应的画质参数；
具体的，可以提前预设多组画质参数，与图像的不同分辨率和不同使用场景的屏幕刷新率对应。在当前屏幕刷新率较高的情况下，对于较高分辨率的图像，所调用的对应的画质参数中去掉饱和度、对比度和色调处理；在当前屏幕刷新率较低的情况下，对于较高分辨率图像，则去掉色调处理。比如：4k@60hz，1080p@60hz等刷新率较高情况下，去掉了饱和度，对比度，色调处理，在4k@30hz等较低刷新率下，则去掉色调处理；如此，可以减少画质处理时间。
4、根据图像的分辨率和屏幕刷新率判断是否需要进行运动补偿缓存，若需要，确定需要进行运动补偿缓存的帧数，然后进行运动补偿缓存处理；运动补偿缓存处理后，将图像推送到显存上，若不需要进行运动补偿缓存，则直接将图像推送到显存上，等待显示。
具体的，在当前屏幕刷新率较高的情况下，对于较高分辨率的图像不需要进行运动补偿缓存，对于较低分辨率的图像需要进行运动补偿缓存；在当前屏幕刷新率较低的情况下，对于较高分辨率和较低分辨率图像均需要进行运动补偿缓存。
在相同屏幕刷新率下，图像分辨率越高，需要进行运动补偿缓存的帧数越少；对于相同图像分辨率，屏幕刷新率越高，需要进行运动补偿缓存的帧数越少。由于缓存帧会极大增加书写延迟，在确保显示正常情况下应尽量减少。
比如：4k@60hz下不缓存，4k@30hz下缓存1-2帧，1080P@60HZ下缓存1-2帧，1080p@30hz缓存2-3帧。调整之后，可以极大降低书写延迟。
经过实验验证，Windows10系统4k@30Hz下，使用本方案，书写延迟可从267ms降低到150ms左右。Windows10系统1080p@60Hz下，使用本方案，书写延迟可从208ms降低到100ms左右。
需要说明的是，本发明中所述的“较高”、“较低”均为与参考值比较的表述方式，参考值可以根据实际情况设置，比如：以1080p作为图像分辨率的参考，则1080p、4K像素的图像均可以称之为“较高”分辨率。对于“较低”分辨率的情况也类似，这里不再赘述。

Claims (1)

1.在智能交互大屏上降低Windows端书写延迟的方法，应用于智能交互大屏，所述智能交互大屏带有触摸框，并预装有Android系统和Windows系统；其特征在于，
该方法包括：Windows系统将根据触摸点绘制的图像传入Android系统，Android系统解析Windows系统传入的图像后，进行以下处理：
S1、根据图像的分辨率和屏幕刷新率调用相对应的画质参数；
S2、根据图像的分辨率和屏幕刷新率判断是否需要进行运动补偿缓存，若需要，则进入步骤S3；若不需要，则进入步骤S4；
S3、确定需要进行运动补偿缓存的帧数，然后进行运动补偿缓存处理，进入步骤S4；
S4、将图像推送到显存上，等待显示；
步骤S1中，所述画质参数提前预设，且设置有多组，与图像的不同分辨率和不同使用场景的屏幕刷新率对应；在当前屏幕刷新率较高的情况下，对于较高分辨率的图像，所调用的对应的画质参数中去掉饱和度、对比度和色调处理；
步骤S2中，所述根据图像的分辨率和屏幕刷新率判断是否需要进行运动补偿缓存，具体包括：
在当前屏幕刷新率较高的情况下，对于较高分辨率的图像不需要进行运动补偿缓存，对于较低分辨率的图像需要进行运动补偿缓存；在当前屏幕刷新率较低的情况下，对于较高分辨率和较低分辨率图像均需要进行运动补偿缓存；
步骤S3中，所述需要进行运动补偿缓存的帧数根据图像分辨率和不同使用场景的屏幕刷新率提前预设：在相同屏幕刷新率下，图像分辨率越高，需要进行运动补偿缓存的帧数越少；对于相同图像分辨率，屏幕刷新率越高，需要进行运动补偿缓存的帧数越少。
CN202111268487.8A 2021-10-29 2021-10-29 在智能交互大屏上降低Windows端书写延迟的方法 Active CN113946400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111268487.8A CN113946400B (zh) 2021-10-29 2021-10-29 在智能交互大屏上降低Windows端书写延迟的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111268487.8A CN113946400B (zh) 2021-10-29 2021-10-29 在智能交互大屏上降低Windows端书写延迟的方法

Publications (2)

Publication Number Publication Date
CN113946400A CN113946400A (zh) 2022-01-18
CN113946400B true CN113946400B (zh) 2023-04-25

Family

ID=79337063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111268487.8A Active CN113946400B (zh) 2021-10-29 2021-10-29 在智能交互大屏上降低Windows端书写延迟的方法

Country Status (1)

Country Link
CN (1) CN113946400B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960003397A (ko) * 1994-06-13 1996-01-26 이헌조 영상움직임 보상용 어드레스 발생장치
CN102685521A (zh) * 2011-09-29 2012-09-19 京东方科技集团股份有限公司 一种显示方法和显示装置
CN103268194A (zh) * 2013-04-18 2013-08-28 广州视睿电子科技有限公司 一种交互智能平板的延迟时间测试方法及测试工具
CN106658170A (zh) * 2016-12-20 2017-05-10 福州瑞芯微电子股份有限公司 一种降低虚拟现实延迟的方法和装置
CN109032494A (zh) * 2018-08-15 2018-12-18 广州视源电子科技股份有限公司 智能交互系统、书写轨迹显示方法、装置、平板及介质
CN112422873A (zh) * 2020-11-30 2021-02-26 Oppo（重庆）智能科技有限公司 插帧方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960003397A (ko) * 1994-06-13 1996-01-26 이헌조 영상움직임 보상용 어드레스 발생장치
CN102685521A (zh) * 2011-09-29 2012-09-19 京东方科技集团股份有限公司 一种显示方法和显示装置
CN103268194A (zh) * 2013-04-18 2013-08-28 广州视睿电子科技有限公司 一种交互智能平板的延迟时间测试方法及测试工具
CN106658170A (zh) * 2016-12-20 2017-05-10 福州瑞芯微电子股份有限公司 一种降低虚拟现实延迟的方法和装置
CN109032494A (zh) * 2018-08-15 2018-12-18 广州视源电子科技股份有限公司 智能交互系统、书写轨迹显示方法、装置、平板及介质
CN112422873A (zh) * 2020-11-30 2021-02-26 Oppo（重庆）智能科技有限公司 插帧方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113946400A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
US9786255B2 (en) Dynamic frame repetition in a variable refresh rate system
CN100524434C (zh) 液晶显示中帧频转换或像素过激励的动态选择的装置和方法
EP3751862B1 (en) Display method and device, television set, and storage medium
US7542010B2 (en) Preventing image tearing where a single video input is streamed to two independent display devices
CN103347163A (zh) 一种超高清视频图像处理和传送的系统及其方法
CN108156533B (zh) 智能电视背光调节方法、智能电视以及存储介质
CN112965678A (zh) 一种基于电子墨水屏的显示器、装置、存储介质及方法
US20200029057A1 (en) Systems and methods for correcting color separation in field-sequential displays
EP1607934A2 (en) Blur reduction in liquid crystal displays by frame rate control
EP3905231A1 (en) Display apparatus and control method thereof
CN113946400B (zh) 在智能交互大屏上降低Windows端书写延迟的方法
CN110767184B (zh) 背光亮度处理方法、系统、显示设备及介质
CN109545122B (zh) Vr显示的补偿方法及补偿装置、显示系统
CN103260044B (zh) 3d超高清信号处理方法和装置
US9418631B2 (en) Display control apparatus and method and image processing method
CN110753194B (zh) 双屏异显方法、存储介质及电子设备
CN111292677B (zh) 一种图像显示处理方法、装置、计算机设备及存储介质
CN111405362B (zh) 视频输出方法、装置、视频设备及计算机可读存储介质
CN109688401B (zh) 数据传输方法、显示系统、显示设备及数据存储设备
CN112468756B (zh) 一种视频信号无失帧显示方法及显示设备
CN108255551B (zh) 一种gui内存优化方法及系统
CN112653860A (zh) 一种基于HDMI接口的CameraLink信号源数据处理方法
CN106385553A (zh) 一种高分辨率极清显示系统及方法
JP2014041455A (ja) 画像処理装置、画像処理方法、及びプログラム
CN115379148B (zh) 一种基于fpga平台的视频osd菜单图像叠加方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant