CN114047837A - 屏幕刷新定位方法、装置、显示设备和存储介质 - Google Patents

Abstract

本申请涉及一种屏幕刷新定位方法、装置、显示设备和存储介质。其中，屏幕刷新定位方法，包括：获取触控位置信息；触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态；识别触控位置信息，确定触控笔的当前触点位置。本申请通过屏幕的动态刷新将显示屏上触控笔停留位置的信息传递出去，可以低成本的实现屏幕触控。

Description

屏幕刷新定位方法、装置、显示设备和存储介质

技术领域

本申请涉及触控交互技术领域，特别是涉及一种屏幕刷新定位方法、装置、显示设备和存储介质。

背景技术

对动辄上百寸的LED(Light-Emitting Diode，发光二极管)显示屏来说，要实现触控，目前其最低成本的实现方式是利用红外触摸边框。包括红外触摸边框和触控笔，其方式是利用屏幕边沿安置一系列的红外探头，探头会照射到触控笔笔尖，产生反光。通过对不同探头的反射光的检测，计算出当前落点的准确坐标。然而红外触摸边框的方式，当发出的光线受遮挡，触控功能就会丧失，另外屏幕边沿位置的触控灵敏度较低。架设在屏幕边沿部分的探头位置也难以忽略，屏幕边沿的大黑边无法避免。

而其他的显示屏触控方案，包括电容式、向量压力传感式、表面声波式、金属网格式、压敏电阻式和红外式等，普遍受限于成本和全尺寸控制的矛盾，难以在较低成本的情况下，以较低的延迟实现全尺寸的触屏控制。即在实现过程中，发现传统技术中至少存在如下问题：目前的触控方式，存在成本较高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低成本的屏幕刷新定位方法、装置、显示设备和存储介质。

为了实现上述目的，一方面，本申请实施例提供了一种屏幕刷新定位方法，包括：

获取触控位置信息；触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态；

识别触控位置信息，确定触控笔的当前触点位置。

在其中一个实施例中，当前刷新内容还包含显示内容；灯珠工作状态包括一帧中预设时隙上的灯珠亮灭状态；

识别触控位置信息，确定触控笔的当前触点位置的步骤包括：

对一帧中预设时隙上的灯珠亮灭状态分别进行编码，得到二进制数；

处理二进制数，将得到的灯珠位置作为触控笔的当前触点位置。

在其中一个实施例中，一帧中除预设时隙外的剩余时隙用于表达显示内容；其中，预设时隙中的每个时隙以等间隔方式插入到剩余时隙中。

在其中一个实施例中，灯珠位置包括灯珠粗略位置和灯珠精确位置；灯珠数据为单颗灯珠于一帧中的时隙数据；刷新策略还包括触控对象的当前刷新内容为连续预设数量的视频帧；

连续预设数量的视频帧中的首帧用于表达灯珠粗略位置；连续预设数量的视频帧中的末尾两帧分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

在其中一个实施例中，灯珠精确位置为灯珠坐标；灯珠粗略位置包括灯珠所属的模组编号和/或模组所属的显示区域编号；连续预设数量的视频帧的数量为3帧。

在其中一个实施例中，灯珠位置包括灯珠粗略位置和灯珠精确位置；灯珠数据为单个像素中各灯珠于同一帧中的时隙数据；

单个像素中的一颗灯珠用于表达灯珠粗略位置；单个像素中的另两颗灯珠分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

在其中一个实施例中，识别触控位置信息，确定触控笔的当前触点位置的步骤之前，还包括步骤：

若检测到灯珠数据的帧头中存在换帧标记，则确认触控对象在触控笔的本次触控采集时刻已完成换帧。

一种屏幕刷新定位装置，包括：

信息获取模块，用于获取触控位置信息；触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态；

识别定位模块，用于识别触控位置信息，确定触控笔的当前触点位置。

一种显示设备，显示设备包括显示屏和控制装置；

其中，显示屏作为触控笔的触控对象；控制装置用于执行上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。

上述技术方案中的一个技术方案具有如下优点和有益效果：

本申请获取到的触控位置信息，为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；而刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态；进而通过识别触控位置信息，可以确定触控笔的当前触点位置。本申请通过屏幕的动态刷新将显示屏上触控笔停留位置的信息传递出去，从而使得能够依据当前截获的信息，计算出当前停留的位置坐标，进而可以低成本的实现屏幕触控。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中屏幕刷新定位方法的应用环境图；

图2为一个实施例中屏幕刷新定位方法的流程示意图；

图3为一个实施例中触控笔原理示意图；

图4为一个实施例中触控对象刷新特征示意图；

图5为一个实施例中单颗灯珠于一帧的灯珠数据示意图；

图6为一个实施例中单个像素于一帧的灯珠数据示意图；

图7为另一个实施例中屏幕刷新定位方法的流程示意图；

图8为一个实施例中单颗灯珠采样的帧头标记特征示意图；

图9为一个实施例中单个像素采样的帧头标记特征示意图；

图10为一个实施例中屏幕刷新定位装置的结构框图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

空间关系术语例如“在...下”、“在...下面”、“下面的”、“在...之下”、“在...之上”、“上面的”等，在这里可以用于描述图中所示的一个元件或特征与其它元件或特征的关系。应当明白，除了图中所示的取向以外，空间关系术语还包括使用和操作中的器件的不同取向。例如，如果附图中的器件翻转，描述为“在其它元件下面”或“在其之下”或“在其下”元件或特征将取向为在其它元件或特征“上”。因此，示例性术语“在...下面”和“在...下”可包括上和下两个取向。此外，器件也可以包括另外地取向(譬如，旋转90度或其它取向)，并且在此使用的空间描述语相应地被解释。

需要说明的是，当一个元件被认为是“连接”另一个元件时，它可以是直接连接到另一个元件，或者通过居中元件连接另一个元件。此外，以下实施例中的“连接”，如果被连接的对象之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。

LED显示屏的屏幕触控一直以来主要受到三个问题限制。第一是要实现全尺寸LED显示屏的屏幕触控，需要付出很大的硬件成本，且对这些硬件的控制占用了系统很大的内存。第二是大尺寸显示屏的触控要维持较低的延迟，即完成一次触控交互所用时间要极低。第三是触控传感器的排布和隐藏，减少在屏幕表面出现的缝隙以及对显示屏显示质量可能造成的影响。

传统外接红外边框的方案是在屏幕边沿架设红外对管传感器，利用红外光和反光，检测屏幕表面的触控输入位置。但存在至少如下问题：①屏幕边沿位置必须要预留出一定位置，供红外对管传感器及其模组的安放，屏幕始终会有黑色边界。②屏幕边沿部分，由于出射光和入射光差异较小，故触控的灵敏度相对中间较低，并不是全屏一致的灵敏度。③不同的搭建环境下，可能会出现的情况是，在红外光线收到遮挡返射回去后，其后面的触控需求被屏蔽。

而在其他传统方案中，利用采用向量压力传感器，即细密的应变片来对屏幕触控坐标进行反馈，则整屏需要架设的应变片甚多；采用金属网格，网格贴附在屏幕表面会造成屏幕的遮挡；采用电容控制则难以实现低延迟交互。各种屏幕触控方法在LED显示屏上，都有所缺陷。而对于触控交互来说，核心的工作就是确定触点相对于屏幕的位置坐标，确定触点坐标的方法，是触控交互要解决的首要问题，也是LED显示屏当前要实现触控交互的首要问题。此外，高分辨率的LED显示屏，其封装结构的加工工艺，对一致性的要求极高。轻易的改变其内部组成构件特征，容易降低屏幕的显示质量。

对此，本申请提出了一种采用插帧法实现的屏幕刷新定位方案，其并不需要屏幕结构有明显的改动，只需要按照相应的刷新策略，实现在触控笔的操作下的屏幕触控交互，低成本、低延时。该方案能够基于现有的显示屏封装形式，适用于LED显示屏，可以实现显示触控，且成本极低，全尺寸触控灵敏度一致。该触控定位方案，利用屏幕高速的动态刷新特征，将交互所需要的数据，如参考坐标位置等，插入在屏幕的待刷新画面中，占用屏幕的部分画面刷新时间，用以刷新参考坐标的位置信息。同时，配合可以采集刷新特征的触控笔，以相应的采样频率，实现对当前触控位置信息的采集，进而将所采集的信息反送至交互系统，实现显示屏的内容交互。

本申请对触控笔的采样频率要求较低，对画面的显示影响相对较小(在人眼难以察觉的范围内)，能够降低屏幕延时。本申请的基本思路包括：灯珠或者像素点在一帧中的刷新N个时隙，可以将其中的一部分时隙抽出，固定的用于刷新灯珠的位置坐标，可以降低成本的同时显著降低屏幕延时。为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的屏幕刷新定位方法，可以应用于如图1所示的应用环境中。其中，交互系统用于显示屏的触控交互。屏幕以极高的刷新率不断刷新显示画面，触控笔以相应的采样频率来获取画面信息。具体的，显示屏保持高速刷新，其所刷新的内容可以分为两个部分特征，一部分是显示内容，另一部分是交互信息。而触控笔以一定的采样率，将显示屏在每一次刷新的时间片段的工作状态都记录下来，通过直接或间接的特征识别，获取其中用于交互的信息，例如灯珠坐标、偏移距离、移动速度等。即利用显示屏的高速刷新能力和视频源的低帧率差异，可实现屏幕的低延时触控交互。

图1中的交互系统可以为独立的控制系统，用于给显示屏配置相应的刷新策略(例如，控制指令)，并与触控笔进行交互；在一些示例中，交互系统也可以是包括包含屏幕和控制装置的显示设备以及触控笔的系统，进而触控笔与该显示设备中的控制装置进行交互，此外，该控制装置可以独立于屏幕设置，也可以与屏幕同属于显示设备，该控制装置可以用于给显示屏配置相应的刷新策略(例如，控制指令)，并与触控笔进行交互。其中，本申请屏幕刷新定位方法即可以应用在交互系统中，也可以应用在控制装置中，还可以应用在触控笔中(由触控笔采集并解析触控位置信息、反馈相应的刷新策略等，即触控笔与屏幕交互的同时执行触控操作)。

需要说明的是，触控对象可以包括显示屏；显示屏可以是液晶显示屏或者电子墨水显示屏；在一些实施例中，显示屏可以是LED显示屏。进一步的，该显示屏可以基于现有的miniLED、microLED(微米发光二极管)或者进行过表面强化处理的SMD(Surface MountedDevices，表面贴装器件)封装LED(即表面贴装型封装结构LED)予以实现，并不需要屏幕结构有明显的改动。

在一个实施例中，如图2所示，提供了一种屏幕刷新定位方法，以该方法应用于图1中的交互系统或触控笔为例进行说明，包括以下步骤：

步骤202，获取触控位置信息。

其中，触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态。

具体地，触控笔可以指用于与触控对象进行触控交互的设备。在一些示例中，触控笔可以是笔形工具，用来输入指令到电脑屏幕、移动设备、绘图板等具有触摸屏的设备，用户可以通过触控笔点击触控屏幕来选取文件或绘画。需要说明的是，触控笔仅仅是为了说明的目的，实际应用中还可以使用能够与触控对象进行触控交互的高速采样设备予以实现，该高速采样设备可以是例如触控笔、镜头等设备。

触控对象(例如，显示屏)经触控笔进行数据采样，该数据可以是显示屏中灯珠的光线。在一些示例中，该数据采样可以是显示屏的亮灭状态经触控笔以较高频率进行监控得到，即通过检测灯珠的亮灭状态来实现屏幕触控。需要说明的是，以显示屏为LED屏幕为例，LED屏幕在显示画面内容的时候，并不是通过灯珠的常亮变化，来实现内容显示的，而是通过灯珠的高频率亮灭变换，来体现不同内容差异，而这一显示特征被称之为动态扫描，是LED显示屏重要的显示特征。而在动态扫描驱动下，对于单颗灯珠来说，其并不会保持常亮状态，而是以极高的频率变换，在亮灭交替中，实现不同的内容显示。灯珠通过高频的亮灭交替所展示的光效，是从亮到灭，逐层递进的，最终表现的效果被称之为灰度。LED灯珠从亮到灭所用到的灰度通常有256级，单个像素上有3颗灯珠，分别是红灯、绿灯和蓝灯。3颗灯珠通过不同的亮度配比，来实现不同的色彩显示。故LED显示屏在显示画面的时候，对于单颗灯珠来说，主要是依靠灰度刷新来实现的。

为了保证色彩和亮度变化的均匀稳定，LED显示屏会尽可能的提高屏幕灰度刷新的速率。通常，一块LED显示屏能够实现的3840HZ的屏幕刷新率，这就意味着在播放一个60HZ的显示画面时，其显示的每一帧画面，都会通过LED显示屏64次的刷新来体现。而这64次的刷新就是灰度的刷新。可见LED显示屏的屏幕刷新能力，远高于视频源信息。

其中，灯珠数据可以是通过如下方式获取：触控笔中的采光组件对触控对象进行采集，获取到灯珠的光线后，可以经由触控笔中的光通断组件、感光模组以及数据处理模块等依次处理，进而将其转化成可读取的数据流，供交互系统处置。例如，显示屏每秒刷新3840次，触控笔则至少实现每秒3840次的数据采样。将采样的数据进行处理分析，获取准确的坐标或者运动过程中的参考偏移，并将其反馈给交互系统，更新下一帧的显示数据。其中，具体数值不做限定。

进一步的，灯珠数据可以是单颗灯珠和/或单个像素经触控笔进行采样得到。触控笔中的光通断组件可以在有进光时打开，进而让光线能够进入到感光模组上；其中，光通断组件可以指用来控制光线照射感光元件时间的装置，光通断组件的通断时钟可以与触控对象(例如，显示屏)的刷新时钟一致。在一些示例中，采光组件可以采用采光透镜予以实现，光通断组件可以采用曝光阀予以实现，感光模组可以采用感光模块，即感光传感器(例如，光敏传感器)予以实现；而当采集单个像素时，感光模组可以包含多个感光传感器，而该触控笔可以包括连接在光通断组件和感光模组之间的光分路模块，光分路模块将光线分成红、绿、蓝光，分别射到感光模组包含的多个感光模块中，使得光通断组件的一次曝光检测，能够同时检测单个像素上的三颗灯珠的亮灭情况，灯珠检测更为高效。在一些示例中，光分路模块可以采用分光折射透镜予以实现。此外，触控笔还可以包括数据发送模块，用于与交互系统进行通信。

交互系统基于显示屏(例如，LED显示屏)的动态刷新实现与触控笔之间的触控交互。其中，单颗灯珠在不同时隙的工作状态，具体可以包括如下两个指标：一个是灯珠发光的有无，另一个是发光的时间，均可以由触控笔进行记录。此外，触控笔的采样频率，可以与LED显示屏显示刷新的频率对应，对于灯珠来说，在例如一帧的时间内，每一次的时隙的刷新，都会被触控笔所记录，对于在这个时隙当中，灯珠亮的状态和时间，输出对应的数字信号编码，供相应系统处理，并从中提取出有助于实现屏幕交互的，包括灯珠坐标等的数据内容。

需要说明的是，本申请对触控笔的具体结构并无限定，能够以较高采样率获取触控对象的触控位置信息的触控笔均可。在一些示例中，触控笔可以采用灯珠触控笔和/或像素触控笔予以实现。

以LED显示屏为例，该灯珠触控笔用于对单颗灯珠进行采样，即单颗灯珠的亮灭可以经触控笔进行判断，进而采集当前该灯珠的坐标。灯珠的工作状态为亮和灭两种，在刷新一帧画面时，灯珠的工作周期会被分64个时间片段，并在这64个时间片段中刷新亮灭的状态。这一情况可以看成是触控笔对像素点采集的精度有限，无法识别到单个像素点上的三颗灯珠的亮度状态，而是将整个像素点作为一个整体的灯珠进行亮灭判断；也可以看成是对一块素质极高的显示屏，其上的灯珠排布及其细密，像素的概念是通过任意三颗不同颜色灯珠组成的(虚拟像素概念)。其中，触控笔读到的数据，可以是在这64个时间片段内，单颗灯珠的状态数据。即触控笔一次读得的信息是一颗灯珠在一帧时间内的一个时间片段；而触控笔的结构样式，可以应用上述举例的灯珠触控笔的结构(包括采光透镜，曝光阀，光敏传感器，数据处理模块以及数据发送模块等)。

以LED显示屏为例，该像素触控笔的采集范围是单个像素点，即单个像素点上灯珠的亮灭经由触控笔进行判断触控笔，进而采集当前像素的坐标。一个像素点上有3颗灯珠，分别为红、绿、蓝灯。这样，触控笔停留在一颗像素点的正上方时，就能够采集到该像素内的红、绿、蓝三颗灯珠的光。这3颗灯珠，在刷新一帧视频画面时，会进行64刷新，这里还不是单纯的亮灭64次，而是可以理解为灯珠在这一帧的工作时间，即16.67ms内，又被分成了64个工作片段，每个工作片段，灯珠有对应的工作状态(亮、灭)。3颗灯珠在同一时间内，对应有192个工作片段。触控笔读到的数据，是在这64个时间片段内，3颗灯珠的状态数据。具体的，触控笔一次读得的信息是三颗灯珠的三个时间片段在同一帧刷新的组合。

需要说明的是，基于本申请，在这192个时间片段中，有一部分，灯珠是用来显示画面内容的，另一部分，用来显示当前的坐标信息。而且，显示当前坐标信息的时间片段，均匀的分布在显示画面内容的时间片段当中。

进一步的，如图3所示，像素触控笔可以一次对单个像素内的三颗灯珠采样，将沿曝光阀提供的光通路进入的光线作为入射光，触控笔可以采用一个分光折射镜，将红、绿、蓝光分别折射到3个感光传感器上，分3路信号，分别输出到触控笔的处理系统上。进而触控笔在一帧的画面信息内，就能够读的3帧的画面数据。即像素触控笔的结构可以是在前述灯珠触控笔的基础上，进一步增加了分光折射透镜，同时，可以采用三个感光传感器。

上述两种触控笔采集方式，对应的情景不一样。从时间尺度上来说明，屏幕在刷新一帧的视频画面的时候，会分成64个时间片段进行刷新，其形式可以如图4所示。在一些示例中，对于灯珠触控笔，触控笔一次读得的信息是一颗灯珠在一帧时间内的一个时间片段，其形式可以如图5所示。在一些示例中，对于像素触控笔，触控笔一次读得的信息是三颗灯珠的三个时间片段在同一帧刷新的组合，其形式可以如6所示。

进一步的，本申请中的触控对象可以依据相应的刷新策略进行显示，该刷新策略可以包括触控对象的当前刷新内容包含灯珠位置。本申请中的刷新模式可以是指触控对象基于交互系统提供的刷新策略(例如，驱动策略或控制策略)，通过高速刷新以相应时长的灯亮灯灭的形式发送高速数据信息以传递位置信息。进而，该位置信息可以经触控笔进行采集，得到触控位置信息。在一些示例中，刷新模式还可以对刷新内容进行限定，例如，刷新内容可以在包含显示内容的同时包括灯珠位置，该灯珠位置可以指灯珠粗略位置和灯珠精确位置。

在其中一个实施例中，当前刷新内容还包含显示内容。

具体而言，本申请的插帧刷新中，显示屏保持高速刷新，且其在同时段内所刷新的内容包括两个部分：一部分是显示内容，另一部分是交互信息。具体的，以触控对象为显示屏为例，假设屏幕在刷新一帧视频源信息时，是通过64次高频亮灭来实现的，则其中可以有14次亮灭用于显示屏的交互，通过触控笔来采集这14次的亮灭信息，另外的50次用于刷新显示内容。触控笔在采集到这14次亮灭信息后，进而可从中获得当前的坐标位置，并将坐标反馈给显示系统，显示系统根据反馈回来的位置坐标，刷新接下来的画面信息，从而完成整个交互流程。需要说明的是，14次交互信息与显示内容信息并不是完全分开的。交互信息可以是显示信息的第二功能。

本申请中的灯珠数据包括用于表达灯珠位置的灯珠工作状态，在一些实施例中，灯珠工作状态可以指灯珠亮灭状态。以单颗灯珠为例，其在一帧的时间片段内，假设进行了64次刷新，其时隙分布从时间长度上来看就是一个时间标尺。在这个标尺上的每一个小格，灯珠可能刷新的是“常亮”，也可能刷新的是“常灭”。在使能工作的一些时隙中，刷新的特征是“低灰”。在不考虑低灰后序的一系列特殊情况，可以将低灰比作常亮的一种。本申请不考虑使能特征，仅从“常亮”时隙出发，进而降低触控笔的采样频率要求。

步骤204，识别触控位置信息，确定触控笔的当前触点位置。

具体而言，在获取触控位置信息后，可以识别该触控位置信息中的灯珠数据，以获取灯珠数据通过灯珠工作状态所传递的灯珠位置，进而确定触控笔的当前触点位置。

在其中一个实施例中，灯珠工作状态包括一帧中预设时隙上的灯珠亮灭状态；

识别触控位置信息，确定触控笔的当前触点位置的步骤可以包括：

对一帧中预设时隙上的灯珠亮灭状态分别进行编码，得到二进制数；

处理二进制数，将得到的灯珠位置作为触控笔的当前触点位置。

具体而言，对于采集到的灯珠亮灭状态，可以进行编码以获取用于表达位置坐标的二进制数。以触控笔采集且编码数据为例，可以在检测到灯珠的状态为“常亮”、“低灰”时，触控笔输出“1”，在检测到灯珠的状态为“常灭”时，触控笔输出“0”。在64个时隙刷新完毕后，触控笔可以输出一个64位的二进制数。这样，只要触控笔能够采集到灯珠亮灭，就能够识别出用于表达灯珠位置的灯珠数据。即本申请利用每一时间片段的灯珠的亮灭特征，作为灯珠坐标的信息存储方式。

进一步的，本申请中的灯珠工作状态可以包括一帧中预设时隙上的灯珠亮灭状态。该预设时隙可以指固定位置的时隙；即本申请提出在单颗灯珠或者单个像素在一帧中的刷新N个时隙，可以将N个时隙中的一部分时隙抽出，固定的用于刷新灯珠的位置坐标。

在其中一个实施例中，一帧中除预设时隙外的剩余时隙用于表达显示内容；其中，预设时隙中的每个时隙以等间隔方式插入到剩余时隙中。

具体而言，触控笔采集到的一帧数据中，该一帧数据包括显示内容和灯珠位置两个内容，一帧数据具体可以指在一帧的时间片段内，灯珠的N个时间片段(即时隙)的工作状态。该一帧数据中的部分固定时隙用于表达灯珠位置，剩下的时隙用于表达显示内容。

而预设时隙中的每个时隙可以以等间隔方式插入到剩余时隙中，即可以按照相应的次序或者间隔，将坐标信息插入到显示信息内，进而触控笔可依据间隔大小，取出相应位置的灯珠工作状态作为触控点的位置坐标。

在其中一个实施例中，灯珠位置可以包括灯珠粗略位置和灯珠精确位置；灯珠数据可以为单颗灯珠于一帧中的时隙数据；刷新策略还可以包括触控对象的当前刷新内容为连续预设数量的视频帧；

连续预设数量的视频帧中的首帧用于表达灯珠粗略位置；连续预设数量的视频帧中的末尾两帧分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

具体而言，在灯珠数据为单颗灯珠于一帧中的时隙数据的情况下，触控笔一次采样，能够判断一颗灯珠(或者说是完整的像素)的亮灭，以在一帧的时间片段内，灯珠会有64个时间片段的工作状态为例，在这64个时间片段当中，触控笔可以在识别出用于表达灯珠位置的灯珠数据后，进而按照相应的次序或者间隔(坐标信息按照相应的次序或者间隔插入到显示信息中)，识别出刷新内容中包含的坐标信息，例如触控笔可在之后每6次刷新中，取出最后一位灯珠状态作为触控点的位置坐标。

进一步的，对于一帧的画面信息，可以通过相应次序的排布刷新，采集到一个相应位数的二进制数(例如，十位的二进制数)，该十位的二进制数，可以是触点在该屏幕的位置信息。触控笔将采集到的相应位数的二进制数送回到显示系统内，就可以完成一次触控反馈。而这相应位数的二进制数，被送入到显示系统内，要解读出其位置坐标，可以采用如下方式：

本申请提出触控对象的当前刷新内容为连续预设数量的视频帧，且该连续预设数量的视频帧中的首帧用于表达灯珠粗略位置，该连续预设数量的视频帧中的末尾两帧分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

具体而言，以触控对象为显示屏为例，显示屏都是通过若干个显示模块拼接而成的，显示模块上又会有有限数量个灯珠。鉴于灯珠的量很大，本申请提出可以按连续预设数量的视频帧的策略来刷新显示数据，即视频播放的多帧。需要说明的是，视频播放的多帧不是屏幕上的多次刷新，视频源以60HZ的刷新率刷新画面，而显示屏以3840HZ的屏幕显示刷新，两者的关系是视频源的一帧画面需要通过显示屏刷新64次才能实现。

该连续预设数量的视频帧中的首帧用于表达灯珠粗略位置，该连续预设数量的视频帧中的末尾两帧分别用于表达灯珠精确位置的X轴坐标、Y轴坐标；即本申请提出了屏幕的刷新策略优化，可以在不影响显示质量的前提下将灯珠的位置，通过连续视频帧由粗到精的刷新给触控笔。

在其中一个实施例中，灯珠精确位置可以为灯珠坐标；灯珠粗略位置包括灯珠所属的模组编号和/或模组所属的显示区域编号；而连续预设数量的视频帧的数量可以为3帧。

具体而言，即本申请中灯珠位置可以包括以下坐标表达方式：①模组编号+模组上灯珠的精确坐标；②模组编号+模组上显示区域编号+显示区域内精确坐标。具体的，以按3帧的策略来刷新显示数据(即视频播放的3帧)为例进行说明：

第一帧采集的10位数据中，前8位可以用于给数据进行编码，共255种编码。第9位可以用于分辨是在显示屏的上下。第10位用于分辨在显示屏上下的基础上，在左半边还是右半边，这样让灯珠数量减小到原来的1/4。

第二帧采集的10位数据中，10位全部用于刷新该灯珠的X坐标，其十进制的数量上限位1023，即X轴上可以有1023颗灯珠。

第三帧采集到的10位数据，10位也全部用于更新该灯珠的Y坐标，Y轴上同样可以为1023颗灯珠进行编码。

进而通过3帧的交互，本申请就可以确定该触点在显示屏上的准确坐标(即灯珠坐标)，包括归属于哪张模组。而确定这一个灯珠坐标，需要的时间是50.01ms。考虑到屏幕在接收到传输的位置坐标，然后在刷新的画面中插入反馈的显示信息，这个带着显示信息的画面再通过传输信道，传输到屏幕上刷新，这一个过程同样也需要50ms左右。意味着屏幕在控制显示屏上的像素点，刷新当前位置坐标后，再到显示屏第一次识别、回传，显示屏再反馈。整个过程所需要的时间，大概在100ms左右。这期间没有考虑触控笔的误判造成的二次校验所带来的时间延迟损失(误判一次，延迟增加50ms)。

进一步的，本申请还提出了基于单个像素的坐标提取方式；采用前述的多帧数据的刷新形式，在显示屏向触控笔传递数据中表现低效；例如，屏幕要传输一个灯珠的坐标，需要送3帧数据，这是由于每一帧数据仅能存储十分有限的位置信息，一帧内不足以将完整的位置信息全部标记出来；对此，本申请还提出了单个像素的坐标提取方式，能够对触控笔进行了采集优化，提高了采集效率，从而即使屏幕以较低效率向触控笔传输位置信息，也能够在一帧内(16.67ms)完成坐标点的位置传输。

在其中一个实施例中，灯珠位置包括灯珠粗略位置和灯珠精确位置；灯珠数据为单个像素中各灯珠于同一帧中的时隙数据；

单个像素中的一颗灯珠用于表达灯珠粗略位置；单个像素中的另两颗灯珠分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

具体而言，以单个像素包括三个灯珠(红灯、绿灯、蓝灯)为例进行说明，触控笔一次对单个像素内的三颗灯珠采样时，采用这该方式来读取像素点的位置坐标，相较于上述单颗灯珠的方式更为简单。以单个像素在之后的60个时间片段中，同样以每6个时间片段，采集到的一个灯珠数据作为显示屏的交互信息为例，本申请一次就能读取红灯、绿灯、蓝灯3组数据。

进而本申请提出可以以红灯的数据，作为模组编号，以及像素在模组上下、左右位置的分布的记述，绿灯作为灯珠的X轴坐标的编码，蓝灯数据作为灯珠的Y轴坐标的编码。即触控笔可以仅读一帧数据，就能返回灯珠的具体坐标信息。显示系统在接收到坐标信息，再更新到屏幕上，整个过程的延时就降低到了66.67ms。其中，采用单个像素进行坐标的判别，仅花费了16.67ms的时间。

上述屏幕刷新定位方法中，利用每一时间片段的灯珠的亮灭特征，作为灯珠坐标的信息存储方式。本申请可以在现有的LED显示屏的基础上，不需要做任何改动，只是改变一下画面刷新的策略，再配合一个采样和编码的触控笔，就能够实现屏幕的触控。

基于本申请，作为触控对象的显示屏，其屏幕无需准备特殊的坐标刷新数据，屏幕上需要做的主要改变，就是改变屏幕在N次刷新(例如，64次刷新)中，通入的显示信号的次序，以确保在对应的时间片段，即那些用于表达像素点的坐标位置的时间片段上，屏幕的刷新是该片段所需要的灯珠状态(亮或者灭)即可。从视频信号的一整帧来说，屏幕仍然是用这N个时间片段(例如，64个时间片段)，刷新所需要的状态，次序上虽然有所改变，但总量上是一致的，只要注意避免该像素点灯珠的长亮或者长暗，就不会对灯珠的显示质量造成太大影响。本申请中坐标数据同样是被用于屏幕显示的数据，只是在次序上，会被调用为坐标数据，具有双重含义。这种坐标位次仅占整体位次的23％，可通过显示系统的妥善刷新而调整好。

本申请提出在灯珠或者像素点在一帧中的刷新N个时隙，可以将其中的一部分时隙抽出，固定的用于刷新灯珠的位置坐标。但在实际操作中，触控笔仅能做到对灯珠亮、暗的判别，以及配合定时器记录数据采集的时间戳。一帧画面的更新，对于单颗灯珠来说本质上还是亮灭交替，并没有实质的数据区别(例如，帧头、帧尾)。显然，当触控笔点击在屏幕上时，如何从这N次的刷新中抽取出准确的用于表达触点位置的对应位次刷新，以用于触控位置的编码，成为了一个问题。例如，如何实现触控笔与屏幕的第一次握手过程的同步，使触控笔确定屏幕的亮灭中，哪些是用于显示内容的亮灭，哪些是用于反馈坐标的亮灭。对此，在一个实施例中，如图7所示，提供了一种屏幕刷新定位方法，以该方法应用于图1中的交互系统或触控笔为例进行说明，包括以下步骤：

步骤702，获取触控位置信息。

其中，触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态。

步骤704，若检测到灯珠数据的帧头中存在换帧标记，则确认触控对象在触控笔的本次触控采集时刻已完成换帧。

步骤706，识别触控位置信息，确定触控笔的当前触点位置。

具体而言，本申请提出屏幕在刷新一帧画面时，可以通过标记特征供触控笔作为参考基准，触控笔依据此，来确定接下来的或者此前刷新的哪几位时隙是用于表达位置坐标的，哪几位时隙是用于表达显示内容的。本申请中的标记特征，可以是使能工作下，单帧时间内特殊的灯珠亮度，或者可以要求触控笔的采样率至少在屏幕的刷新率的两倍以上，即3840x2＝7680。也可以不考虑使能特征，仅从“常亮”时隙出发，以降低触控笔的采样频率要求。

例如，以灯珠在一帧的时间片段内进行了64次刷新为例，可以在检测到灯珠的状态为“常亮”、“低灰”时，触控笔输出“1”，在检测到灯珠的状态为“常灭”时，触控笔输出“0”。在64个时隙刷新完毕后，触控笔就会输出一个64位的二进制数。进而只要触控笔能够识别到标记特征，就能够实现对显示内容和坐标刷新的准确区分，进而刷新坐标。

具体地，在不考虑低灰的情况下，或者说触控笔的采样率达不到屏幕刷新率两倍以上时，可以采用下述的标记特征方案：以前述的单颗灯珠或单一像素地两种采集方式为例，可以采用不同的标记特征，在触控笔只能判断灯珠亮灭的时候，每个时间状态下，灯珠就只会存在两种结果，即灯珠亮和灯珠灭。然而，触控笔点击在屏幕上的时间是随机的，并不是在刚好切换一帧的时候就点击上去，即触控笔在开始接收到灯珠的刷新数据时，并不知道具体从哪一次时间片段开始，进行视频信息的换帧。换帧的时间片段刷新，可能出现在上述64个片段中任意一次。

对此，本申请提出对上述序列进行开始特征标记，在屏幕换帧时刷新一个标记特征，触控笔识别到该特征后，就确定屏幕换了一帧。进而基于这个特征可以确定往后的第几次刷新是显示画面内容，第几次刷新是坐标信息。

在一些示例中，本申请提出在获取触点位置前，需检测灯珠数据的帧头中是否存在换帧标记。若检测到灯珠数据的帧头中存在换帧标记，则确认触控对象在触控笔的本次触控采集时刻已完成换帧。需要说明的是，步骤702和步骤706的具体实现方式，可以参阅前文中对于步骤202和步骤204的描述，此处不再赘述。

为了进一步阐释本申请的方案，分别以触控笔采用单颗灯珠或单一像素地两种采集方式为例，结合具体示例予以说明：

针对触控笔采用单颗灯珠采集的方式，即触控笔一次采样，能够判断一颗灯珠(或者说是完整的像素)的亮灭，例如，在一帧的时间片段内，灯珠可以有64个时间片段的工作状态。在这64个时间片段当中，可以以开始的四个时间片段，执行亮灭亮灭，代表着0101的二进制逻辑状态，而0101就可以作为这一帧的标记特征(即帧头中存在换帧标记)。触控笔在识别到0101后，会对该点进行标记，而0101后的60个时间片段，可以按照特定的次序或者间隔(例如，等间隔)，将坐标信息插入到显示信息内，例如触控笔可在之后每6次刷新中，取出最后一位灯珠状态作为触控点的位置坐标。那么，对于一帧的时间片段来说，其亮灭的内容分工，具体可以如图8所示。

而针对触控笔采用单个像素的采集方式，即触控笔一次对单个像素内的三颗灯珠采样时，其换帧的开始标记特征，可以是红灯、绿灯、蓝灯在4个时间片段内(即帧头存在换帧标记)：

第一个时间片段，红亮、绿灭、蓝亮；

第二个时间片段，红灭、绿亮、蓝灭；

第三个时间片段，红亮、绿灭、蓝亮；

第四个时间片段，红灭、绿亮、蓝灭；

将上述特征作为这一帧的开始标记特征。当触控笔采集到开始标记特征以后，就会将后面相应时间片段的灯珠状态记录下来，具体可以如图9所示。

以上屏幕刷新定位方法，假如屏幕的刷新率不同，触控笔的采样率不同，上述的具体参数可能会有所变化，但其内在的逻辑，并不会有本质上的区别。举例仅是为了介绍一种针对显示屏(例如，LED显示屏)实现触控的屏幕刷新方法。本申请可以在现有的LED显示屏的基础上，不需要做任何改动，只是改变一下画面刷新的策略，再配合一个采样和编码的触控笔，就能够实现屏幕的触控。

应该理解的是，虽然图2、7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种屏幕刷新定位装置，包括：

信息获取模块110，用于获取触控位置信息；触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；刷新策略包括触控对象的当前刷新内容包含灯珠位置；灯珠数据包括用于表达灯珠位置的灯珠工作状态；

识别定位模块120，用于识别触控位置信息，确定触控笔的当前触点位置。

在其中一个实施例中，当前刷新内容还包含显示内容；灯珠工作状态包括一帧中预设时隙上的灯珠亮灭状态；

识别定位模块120，用于对一帧中预设时隙上的灯珠亮灭状态分别进行编码，得到二进制数；以及处理二进制数，将得到的灯珠位置作为触控笔的当前触点位置。

在其中一个实施例中，一帧中除预设时隙外的剩余时隙用于表达显示内容；其中，预设时隙中的每个时隙以等间隔方式插入到剩余时隙中。

在其中一个实施例中，灯珠位置包括灯珠粗略位置和灯珠精确位置；灯珠数据为单颗灯珠于一帧中的时隙数据；刷新策略还包括触控对象的当前刷新内容为连续预设数量的视频帧；

连续预设数量的视频帧中的首帧用于表达灯珠粗略位置；连续预设数量的视频帧中的末尾两帧分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

在其中一个实施例中，灯珠精确位置为灯珠坐标；灯珠粗略位置包括灯珠所属的模组编号和/或模组所属的显示区域编号；连续预设数量的视频帧的数量为3帧。

在其中一个实施例中，灯珠位置包括灯珠粗略位置和灯珠精确位置；灯珠数据为单个像素中各灯珠于同一帧中的时隙数据；

单个像素中的一颗灯珠用于表达灯珠粗略位置；单个像素中的另两颗灯珠分别用于表达灯珠精确位置的X轴坐标、Y轴坐标。

在其中一个实施例中，还包括：

换帧检测模块，用于若检测到灯珠数据的帧头中存在换帧标记，则确认触控对象在触控笔的本次触控采集时刻已完成换帧。

关于屏幕刷新定位装置的具体限定可以参见上文中对于屏幕刷新定位方法的限定，在此不再赘述。上述屏幕刷新定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在一个实施例中，提供了一种显示设备，显示设备包括显示屏和控制装置；

其中，显示屏作为触控笔的触控对象；控制装置用于执行上述屏幕刷新定位方法的步骤。

在其中一个实施例中，显示屏可以为LED显示屏。

具体而言，本申请中触控笔可以通过控制装置与显示屏进行交互，以实现低延时的屏幕刷新定位。而控制装置可以与显示屏分别独立设置，或者集合成显示设备。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述屏幕刷新定位方法中的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandom Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种屏幕刷新定位方法，其特征在于，包括：

获取触控位置信息；所述触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；所述刷新策略包括所述触控对象的当前刷新内容包含灯珠位置；所述灯珠数据包括用于表达所述灯珠位置的灯珠工作状态；

识别所述触控位置信息，确定所述触控笔的当前触点位置。

2.根据权利要求1所述的屏幕刷新定位方法，其特征在于，所述当前刷新内容还包含显示内容；所述灯珠工作状态包括一帧中预设时隙上的灯珠亮灭状态；

所述识别所述触控位置信息，确定所述触控笔的当前触点位置的步骤包括：

对所述一帧中预设时隙上的灯珠亮灭状态分别进行编码，得到二进制数；

处理所述二进制数，将得到的所述灯珠位置作为所述触控笔的当前触点位置。

3.根据权利要求2所述的屏幕刷新定位方法，其特征在于，所述一帧中除所述预设时隙外的剩余时隙用于表达所述显示内容；其中，所述预设时隙中的每个时隙以等间隔方式插入到所述剩余时隙中。

4.根据权利要求2或3所述的屏幕刷新定位方法，其特征在于，所述灯珠位置包括灯珠粗略位置和灯珠精确位置；所述灯珠数据为单颗灯珠于一帧中的时隙数据；所述刷新策略还包括所述触控对象的当前刷新内容为连续预设数量的视频帧；

所述连续预设数量的视频帧中的首帧用于表达所述灯珠粗略位置；所述连续预设数量的视频帧中的末尾两帧分别用于表达所述灯珠精确位置的X轴坐标、Y轴坐标。

5.根据权利要求4所述的屏幕刷新定位方法，其特征在于，所述灯珠精确位置为灯珠坐标；所述灯珠粗略位置包括灯珠所属的模组编号和/或模组所属的显示区域编号；所述连续预设数量的视频帧的数量为3帧。

6.根据权利要求2或3所述的屏幕刷新定位方法，其特征在于，所述灯珠位置包括灯珠粗略位置和灯珠精确位置；所述灯珠数据为单个像素中各灯珠于同一帧中的时隙数据；

所述单个像素中的一颗灯珠用于表达所述灯珠粗略位置；所述单个像素中的另两颗灯珠分别用于表达所述灯珠精确位置的X轴坐标、Y轴坐标。

7.根据权利要求1至3任一项所述的屏幕刷新定位方法，其特征在于，所述识别所述触控位置信息，确定所述触控笔的当前触点位置的步骤之前，还包括步骤：

若检测到所述灯珠数据的帧头中存在换帧标记，则确认所述触控对象在所述触控笔的本次触控采集时刻已完成换帧。

8.一种屏幕刷新定位装置，其特征在于，包括：

信息获取模块，用于获取触控位置信息；所述触控位置信息为触控对象基于刷新策略显示的灯珠数据经触控笔采集得到；所述刷新策略包括所述触控对象的当前刷新内容包含灯珠位置；所述灯珠数据包括用于表达所述灯珠位置的灯珠工作状态；

识别定位模块，用于识别所述触控位置信息，确定所述触控笔的当前触点位置。

9.一种显示设备，其特征在于，所述显示设备包括显示屏和控制装置；

其中，所述显示屏作为触控笔的触控对象；所述控制装置用于执行权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images