CN115756366A - 用于Android系统的显示装置与显示方法 - Google Patents

Abstract

本发明公开了一种用于Android系统的显示装置，包括：应用程序组件，配置成根据外部触发信号改写预设内存空间中的变量值；面板组件，包括一个或多个面板，配置成提供接口，以使所述应用程序组件将改写后的变量值复制到显存上，其中每一个面板对应一个显存缓冲区；扫描组件，配置成扫描所述显存缓冲区，以根据所述改写后的变量值改变显示设备的显示内容。本发明所提供的用于Android系统的显示装置，避免了应用程序之间、应用程序与Android系统自身刷新机制之间的刷新冲突，减少了闪屏现象。通过面板标识将CPU计算的内存结果直接映射至显存缓冲区，再通过扫描组件进行扫描、输出至显示设备，达到了书写操作与显示画面更新的同步，明显提升了书写显示产品的客户体验。

Description

用于Android系统的显示装置与显示方法

技术领域

本发明涉及嵌入式设备技术领域，尤其涉及一种用于Android系统的显示装置及用于Android系统的显示方法。

背景技术

在教育现代化、信息化的大背景下，越来越多的高科技手段与传统的教学辅助工具相融合。现有技术中，已经出现取代传统教学工具黑板、白板的智能化黑板、智能化手写板。

该智能化黑板、智能化手写板依然具有传统的板书功能，同时，还可以结合各种多媒体、人机交互、人工智能等功能，为教学场景增色，大大提升了当今教师的教学质量和当今学生的学习效率。

但现有技术中的智能化黑板、智能化手写板也存在一些难以解决的问题。例如，智能化黑板、智能化手写板不能像物理书写一样将书写/绘制的笔迹迅速转换为板上显示的字迹或图画，电子输入设备的书写操作与电子显示屏的响应存在卡顿或延迟。

这样的技术问题来自于设备的整体处理性能，从传感器传输信号，处理器进行显示信息刷新，图形处理单元渲染画面，到编码、输出，整体处理过程要求各个硬件的性能较高，且软件逻辑顺畅。对于硬件配置较低的方案，或对于价格/成本较低的智能化黑板、手写板产品，亟需一种软件逻辑设计，以在无法提升硬件配置的情况下，提高系统的整体处理速度，从而使得书写操作与显示画面更新达到一定程度的匹配。

发明内容

有鉴于现有技术的至少一个缺陷，第一方面，本发明提供了一种用于Android系统的显示装置，包括：

应用程序组件，配置成根据外部触发信号改写预设内存空间中的变量值；

面板组件，包括一个或多个面板，配置成提供接口，以使所述应用程序组件将改写后的变量值复制到显存缓冲区，其中每一个面板均对应有相应的显存缓冲区；

扫描组件，配置成扫描所述显存缓冲区，以根据所述改写后的变量值改变显示设备的显示内容。

根据本发明的第一方面，其中所述扫描组件进一步配置成：

扫描第一显存缓冲区，其中所述第一显存缓冲区基于所述显示设备的参数创建。

根据本发明的第一方面，其中所述扫描组件进一步配置成：在所述显示设备启动时输出所述显示设备的参数，所述面板组件进一步配置成：

根据所述显示设备的参数对所述第一显存缓冲区进行格式化；

获取所述第一显存缓冲区对应的面板的接口；

基于所述对应的面板的接口将所述预设内存空间与所述第一显存缓冲区形成映射关系。

根据本发明的第一方面，所述装置进一步包括：

渲染组件，配置成对所述第一显存缓冲区中的内容进行渲染。

根据本发明的第一方面，其中所述面板组件包括多个面板，所述渲染组件进一步配置成：

对所述多个面板对应的显存缓冲区中的内容进行渲染，并将渲染后的内容写入所述第一显存缓冲区。

根据本发明的第一方面，其中所述渲染组件进一步配置成：

将至少部分面板对应的显存缓冲区中的内容以预设比例并列显示；或

将至少部分面板对应的显存缓冲区中的内容以预设透明度叠加显示；或

将至少部分面板对应的显存缓冲区中的内容悬浮于其他面板对应的显存缓冲区中的内容之上显示。

根据本发明的第一方面，所述装置进一步包括：

编码组件，与所述扫描组件耦接，配置成将所述扫描组件的扫描结果转换成时序显示信号；

连接组件，与所述编码组件耦接，配置成将所述时序显示信号输出至显示设备。

根据本发明的第一方面，所述显示装置通过Android系统中嵌入drm驱动程序架构实现，或使用Android系统中已包括的drm驱动程序架构实现。

第二方面，本发明还提供了一种用于Android系统的显示方法，包括：

根据外部触发信号改写预设内存空间中的变量值；

调用面板接口函数，将改写后的变量值复制到面板的显存缓冲区上；

扫描所述显存缓冲区，以根据改写后的变量值改变显示设备的显示内容。

第三方面，本发明还提供了一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上文第二方面所述的方法。

本发明的上述一个或多个实施例所提供的用于Android系统的显示装置100或用于Android系统的显示方法10，采用drm驱动程序架构，使得应用程序不直接操作显存缓冲区，而是通过应用程序访问面板，对于应用程序进行统一管理，避免了应用程序之间、应用程序与Android系统自身的刷新机制之间的刷新冲突，减少或避免了闪屏现象。本发明的上述一个或多个实施例所提供的用于Android系统的显示装置100或用于Android系统的显示方法10，通过面板标识，将CPU计算的内存结果直接映射至显存缓冲区，再通过扫描组件进行扫描、输出至显示设备，达到了书写操作与显示画面更新的同步，明显提升了书写显示产品的客户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。

图1示出了本发明的一个实施例所提供的用于Android系统的显示装置；

图2示出了本发明的一个实施例所提供的用于Android系统的显示装置；

图3A示出了本发明的一个实施例所提供的用于Android系统的显示装置中，渲染组件的一个渲染效果；

图3B示出了本发明的一个实施例所提供的用于Android系统的显示装置中，渲染组件的另一个渲染效果；

图3C示出了本发明的一个实施例所提供的用于Android系统的显示装置中，渲染组件的另一个渲染效果；

图3D示出了本发明的一个实施例所提供的用于Android系统的显示装置中，渲染组件的另一个渲染效果；

图4示出了本发明的一个实施例所提供的用于Android系统的显示装置；

图5示出了本发明的一个实施例所提供的用于Android系统的显示方法。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在Android系统下进行书写操作时，需要把书写内容“搬运”到显存，进而在屏幕上看到书写内容或书写效果。不同的芯片产品采用了不同的书写显示技术，例如采用不同的软件架构或硬件架构。

其中，现有技术中有利用Android系统自带的刷新机制完成书写显示的方案，对于硬件性能较高(CPU处理能力强，DDR带宽高，GPU算力高)的芯片产品，使用Android标准接口的流程是基本没有延时的，显示效果较好。但是对于硬件配置较低的芯片产品，采用Android系统自带的刷新机制，则会出现书写操作到显示画面的明显卡顿、延时现象。

现有技术中也有对书写显示进行标准封装的方案，供上层应用程序开发人员进行统一接口的界面开发。例如，将访问层封装成jni供应用程序调用，应用程序可以直接操作显存缓冲区(FrameBuffer)，这类技术方案和Android系统本身的刷新机制产生冲突，可能导致显示画面出现闪屏现象。并且，应用程序直接操作显存缓冲区，显示画面未经渲染处理而直接进行显示。

本发明提供一种用于Android系统的显示装置，利用与显卡交互的直接渲染管理器架构，使得应用程序通过接口函数访问面板，再由管理器根据面板标识操作显存缓冲区(FrameBuffer)。应用程序不直接操作显存缓冲区，对于显存缓冲区的操作进行统一管理，避免了应用程序之间、应用程序与系统本身的刷新机制之间的冲突。并且，可以在管理器的控制下，通过GPU对面板对应的显存缓冲区中的内容进行渲染，避免了将全部计算任务交给CPU处理，进而在CPU处理能力较低，或内存(DDR)带宽较低的硬件条件下，影响到显示画面的刷新速度，造成显示画面与书写操作不能匹配。

根据本发明的一个实施例，如图1所示，本发明提供一种用于Android系统的显示装置100，包括应用程序组件110、面板组件120和扫描组件130。其中：

应用程序组件110配置成根据外部触发信号改写预设内存空间中的变量值。可选地，应用程序组件110基于显示设备的参数(显示设备的宽度、高度、像素格式、像素大小、像素初始值中的一种或多种)申请内存空间(即预设内存空间)，并实时改写预设内存空间中的变量值。例如：显示设备的宽度*高度＝3840*260，像素格式为ARGB，初始值均为白色(255,255,255)，应用程序组件110基于显示设备的上述参数申请内存空间(即预设内存空间)，该预设内存空间能够容纳显示设备上的全部像素信息。当应用程序110接收到外部触发信号时，例如，该外部触发信号为黑色笔的书写轨迹，该书写轨迹为一条直线，根据该外部触发信号，应用程序组件110改写预设内存空间中的变量值，把对应坐标处的像素值赋为黑色(0,0,0)。可选地，该预设内存空间中的变量值还包括具有时间戳的坐标信息。

本领域技术人员容易理解，所述外部触发信号可以基于传感器获得，接收外部触发信号的传感器可以与显示设备集成在一起，也可以独立于显示设备，这些实施方式均在本发明的保护范围之内。

面板组件120包括一个或多个面板，配置成提供接口，以使应用程序组件110将改写后的变量值复制到显存上，其中每一个面板对应一个显存缓冲区。面板组件120提供接口，使应用程序组件110通过调用接口函数，访问其中的一个或多个面板。应用程序组件110不能直接操作显存缓冲区，只能访问对应的面板，通过访问对应的面板，将预设内存空间中的变量值复制到显存缓冲区。相当于通过面板组件120为应用程序添加了“标签”，避免了不同应用程序之间，或应用程序与Android系统之间的刷新冲突。

扫描组件130配置成扫描所述显存缓冲区，以根据所述改写后的变量值改变显示设备的显示内容。扫描组件130以预设的刷新率扫描显存缓冲区，并将显存缓冲区中的内容输出至显示设备进行显示。可选地，一个扫描组件130对应一个显示设备，也存在多个显示设备，分别对应多个扫描组件130的情况，不同的扫描组件130扫描为不同显示设备创建的显存缓冲区。也存在不同的扫描组件130扫描同一个显存缓冲区，进而使得显示内容在多个显示设备上克隆显示的情形，这些实施例均在本发明的保护范围之内。

本发明的上述实施例所提供的用于Android系统的显示装置100，采用直接渲染管理器架构，应用程序不能直接操作显存缓冲区，而是通过应用程序访问面板，将用户空间映射至对应面板的显存缓冲区，再通过扫描组件基于面板信息扫描显存缓冲区，获得显示信息。避免了应用程序之间、应用程序与Android系统自身的刷新机制之间的冲突。

根据本发明的一个实施例，用于Android系统的显示装置100中，扫描组件130进一步配置成：

扫描第一显存缓冲区，其中所述第一显存缓冲区基于显示设备的参数创建。

下面介绍基于显示设备的参数创建第一显存缓冲区的具体过程。

首先，在显示设备启动时，显示设备对应的扫描组件130输出显示设备的参数，可选地，所述显示设备的参数包括：显示设备的宽度、高度、像素格式、像素大小、像素初始值中的一种或多种。

在获得显示设备的参数后，面板组件120根据所述显示设备的参数对所述第一显存缓冲区进行格式化。创建能容纳显示设备上的全部像素信息的显存缓冲区(即第一显存缓冲区)。

获取创建的该显存缓冲区(第一显存缓冲区)对应的面板的接口。或者，获取创建的该显存缓冲区(第一显存缓冲区)对应的面板标识，基于该面板标识获得面板的接口。

基于所述对应的面板的接口将所述预设内存空间与所述第一显存缓冲区形成映射关系。应用程序组件110通过调用接口函数110访问对应的面板，并将申请的用于存储和改写像素信息的预设内存空间与创建的显存缓冲区(第一显存缓冲区)形成映射关系，例如将第一显存缓冲区mmap到所述预设内存空间。

本发明的上述实施例所提供的用于Android系统的显示装置100，在系统启动时首先选择一个显存缓冲区，该显存缓冲区根据显示设备的参数创建，该显存缓冲区对应的面板可以称为主面板。应用程序通过调用接口函数访问主面板，将存储和改写像素信息的用户空间与主面板对应的显存缓冲区形成映射关系，在应用程序写入/改写用户空间的变量信息时，主面板对应的显存缓冲区中的信息发生变化，再通过扫描组件进行扫描，及时反应为显示设备上的显示画面的变化，加速了书写操作与显示画面刷新的匹配速度。

根据本发明的一个实施例，如图2所示，用于Android系统的显示装置100进一步包括：渲染组件140。其中：

渲染组件140配置成对所述第一显存缓冲区中的内容进行渲染。

如图3A-图3D所示，渲染组件140对所述第一显存缓冲区中的内容进行渲染包括但不限于：

1、将所述第一显存缓冲区中的内容加入显示效果(如图3A所示)。

2、将至少部分面板对应的显存缓冲区中的内容以预设比例并列显示(如图3B所示)。

3、将至少部分面板对应的显存缓冲区中的内容以预设透明度叠加显示(如图3C所示)。

4、将至少部分面板对应的显存缓冲区中的内容悬浮于其他面板对应的显存缓冲区中的内容之上显示(如图3D所示)。

其中，应用程序组件110通过调用接口函数，访问不同的面板，在不同的面板对应的显存缓冲区中(不同的面板分别创建的显存空间中)，映射不同的内容，再通过上述渲染，将不同面板对应的显存缓冲区中的不同内容进行“叠加”。

根据本发明的一个实施例，渲染组件140进一步配置成：对多个面板对应的显存缓冲区中的内容进行渲染，并将渲染后的内容写入所述第一显存缓冲区。即渲染组件140完成上述一种或多种渲染后，将渲染后的内容写入第一显存缓冲区，再通过扫描组件130进行扫描，显示在显示设备上。

本发明的上述一个或多个实施例所提供的用于Android系统的显示装置100，通过渲染组件对第一显存缓冲区中的内容进行渲染，或者通过渲染组件对多个面板对应的显存缓冲区中的内容进行渲染(计算)，将渲染(计算)结果写入第一显存缓冲区，再通过扫描组件扫描第一显存缓冲区，将渲染后的显示内容输出到显示设备。本发明的上述一个或多个实施例中，渲染组件承担了部分的计算任务，从而无需将全部计算任务交给CPU处理，在CPU处理能力较低的情况下，仍然能够保持较高的刷新速度，加速书写操作与显示画面刷新的匹配。

根据本发明的一个实施例，面板组件120包括光标面板，应用程序110根据外部鼠标信号改写光标的位置坐标，并通过调用接口函数，访问光标面板，将光标的位置信息传递，渲染组件140将光标的位置信息叠加于显示内容之上，写入第一显存缓冲区。

根据本发明的一个实施例，用于Android系统的显示装置100中，所述外部触发信号包括：

用户在所述显示设备上的书写/绘制轨迹，和/或用户在所述显示设备上的操作。其中，用户在所述显示设备上的操作例如包括：用户更改书写/绘制所使用的线条粗细或颜色，将书写/绘制所使用的界面(对应不同的面板)进行切换、并列显示、叠加显示等操作。

可选地，外部触发信号还包括用户对于光标的移动。

可选地，外部触发信号通过传感器获得，该传感器与显示设备集成，或独立于显示设备。

根据本发明的一个实施例，用于Android系统的显示装置100中，应用程序组件110进一步配置成：

根据所述外部触发信号切换面板。

在本实施例中，应用程序组件110可以根据外部触发信号切换面板，即选择不同的工作模式，应用程序组件110通过调用接口函数，访问不同的面板，在不同的面板对应的显存缓冲区中(不同的面板分别创建的显存空间中)，映射书写或操作的内容。

根据本发明的一个实施例，如图4所示，用于Android系统的显示装置100进一步包括：编码组件150和连接组件160。其中：

编码组件150与扫描组件130耦接，配置成将扫描组件130的扫描结果转换成时序显示信号。编码组件150将扫描组件130的扫描结果编码成适于显示设备输出的格式，例如视频信号模式。

连接组件160与编码组件150耦接，配置成将所述时序显示信号输出至显示设备。连接组件160例如包括HDMI、VGA、DisplayPort等物理连接器。

根据本发明的一个实施例，用于Android系统的显示装置100通过Android系统中嵌入drm驱动程序架构实现，或使用Android系统中已包括的drm驱动程序架构实现。其中，面板组件120、扫描组件130、编码组件150和连接组件160均通过drm驱动程序架构实现，渲染组件140通过GPU实现，面板对应的显存缓冲区创建于显示存储空间上。

下面介绍使用Android系统中嵌入drm驱动程序架构实现显示装置100的具体实施例。

将DRM标准显示驱动架构嵌入Android系统，其中，一个drm_FrameBuffer(显存缓冲区)对应一个PLANE(面板)，每一个PLANE从drm_FrameBuffer中接收数据。一个CRTC(扫描组件)可以对应多个PLANE，PLANE将数据送到CRTC，进行数据扫描合成，然后编码，送到显示器显示出来。

首先，打开drm设备(Android系统中嵌入drm驱动程序架构的设备)，获取当前显示器对应的CRTC ID(扫描组件标识，配置成能够输出对应显示器的参数信息),根据CRTC ID获取显示器对应的宽度、高度，以及像素宽度。创建对应大小的drm_FrameBuffer(上述宽度*高度*像素宽度),获取对应的PLANE ID(面板标识)，把drm_FrameBuffer mmap到用户空间(预设内存空间)。应用程序就可以在mmap的用户空间上面进行书写，并以预设刷新率主动刷新对应PLANE ID。书写结束后，发出退出命令，并释放申请的各项资源。

根据本发明的一个实施例，如图5所示，本发明还提供一种用于Android系统的显示方法10，包括步骤S101至步骤S103。其中：

在步骤S101中，根据外部触发信号改写预设内存空间中的变量值。

在步骤S102中，调用面板接口函数，将改写后的变量值复制到面板的显存缓冲区上。

在步骤S103中，扫描所述显存缓冲区，以根据改写后的变量值改变显示设备的显示内容。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

扫描第一显存缓冲区，其中所述第一显存缓冲区基于显示设备的参数创建。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

根据显示设备的参数对第一显存缓冲区进行格式化。

获取所述第一显存缓冲区对应的面板的接口。

通过所述对应的面板的接口，将所述预设内存空间与所述第一显存缓冲区形成映射关系。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

对所述第一显存缓冲区中的内容进行渲染。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

对多个面板对应的显存缓冲区中的内容进行渲染，并将渲染后的内容写入所述第一显存缓冲区。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

将至少部分面板对应的显存缓冲区中的内容以预设比例并列显示。

或者，将至少部分面板对应的显存缓冲区中的内容以预设透明度叠加显示。

或者，将至少部分面板对应的显存缓冲区中的内容悬浮于其他面板对应的显存缓冲区中的内容之上显示。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

根据外部触发信号切换面板。

根据本发明的一个实施例，用于Android系统的显示方法10进一步包括：

将扫描所述显存缓冲区的结果转换成时序显示信号。

将所述时序显示信号输出至显示设备。

上述用于Android系统的显示方法10的具体限定与前文介绍的用于Android系统的显示装置100中的具体限定相似，可以参见前文中关于用于Android系统的显示装置100的介绍，在此不再赘述。

本发明的上述一个或多个实施例所提供的用于Android系统的显示装置100或用于Android系统的显示方法10，采用drm驱动程序架构，使得应用程序不直接操作显存缓冲区，而是通过应用程序访问面板，对于应用程序进行统一管理，避免了应用程序之间、应用程序与Android系统自身的刷新机制之间的刷新冲突，减少或避免了闪屏现象。本发明的上述一个或多个实施例所提供的用于Android系统的显示装置100或用于Android系统的显示方法10，通过面板标识，将CPU计算的内存结果直接映射至显存缓冲区，再通过扫描组件进行扫描、输出至显示设备，达到了书写操作与显示画面更新的同步，明显提升了书写显示产品的客户体验。

根据本发明的一个实施例，本发明还提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上文所述的用于Android系统的显示方法10。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种用于Android系统的显示装置，其特征在于，包括：

应用程序组件，配置成根据外部触发信号改写预设内存空间中的变量值；

面板组件，包括一个或多个面板，配置成提供接口，以使所述应用程序组件将改写后的变量值复制到显存缓冲区，其中每一个面板均对应有相应的显存缓冲区；

扫描组件，配置成扫描所述显存缓冲区，以根据所述改写后的变量值改变显示设备的显示内容。

2.如权利要求1所述的装置，其中所述扫描组件进一步配置成：

扫描第一显存缓冲区，其中所述第一显存缓冲区基于所述显示设备的参数创建。

3.如权利要求2所述的装置，其中所述扫描组件进一步配置成：在所述显示设备启动时输出所述显示设备的参数，

所述面板组件进一步配置成：

根据所述显示设备的参数对所述第一显存缓冲区进行格式化；

获取所述第一显存缓冲区对应的面板的接口；

基于所述对应的面板的接口将所述预设内存空间与所述第一显存缓冲区形成映射关系。

4.如权利要求2或3所述的装置，进一步包括：

渲染组件，配置成对所述第一显存缓冲区中的内容进行渲染。

5.如权利要求4所述的装置，其中所述面板组件包括多个面板，所述渲染组件进一步配置成：

对所述多个面板对应的显存缓冲区中的内容进行渲染，并将渲染后的内容写入所述第一显存缓冲区。

6.如权利要求5所述的装置，其中所述渲染组件进一步配置成：

将至少部分面板对应的显存缓冲区中的内容以预设比例并列显示；或

将至少部分面板对应的显存缓冲区中的内容以预设透明度叠加显示；或

将至少部分面板对应的显存缓冲区中的内容悬浮于其他面板对应的显存缓冲区中的内容之上显示。

7.如权利要求1-3中任一项所述的装置，进一步包括：

编码组件，与所述扫描组件耦接，配置成将所述扫描组件的扫描结果转换成时序显示信号；

连接组件，与所述编码组件耦接，配置成将所述时序显示信号输出至显示设备。

8.如权利要求1-3中任一项所述的装置，其中所述显示装置通过Android系统中嵌入drm驱动程序架构实现，或使用Android系统中已包括的drm驱动程序架构实现。

9.一种用于Android系统的显示方法，其特征在于，包括：

根据外部触发信号改写预设内存空间中的变量值；

调用面板接口函数，将改写后的变量值复制到面板的显存缓冲区上；

扫描所述显存缓冲区，以根据改写后的变量值改变显示设备的显示内容。

10.一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如权利要求9-15中任一项所述的方法。

Images