CN113687745A - 一种分屏窗口的界面显示方法、系统及终端 - Google Patents
一种分屏窗口的界面显示方法、系统及终端 Download PDFInfo
- Publication number
- CN113687745A CN113687745A CN202110955541.XA CN202110955541A CN113687745A CN 113687745 A CN113687745 A CN 113687745A CN 202110955541 A CN202110955541 A CN 202110955541A CN 113687745 A CN113687745 A CN 113687745A
- Authority
- CN
- China
- Prior art keywords
- interface display
- control
- window
- screen
- split
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 16
- 239000000203 mixture Substances 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Abstract
本发明公开了一种分屏窗口的界面显示方法、系统及终端，所述方法包括：当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择；根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。本发明根据用户选择的界面显示样式在分屏窗口显示对应的内容，实现了应用自适应分屏窗口大小，在小窗口模式下呈现内容完整和布局规范的界面，帮助用户快速提取到非主窗口的应用页面的关键信息。
Description
技术领域
本发明涉及分屏显示技术领域，尤其涉及一种分屏窗口的界面显示方法、系统、终端及计算机可读存储介质。
背景技术
Android 7.0版本系统开始支持分屏模式，即一个屏幕上可以同时显示两个应用窗口，如图1所示，用户可以通过拖动两个窗口之间的分界条来调节分屏窗口的大小。当分屏窗口的大小发生变化时，系统会通过回调Activity.onMultiWindowModeChanged方法，通知处于分屏的应用。分屏模式下，应用的窗口大小会被压缩，若窗口内控件使用的是绝对位置和大小，则可能会超出窗口区域，以至于控件显示不全；若控件使用的是相对位置和大小，则可能会错位和被压缩。以上这两种变化，会导致用户体验不好，所以应用开发者会采取设置页面Activity的resizeableActivity属性为false的方式，来禁止该页面在分屏模式下打开，或监听onMultiWindowModeChanged回调，来动态调整控件的位置、大小和可见性，以适应窗口的大小。
如果需要实现应用自适应分屏窗口大小，在小窗口模式下也能呈现内容完整和布局规范的界面，应用开发者需要根据窗口大小，动态调整控件的位置、大小和可见性，有一定的适配成本。由于目前分屏模式功能还未广泛地应用到Android终端的使用场景，只有少量应用做了适配工作，大部分未适配的应用在分屏模式下没有较好的UI呈现效果，大大影响了用户体验；对于没有主动做适配的应用在分屏模式下，特别是在小窗区域中，界面元素(界面元素指的是应用打开后显示的内容)显示较小且密，难以辨认，无法得到较好的观看体验。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种分屏窗口的界面显示方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对于没有主动做适配的应用在分屏模式无法得到较好的观看体验的问题。
为实现上述目的，本发明提供一种分屏窗口的界面显示方法，所述分屏窗口的界面显示方法包括如下步骤：
当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；
根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；
读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；
读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
可选地，所述的分屏窗口的界面显示方法，其中，所述当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式，具体包括：
当进入分屏模式时，向服务器端的运营后台获取分屏应用的显示元素配置；
遍历应用页面的控件树，统计分屏窗口的界面显示样式，调出样式显示菜单以展示多个界面显示样式供用户选择；
当用户选择所述样式显示菜单中的一个界面显示样式时，记录用户选定的界面显示样式。
可选地，所述的分屏窗口的界面显示方法，其中，所述界面显示样式包括：第一界面显示样式、第二界面显示样式、第三界面显示样式、第四界面显示样式和第五界面显示样式。
可选地，所述的分屏窗口的界面显示方法，其中，所述第一界面显示样式用于显示应用图标和应用名称；
所述第二界面显示样式用于只显示视频；
所述第三界面显示样式用于只显示图片；
所述第四界面显示样式用于只显示文本；
所述第五界面显示样式用于显示后台指定元素，显示内容为视频、图片和文本中的至少一种。
可选地，所述的分屏窗口的界面显示方法，其中，所述根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性，具体包括：
根据用户选择的界面显示样式，判断用户选定的界面显示样式的类型；
若用户选定的界面显示样式为第一界面显示样式，则在原始应用窗口上方添加一层应用图标和应用名称控件，展示应用图标和应用名称；
若用户选定的界面显示样式为第二界面显示样式，则遍历窗口的控件树，获取视频控件，并调整视频控件的大小以占满整个窗口；
若用户选定的界面显示样式为第三界面显示样式，则遍历窗口的控件树，获取图片控件，并按照图片数量填充窗口；
若用户选定的界面显示样式为第四界面显示样式，则遍历窗口的控件树，获取文本控件，并按照文本数量填充窗口；
若用户选定的界面显示样式为第五界面显示样式，则根据所述运营后台返回的显示元素配置，从控件树获取对应的控件，并按照指定的位置和大小填充窗口。
可选地，所述的分屏窗口的界面显示方法，其中，所述读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中，具体包括：
读取经过调整后的控件的位置、大小及可见性；
向系统底层管理屏幕帧数据的数据结构申请缓存空间，将控件内容填充到所述缓存空间中；
所述系统底层管理屏幕帧数据的数据结构为系统底层管理屏幕帧数据的数据结构，用于存放最终发送到屏幕显示的帧数据。
可选地，所述的分屏窗口的界面显示方法，其中，所述读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示，具体包括：
从所述系统底层管理屏幕帧数据的数据结构中的所述缓存空间读取整个窗口的多个控件内容；
将整个窗口的多个控件内容进行合成，并将合成后的窗口内容更新到屏幕上。
可选地，所述的分屏窗口的界面显示方法，其中，
所述分屏窗口的界面显示系统包括：
分屏显示控制模块，用于当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；
控件管理模块，用于根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；
窗口内容绘制模块，读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；
图层合成模块，用于读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分屏窗口的界面显示程序，所述分屏窗口的界面显示程序被所述处理器执行时实现如上所述的同屏幕多窗口的互动方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有分屏窗口的界面显示程序，所述分屏窗口的界面显示程序被处理器执行时实现如上所述的同屏幕多窗口的互动方法的步骤。
本发明通过当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。本发明根据用户选择的界面显示样式在分屏窗口显示对应的内容，实现了应用自适应分屏窗口大小，在小窗口模式下呈现内容完整和布局规范的界面，帮助用户快速提取到非主窗口的应用页面的关键信息。
附图说明
图1是现有技术中Android 7.0版本系统下用户通过拖动两个窗口之间的分界条来调节分屏窗口的大小的示意图；
图2是本发明分屏窗口的界面显示方法的较佳实施例的流程图；
图3是本发明分屏窗口的界面显示方法的较佳实施例中步骤S10的流程图；
图4是本发明分屏窗口关键UI显示样式菜单示意图；
图5是本发明分屏窗口的界面显示方法的较佳实施例中步骤S20的流程图；
图6是本发明分屏窗口关键UI显示样式效果示意图；
图7是本发明分屏窗口的界面显示方法的较佳实施例中步骤S30的流程图；
图8是本发明分屏窗口的界面显示方法的较佳实施例中步骤S40的流程图；
图9是本发明分屏窗口的界面显示方法的较佳实施例的整个流程示意图；
图10是本发明分屏窗口的界面显示系统的较佳实施例的原理示意图；
图11是本发明分屏窗口关键UI显示方案架构示意图；
图12为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的分屏窗口的界面显示方法，如图2所示，所述分屏窗口的界面显示方法包括以下步骤：
步骤S10、当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式。
本发明的所述分屏窗口的界面显示方法应用于所有Android终端场景中，用于为应用提供一种免适配的实现在分屏模式下能以规范的布局来呈现关键内容的系统级解决方案，当然也可以应用于其他的智能观看设备中，例如电视、教育机、广告机、会议机、汽车车载显示屏等设备中。
具体的过程请参阅图3，其为本发明提供的分屏窗口的界面显示方法中步骤S10的流程图。
如图3所示，所述步骤S10包括：
S11、当进入分屏模式时，向服务器端的运营后台获取分屏应用的显示元素配置；
S12、遍历应用页面的控件树，统计分屏窗口的界面显示样式，调出样式显示菜单以展示多个界面显示样式供用户选择；
S13、当用户选择所述样式显示菜单中的一个界面显示样式时，记录用户选定的界面显示样式。
具体地，在Android终端设备进入分屏模式时，向服务器端的运营后台获取分屏应用的显示元素配置，所述的运营后台提供应用页面显示元素配置功能，可由运营人员根据实际场景，对特定的应用页面设置要显示的控件元素以及显示位置和大小；遍历应用页面的控件树(用来展示具体层次结构的数据)，例如检测是否有SurfaceView控件(视频控件)、ImageView控件(图片控件)、TextView控件(文本控件)，统计分屏窗口的可选关键UI显示样式(即界面显示样式)，调出样式显示菜单以展示多个界面显示样式供用户选择；当用户选中调出分屏窗口菜单时，展示可选UI显示样式供用户选择，并记录用户选择的样式。
其中，如图4所示的所述界面显示样式包括：第一界面显示样式、第二界面显示样式、第三界面显示样式、第四界面显示样式和第五界面显示样式，所述第一界面显示样式用于显示应用图标和应用名称(样式A)；所述第二界面显示样式用于只显示视频(样式V)；所述第三界面显示样式用于只显示图片(样式I)；所述第四界面显示样式用于只显示文本(样式T)；所述第五界面显示样式用于显示后台指定元素(样式S)，显示内容为视频、图片和文本中的至少一种。如图4所示，屏幕上共设置了4个窗口(4个窗口都是分屏窗口)，左边的大窗口为主窗口，右边3个小窗口为非主窗口，本发明的关键UI显示方案主要是用于非主窗口的分屏窗口；主窗口是当前获取焦点，可响应用户操作的窗口，对于触屏设备而言，就是可响应触控操作；对于TV设备而言，就是可响应遥控器操作。
步骤S20、根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性。
具体过程请参阅图5，其为本发明提供的分屏窗口的界面显示方法中步骤S20的流程图。
如图5所示，所述步骤S20包括：
S21、根据用户选择的界面显示样式，判断用户选定的界面显示样式的类型；
S22、若用户选定的界面显示样式为第一界面显示样式，则在原始应用窗口上方添加一层应用图标和应用名称控件，展示应用图标和应用名称；
S23、若用户选定的界面显示样式为第二界面显示样式，则遍历窗口的控件树，获取视频控件，并调整视频控件的大小以占满整个窗口；
S24、若用户选定的界面显示样式为第三界面显示样式，则遍历窗口的控件树，获取图片控件，并按照图片数量填充窗口；
S25、若用户选定的界面显示样式为第四界面显示样式，则遍历窗口的控件树，获取文本控件，并按照文本数量填充窗口；
S26、若用户选定的界面显示样式为第五界面显示样式，则根据所述运营后台返回的显示元素配置，从控件树获取对应的控件，并按照指定的位置和大小填充窗口。
具体地，进入用户选择的界面显示样式和显示元素配置，通过管理应用页面的控件信息，并执行绘制前的控件位置大小的测量，测量时根据分屏状态、UI显示样式、显示元素配置等信息决定要显示的关键控件，并且调整控件的位置和大小，同时隐藏其他控件。
如图6所示，若为样式A，则在原应用窗口上方添加一层控件，展示应用图标和应用名称。
如图6所示，若为样式V，则遍历该窗口的控件树，找到SurfaceView控件，并调整其大小到占满整个窗口。
如图6所示，若为样式I，则遍历该窗口的控件树，找到ImageView控件，将前3个找到的控件按一大二小的比例(若只有2个，则按照等分的比例；若只有1个，则占满整个窗口)填充窗口。其中，取3个是考虑到小窗口区域显示太多图片，会遮挡部分内容，导致不能够显示全部的内容；显示太少又容易丢掉关键内容，所以取3个，并且是一大二小的布局(只是设定了一种策略，用来说明样式展示的效果，技术上要实现其他的控件数量和布局方式都是可以变化的)，既保留了一定数量的图片内容，又凸显了主次。不过，这是为了展示关键UI显示的效果而设定的一个策略，技术上不限制只能展示3个，后续这个控件数量和布局方式都是可以再调整的，还可以通过运营后台动态设置某个应用页面的关键UI显示样式。
如图6所示，若为样式T，则遍历该窗口的控件树，找到TextView控件，将前6个找到的控件按一大二中三小的比例(若不足6个，则相应地放大TextView控件的大小；若只有1个，则占满整个窗口)；其中，设定6个，只是为了方便说明关键UI样式的显示效果，技术上不限制只能展示6个，后续这个控件数量和布局方式都是可以再调整的，还可以通过运营后台动态设置某个应用页面的关键UI显示样式。
如图6所示，若为样式S，则根据运营后台返回的显示元素配置，从控件树找到对应的控件，并按照指定的位置和大小进行填充窗口，例如图6中样式S下，分屏窗口中显示了视频内容、图片和文本；系统设置完关键控件的位置和大小后，将其他控件设置为不可见。
步骤S30、读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中。
具体过程请参阅图7，其为本发明提供的分屏窗口的界面显示方法中步骤S30的流程图。
如图7所示，所述步骤S30包括：
S31、读取经过调整后的控件的位置、大小及可见性；
S32、向系统底层管理屏幕帧数据的数据结构申请缓存空间，将控件内容填充到所述缓存空间中；
S32、所述系统底层管理屏幕帧数据的数据结构为系统底层管理屏幕帧数据的数据结构，用于存放最终发送到屏幕显示的帧数据。
具体地，读取经过调整后的控件的位置、大小及可见性；并读取控件的位置、大小以及可见性信息，向所述系统底层管理屏幕帧数据的数据结构(例如BufferQueue)申请缓存空间，并将控件内容填充到缓存空间中；其中，BufferQueue是“生产者消费者模型”，并且也是Android系统底层管理屏幕帧数据的数据结构，作用是存放最终送到屏幕显示的帧数据；控制往BufferQueue填充的数据即可，无需去改动其他机制；BufferQueue也是存放在一段内存空间上；所述系统底层管理屏幕帧数据的数据结构用于存放最终发送到屏幕显示的帧数据。
步骤S40、读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
具体过程请参阅图8，其为本发明提供的分屏窗口的界面显示方法中步骤S40的流程图。
如图8所示，所述步骤S40包括：
S41、从所述系统底层管理屏幕帧数据的数据结构中的所述缓存空间读取整个窗口的多个控件内容；
S42、将整个窗口的多个控件内容进行合成，并将合成后的窗口内容更新到屏幕上。
具体地，从所述系统底层管理屏幕帧数据的数据结构中的所述缓存空间读取整个窗口的多个控件内容，通过系统底层服务，例如负责从BufferQueue中读取窗口内容数据(多个控件组成了窗口，将当前窗口里要显示的多个“控件”的内容逐一填充到缓存空间中，这个缓存空间所存放的数据即为当前窗口的内容数据，窗口内容数据是控件内容数据的集合)，并合成为帧数据，交给屏幕进行显示。
进一步地，如图9所示，本发明分屏窗口的界面显示方法的较佳实施例的整个过程如下：
步骤S1、开始；
步骤S2、进入分屏模式，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式，展示多个界面显示样式给用户进行选择某个分屏窗口；
步骤S3、提供选择的某个分屏窗口给用户设置该窗口显示样式；
步骤S4、提供界面显示样式进行选择，所述界面显示样式包括：第一界面显示样式(样式A)、第二界面显示样式(样式V)、第三界面显示样式(样式I)、第四界面显示样式(样式T)和第五界面显示样式(样式S)；所述第一界面显示样式用于显示应用图标和应用名称，系统通过添加应用图标和应用名称控件；所述第二界面显示样式用于只显示视频，系统通过搜索该窗口的SurfaceView的控件，然后调整SurfaceView控件的位置和大小；所述第三界面显示样式用于只显示图片，系统通过搜索该窗口的ImageView的控件，然后调整ImageView控件的位置和大小；所述第四界面显示样式用于只显示文本，系统通过搜索该窗口的TextView的控件，然后调整TextView控件的位置和大小；所述第五界面显示样式用于显示后台指定元素，显示内容为视频、图片和文本中的至少一种，系统通过根据配置搜索该窗口的指定控件，然后调整指定控件的位置和大小。
步骤S5、管理应用页面的控件信息，并执行绘制前的控件位置大小的测量，测量时根据分屏状态、UI显示样式、显示元素配置等信息决定要显示的关键控件，并且调整控件的位置和大小，同时隐藏其他控件；
步骤S6、读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示系统更新的窗口内容；
步骤S7、结束。
进一步地，如图10所示，基于上述分屏窗口的界面显示方法，本发明还相应提供了分屏窗口的界面显示系统，所述同屏幕多窗口的互动系统包括：
分屏显示控制模块51，用于当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；
控件管理模块52，用于根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；
窗口内容绘制模块53，读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；
图层合成模块54，用于读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
如图11所示，分屏窗口关键UI显示方案架构示意图包括以下步骤：
S101、分屏显示控制模块通过控制进入分屏模式时，向运营后台获取分屏应用的显示元素配置，运营后台可提供应用页面显示元素配置功能，可由运营人员根据实际场景，对特定的应用页面设置要显示的控件元素以及显示位置和大小；同时遍历应用页面的控件树，检测是否有SurfaceView、ImageView、TextView控件，统计分屏窗口的可选关键UI显示样式；当用户选中调出分屏窗口菜单时，展示可选UI显示样式供用户选择，并记录用户选择的样式；
S102、控件管理模块通过管理应用页面的控件信息，并执行绘制前的控件位置大小的测量，测量时根据分屏状态、UI显示样式、显示元素配置等信息决定要显示的关键控件，并且调整控件的位置和大小，同时隐藏其他控件；
S103、窗口内容绘制模块从控件管理模块读取控件的位置、大小以及可见性信息，向BufferQueue申请缓存空间，并将控件内容填充到缓存空间中；
S104、图层合成模块通过系统底层服务，负责从BufferQueue中读取窗口内容数据，并合成为帧数据，交给屏幕进行显示。
进一步地，如图12所示，基于上述分屏窗口的界面显示方法，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30；图12仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有分屏窗口的界面显示程序40，该分屏窗口的界面显示程序40可被处理器10所执行，从而实现本申请中分屏窗口的界面显示方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述分屏窗口的界面显示方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中分屏窗口的界面显示程序40时实现以下步骤：
当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；
根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；
读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；
读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
其中，所述当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式，具体包括：
当进入分屏模式时，向服务器端的运营后台获取分屏应用的显示元素配置；
遍历应用页面的控件树，统计分屏窗口的界面显示样式，调出样式显示菜单以展示多个界面显示样式供用户选择；
当用户选择所述样式显示菜单中的一个界面显示样式时，记录用户选定的界面显示样式。
其中，所述界面显示样式包括：第一界面显示样式、第二界面显示样式、第三界面显示样式、第四界面显示样式和第五界面显示样式。
其中，所述第一界面显示样式用于显示应用图标和应用名称；
所述第二界面显示样式用于只显示视频；
所述第三界面显示样式用于只显示图片；
所述第四界面显示样式用于只显示文本；
所述第五界面显示样式用于显示后台指定元素，显示内容为视频、图片和文本中的至少一种。
其中，所述根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性，具体包括：
根据用户选择的界面显示样式，判断用户选定的界面显示样式的类型；
若用户选定的界面显示样式为第一界面显示样式，则在原始应用窗口上方添加一层应用图标和应用名称控件，展示应用图标和应用名称；
若用户选定的界面显示样式为第二界面显示样式，则遍历窗口的控件树，获取视频控件，并调整视频控件的大小以占满整个窗口；
若用户选定的界面显示样式为第三界面显示样式，则遍历窗口的控件树，获取图片控件，并按照图片数量填充窗口；
若用户选定的界面显示样式为第四界面显示样式，则遍历窗口的控件树，获取文本控件，并按照文本数量填充窗口；
若用户选定的界面显示样式为第五界面显示样式，则根据所述运营后台返回的显示元素配置，从控件树获取对应的控件，并按照指定的位置和大小填充窗口。
其中，所述读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中，具体包括：
读取经过调整后的控件的位置、大小及可见性；
向系统底层管理屏幕帧数据的数据结构申请缓存空间，将控件内容填充到所述缓存空间中；
所述系统底层管理屏幕帧数据的数据结构为系统底层管理屏幕帧数据的数据结构，用于存放最终发送到屏幕显示的帧数据。
其中，所述读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示，具体包括：
从所述系统底层管理屏幕帧数据的数据结构中的所述缓存空间读取整个窗口的多个控件内容；
将整个窗口的多个控件内容进行合成，并将合成后的窗口内容更新到屏幕上。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有分屏窗口的界面显示程序，所述分屏窗口的界面显示程序被处理器执行时实现如上所述的分屏窗口的界面显示方法的步骤。
综上所述，本发明提供一种分屏窗口的界面显示方法、系统、终端及计算机可读存储介质，所述方法包括：当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。本发明在克服了Android原生分屏模式的小窗样式下，通过对窗口控件树的遍历，找出关键的视频、图片、文本控件，并放大显示，隐藏其他不重要的控件，达到关键UI在小窗样式下最大化显示的效果，帮助用户快速提取到非主窗口的应用页面的关键信息，在修复了需要额外的应用适配成本的缺陷的同时，还实现了更加良好的观看体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种分屏窗口的界面显示方法，其特征在于，所述分屏窗口的界面显示方法包括：
当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；
根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；
读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；
读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
2.根据权利要求1所述的分屏窗口的界面显示方法，其特征在于，所述当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式，具体包括：
当进入分屏模式时，向服务器端的运营后台获取分屏应用的显示元素配置；
遍历应用页面的控件树，统计分屏窗口的界面显示样式，调出样式显示菜单以展示多个界面显示样式供用户选择；
当用户选择所述样式显示菜单中的一个界面显示样式时，记录用户选定的界面显示样式。
3.根据权利要求2所述的分屏窗口的界面显示方法，其特征在于，所述界面显示样式包括：第一界面显示样式、第二界面显示样式、第三界面显示样式、第四界面显示样式和第五界面显示样式。
4.根据权利要求3所述的分屏窗口的界面显示方法，其特征在于，所述第一界面显示样式用于显示应用图标和应用名称；
所述第二界面显示样式用于只显示视频；
所述第三界面显示样式用于只显示图片；
所述第四界面显示样式用于只显示文本；
所述第五界面显示样式用于显示后台指定元素，显示内容为视频、图片和文本中的至少一种。
5.根据权利要求4所述的分屏窗口的界面显示方法，其特征在于，所述根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性，具体包括：
根据用户选择的界面显示样式，判断用户选定的界面显示样式的类型；
若用户选定的界面显示样式为第一界面显示样式，则在原始应用窗口上方添加一层应用图标和应用名称控件，展示应用图标和应用名称；
若用户选定的界面显示样式为第二界面显示样式，则遍历窗口的控件树，获取视频控件，并调整视频控件的大小以占满整个窗口；
若用户选定的界面显示样式为第三界面显示样式，则遍历窗口的控件树，获取图片控件，并按照图片数量填充窗口；
若用户选定的界面显示样式为第四界面显示样式，则遍历窗口的控件树，获取文本控件，并按照文本数量填充窗口；
若用户选定的界面显示样式为第五界面显示样式，则根据所述运营后台返回的显示元素配置，从控件树获取对应的控件，并按照指定的位置和大小填充窗口。
6.根据权利要求1所述的分屏窗口的界面显示方法，其特征在于，所述读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中，具体包括：
读取经过调整后的控件的位置、大小及可见性；
向系统底层管理屏幕帧数据的数据结构申请缓存空间，将控件内容填充到所述缓存空间中；
所述系统底层管理屏幕帧数据的数据结构用于存放最终发送到屏幕显示的帧数据。
7.根据权利要求6所述的分屏窗口的界面显示方法，其特征在于，所述读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示，具体包括：
从所述系统底层管理屏幕帧数据的数据结构中的所述缓存空间读取整个窗口的多个控件内容；
将整个窗口的多个控件内容进行合成，并将合成后的窗口内容更新到屏幕上。
8.一种分屏窗口的界面显示系统，其特征在于，所述分屏窗口的界面显示系统包括：
分屏显示控制模块，用于当进入分屏模式时，获取分屏应用的显示元素配置，展示多个界面显示样式供用户选择，并记录用户选择的界面显示样式；
控件管理模块，用于根据分屏状态、用户选择的界面显示样式和显示元素配置，确定需要显示的控件，并调整控件的位置、大小和可见性；
窗口内容绘制模块，读取控件的位置、大小及可见性，并将控件内容填充到缓存空间中；
图层合成模块，用于读取所述缓存空间中存储的整个窗口的多个控件内容，并将整个窗口的多个控件内容合成后通过屏幕进行显示。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分屏窗口的界面显示程序，所述分屏窗口的界面显示程序被所述处理器执行时实现如权利要求1-7任一项所述的分屏窗口的界面显示方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有分屏窗口的界面显示程序，所述分屏窗口的界面显示程序被处理器执行时实现如权利要求1-7任一项所述的分屏窗口的界面显示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955541.XA CN113687745B (zh) | 2021-08-19 | 2021-08-19 | 一种分屏窗口的界面显示方法、系统及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955541.XA CN113687745B (zh) | 2021-08-19 | 2021-08-19 | 一种分屏窗口的界面显示方法、系统及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113687745A true CN113687745A (zh) | 2021-11-23 |
| CN113687745B CN113687745B (zh) | 2023-12-08 |
Family
ID=78580761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110955541.XA Active CN113687745B (zh) | 2021-08-19 | 2021-08-19 | 一种分屏窗口的界面显示方法、系统及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113687745B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240185A (zh) * | 2021-12-20 | 2022-03-25 | 广州华评网络科技有限公司 | 一种查评同窗的科技成果评价和展示的方法及系统 |
| CN114281357A (zh) * | 2021-12-09 | 2022-04-05 | 欧姆(重庆)电子技术有限公司 | 底层与应用层分离的反馈屏、界面数据显示方法及介质 |
| CN114415894A (zh) * | 2022-01-25 | 2022-04-29 | 京东方科技集团股份有限公司 | 终端分屏处理方法、装置、设备及介质 |
| CN114968022A (zh) * | 2022-05-12 | 2022-08-30 | 深圳康佳电子科技有限公司 | 基于无限屏的显示内容配置方法、智能终端及存储介质 |
| CN116527986A (zh) * | 2023-04-26 | 2023-08-01 | 天地阳光通信科技（北京）有限公司 | 一种分屏文本显示控制方法、设备及存储介质 |
| CN116916082A (zh) * | 2023-09-12 | 2023-10-20 | 华光影像科技有限公司 | 一种影视制作界面切换系统 |
| CN117435091A (zh) * | 2023-12-19 | 2024-01-23 | 麦格纳汽车动力总成(天津)有限公司 | 一种能源管理方法、系统、设备及介质 |
| WO2024139245A1 (zh) * | 2022-12-30 | 2024-07-04 | 海信视像科技股份有限公司 | 一种显示设备及分屏显示方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1893418A (zh) * | 2005-07-01 | 2007-01-10 | 上海新纳广告传媒有限公司 | 显示屏中分区域显示可定制的内容的方法 |
| WO2008024705A2 (en) * | 2006-08-24 | 2008-02-28 | Howard Lutnick | Multi-display computer terminal system |
| CN101420481A (zh) * | 2008-05-30 | 2009-04-29 | 北京天腾时空信息科技有限公司 | 一种终端分屏显示的方法和装置 |
| CN107390989A (zh) * | 2017-07-18 | 2017-11-24 | 深圳天珑无线科技有限公司 | 屏幕显示方法、装置及计算机可读存储介质 |
| CN109086020A (zh) * | 2018-10-29 | 2018-12-25 | 中国建设银行股份有限公司 | 分屏显示方法及装置 |
| CN110727382A (zh) * | 2019-09-06 | 2020-01-24 | 华为技术有限公司 | 一种分屏显示方法及电子设备 |
-
2021
- 2021-08-19 CN CN202110955541.XA patent/CN113687745B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1893418A (zh) * | 2005-07-01 | 2007-01-10 | 上海新纳广告传媒有限公司 | 显示屏中分区域显示可定制的内容的方法 |
| WO2008024705A2 (en) * | 2006-08-24 | 2008-02-28 | Howard Lutnick | Multi-display computer terminal system |
| CN101420481A (zh) * | 2008-05-30 | 2009-04-29 | 北京天腾时空信息科技有限公司 | 一种终端分屏显示的方法和装置 |
| CN107390989A (zh) * | 2017-07-18 | 2017-11-24 | 深圳天珑无线科技有限公司 | 屏幕显示方法、装置及计算机可读存储介质 |
| CN109086020A (zh) * | 2018-10-29 | 2018-12-25 | 中国建设银行股份有限公司 | 分屏显示方法及装置 |
| CN110727382A (zh) * | 2019-09-06 | 2020-01-24 | 华为技术有限公司 | 一种分屏显示方法及电子设备 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114281357A (zh) * | 2021-12-09 | 2022-04-05 | 欧姆(重庆)电子技术有限公司 | 底层与应用层分离的反馈屏、界面数据显示方法及介质 |
| CN114240185A (zh) * | 2021-12-20 | 2022-03-25 | 广州华评网络科技有限公司 | 一种查评同窗的科技成果评价和展示的方法及系统 |
| CN114415894A (zh) * | 2022-01-25 | 2022-04-29 | 京东方科技集团股份有限公司 | 终端分屏处理方法、装置、设备及介质 |
| CN114968022A (zh) * | 2022-05-12 | 2022-08-30 | 深圳康佳电子科技有限公司 | 基于无限屏的显示内容配置方法、智能终端及存储介质 |
| WO2024139245A1 (zh) * | 2022-12-30 | 2024-07-04 | 海信视像科技股份有限公司 | 一种显示设备及分屏显示方法 |
| CN116527986A (zh) * | 2023-04-26 | 2023-08-01 | 天地阳光通信科技（北京）有限公司 | 一种分屏文本显示控制方法、设备及存储介质 |
| CN116527986B (zh) * | 2023-04-26 | 2024-06-04 | 天地阳光通信科技（北京）有限公司 | 一种分屏文本显示控制方法、设备及存储介质 |
| CN116916082A (zh) * | 2023-09-12 | 2023-10-20 | 华光影像科技有限公司 | 一种影视制作界面切换系统 |
| CN116916082B (zh) * | 2023-09-12 | 2023-12-08 | 华光影像科技有限公司 | 一种影视制作界面切换系统 |
| CN117435091A (zh) * | 2023-12-19 | 2024-01-23 | 麦格纳汽车动力总成(天津)有限公司 | 一种能源管理方法、系统、设备及介质 |
| CN117435091B (zh) * | 2023-12-19 | 2024-04-09 | 麦格纳汽车动力总成(天津)有限公司 | 一种能源管理方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113687745B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113687745B (zh) | 一种分屏窗口的界面显示方法、系统及终端 | |
| CN110941383B (zh) | 双屏幕显示方法、装置、设备及存储介质 | |
| JP5189978B2 (ja) | メディアユーザインタフェーススタートメニュー | |
| CN110377264B (zh) | 图层合成方法、装置、电子设备及存储介质 | |
| CN102117291B (zh) | 一种展现网络资源的方法及系统 | |
| US20080240683A1 (en) | Method and system to reproduce contents, and recording medium including program to reproduce contents | |
| CN110019464B (zh) | 页面处理方法及装置 | |
| JPH10240746A (ja) | 単一フレーム・マルチメディア・タイトルを作成する方法 | |
| JP5323260B2 (ja) | 制御端末装置及びリモート制御システム | |
| US20150046796A1 (en) | Page formation method and electronic device supporting the method | |
| CN112035195B (zh) | 应用界面的展示方法、装置、电子设备及存储介质 | |
| JP2007281969A (ja) | 表示装置、表示方法及びプログラム | |
| JP2007114402A (ja) | 表示処理装置 | |
| CN114116622A (zh) | 一种显示设备及文件显示方法 | |
| CN104053035A (zh) | 用于增强多媒体内容的显示的系统及方法 | |
| AU2011239885A1 (en) | So-called HD-Web method for high-definition and all-screen compatibile internet contents | |
| JP6062984B2 (ja) | 情報処理装置および情報表示方法 | |
| CN111104196A (zh) | 一种壁纸展示方法及终端设备 | |
| US10564821B2 (en) | Screen copying method | |
| CN110971955A (zh) | 页面处理方法及装置、电子设备以及存储介质 | |
| CN115086735B (zh) | 一种多窗口多任务下的应用拼屏保活方法及其相关设备 | |
| US12022148B2 (en) | Display apparatus | |
| CN115396717B (zh) | 显示设备及显示画质调节方法 | |
| WO2024131095A9 (zh) | 一种显示设备及菜单的显示方法 | |
| US20240323472A1 (en) | Display apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |