CN117687552B - 显示屏分区显示方法、装置、设备及存储介质 - Google Patents
显示屏分区显示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117687552B CN117687552B CN202410155468.1A CN202410155468A CN117687552B CN 117687552 B CN117687552 B CN 117687552B CN 202410155468 A CN202410155468 A CN 202410155468A CN 117687552 B CN117687552 B CN 117687552B
- Authority
- CN
- China
- Prior art keywords
- display
- partition
- determining
- content
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005192 partition Methods 0.000 title claims abstract description 525
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004424 eye movement Effects 0.000 claims abstract description 29
- 239000000470 constituent Substances 0.000 claims abstract description 25
- 210000001508 eye Anatomy 0.000 claims abstract description 25
- 238000000638 solvent extraction Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 60
- 238000012795 verification Methods 0.000 claims description 43
- 230000004913 activation Effects 0.000 claims description 34
- 238000011176 pooling Methods 0.000 claims description 24
- 210000002569 neuron Anatomy 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于显示屏分区技术领域，公开了一种显示屏分区显示方法、装置、设备及存储介质。本发明通过对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签，确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示，根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，实现能够根据用户的注视区域来动态调节显示屏分区显示的区域大小，能够提高用户同屏多任务处理的工作效率。
Description
技术领域
本发明涉及显示屏分区技术领域，尤其涉及一种显示屏分区显示方法、装置、设备及存储介质。
背景技术
人们在使用类似电脑、智能手机、智能电视等带有显示屏的智能终端时，往往可能需要在一个显示屏上同时显示多个相同或不同的内容，而为了同时显示多个内容，就需要对设备的显示屏的显示区域进行划分为多个相同或不同大小的显示区域，而通常在对显示区域划分时，往往是采取等分的方式，将显示屏划分为多个较小显示区域用来显示对应需要展示的显示内容，在这种显示区域划分的方式下，显示区域的大小往往会影响到原本需要展示的内容，导致用户在读取该区域内显示的内容时为了能更轻松，更效率地获取显示区域内展示的内容，就需要手动重新调整区域大小以及调整显示区域的分布，会打断用户处理事务的处理节奏，延缓处理效率。因此，目前的显示屏分区显示方法在处理多任务事项时会降低用户的处理效率。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种显示屏分区显示方法、装置、设备及存储介质，旨在解决现有技术无法根据需要在显示屏上展示的内容动态调节显示区域的技术问题。
为实现上述目的，本发明提供了一种显示屏分区显示方法，所述方法包括以下步骤：
在显示模式为动态分区显示模式时，对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签；
确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示；
根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区；
根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
可选地，所述对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签，包括：
复制待显示内容的展示界面，得到显示图像；
对所述显示图像进行预处理，得到预处理图像，并对所述预处理图像进行解码，得到图像张量；
将所述图像张量输入至分区显示模型中触发元素识别任务，使所述分区显示模型提取所述图像张量的特征值，并根据所述特征值进行分类识别，得到所述显示图像的组成元素和组成元素占比，所述分区显示模型为至少包括一个卷积层、池化层和全连接层的卷积神经网络模型；
根据所述组成元素占比确定所述内容标签。
可选地，所述根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，包括：
获取摄像头捕捉到的用户的眼睛位置，根据所述眼睛位置确定所述用户的眼动数据；
根据所述眼动数据确定出用户的视线，并基于视线的交汇情况确定注视区域；
将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区。
可选地，所述将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区，还包括：
对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第二显示区域，同时开启计时器进行计时；
在预设时间内，与所述注视区域重合的显示区域再次发生切换时，判断切换后的显示分区是否为所述主显示分区；
若是，对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第三显示区域，在第三显示区域和所述主显示分区为相同显示区域时，将所述主显示分区和所述第二显示区域都确定为主显示分区；
若否，则将所述主显示分区切换为与所述注视区域重合的显示分区。
可选地，所述根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，包括：
确定当前存在的显示分区数量；
获取除所述主显示分区以外的其他显示分区中对应的显示内容的从内容标签；
将所述显示分区数量、所述主内容标签和所述从内容标签输入至分区显示模型中触发动态分区任务，使所述分区显示模型根据所述显示分区数量确定分区架构，根据所述从内容标签确定最小从显示区域，根据所述主内容标签确定所述主显示分区的目标显示参数，所述目标显示参数至少包括目标亮度和目标对比度；
将所述分区架构、所述最小从显示区域和所述目标显示参数进行组合，得到分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
可选地，所述对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签之前，还包括：
获取训练样本集，将所述训练样本集进行预处理操作，并将预处理后的样本划分为训练集和验证集；
将所述训练集输入到初始分区显示模型中，根据所述卷积层中的卷积核对所述训练集中的样本进行卷积操作，得到元素卷积值；
将所述元素卷积值输入到池化层中，将所述元素卷积值中的最大值输入到全连接层中每个神经元的激活函数中，得到元素激活值；
根据所述每个神经元的激活值确定所述样本的元素预测概率；
根据所述元素预测概率与所述样本确定得到元素训练损失值；
根据所述元素训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到元素验证值；
根据所述元素验证集中对应的元素真实值与所述元素验证值得到元素误差值；
根据所述元素误差值对所述分区显示模型中的元素识别模块的权重和偏置参数进行更新，得到分区显示模型。
可选地，所述根据所述误差值对所述分区显示模型的权重和偏置参数进行更新，得到分区显示模型，还包括：
将所述更新后的权重和偏置参数作为初始模型参数；
根据所述训练集中的样本对应的分区数量和内容标签，以及所述初始模型参数对所述分区显示模型中的动态分区任务进行训练，所述动态分区任务与所述元素识别模块共用卷积层参数；
根据所述分区数量、所述内容标签和所述卷积层参数得到分区卷积值；
将所述分区卷积值输入到分区池化层中，将所述分区卷积值中的最大值输入到分区全连接层中每个神经元的激活函数中，得到分区激活值；
根据所述每个神经元的分区激活值确定所述样本的分区预测概率；
根据所述分区预测概率与所述样本确定得到分区训练损失值；
根据所述分区训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到分区验证值；
根据所述分区验证集中对应的分区真实值与所述分区验证值得到分区误差值；
根据所述分区误差值对所述分区显示模型中的动态分区模块的权重和偏置参数进行更新，得到分区显示模型。
此外，为实现上述目的，本发明还提出一种显示屏分区显示装置，所述显示屏分区显示装置包括：
元素识别模块，用于在显示模式为动态分区显示模式时，对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签；
分区布局模块，用于确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示；
分区确定模块，用于根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区；
分区调节模块，用于根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
此外，为实现上述目的，本发明还提出一种显示屏分区显示设备，所述显示屏分区显示设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显示屏分区显示程序，所述显示屏分区显示程序配置为实现如上文所述的显示屏分区显示方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有显示屏分区显示程序，所述显示屏分区显示程序被处理器执行时实现如上文所述的显示屏分区显示方法的步骤。
本发明通过对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签，确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示，根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，实现能够根据用户的注视区域来动态调节显示屏分区显示的区域大小，能够提高用户同屏多任务处理的工作效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的显示屏分区显示设备的结构示意图；
图2为本发明显示屏分区显示方法第一实施例的流程示意图；
图3为本发明显示屏分区显示方法一实施例的显示屏分区分布示意图；
图4为本发明显示屏分区显示方法一实施例的注视区域示意图；
图5为本发明显示屏分区显示方法一实施例的动态分区显示效果图；
图6为本发明显示屏分区显示方法第二实施例的流程示意图；
图7为本发明显示屏分区显示装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的显示屏分区显示设备结构示意图。
如图1所示，该显示屏分区显示设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对显示屏分区显示设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及显示屏分区显示程序。
在图1所示的显示屏分区显示设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明显示屏分区显示设备中的处理器1001、存储器1005可以设置在显示屏分区显示设备中，所述显示屏分区显示设备通过处理器1001调用存储器1005中存储的显示屏分区显示程序，并执行本发明实施例提供的显示屏分区显示方法。
本发明实施例提供了一种显示屏分区显示方法，参照图2，图2为本发明一种显示屏分区显示方法第一实施例的流程示意图。
本实施例中，所述显示屏分区显示方法包括以下步骤：
步骤S10：在显示模式为动态分区显示模式时，对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签。
需要说明的是，本实施例的执行主体是显示屏分区显示设备，其中，该显示屏分区显示设备具有数据处理，数据通信及程序运行等功能，所述显示屏分区显示设备可以为集成控制器，控制计算机等设备，当然还可以为其他具备相似功能的设备，本实施例对此不做限制。
应当理解的是，在显示屏的工作模式中，用户能够选择常规的显示模式，也能够选择动态分区显示模式，用户能够通过在显示屏显示设置中的模式选择来选择是否开启动态分区显示模式，在用户选择开始动态分区显示模式时，能够在开启前向用户发送提示信息，以告知用户该行为会读取待显示内容以及用户的眼动数据，告知方式至少包括弹窗提醒等其他方式进行告知，在用户同意并授权时，显示屏开启动态分区显示模式。
可以理解的是，待显示内容为输入到显示屏中用于向用户进行展示的内容，具体可以包括应用程序交互窗口，图像、文档等能够在显示屏上显示的各种显示内容，显示内容的组成元素至少可以包括文本元素和图像元素，内容标签是用于对当前待显示内容的标签化描述，用于对各个显示内容进行区别，更进一步地是用于区分文本内容和图像内容，待显示内容的内容标签与待显示内容中元素占比有关，在文本元素占比大于图像元素占比时，当前显示内容的内容标签为文本内容标签，同理，在文本元素占比小于图像元素占比时，当前显示内容的内容标签为图像内容标签。
进一步地，为了得到显示屏中的显示的元素，所述对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签，包括：
复制待显示内容的展示界面，得到显示图像；
对所述显示图像进行预处理，得到预处理图像，并对所述预处理图像进行解码，得到图像张量；
将所述图像张量输入至分区显示模型中触发元素识别任务，使所述分区显示模型提取所述图像张量的特征值，并根据所述特征值进行分类识别，得到所述显示图像的组成元素和组成元素占比，所述分区显示模型为至少包括一个卷积层、池化层和全连接层的卷积神经网络模型；
根据所述组成元素占比确定所述内容标签。
需要说明的是，待显示内容为智能终端或其他设备传输到显示屏，使显示屏在显示区域所展示的内容，内容的形式本实施例不作限制，图像张量是指将图像表示为多维数组的方法。在深度学习中，图像张量是常见的数据结构，用于表示和操作图像数据，根据图像的类型不同，张量的维度也存在区别，例如彩色图像可以表示为三维张量，其中三个维度分别为高度、宽度和颜色通道，在将多个图像组成批量数据时，能够形成四维张量，四个维度分别为批量大小、高度、宽度和颜色通道。
在具体实现中，显示屏处于动态分区显示模式时，在获取到待显示内容时，能够将当前的待显示内容复制下来，形成一个需要显示的图像。对于显示屏而言，每一次显示相当于是在展示一张图像，此时，根据这一原理将待显示内容的展示界面复制下来，形成显示图像，显示图像与显示屏实际显示时的状态完全一样，此时基于TensorFlow对显示图像进行预处理，至少包括灰度化、缩放、去噪、归一化等操作，将图像数据由彩色图像转变为处理后的灰度图像，此时，由于经历了由彩色到灰度的过程，此时的图像中的颜色通道会变为1，此时能够降低数据量，并得到图像张量T（W,H,1）。此时将当前的图像张量输入到分区显示模型中，触发分区显示模型的原始识别任务，此时，分区显示模型能够提取出图像张量中的特征值，通过分区显示模型中的卷积神经网络模型中的卷积层、池化层、全连接层得到当前显示图像中的组成元素，其中组成元素包括文本和图像等内容，并在元素识别过程中，能够将元素识别结果存储与元素组成表中，用于统计元素类型和元素占比数量，其中，在统计元素占比时，应当以各元素占据显示区域中的面积确定，对于文本元素和图像元素的面积可以基于边缘检测技术获取各个元素的实际占比。在得到元素组成表之后，能够比较两个元素之间的元素占比，将元素占比较大的确定为当前显示内容的内容标签。例如经过分区显示模型对图像张量进行元素识别后，得到的文本元素占比为74%,图像元素占比为26%，那么此时的待显示内容为文本内容。
其中，需要理解的是，在将待显示内容转换为显示图像时，是为了避免由于根据文件显示类型对元素内容识别造成误判，相较于从多种不同文件类型的文件中提取元素，从图像类型文件中提取元素更具有效率，例如，若一个图像中全部都是文本内容，如果不按照本实施例的处理方式进行处理，要么会将当前的文件识别为图像元素，要么会进一步采用内容识别技术来获取到文件内部的信息，而将待显示内容复制后得到显示图像，能够减少元素误识别率以及处理步骤。
步骤S20：确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示。
需要说明的是，当前显示分区数量根据用户使用需求进行确定，具体根据用户同时需要执行的任务数量确定，同时部分任务可以后台执行，无需占用显示屏的显示区域，因此对于当前的显示分区数量需要对显示屏当前的显示情况进行检测。
在具体实现中，用户能够根据自身的使用习惯，同时结合显示屏的实际显示大小，将显示区域分割为若干个大小相同或不同的较小的显示区域。在默认条件下会将显示区域划分为左右两个等大的显示区域，或是左上、左下、右上、右下四个等大区域，当然，用户也能够根据实际情况将其中一个或多个显示区域进行大小调整。具体可以参照图3，图3为显示屏分区分布示意图，其中(a)-(c)部分为通常默认显示屏划分方式，（d）-（h）为用户能够根据实际情况设置的显示区域划分方式。在用户使用过程中，能够记录并学习用户对于不同显示区域划分数量所选择的显示区域划分模式。在显示屏需要显示对应数量的显示区域时，能够根据需要显示的区域数量，自适应的选择对应的显示区域划分模式来进行显示屏的显示区域划分。
步骤S30：根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区。
需要说明的是，眼动数据是根据眼球数据采集设备采集到的，能够通过显示屏与连接的采集设备获取到用户眼动数据，根据眼动数据能够确定出用户的视线以及用户所注视的区域。主显示分区为用户当前正在注视的显示区域。
在具体实现中，通过眼球数据采集设备采集得到眼动数据，能够获取到用户眼睛瞳孔的位置，并以当前显示屏为投影面，以用户的双眼的瞳孔位置，以及瞳孔之间的间距，来确定用户的注视区域，具体可以以当前瞳孔的位置确定瞳孔的偏移数据，并结合瞳孔的偏移数据，拟合出用户的视线，并以当前的显示屏所在平面为截面，此时会形成一个截断区域，具体参照图4，图4为注视区域示意图。根据截断区域能够生成用户视线落在显示屏上的一片区域内，即为用户的注视区域。与此同时，显示屏上此时也会对应着若干个显示分区，而此时能够将用户的注视区域与显示屏中的实际显示分区进行重合比对，确定注视区域与显示分区的关系，其中注视区域与显示屏的分区存在的关系有全包含和部分包含，在全包含时，注视区域所在的显示区域即为用户正在关注的显示区域，也即主显示分区，在部分包含时，就需要确定出注视区域被哪几个显示区域所包含，这一过程可以看做是多个显示分区将注视区域划分为若干块，并各自独占其中的一块注视区域，此时能够根据独占注视区域最大的显示分区确定为主显示分区。
进一步地，为了能够确定用户的注视区域，所述根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，包括：
获取摄像头捕捉到的用户的眼睛位置，根据所述眼睛位置确定所述用户的眼动数据；
根据所述眼动数据确定出用户的视线，并基于视线的交汇情况确定注视区域；
将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区。
需要说明的是，摄像头与显示屏的关系可以为显示屏本身具有的，或是外部连接的，具有眼球追踪功能的摄像头，在用户启用动态分区显示模式授权后才会开启。
在具体实现中，摄像头能够定位到用户的眼睛的瞳孔位置，在确定到用户的瞳孔位置后，锁定用户的瞳孔图像，并对瞳孔进行跟踪记录，确定用户瞳孔的运动数据，也可以称为眼动数据，由于眼动数据中包括了瞳孔位置变化数据，此时根据瞳孔位置变化确定出用户的视线，并确定出用户视线的交汇情况，由视线在显示屏幕上聚焦位置确定出用户的注视区域，为了确定用户的注视区域与显示分区之间的位置关系，即如何确定用户当前关注的显示分区是哪一个时候，可以将注视区域与显示区域进行重合，也就是说将注视区域与显示区域在同一个维度上进行展示，根据注视区域和显示区域的重合位置关系确定出主显示分区，将与所述注视区域重合的显示分区确定为主显示分区。在进行主显示分区确定时，由于注视区域会随着用户眼睛位置发生变化，因此注视区域在显示屏上重合的区域也会发生变化，因此在确定主显示分区时，还能够对注视区域在同一显示分区中的停留时间进行监控，在达到一定时长时，才会确定主显示分区。
进一步地，为了避免用户在使用显示屏时，出现在两个显示分区中来回切换的情况，所述将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区，还包括：
对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第二显示区域，同时开启计时器进行计时；
在预设时间内，与所述注视区域重合的显示区域再次发生切换时，判断切换后的显示分区是否为所述主显示分区；
若是，对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第三显示区域，在第三显示区域和所述主显示分区为相同显示区域时，将所述主显示分区和所述第二显示区域都确定为主显示分区；
若否，则将所述主显示分区切换为与所述注视区域重合的显示分区。
需要说明的是，第二显示区域是用户从主显示分区中离开，注视区域与其他显示分区重合的对应显示分区，第二显示区域与主显示分区不是同一显示分区，第三显示区域是注视区域从第二显示区域离开，到了与第二注视区域不同的其他显示分区中，第三显示区域可以与主显示分区相同，也可以不同。
在具体实现中，用户在进行多任务工作时，可能会出现在多个显示分区中来回查看内容的情况，若不断的来切换主显示分区，那么可能会影响到用户的正常使用，因此，在用户的注视区域从当前的主显示分区中移动到第二显示区域中，此时能够开启计时器，确定在第二显示区域的停留时间，如果在预设的时间内，例如2s时间内，注视区域再次发生变化时，此时需要确定切换后的注视区域是否为原来的主显示分区，若是，在对注视区域进行追踪监控，在注视区域离开主显示分区时，确定与所述注视区域重合的第三显示区域，在第二显示区域和第三显示区域为相同显示区域时，将所述主显示分区和所述第二显示区域都确定为主显示分区。若否，则将所述主显示分区切换为与所述注视区域重合的显示分区。例如当前的主显示分区为A，此时注视区域从A转移到B，此时的注视区域在显示分区B上，若注视区域再次发生变化，若移动到显示分区C处，此时需要对显示分区C和主显示分区A进行判断，若显示分区C与主显示分区A为同一显示分区，那么此时说明用户目前是在两个显示区域中来回浏览，因此可以将主显示分区A和显示区域B共同确定为主显示分区；若此时的显示分区C与主显示分区A不为同一显示分区，那么将主显示分区确定为当前注视区域所重合的显示区域。
步骤S40：根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
在具体实现中，在根据主显示分区中的主内容标签确定分区调节策略并进行调节时，需要根据主内容标签的标签类型将显示分区的大小调整为能够凸显主显示分区内的内容的大小，如文本标签就需要调整到能够完全显示，并且能够显示清楚的大小，若是图像标签，则能够调整到能够体现图像细节部分的显示大小，根据内容标签能够生成合适的显示分区显示窗口规格，并将主显示分区按照显示窗口规格进行调整，同时对其他显示分区的显示大小进行对应的调整。
进一步地，所述根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，包括：
确定当前存在的显示分区数量；
获取除所述主显示分区以外的其他显示分区中对应的显示内容的从内容标签；
将所述显示分区数量、所述主内容标签和所述从内容标签输入至分区显示模型中触发动态分区任务，使所述分区显示模型根据所述显示分区数量确定分区架构，根据所述从内容标签确定最小从显示区域，根据所述主内容标签确定所述主显示分区的目标显示参数，所述目标显示参数至少包括目标亮度和目标对比度；
将所述分区架构、所述最小从显示区域和所述目标显示参数进行组合，得到分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
在具体实现中，在对显示分区进行调节时，首先确定当前存在的显示分区数量，根据当前的数量能够得到显示分区的对应的分区布局，与此同时获取除所述主显示分区以外的其他显示分区中对应的显示内容的从内容标签，用于来对其他显示分区进行调节，用于制衡主显示分区的大小调节。此时，能够将所述显示分区数量、所述主内容标签和所述从内容标签输入至分区显示模型中触发动态分区任务，使所述分区显示模型根据所述显示分区数量确定分区架构，根据所述从内容标签确定最小从显示区域，根据所述主内容标签确定所述主显示分区的目标显示参数，所述目标显示参数至少包括目标亮度和目标对比度，并根据将所述分区架构、所述最小从显示区域和所述目标显示参数进行组合，得到分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，如图5所示，图5为动态分区显示效果图，以4个显示分区为例，其中显示区域M为主显示分区，主显示分区的显示窗口会根据内容进行适应性调整，以适应用户的使用需求，同时也兼顾其他显示内容，不影响其他内容显示。
本实施例通过对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签，确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示，根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，实现能够根据用户的注视区域来动态调节显示屏分区显示的区域大小，能够提高用户同屏多任务处理的工作效率。
参考图6，图6为本发明一种显示屏分区显示方法第二实施例的流程示意图。
基于上述第一实施例，本实施例显示屏分区显示方法在所述步骤S10之前，还包括：
步骤S01：获取训练样本集，将所述训练样本集进行预处理操作，并将预处理后的样本划分为训练集和验证集；
步骤S02：将所述训练集输入到初始分区显示模型中，根据所述卷积层中的卷积核对所述训练集中的样本进行卷积操作，得到元素卷积值；
步骤S03：将所述元素卷积值输入到池化层中，将所述元素卷积值中的最大值输入到全连接层中每个神经元的激活函数中，得到元素激活值；
步骤S04：根据所述每个神经元的激活值确定所述样本的元素预测概率；
步骤S05：根据所述元素预测概率与所述样本确定得到元素训练损失值；
步骤S06：根据所述元素训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到元素验证值；
步骤S07：根据所述元素验证集中对应的元素真实值与所述元素验证值得到元素误差值；
步骤S08：根据所述元素误差值对所述分区显示模型中的元素识别模块的权重和偏置参数进行更新，得到分区显示模型。
在具体实现中，获取训练样本集，样本集中包括各种情况对应的能够满足显示需求的数据集合，在得到训练样本集后，能够对训练样本进行预处理操作，将样本数据进行归一化，统一数据的量纲，降低数据的大小，便于神经网络模型进行训练，提高训练效率，并将训练样本集按照9:1的比例划分为训练集和验证集。在训练过程中，将训练集数据输入到初始分区显示模型中进行训练，其中初始分区显示模型中至少包括一层卷积层、池化层和全连接层，根据实际情况可以对其中一个或多个层级进行复用迭代。将训练集中的数据通过输入层输入到神经元中，通过卷积层对训练数据进行卷积操作，在输入层中，可以将分区数量，主显示分区的内容标签、各从显示分区的内容标签进行卷积，卷积核设置为3×3大小，来捕捉局部特征以步长为2进行卷积操作，以降低数据处理量，根据实际情况可以选择是否对数据进行填充，在填充时，可以以0填充，实现方式为output_height = (input_height -kernel_size + 2*padding) / stride + 1，进而得到元素卷积值。在进行池化时，能够以池化核为2×2进行池化操作，同时以步长为2进行移动，对元素卷积值进行池化，在池化层中，池化层的设置为平均池化层，对元素卷积值进行下采样和特征选择，以减小数据的维度和参数数量，同时保留重要的特征信息。通过池化操作，可以有效地降低数据的维度和计算复杂度，同时保留重要的特征信息，有助于提高模型的泛化能力，将所述元素卷积值输入到池化层中，将元素卷积值中的最大值输入到全连接层中每个神经元的激活函数中，得到元素激活值，神经元的激活函数中，可以选择Leaky ReLU激活函数，公式为：
为一个小数，本实施例中/>，通过把x的非常小的线性分量给予负输入来调整负值的零梯度问题，当x<0时，它得到0.1的正梯度，基于激活函数得到元素激活值。并根据所述每个神经元的激活值确定所述样本的元素预测概率，根据元素预测概率基于损失函数得到元素训练损失值，并根据所述元素训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到元素验证值，根据所述元素验证集中对应的元素真实值与所述元素验证值得到元素误差值，根据所述元素误差值对所述分区显示模型中的元素识别模块的权重和偏置参数进行更新，得到分区显示模型。
进一步地，所述根据所述误差值对所述分区显示模型的权重和偏置参数进行更新，得到分区显示模型，还包括：
将所述更新后的权重和偏置参数作为初始模型参数；
根据所述训练集中的样本对应的分区数量和内容标签，以及所述初始模型参数对所述分区显示模型中的动态分区任务进行训练，所述动态分区任务与所述元素识别模块共用卷积层参数；
根据所述分区数量、所述内容标签和所述卷积层参数得到分区卷积值；
将所述分区卷积值输入到分区池化层中，将所述分区卷积值中的最大值输入到分区全连接层中每个神经元的激活函数中，得到分区激活值；
根据所述每个神经元的分区激活值确定所述样本的分区预测概率；
根据所述分区预测概率与所述样本确定得到分区训练损失值；
根据所述分区训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到分区验证值；
根据所述分区验证集中对应的分区真实值与所述分区验证值得到分区误差值；
根据所述分区误差值对所述分区显示模型中的动态分区模块的权重和偏置参数进行更新，得到分区显示模型。
在具体实现过程中，将上一过程对于元素识别任务过程中的权重和偏置参数作为动态分区任务中的出水模型参数，即元素识别任务和动态分区任务共用部分的神经网络模型参数，根据训练样本中的分区数量和内容标签，以及所述初始模型参数对所述分区显示模型中的动态分区任务进行训练，所述动态分区任务与所述元素识别模块共用卷积层参数，根据所述分区数量、所述内容标签和所述卷积层参数得到分区卷积值，将所述分区卷积值输入到分区池化层中，将所述分区卷积值中的最大值输入到分区全连接层中每个神经元的激活函数中，得到分区激活值，根据所述每个神经元的分区激活值确定所述样本的分区预测概率，根据所述分区预测概率与所述样本确定得到分区训练损失值，根据所述分区训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到分区验证值，根据所述分区验证集中对应的分区真实值与所述分区验证值得到分区误差值，根据所述分区误差值对所述分区显示模型中的动态分区模块的权重和偏置参数进行更新，得到分区显示模型。
本实施例通过将元素识别任务与动态分区任务集合于一个神经网络模型中，使一个神经网络模型能够处理两个事务，能够使分区显示模型根据显示屏的显示内容与分区数量得到最佳的分区显示区域划分，能够使用户不需要手动调节，显示屏的分区显示能够根据用户的眼动数据以及当前的显示任务数量自适应调整，提高用户的处理效率。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有显示屏分区显示程序，所述显示屏分区显示程序被处理器执行时实现如上文所述的显示屏分区显示方法的步骤。
参照图7，图7为本发明显示屏分区显示装置第一实施例的结构框图。
如图7所示，本发明实施例提出的显示屏分区显示装置包括：
元素识别模块10，用于在显示模式为动态分区显示模式时，对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签；
分区布局模块20，用于确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示；
分区确定模块30，用于根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区；
分区调节模块40，用于根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
本实施例通过对待显示内容进行元素识别，确定显示内容的组成元素，并根据所述组成元素的组成占比确定内容标签，确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示，根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，根据所述主显示分区中显示内容的主内容标签确定分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节，实现能够根据用户的注视区域来动态调节显示屏分区显示的区域大小，能够提高用户同屏多任务处理的工作效率。
在一实施例中，所述元素识别模块10，还用于复制待显示内容的展示界面，得到显示图像；对所述显示图像进行预处理，得到预处理图像，并对所述预处理图像进行解码，得到图像张量；将所述图像张量输入至分区显示模型中触发元素识别任务，使所述分区显示模型提取所述图像张量的特征值，并根据所述特征值进行分类识别，得到所述显示图像的组成元素和组成元素占比，所述分区显示模型为至少包括一个卷积层、池化层和全连接层的卷积神经网络模型；根据所述组成元素占比确定所述内容标签。
在一实施例中，所述分区确定模块30，还用于获取摄像头捕捉到的用户的眼睛位置，根据所述眼睛位置确定所述用户的眼动数据；根据所述眼动数据确定出用户的视线，并基于视线的交汇情况确定注视区域；将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区。
在一实施例中，所述分区确定模块30，还用于对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第二显示区域，同时开启计时器进行计时；在预设时间内，与所述注视区域重合的显示区域再次发生切换时，判断切换后的显示分区是否为所述主显示分区；若是，对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第三显示区域，在第三显示区域和所述主显示分区为相同显示区域时，将所述主显示分区和所述第二显示区域都确定为主显示分区；若否，则将所述主显示分区切换为与所述注视区域重合的显示分区。
在一实施例中，所述分区调节模块40，还用于确定当前存在的显示分区数量；获取除所述主显示分区以外的其他显示分区中对应的显示内容的从内容标签；将所述显示分区数量、所述主内容标签和所述从内容标签输入至分区显示模型中触发动态分区任务，使所述分区显示模型根据所述显示分区数量确定分区架构，根据所述从内容标签确定最小从显示区域，根据所述主内容标签确定所述主显示分区的目标显示参数，所述目标显示参数至少包括目标亮度和目标对比度；将所述分区架构、所述最小从显示区域和所述目标显示参数进行组合，得到分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
在一实施例中，所述元素识别模块10，还用于获取训练样本集，将所述训练样本集进行预处理操作，并将预处理后的样本划分为训练集和验证集；将所述训练集输入到初始分区显示模型中，根据所述卷积层中的卷积核对所述训练集中的样本进行卷积操作，得到元素卷积值；将所述元素卷积值输入到池化层中，将所述元素卷积值中的最大值输入到全连接层中每个神经元的激活函数中，得到元素激活值；根据所述每个神经元的激活值确定所述样本的元素预测概率；根据所述元素预测概率与所述样本确定得到元素训练损失值；根据所述元素训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到元素验证值；根据所述元素验证集中对应的元素真实值与所述元素验证值得到元素误差值；根据所述元素误差值对所述分区显示模型中的元素识别模块的权重和偏置参数进行更新，得到分区显示模型。
在一实施例中，所述元素识别模块10，还用于将所述更新后的权重和偏置参数作为初始模型参数；根据所述训练集中的样本对应的分区数量和内容标签，以及所述初始模型参数对所述分区显示模型中的动态分区任务进行训练，所述动态分区任务与所述元素识别模块共用卷积层参数；根据所述分区数量、所述内容标签和所述卷积层参数得到分区卷积值；将所述分区卷积值输入到分区池化层中，将所述分区卷积值中的最大值输入到分区全连接层中每个神经元的激活函数中，得到分区激活值；根据所述每个神经元的分区激活值确定所述样本的分区预测概率；根据所述分区预测概率与所述样本确定得到分区训练损失值；根据所述分区训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到分区验证值；根据所述分区验证集中对应的分区真实值与所述分区验证值得到分区误差值；根据所述分区误差值对所述分区显示模型中的动态分区模块的权重和偏置参数进行更新，得到分区显示模型。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光 盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种显示屏分区显示方法，其特征在于，所述显示屏分区显示方法包括：
在显示模式为动态分区显示模式时，复制待显示内容的展示界面，得到显示图像；
对所述显示图像进行预处理，得到预处理图像，并对所述预处理图像进行解码，得到图像张量；
将所述图像张量输入至分区显示模型中触发元素识别任务，使所述分区显示模型提取所述图像张量的特征值，并根据所述特征值进行分类识别，得到所述显示图像的组成元素和组成元素占比，所述分区显示模型为至少包括一个卷积层、池化层和全连接层的卷积神经网络模型；
根据所述组成元素占比确定内容标签；
确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示；
根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区；
确定当前存在的显示分区数量；
获取除所述主显示分区以外的其他显示分区中对应的显示内容的从内容标签；
将所述显示分区数量、主内容标签和所述从内容标签输入至分区显示模型中触发动态分区任务，使所述分区显示模型根据所述显示分区数量确定分区架构，根据所述从内容标签确定最小从显示区域，根据所述主内容标签确定所述主显示分区的目标显示参数，所述目标显示参数至少包括目标亮度和目标对比度；
将所述分区架构、所述最小从显示区域和所述目标显示参数进行组合，得到分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
2.如权利要求1所述的方法，其特征在于，所述根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区，包括：
获取摄像头捕捉到的用户的眼睛位置，根据所述眼睛位置确定所述用户的眼动数据；
根据所述眼动数据确定出用户的视线，并基于视线的交汇情况确定注视区域；
将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区。
3.如权利要求2所述的方法，其特征在于，所述将所述注视区域与所述显示屏的分区布局叠加重合，将与所述注视区域重合的显示分区确定为主显示分区，还包括：
对所述注视区域进行追踪监控，在所述注视区域离开所述主显示分区时，确定与所述注视区域重合的第二显示区域，同时开启计时器进行计时；
在预设时间内，与所述注视区域重合的显示区域再次发生切换时，判断切换后的显示分区是否为所述主显示分区；
若是，将所述主显示分区和所述第二显示区域都确定为主显示分区；
若否，则将所述主显示分区切换为与所述注视区域重合的显示分区。
4.如权利要求1所述的方法，其特征在于，所述对将所述图像张量输入至分区显示模型中触发元素识别任务，使所述分区显示模型提取所述图像张量的特征值，并根据所述特征值进行分类识别，得到所述显示图像的组成元素和组成元素占比之前，还包括：
获取训练样本集，将所述训练样本集进行预处理操作，并将预处理后的样本划分为训练集和验证集；
将所述训练集输入到初始分区显示模型中，根据所述卷积层中的卷积核对所述训练集中的样本进行卷积操作，得到元素卷积值；
将所述元素卷积值输入到池化层中，将所述元素卷积值中的最大值输入到全连接层中每个神经元的激活函数中，得到元素激活值；
根据所述每个神经元的激活值确定所述样本的元素预测概率；
根据所述元素预测概率与所述样本确定得到元素训练损失值；
根据所述元素训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到元素验证值；
根据所述元素验证集中对应的元素真实值与所述元素验证值得到元素误差值；
根据所述元素误差值对所述分区显示模型中的元素识别模块的权重和偏置参数进行更新，得到分区显示模型。
5.如权利要求4所述的方法，其特征在于，所述根据所述误差值对所述分区显示模型的权重和偏置参数进行更新，得到分区显示模型，还包括：
将所述更新后的权重和偏置参数作为初始模型参数；
根据所述训练集中的样本对应的分区数量和内容标签，以及所述初始模型参数对所述分区显示模型中的动态分区任务进行训练，所述动态分区任务与所述元素识别模块共用卷积层参数；
根据所述分区数量、所述内容标签和所述卷积层参数得到分区卷积值；
将所述分区卷积值输入到分区池化层中，将所述分区卷积值中的最大值输入到分区全连接层中每个神经元的激活函数中，得到分区激活值；
根据所述每个神经元的分区激活值确定所述样本的分区预测概率；
根据所述分区预测概率与所述样本确定得到分区训练损失值；
根据所述分区训练损失值对权重和偏置参数进行初步校准，并将所述验证集输入至校准后的分区显示模型，得到分区验证值；
根据所述分区验证集中对应的分区真实值与所述分区验证值得到分区误差值；
根据所述分区误差值对所述分区显示模型中的动态分区模块的权重和偏置参数进行更新，得到分区显示模型。
6.一种显示屏分区显示装置，其特征在于，所述显示屏分区显示装置包括：
元素识别模块，用于在显示模式为动态分区显示模式时，复制待显示内容的展示界面，得到显示图像；对所述显示图像进行预处理，得到预处理图像，并对所述预处理图像进行解码，得到图像张量；将所述图像张量输入至分区显示模型中触发元素识别任务，使所述分区显示模型提取所述图像张量的特征值，并根据所述特征值进行分类识别，得到所述显示图像的组成元素和组成元素占比，所述分区显示模型为至少包括一个卷积层、池化层和全连接层的卷积神经网络模型；根据所述组成元素占比确定内容标签；
分区布局模块，用于确定所述显示屏的当前显示分区数量，根据用户习惯和所述当前显示分区数量确定显示分区分布，并将所述显示内容在所述当前显示分区展示；
分区确定模块，用于根据眼动数据获取到眼睛的注视区域，将与所述注视区域重合的显示分区确定为主显示分区；
分区调节模块，用于确定当前存在的显示分区数量；获取除所述主显示分区以外的其他显示分区中对应的显示内容的从内容标签；将所述显示分区数量、主内容标签和所述从内容标签输入至分区显示模型中触发动态分区任务，使所述分区显示模型根据所述显示分区数量确定分区架构，根据所述从内容标签确定最小从显示区域，根据所述主内容标签确定所述主显示分区的目标显示参数，所述目标显示参数至少包括目标亮度和目标对比度；将所述分区架构、所述最小从显示区域和所述目标显示参数进行组合，得到分区调节策略，并根据所述分区调节策略对所述主显示分区进行调节。
7.一种显示屏分区显示设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显示屏分区显示程序，所述显示屏分区显示程序配置为实现如权利要求1至5中任一项所述的显示屏分区显示方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有显示屏分区显示程序，所述显示屏分区显示程序被处理器执行时实现如权利要求1至5任一项所述的显示屏分区显示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410155468.1A CN117687552B (zh) | 2024-02-04 | 2024-02-04 | 显示屏分区显示方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410155468.1A CN117687552B (zh) | 2024-02-04 | 2024-02-04 | 显示屏分区显示方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117687552A CN117687552A (zh) | 2024-03-12 |
| CN117687552B true CN117687552B (zh) | 2024-04-23 |
Family
ID=90130454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410155468.1A Active CN117687552B (zh) | 2024-02-04 | 2024-02-04 | 显示屏分区显示方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117687552B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
| CN110096328A (zh) * | 2019-05-09 | 2019-08-06 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于飞行任务的hud界面优化布局自适应方法及系统 |
| CN116069432A (zh) * | 2023-02-22 | 2023-05-05 | 维沃移动通信有限公司 | 分屏显示方法、装置、电子设备及可读存储介质 |
| CN116501163A (zh) * | 2022-01-18 | 2023-07-28 | 北京小米移动软件有限公司 | 图像显示方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170131872A1 (en) * | 2015-11-06 | 2017-05-11 | Google Inc. | Mobile User Interface |
| US20230400918A1 (en) * | 2021-02-16 | 2023-12-14 | Athena Accessible Technology, Inc. | Systems and Methods for Hands-Free Scrolling Based on a Detected User Reading Activity |
-
2024
- 2024-02-04 CN CN202410155468.1A patent/CN117687552B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770561A (zh) * | 2017-10-30 | 2018-03-06 | 河海大学 | 一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法 |
| CN110096328A (zh) * | 2019-05-09 | 2019-08-06 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于飞行任务的hud界面优化布局自适应方法及系统 |
| CN116501163A (zh) * | 2022-01-18 | 2023-07-28 | 北京小米移动软件有限公司 | 图像显示方法、装置、电子设备及存储介质 |
| CN116069432A (zh) * | 2023-02-22 | 2023-05-05 | 维沃移动通信有限公司 | 分屏显示方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 智能书写展示多板系统的设计与实现;李成;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190415(第04期);第I138-239页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117687552A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11113586B2 (en) | Method and electronic device for retrieving an image and computer readable storage medium | |
| EP3539054B1 (en) | Neural network image processing apparatus | |
| JP7282810B2 (ja) | 視線追跡方法およびシステム | |
| US10891509B2 (en) | Method and system for facilitating identification of an object-of-interest | |
| Riche et al. | Saliency and human fixations: State-of-the-art and study of comparison metrics | |
| US9201958B2 (en) | Video object retrieval system and method | |
| EP2975997B1 (en) | System and method for on-axis eye gaze tracking | |
| Zhang et al. | Gender and gaze gesture recognition for human-computer interaction | |
| CN112801018A (zh) | 一种跨场景目标自动识别与追踪方法及应用 | |
| US20210224977A1 (en) | Fundus image processing method, computer apparatus, and storage medium | |
| Greco et al. | Benchmarking deep network architectures for ethnicity recognition using a new large face dataset | |
| KR20200130440A (ko) | 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스(method for identifying an object within an image and mobile device for executing the method) | |
| Ben Salah et al. | A novel approach for human skin detection using convolutional neural network | |
| Engelke et al. | Perceived interest and overt visual attention in natural images | |
| Gwon et al. | Robust eye and pupil detection method for gaze tracking | |
| Lu et al. | Aesthetic guided deep regression network for image cropping | |
| JP2022517398A (ja) | ニューラルネットワークのトレーニング及び目開閉状態の検出方法、装置並び機器 | |
| KR101961462B1 (ko) | 객체 인식 방법 및 장치 | |
| CN113179421A (zh) | 视频封面选择方法、装置、计算机设备和存储介质 | |
| Le Meur et al. | What we see is most likely to be what matters: Visual attention and applications | |
| CN117687552B (zh) | 显示屏分区显示方法、装置、设备及存储介质 | |
| Iannizzotto et al. | Competitive combination of multiple eye detection and tracking techniques | |
| CN112016592B (zh) | 基于交叉领域类别感知的领域适应语义分割方法及装置 | |
| US11783625B2 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image | |
| Shi et al. | Region contrast and supervised locality-preserving projection-based saliency detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |