CN115480680A - 多设备协同控制方法、终端设备及计算机可读存储介质 - Google Patents
多设备协同控制方法、终端设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115480680A CN115480680A CN202110606982.9A CN202110606982A CN115480680A CN 115480680 A CN115480680 A CN 115480680A CN 202110606982 A CN202110606982 A CN 202110606982A CN 115480680 A CN115480680 A CN 115480680A
- Authority
- CN
- China
- Prior art keywords
- partition
- partitions
- target area
- equipment
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000005192 partition Methods 0.000 claims abstract description 380
- 238000012545 processing Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 67
- 238000004891 communication Methods 0.000 description 39
- 230000006854 communication Effects 0.000 description 39
- 230000006870 function Effects 0.000 description 31
- 230000001795 light effect Effects 0.000 description 21
- 239000010410 layer Substances 0.000 description 20
- 238000007726 management method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000010295 mobile communication Methods 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 238000007654 immersion Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013551 empirical research Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请适用于终端技术领域,尤其涉及多设备协同控制方法、终端设备及计算机可读存储介质。该方法可以获取第一设备的显示画面和第二设备的设备信息,并可以根据第二设备的设备信息对第一设备的显示界面进行区域划分,得到显示画面对应的各第一分区。随后可以确定第二设备中与各第一分区对应的各第二分区,并可以获取各第一分区对应的第一像素信息,以根据各第一分区对应的第一像素信息分别对第二设备中的各第二分区进行协同控制,使得第二设备的效果模式与第一设备的显示画面实现分区匹配,以对第一设备的显示画面进行分区延展,从而使得显示画面达到最佳的沉浸式效果,提高画面的观看效果,提升用户体验。
Description
技术领域
本申请属于终端技术领域,尤其涉及多设备协同控制方法、终端设备及计算机可读存储介质。
背景技术
多设备协同是指通过两个或者两个以上的设备协同一致地完成某一目标。随着智能电视、智慧屏等显示设备的快速发展,人们对显示设备的显示效果有了更高的要求。目前,可以通过具有不同效果模式的环境灯与显示设备进行多设备协同,以使环境灯的灯效与显示设备当前的播放内容相适应,从而通过环境灯对显示设备的画面做延展,提高人们观看画面的沉浸感,提高观看效果。但目前的多设备协同需要用户手动切换环境灯的效果模式,即需要用户在菜单中手动选择与显示设备当前的播放内容相适应的效果模式,操作较为不便,用户体验较差。
发明内容
本申请实施例提供了一种多设备协同控制方法、终端设备及计算机可读存储介质,可以解决目前的多设备协同需要用户手动操作,操作较为不便,用户体验较差的问题。
第一方面,本申请实施例提供了一种多设备协同控制方法,可以包括:
获取第一设备的显示画面和第二设备的设备信息;
根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区;
确定所述第二设备中分别与各所述第一分区对应的第二分区;
获取各所述第一分区对应的第一像素信息;
根据各所述第一分区对应的第一像素信息对所述第二设备中的各所述第二分区分别进行协同控制。
通过上述提供的多设备协同控制方法,可以获取第一设备的显示画面和第二设备的设备信息,并可以根据第二设备的设备信息对第一设备的显示界面进行区域划分,得到显示画面对应的各第一分区。随后,可以确定第二设备中与各第一分区对应的各第二分区,并可以获取各第一分区的像素信息,以根据各第一分区的像素信息分别对第二设备中的各第二分区进行协同控制,使得第二设备的效果模式与第一设备的显示画面实现分区匹配,以对第一设备的显示画面进行分区延展,从而使得显示画面达到最佳的沉浸式效果,提高画面的观看效果,提升用户体验。
示例性的,所述设备信息包括所述第二设备对应的分区数量,所述根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区,可以包括:
获取所述第二设备与所述第一设备之间的位置关系;
根据所述第二设备与所述第一设备之间的位置关系确定所述显示界面对应的目标区域;
根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区。
在该方案提供的多设备协同控制方法中,可以根据第二设备与第一设备之间的位置关系确定目标区域,并可以根据第二设备的分区数量对目标区域进行划分,使得划分得到的第一分区的第一数量与第二设备的分区数量相匹配,从而可以根据目标区域中各第一分区的像素信息对第二设备进行分区的协同控制,提高协同控制效果。
其中,可以根据人眼视觉范围的特点来确定目标区域的大小。示例性的,可以根据人眼注意力参考模型确定显示界面的左侧和右侧所对应的目标区域的大小大于显示界面的顶部和底部所对应的目标区域的大小,以使得环境灯的延展符合人眼视觉的特点,提高环境灯的延展效果。
可选的,所述获取所述第二设备与所述第一设备之间的位置关系,可以包括:
获取所述第一设备中各预设位置处的NFC标签的配对信息;
根据所述NFC标签的配对信息确定所述第二设备与所述第一设备之间的位置关系。
在该方案提供的多设备协同控制方法中,可以直接根据第一设备中预设位置处的NFC标签的配对信息来确定第二设备与第一设备之间的位置关系,无需用户手动进行位置关系的输入,提高位置关系确定的效率。
在第一方面的一种可能的实现方式中,所述根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区,可以包括:
根据所述第二设备对应的分区数量确定所述第一分区的第一数量;
根据所述第一分区的第一数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区。
在第一方面的另一种可能的实现方式中,所述根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区,可以包括:
获取所述目标区域对应的第二像素信息;
根据所述目标区域对应的第二像素信息对所述目标区域进行区域划分,得到所述目标区域对应的第三分区;
根据所述第三分区的第二数量和所述第二设备对应的分区数量确定所述第一分区的第一数量;
根据所述第一分区的第一数量确定所述目标区域对应的各所述第一分区。
在该方案提供的多设备协同控制方法中,可以根据目标区域的像素信息和环境灯对应的分区数量对目标区域进行划分。其中,像素信息可以包括各像素点的颜色。即可以根据目标区域中各像素点的颜色对目标区域进行分区,得到与颜色对应的第三分区,第三分区由具有相同或者相近颜色的相邻像素点组成。然后,可以根据第三分区的第三数量和环境灯对应的分区数量确定第一分区的第一数量,并根据第一分区的第一数量进行目标区域的划分。示例性的,当第三分区的第三数量小于或者等于环境灯对应的分区数量时,可以将第三分区的第三数量确定为第一分区的第一数量;当第三分区的数量大于环境灯对应的分区数量时,可以将环境灯对应的分区数量确定为第一分区的第一数量。也就是说,当目标区域的颜色较为单一时,则可以减少目标区域的分区数,从而减少对CPU等资源的占用;当目标区域的颜色较为复杂时,则可以增加目标区域的分区数,以提高环境灯对画面的延展效果。
可选地,所述第一像素信息包括像素颜色,所述根据各所述第一分区对应的第一像素信息对所述第二设备中的各所述第二分区分别进行协同控制,可以包括:
根据各所述第一分区对应的像素颜色确定所述第二设备中各所述第二分区的颜色;
分别根据各所述第二分区的颜色对各所述第二分区进行协同控制。
在该方案提供的多设备协同控制方法中,可以根据第一分区的像素颜色对第二设备中各第二分区的颜色进行协同控制,使得各第二分区的颜色分别与所对应的第一分区的像素颜色相匹配,以提高环境灯的延展效果。
示例性的,所述方法还可以包括:
获取所述显示画面的采样频率和所述第二设备的刷新频率;
根据所述显示界面的采样频率和所述第二设备的刷新频率对各所述第一分区对应的第一像素信息进行插值处理。
在该方案提供的多设备协同控制方法中,为减少像素信息的提取对CPU等资源的占用,可以较低的采样频率获取显示画面,从而可以较低的采样频率来进行像素信息的提取。然后,可以根据第二设备的刷新频率,对所提取的像素信息进行插值处理,以提频至第二设备的刷新率,从而满足环境灯的控制要求。
在第一方面的一种可能的实现方式中,所述第一像素信息包括像素亮度,所述方法还可以包括:
根据各所述第一分区对应的像素亮度对各所述第二分区的亮度进行协同控制。
在该方案提供的多设备协同控制方法中,还可以根据各第一分区的像素亮度分别对各第二分区的亮度进行协同控制,以使得各第二分区的亮度分别与所对应的第一分区的像素亮度相匹配,从而确保第二设备对显示画面具有良好的延展效果。
在第一方面的另一种可能的实现方式中,所述方法还可以包括:
通过所述第一设备的环境光传感器获取所述第一设备所在环境的环境亮度;
根据各所述第一分区对应的像素亮度和所述环境亮度对各所述第二分区的亮度进行协同控制。
在该方案提供的多设备协同控制方法中,还可以结合第一设备所在环境的环境亮度来对各第二分区的亮度进行协同控制,以使得各第二分区的亮度还可以与环境亮度相适应,提高第二设备对显示画面的延展效果。
第二方面,本申请实施例提供了一种多设备协同控制装置,可以包括:
画面获取模块,用于获取第一设备的显示画面和第二设备的设备信息;
区域划分模块,用于根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区;
分区确定模块,用于确定所述第二设备中分别与各所述第一分区对应的第二分区;
像素获取模块,用于获取各所述第一分区对应的第一像素信息;
协同控制模块,用于根据各所述第一分区对应的第一像素信息对所述第二设备中的各所述第二分区分别进行协同控制。
示例性的,所述设备信息包括所述第二设备对应的分区数量,所述区域划分模块,可以包括:
位置关系获取单元,用于获取所述第二设备与所述第一设备之间的位置关系;
目标区域确定单元,用于根据所述第二设备与所述第一设备之间的位置关系确定所述显示界面对应的目标区域;
区域划分单元,用于根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区。
可选的,所述位置关系获取单元,可以包括:
配对信息获取分单元,用于获取所述第一设备中各预设位置处的NFC标签的配对信息;
位置关系获取分单元,用于根据所述NFC标签的配对信息确定所述第二设备与所述第一设备之间的位置关系。
在第二方面的一种可能的实现方式中,所述区域划分单元,可以包括:
第一数量确定分单元,用于根据所述第二设备对应的分区数量确定所述第一分区的第一数量;
第一区域划分分单元,用于根据所述第一分区的第一数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区。
在第二方面的另一种可能的实现方式中,所述区域划分单元,可以包括:
信息获取分单元,用于获取所述目标区域对应的第二像素信息;
第二区域划分分单元,用于根据所述目标区域对应的第二像素信息对所述目标区域进行区域划分,得到所述目标区域对应的第三分区;
第二数量确定分单元,用于根据所述第三分区的第二数量和所述第二设备对应的分区数量确定所述第一分区的第一数量;
第一分区确定分单元,用于根据所述第一分区的第一数量确定所述目标区域对应的各所述第一分区。
可选地,所述第一像素信息包括像素颜色,所述协同控制模块,可以包括:
颜色确定单元,用于根据各所述第一分区对应的像素颜色确定所述第二设备中各所述第二分区的颜色;
协同控制单元,用于分别根据各所述第二分区的颜色对各所述第二分区进行协同控制。
示例性的,所述装置还可以包括:
频率获取模块,用于获取所述显示画面的采样频率和所述第二设备的刷新频率;
插值处理模块,用于根据所述显示界面的采样频率和所述第二设备的刷新频率对各所述第一分区对应的第一像素信息进行插值处理。
在第二方面的一种可能的实现方式中,所述第一像素信息包括像素亮度,所述装置还可以包括:
第一亮度控制模块,用于根据各所述第一分区对应的像素亮度对各所述第二分区的亮度进行协同控制。
在第二方面的另一种可能的实现方式中,所述装置还可以包括:
亮度获取模块,用于通过所述第一设备的环境光传感器获取所述第一设备所在环境的环境亮度;
第二亮度控制模块,用于根据各所述第一分区对应的像素亮度和所述环境亮度对各所述第二分区的亮度进行协同控制。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述终端设备实现上述第一方面中任一项所述的多设备协同控制方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述第一方面中任一项所述的多设备协同控制方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的多设备协同控制方法。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1是本申请一实施例提供的多设备协同控制方法所适用于的终端设备的结构示意图;
图2是本申请一实施例提供的多设备协同控制方法所适用于的软件架构示意图;
图3是本申请一实施例提供的多设备协同控制方法的应用场景示意图;
图4是显示界面中的人眼注意力参考模型的示例图;
图5是本申请一实施例提供的目标区域的示例图;
图6是本申请一实施例提供的划分目标区域的应用场景示意图;
图7是本申请一实施例提供的场景示意图;
图8是显示界面中存在黑边的应用场景示意图;
图9是本申请一实施例提供的多设备协同控制方法的流程示意图;
图10是本申请实施例提供的多设备协同控制装置的结构示意图。
具体实施方式
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
此外,本申请实施例中提到的“多个”应当被解释为两个或两个以上。
本申请实施例中提供的多设备协同控制方法中所涉及到的步骤仅仅作为示例,并非所有的步骤均是必须执行的步骤,或者并非各个信息或消息中的内容均是必选的,在使用过程中可以根据需要酌情增加或减少。本申请实施例中同一个步骤或者具有相同功能的步骤或者消息在不同实施例之间可以互相参考借鉴。
本申请实施例描述的业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
多设备协同是指通过两个或者两个以上的设备协同一致地完成某一目标。随着智慧屏、智能电视等显示设备的快速发展,人们对显示设备的显示效果有了更高的要求。目前,可以通过具有不同效果模式的环境灯与显示设备进行多设备协同,使环境灯的灯效与显示设备当前的播放内容相适应,从而通过环境灯对显示设备的画面做延展,提高人们观看画面的沉浸感。但目前的多设备协同需要用户手动切换环境灯的效果模式,即需要用户在菜单中手动选择与显示设备当前的播放内容相适应的效果模式,操作较为不便,用户体验较差。而且,目前的效果模式通常是对环境灯进行整体调整,例如,在显示界面进行电影画面的显示时,可以将环境灯的效果模式确定为电影模式(假定电影模式为暖色调模式),即不管显示界面显示何种电影画面,均将环境灯调整为暖色调,而这种无差别的整体调整方式与显示界面的显示画面可能并不适应,造成画面延展的效果较差,极大地影响观看体验。
为解决上述问题,本申请实施例提供了多设备协同控制方法,该方法可以获取第二设备的设备信息,并根据第二设备的设备信息对第一设备的显示界面进行区域划分,得到显示画面对应的各第一分区,并获取各第一分区对应的第一像素信息。随后,可以确定第二设备中与各第一分区对应的各第二分区,并可以根据各第一分区对应的第一像素信息分别确定各第二分区的控制参数,从而根据各第二分区的控制参数对第二设备中的各第二分区分别进行协同控制,使得第二设备的效果模式与第一设备的显示画面实现分区匹配,以对第一设备的显示画面进行分区延展,从而使得显示画面达到最佳的沉浸式效果,提高画面观看效果,提升用户体验,具有较强的易用性和实用性。
本申请实施例中,第一设备可以为手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、桌上型计算机、智能电视、智慧屏、投影仪等具有显示屏的终端设备,本申请实施例对终端设备的具体类型不作任何限制。第二设备可以为智能灯泡、智能灯带等家居设备。
以下首先介绍本申请实施例涉及的终端设备。请参阅图1,图1示出了终端设备100的一种结构示意图。
终端设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中,终端设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现终端设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现终端设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电,也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端设备100的结构限定。在本申请另一些实施例中,终端设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
终端设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端设备100可以包括1个或N个显示屏194,N为大于1的正整数。
终端设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当终端设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样,终端设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行终端设备100的各种功能应用以及数据处理。
终端设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中,终端设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测终端设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消终端设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,终端设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当终端设备100是翻盖机时,终端设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。终端设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,终端设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定终端设备100附近有物体。当检测到不充分的反射光时,终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测终端设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,终端设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,终端设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,终端设备100对电池142加热,以避免低温导致终端设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,终端设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入,产生与终端设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端设备100中,不能和终端设备100分离。
终端设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明终端设备100的软件结构。
图2是本申请实施例的终端设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面将结合附图和具体应用场景对本申请实施例提供的多设备协同控制方法进行详细说明。
请参阅图3,图3示出了本申请实施例提供的多设备协同控制方法的应用场景的示意图。如图3所示,该应用场景中可以包括第一设备301和第二设备302,第一设备301可以通过蓝牙、WiFi等无线通信方式与第二设备302通信连接,或者可以通过数据线等有线通信方式与第二设备302通信连接。其中,第一设备301可以为具有显示屏的终端设备,例如可以为智能电视、智慧屏、投影仪等终端设备。第二设备302可以为环境灯等家居设备,例如可以为智能灯泡、智能灯带等环境灯。
应理解,第一设备301与第二设备302之间的位置关系可以根据实际情况确定,例如第二设备302可以设置于第一设备301的左侧,或者可以设置于第一设备301的右侧,或者可以设置于第一设备301的顶部,或者可以设置于第一设备301的底部,等等。图3中仅以第二设备302设置于第一设备301的左侧和右侧为例。
本申请实施例中,智能灯泡、智能灯带等环境灯支持灯效的分区调整,即智能灯泡、智能灯带等环境灯可以根据具体情况划分多个分区,各分区的灯效可以分别调整。因此,可以根据第一设备301的显示画面对智能灯泡、智能灯带等环境灯的各分区的灯效进行分别控制,使得智能灯泡、智能灯带等环境灯的灯效与第一设备301的显示画面实现分区匹配,从而可以通过智能灯泡、智能灯带等环境灯对第一设备301的显示画面进行分区延展,使显示画面达到最佳的沉浸式效果,提高画面观看效果,提升用户体验。
应理解,智能灯泡、智能灯带等环境灯的灯效可以由颜色和/或亮度等组成。示例性的,智能灯泡、智能灯带等环境灯可以为LED灯组,LED灯可以为三原色LED组成的发光模组,通过调节三原色LED的发光强度,可以发出不同颜色、不同亮度的光。
需要说明的是,本申请实施例提供的多设备协同控制方法的执行主体可以为上述具有显示屏的第一设备301,也可以为与第一设备301通信连接的云端服务器等第三设备,还可以为第二设备302。
示例性的,在第一设备301进行画面显示时,第一设备301可以获取第二设备302的设备信息,并可以根据第二设备302的设备信息对第一设备301的显示画面进行区域划分,得到显示画面对应的各第一分区。然后第一设备301可以确定第二设备302中与各第一分区对应的各第二分区。同时,第一设备301可以从显示画面中分别获取各第一分区的像素信息(例如像素颜色、亮度等),并可以根据各第一分区的像素信息分别确定各第二分区的控制参数(例如颜色、亮度等),以根据各第二分区的控制参数对第二设备302进行协同控制,使得第二设备302中各第二分区的灯效分别与第一设备301显示画面中的各第一分区相匹配,提高第一设备301的画面沉浸效果。
示例性的,在第一设备301进行画面显示时,云端服务器等第三设备可以获取第二设备302的设备信息和第一设备301的显示画面,并可以根据第二设备302的设备信息对第一设备301的显示界面进行区域划分,得到显示画面对应的各第一分区。然后,云端服务器等第三设备可以确定第二设备302中与各第一分区对应的各第二分区。同时,云端服务器等第三设备可以根据第一设备301的显示画面分别获取各第一分区的像素信息,并可以根据各第一分区的像素信息分别确定各第二分区的控制参数,以根据各第二分区的控制参数对第二设备302进行协同控制,使得第二设备302中各第二分区的灯效分别与第一设备301显示画面中的各第一分区相匹配,提高第一设备301的画面沉浸效果。
具体地,第一设备301/云端服务器等第三设备可以向第二设备302发送控制指令,控制指令用于控制第二设备302根据各第二分区的控制参数分别对各第二分区进行协同控制。也就是说,第二设备302接收到控制指令后,可以根据控制指令所包含的各第二分区的控制参数对各第二分区分别进行颜色、亮度等控制。或者,第一设备301可以直接向第二设备302发送各第二分区的控制参数,第二设备302接收到各第二分区的控制参数后,可以自行根据各第二分区的控制参数对各第二分区分别进行颜色、亮度等控制。
示例性的,在第一设备301进行画面显示时,第二设备302也可以获取第一设备301的显示画面,并可以根据自身的设备信息对第一设备301的显示画面进行区域划分,得到显示画面对应的各第一分区。然后,第二设备302可以确定第二设备302中与各第一分区对应的各第二分区。同时,第二设备302可以从显示画面中分别获取各第一分区的像素信息,并可以根据各第一分区的像素信息分别确定各第二分区的控制参数。最后,第二设备302可以根据各第二分区的控制参数对各第二分区分别进行控制,以使得第二设备302中各第二分区的灯效分别与第一设备301的显示画面中的各第一分区相匹配,提高第一设备301的画面沉浸效果。
需要说明的是,环境灯等家居设备除了可以通过多设备协同控制外,还可以通过与环境灯等家居设备对应的终端设备进行控制,即用户可以通过环境灯等家居设备对应的终端设备直接对环境灯等家居设备的灯效进行调整与控制等。
以下以多设备协同控制方法的执行主体为第一设备301、第一设备301为智能电视、第二设备302为环境灯为例进行示例性说明。
本申请实施例中,智能电视可以通过机顶盒、数字电视(Digital Television,DTV)天线等获取流媒体内容,并可以在显示界面对所获取的流媒体内容进行显示。或者,智能电视可以直接通过互联网电视(Over The Top,OTT)获取在线直播等流媒体内容,并可以在显示界面中对所获取的流媒体内容进行显示。在智能电视对流媒体内容进行显示的过程中,当智能电视确定智能电视所在环境中具有与智能电视通信连接的环境灯时,智能电视可以获取环境灯的设备信息,并可以获取智能电视当前的显示画面。然后,智能电视可以根据环境灯的设备信息对智能电视的显示画面进行区域划分,得到显示画面对应的各第一分区。然后,智能电视可以确定环境灯中与各第一分区对应的各第二分区。同时,智能电视可以从显示画面中分别获取各第一分区的像素信息(例如像素颜色、亮度等),并可以根据各第一分区的像素信息分别确定各第二分区的控制参数(例如颜色、亮度等),以根据各第二分区的控制参数对环境灯的各第二分区进行协同控制,以使得环境灯中各第二分区的灯效可以分别与智能电视的显示画面中各第一分区的画面相匹配,从而提高智能电视的画面沉浸效果,提升用户体验。例如,智能电视与环境灯之间的协同控制可以通过Hilink平台来实现。即智能电视和环境灯均可以接入Hilink平台。智能电视可以获取智能电视当前的显示界面,并可以基于Hilink协议获取第二设备的设备信息,从而可以根据显示界面和第二设备的设备信息确定第二设备中各第二分区对应的控制参数,并可以基于Kilink服务和控制参数对第二设备的各第二分区进行协同控制。
其中,智能电视获取显示画面之后,需要利用智能电视的中央处理器(CentralProcessing Unit,CPU)等资源对显示画面进行像素信息的提取,从而根据像素信息确定环境灯的控制参数。本申请实施例中,为减少像素信息的提取对智能电视的CPU等资源的占用,智能电视可以较低的采样频率来获取显示画面,从而可以较低的采样频率来进行像素信息的提取。然后,智能电视可以获取环境灯的刷新频率(环境灯的设备信息中可以包括环境灯的刷新频率),并可以根据环境灯的刷新频率,对所提取的像素信息进行插值处理,以提频至环境灯的刷新率,从而满足环境灯的控制要求。环境灯的刷新频率是指环境灯中光源的频率,例如可以为60Hz、120Hz,等等。
示例性的,智能电视可以利用平滑算法根据最近提取的像素信息来进行插值处理。例如,当智能电视的采样频率为30Hz,而环境灯的刷新频率为60Hz时,智能电视可以对采样得到的各帧显示画面分别进行一次像素信息的提取,然后可以利用平滑算法根据前述获取的像素信息进行插值处理,以将像素信息的频率插值至60Hz,从而满足环境灯的控制要求。例如,智能电视可以根据D=0.1*A+0.3*B+0.6*C来进行预测像素信息的获取,其中,预测像素信息为待插值的像素信息,D为t时刻的预测像素信息,A为t-1时刻实际提取的像素信息,B为t-1时刻的预测像素信息,C为t时刻实际提取的像素信息。可以理解的是,前述的公式仅作示意性解释,不应理解为对本申请实施例的限制,本申请实施例中,智能电视可以根据现有的任一平滑算法来进行像素信息的预测。
可以理解的是,对智能电视的显示画面进行区域划分是指对显示画面的目标区域进行区域划分。显示界面的目标区域可以是显示界面的左侧区域、右侧区域、顶部区域和底部区域中的至少一个。其中,智能电视可以根据环境灯与智能电视之间的位置关系来确定显示界面的目标区域。具体地,当环境灯位于智能电视的左侧时,智能电视可以确定显示界面的目标区域为显示界面的左侧区域;当环境灯位于智能电视的右侧时,智能电视可以确定显示界面的目标区域为显示界面的右侧区域;当环境灯位于智能电视的顶部时,智能电视可以确定显示界面的目标区域为显示界面的顶部区域;当环境灯位于智能电视的底部时,智能电视可以确定显示界面的目标区域为显示界面的底部区域。
示例性的,环境灯的设备信息可以包括环境灯与智能电视之间的位置关系,即智能电视可以根据环境灯的设备信息来确定环境灯与智能电视之间的位置关系。应理解,本申请实施例可以通过应用程序对环境灯进行管理与控制。因此,在放置环境灯后,用户可以根据环境灯的放置位置,在应用程序中设置环境灯与智能电视之间的位置关系。应用程序则可以将用户设置的环境灯与智能电视之间的位置关系记录至环境灯的设备信息中。
示例性的,环境灯与智能电视之间的位置关系也可以根据智能电视中各边缘处的NFC标签的配对情况来确定。即智能电视的各边缘处分别设置有NFC标签,环境灯中也可以设置有NFC标签。当环境灯位于智能电视的左侧时,智能电视的左边缘处的NFC标签即会与环境灯进行配对与连接;当环境灯位于智能电视的右侧时,智能电视的右边缘处的NFC标签即会与环境灯进行配对与连接;当环境灯位于智能电视的顶部时,智能电视的顶部边缘处的NFC标签即会与环境灯进行配对与连接;当环境灯位于智能电视的底部时,智能电视的底部边缘处的NFC标签即会与环境灯进行配对与连接。因此,智能电视可以根据智能电视中各边缘处的NFC标签的配对情况来确定环境灯与智能电视之间的位置关系。
示例性的,环境灯与智能电视之间的位置关系也可以根据用户的输入信息来确定。即智能电视在确定智能电视所在环境中具有与智能电视通信连接的环境灯后,智能电视可以在智能电视的显示界面或者环境灯所对应的应用程序所在终端设备的显示界面中显示窗口,该窗口中可以显示提示信息,提示信息用于提示用户进行环境灯与智能电视之间的位置关系的输入。例如,智能电视可以在智能电视的显示界面中显示“请输入环境灯与智能电视之间的位置关系”的提示信息,用户则可以根据该提示信息在智能电视的显示界面中输入环境灯与智能电视之间的位置关系。智能电视则可以根据用户的输入信息来确定环境灯与智能电视之间的位置关系。
可以理解的是,上述根据设备信息、NFC标签以及用户的输入信息来确定环境灯与智能电视之间的位置关系仅作示意性解释,不应理解为对本申请实施例的限制,本申请实施例中当然也可以通过其他方式来确定环境灯与智能电视之间的位置关系。例如,智能电视可以通过摄像装置获取包含环境灯和智能电视的图像,然后可以通过对图像进行分析来确定环境灯与智能电视之间的位置关系。例如,智能电视和环境灯均具有GPS定位功能。智能电视可以分别获取智能电视的坐标和环境灯的坐标,以根据智能电视的坐标和环境灯的坐标来确定环境灯与智能电视之间的位置关系,等等。
请参阅图4,图4示出了显示界面中的人眼注意力参考模型的示例图。如图4所示,根据研究发现,在观看显示界面时,人眼在水平方向的最大视区为标准视线向左60度以及标准视线向右60度以内的区域,在垂直方向的最大视区为标准视线以上30度以及标准视线以下40度的区域。即在显示界面的观看中,人眼能接受的水平方向的信息比垂直方向要多,且在显示画面的左右两侧和底部更容易获取细节信息,而顶部的细节识别则一般。本申请实施例中,智能电视可以针对人眼视觉范围的这一特点来确定目标区域的大小,并可以对目标区域做分区时,从而可以根据分区对环境灯的灯效延展做精细化处理,以提高环境灯的延展效果,提高画面的沉浸效果。示例性的,智能电视可以根据人眼注意力参考模型确定显示界面的左侧和右侧所对应的目标区域的大小>显示界面的底部所对应的目标区域的大小>显示界面的顶部所对应的目标区域的大小。其中,目标区域的大小可以根据实际情况具体确定,例如根据经验研究可以确定左侧和右侧所对应的目标区域的大小分别为60列像素点,可以确定底部对应的目标区域的大小分别为30行像素点,可以确定顶部对应的目标区域的大小分别为20行像素点,等等。
请参阅图5,图5示出了本申请实施例提供的目标区域的示例图。如图5中的(a)所示,当目标区域为显示界面的左侧区域或者右侧区域时,智能电视可以确定目标区域包含较多的像素点,例如可以确定目标区域包含60列像素点。如图5中的(b)所示,当目标区域为显示界面的底部区域时,智能电视可以确定目标区域包含较少的像素点,例如可以确定目标区域包含30行像素点;当目标区域为显示界面的顶部区域时,智能电视可以确定目标区域包含20行像素点,等等。
其中,目标区域包含的像素点可以为显示界面边缘处的像素点,即可以通过环境灯对显示界面的边缘进行延展,以通过边缘延展来进行显示画面的延展。当目标区域为显示界面的左侧区域时,上述的目标区域包含60列像素点可以为显示界面中最靠近左侧边缘的60列像素点;当目标区域为显示界面的右侧区域时,上述的目标区域包含60列像素点可以为显示界面中最靠近右侧边缘的60列像素点;当目标区域为显示界面的底部区域时,上述的目标区域包含30行像素点可以为显示界面中最靠近底部边缘的30行像素点;当目标区域为显示界面的顶部区域时,上述的目标区域包含20行像素点可以为显示界面中最靠近顶部边缘的20行像素点。可以理解的是,上述所述的60列像素点、30行像素点以及20行像素点仅作示意性解释,不应理解为对本申请实施例的限制,本申请实施例中,智能电视也可以结合实际场景来确定目标区域的大小,例如可以确定目标区域包含40列像素点,或者可以确定目标区域包含25行像素点,或者可以确定目标区域包含15行像素点,等等。
在一种可能的实现方式中,智能电视还可以结合显示界面的分辨率来确定目标区域所包含的像素点的数量。具体地,当显示界面的分辨率较大时,智能电视可以确定目标区域包含较多的像素点,例如可以包含最靠近显示界面的左侧边缘的70列像素点或者包含最靠近显示界面的底部边缘的40行像素点,等等。当显示界面的分辨率较小时,智能电视可以确定目标区域包含较少的像素点,例如可以包含最靠近显示界面的左侧边缘的40列像素点,或者包含最靠近显示界面的顶部边缘的15行像素点,等等。
下面将对目标区域的划分过程进行详细描述。
本申请实施例中,环境灯的设备信息还可以包括环境灯支持的第二分区的分区数量。应理解,环境灯支持的第二分区的分区数量为大于或者等于1的整数。在一种可能的实现方式中,智能电视可以根据环境灯支持的第二分区的分区数量对目标区域进行划分,得到目标区域对应的第一分区。示例性的,智能电视可以根据环境灯支持的第二分区的分区数量确定目标区域对应的第一分区的第一数量,并可以根据第一分区的第一数量对显示画面的目标区域进行划分,得到目标区域对应的第一分区。具体地,智能电视可以直接将环境灯支持的第二分区的分区数量确定为第一分区的第一数量,然后可以根据预设划分方式对目标区域进行划分,得到第一数量的第一分区,以最大程度地利用环境灯的分区调整能力,提高环境灯对显示画面的延展效果。其中,预设划分方式可以由智能电视默认设置,也可以由用户自定义设置。
本申请实施例中,智能电视也可以基于图4所示的人眼注意力参考模型来确定第一分区的第一数量。示例性的,在目标区域为显示界面的顶部区域时,由于人眼对显示画面的顶部的细节识别一般,此时智能电视可以减少第一分区的第一数量,以减少对智能电视的CPU等资源的占用。例如,智能电视可以将第一分区的第一数量确定为小于第二分区的分区数量的任一数值。
需要说明的是,在目标区域为显示界面的左侧区域或者右侧区域时,智能电视对目标区域进行划分是指从高度上对目标区域进行划分,即划分得到的各第一分区的高度之和为目标区域的高度,各第一分区的宽度相同,且宽度均为目标区域的宽度。在目标区域为显示界面的顶部区域或者底部区域时,智能电视对目标区域进行划分是指从宽度上对目标区域进行划分,即划分得到的各第一分区的宽度之和为目标区域的宽度,各第一分区的高度相同,且高度均为目标区域的高度。
示例性的,智能电视可以将预设划分方式默认设置为等像素划分方式。请参阅图6,图6示出了本申请实施例提供的划分目标区域的应用场景示意图。如图6中的(a)所示,在目标区域为显示界面的左侧区域或者右侧区域时,智能电视可以通过预设划分方式将目标区域划分成多个(图6中以4个为例)具有相同高度的第一分区,即图6中的(a)所示的A1、A2、A3和A4。如图6中的(b)所示,在目标区域为显示界面的顶部区域或者底部区域时,智能电视可以通过预设划分方式将目标区域划分成4个具有相同宽度的第一分区,即图6中的(b)所示的C1、C2、C3和C4。
示例性的,智能电视可以基于图4所示的人眼注意力参考模型进行预设划分方式的默认设置。具体地,在目标区域为显示界面的左侧区域或者右侧区域时,智能电视可以将预设划分方式默认设置为最靠近顶部的第一分区和最靠近底部的第一分区的高度小于其他第一分区的高度。其中,其他第一分区的高度可以通过等像素划分方式划分得到,即最靠近顶部的第一分区和最靠近底部的第一分区具有较少的像素点,其他第一分区具有较多的像素点,以得到如图6中的(c)所示的各第一分区。其中,最靠近顶部的第一分区和最靠近底部的第一分区的高度可以根据实际情况具体确定。
在另一种可能的实现方式中,智能电视可以根据目标区域的像素信息和环境灯支持的第二分区的分区数量对目标区域进行划分,得到目标区域对应的第一分区。其中,像素信息可以包括各像素点的颜色。具体地,智能电视可以根据目标区域中各像素点的颜色对目标区域进行分区,得到与颜色对应的第三分区,第三分区由具有相同或者相近颜色的相邻像素点组成。然后,智能电视可以根据第三分区的第二数量和环境灯支持的第二分区的分区数量确定第一分区的第一数量,并根据第一分区的第一数量进行目标区域的划分。示例性的,当第三分区的第二数量小于或者等于环境灯支持的第二分区的分区数量时,智能电视可以将第三分区的第二数量确定为第一分区的第一数量;当第三分区的第二数量大于环境灯支持的第二分区的分区数量时,智能电视可以将环境灯支持的第二分区的分区数量确定为第一分区的第一数量。也就是说,当目标区域的颜色较为单一时,智能电视可以减少目标区域的分区数,从而减少对智能电视的CPU等资源的占用;当目标区域的颜色较为复杂时,智能电视则可以增加目标区域的分区数,提高环境灯对画面的延展效果。
应理解,当第三分区的第二数量小于或者等于环境灯支持的第二分区的分区数量时,智能电视可以将第三分区确定为第一分区。当第三分区的第二数量大于环境灯支持的第二分区的分区数量时,智能电视可以进行第三分区的合并,得到该分区数量的第三分区,并可以将合并得到的各第三分区分别确定为第一分区。示例性的,智能电视可以根据第三分区的颜色进行第三分区的合并,第三分区的合并是指对相邻第三分区进行合并。其中,第三分区的颜色可以根据第三分区中各像素点的颜色确定,例如可以将第三分区中所有像素点的颜色的平均值确定为该第三分区的颜色,等等。
本申请实施例中,用户也可以根据实际需要自定义设置第一分区的第一数量以及第一分区的大小。智能电视可以根据用户自定义设置的第一分区的第一数量和大小来进行目标区域的划分,得到目标区域对应的第一分区。在此,用户自定义设置可以是预先设置的,也可以在环境灯进行灯效延展的过程中设置的。
其中,在得到目标区域对应的第一分区后,智能电视可以确定环境灯中与各第一分区分别对应的第二分区,从而可以根据各第一分区的像素信息分别对所对应的第二分区进行灯效控制,以通过环境灯中各第二分区的灯效对显示界面进行分区延展,提高环境灯对显示画面的延展效果,提升用户体验。
示例性的,当第一分区的第一数量与环境灯支持的第二分区的分区数量相同,且环境灯位于显示界面的左侧或者右侧时,智能电视则可以按照目标区域中最顶部的第一分区与环境灯中最顶部的第二分区对应,目标区域中最底部的第一分区与环境灯中最底部的第二分区对应的顺序方式确定各第一分区分别对应的第二分区。例如,请参阅图7,图7示出了本申请实施例提供的场景示意图。当目标区域中包含四个第一分区,且四个第一分区按照从顶部至底部的顺序依次为A1、A2、A3和A4,而环境灯中的四个第二分区按照从顶部至底部的顺序依次为B1、B2、B3和B4时,如图7中的(a)所示,智能电视则可以确定A1与B1对应、A2与B2对应、A3与B3对应、A4与B4对应,因此,智能电视则可以根据A1的像素信息对B1进行灯效控制、根据A2的像素信息对B2进行灯效控制、根据A3的像素信息对B3进行灯效控制以及根据A4的像素信息对B4进行灯效控制,得到如图7中的(b)所示的灯效效果图。其中,图7中的(b)中的各第二分区的颜色仅作示例,并不是实际的真实颜色。当第一分区的第一数量与环境灯支持的第二分区的分区数量相同,且环境灯位于显示界面的顶部或者底部时,智能电视则可以按照目标区域中最左侧的第一分区与环境灯中最左侧的第二分区对应,目标区域中最右侧的第一分区与环境灯中最右侧的第二分区对应的顺序方式确定各第一分区分别对应的第二分区。例如,当目标区域中包含四个第一分区,且四个第一分区按照从左侧至右侧的顺序依次为C1、C2、C3和C4,而环境灯中的四个第二分区按照从左侧至右侧的顺序依次为D1、D2、D3和D4时,智能电视则可以确定C1与D1对应、C2与D2对应、C3与D3对应、C4与D4对应。
示例性的,当第一分区的第一数量小于环境灯支持的第二分区的分区数量时,智能电视可以通过预设合并方式对环境灯的第二分区进行合并,即通过预设合并方式对相邻的第二分区进行合并,以将第二分区的数量调整至第一分区的第一数量,使得第二分区的数量与第一分区的数量相同。然后,智能电视可以根据上述所述的确定方式来确定各第一分区分别对应的第二分区。其中,预设合并方式可以由智能电视根据实际情况具体确定,也可以由用户自定义设置。例如,智能电视可以根据各第一分区的大小进行第二分区的合并,以使得越大的第一分区所对应的第二分区也越大(第二分区越大是指第二分区具有较多的发光模组)。例如,智能电视也可以随机进行相邻第二分区的合并,等等。
请参阅图8,图8示出了显示界面中存在黑边的应用场景示意图。如图8所示,在主流的16:9的智能电视上播放21:9比例的电影画面时,智能电视的显示画面的顶部和/或底部会存在黑边,此时,当环境灯的顶部和/或底部存在环境灯时,若在这样的黑边基础上做画面延展的话,会有一种视觉跳变的效果(即存在一种从显示画面跳变至黑边,然后从黑边跳变至环境灯的灯效的效果),极大地影响了用户体验。本申请实施例中,智能电视可以实时识别显示界面中是否存在黑边,当确定显示界面中存在黑边,且黑边所在的目标区域存在用于进行画面延展的环境灯时,智能电视则可以关闭该环境灯的灯效,以避免在黑边的基础上对显示画面进行延展,减少人眼观察到的视觉画面的跳变,提高用户体验。或者,智能电视可以关闭与环境灯中黑边所对应的第二分区的灯效,以减少环境灯对黑边的延展。例如,当显示界面的顶部存在黑边,且显示界面的左侧和顶部存在用于进行画面延展的环境灯时,智能电视可以关闭顶部环境灯的灯效,并可以关闭左侧环境灯中与黑边对应的第二分区的灯效,从而减少对黑边的延展,避免出现画面跳变的视觉效果,提升用户体验。
本申请实施例中,智能电视还可以获取智能电视的色温以及显示画面中各第一分区的亮度,并可以根据智能电视的色温对环境灯的色温进行调整,以及可以根据显示画面中各第一分区的亮度分别对环境灯中各第二分区的亮度进行调整,使得环境灯的色温与智能电视的色温相匹配,同时使得环境灯中各第二分区的亮度分别与显示界面中各第一分区的亮度相匹配,以避免环境灯出现过亮问题,提高环境灯对显示画面的延展效果。另外,智能电视还可以通过智能电视的环境光传感器获取环境亮度,并可以根据各第一分区的亮度和环境亮度分别对环境灯中各第二分区的亮度进行调整,以使得环境灯的亮度与环境亮度以及显示界面的亮度相匹配,提高环境灯的延展效果。
本申请实施例中,当环境灯中相邻两第二分区的亮度的差值大于预设的亮度阈值时,智能电视还可以设定阈值对该相邻两第二分区之间的边界进行滤波,以避免边界出现闪烁,从而减少闪烁导致的不佳体验,提高用户体验。其中,预设的亮度阈值可以根据实际情况具体设置。
需要说明的是,智能电视中还可以设置有节目模式与环境灯的灯效模式之间的对应关系。在需要环境灯对显示画面进行延展时,智能电视可以获取显示画面对应的节目模式,并可以根据显示画面对应的节目模式与灯效模式之间的对应关系获取环境灯的灯效模式,从而控制环境灯根据该灯效模式对智能电视的显示画面进行延展。具体地,智能电视可以根据显示画面的来源来确定显示画面对应的节目模式,从而根据节目模式确定环境灯的灯效模式。示例性的,当显示画面是由游戏主机传输至智能电视进行显示时,智能电视可以确定显示画面对应的节目模式为游戏模式,从而可以确定环境灯对应的灯效模式为游戏模式。示例性的,当显示画面是通过机顶盒或者数字电视天线传输至智能电视进行显示时,智能电视可以对显示画面进行台标识别,确定显示画面对应的电视台。然后,智能电视可以基于在线的电子节目指南(electronic program guide,EPG)数据确定显示画面所对应的节目模式。其中,EPG数据可以包括一定时间内的各电视台的节目信息,例如可以包括“CCTV5,9:00-12:30体育赛事”,“CCTV6,14:00-16:00电影”,“CCTV1,19:00-19:30新闻联播”,等等。即当显示画面对应的电视台为CCTV5,且当前时间为9:00至12:30时,智能电视可以确定显示画面对应的节目模式为体育模式,从而可以确定环境灯对应的灯效模式为体育模式;当显示画面对应的电视台为CCTV6,且当前时间为14:00至16:00时,智能电视可以确定显示画面对应的节目模式为电影模式,从而可以确定环境灯对应的灯效模式为电影模式;当显示画面对应的电视台为CCTV1,且当前时间为19:00-19:30时,智能电视可以确定显示画面对应的节目模式为新闻模式,从而可以确定环境灯对应的灯效模式为新闻模式,等等。
示例性的,当显示画面是通过互联网电视传输至智能电视进行显示时,智能电视可以根据预设标签的节目分类来确定显示画面对应的节目内容,从而确定显示画面对应的节目模式。例如,当根据预设标签的节目分类确定显示画面对应的节目内容为体育赛事时,智能电视可以确定显示画面对应的节目模式为体育模式;当根据预设标签的节目分类确定显示画面对应的节目内容为电影时,智能电视可以确定显示画面对应的节目模式为电影模式;当根据预设标签的节目分类确定显示画面对应的节目内容为新闻时,智能电视可以确定显示画面对应的节目模式为新闻模式,等等。
基于同样原理,本申请实施例提供的多设备协同控制也可以同样适用听觉类的多设备协同控制,例如可以应用于协同控制智能电视与外接的音箱,以使得外接的音箱的音效模式与智能电视的播放内容相匹配,提高播放效果。具体地,可以事先设置播放内容的类型与外接的音箱的音效模式之间的对应关系。因此,在智能电视进行内容播放时,智能电视可以对所播放的内容进行识别,得到播放内容的类型。然后,智能电视可以根据播放内容的类型与音效模式之间的对应关系确定音箱的音效模式(例如新闻音效模式、音乐音效模式、电影音效模式,等等),以根据音箱的音效模式对音箱进行协同控制。
基于上述描述,以下将对本申请实施例提供的多设备协同控制方法进行简要说明。请参阅图9,图9示出了本申请实施例提供的多设备协同控制方法的示意性流程图。如图9所示,该方法可以包括:
S901、获取第一设备的显示画面和第二设备的设备信息;
S902、根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区;
S903、确定所述第二设备中分别与各所述第一分区对应的第二分区;
S904、获取各所述第一分区对应的第一像素信息;
S905、根据各所述第一分区对应的第一像素信息对所述第二设备中的各所述第二分区分别进行协同控制。
本申请实施例提供的多设备协同控制方法,可以获取第一设备的显示画面和第二设备的设备信息,并可以根据第二设备的设备信息对第一设备的显示界面进行区域划分,得到显示画面对应的各第一分区。随后,可以确定第二设备中与各第一分区对应的各第二分区,并可以获取各第一分区的像素信息,以根据各第一分区的像素信息分别对第二设备中的各第二分区进行协同控制,使得第二设备的效果模式与第一设备的显示画面实现分区匹配,以对第一设备的显示画面进行分区延展,从而使得显示画面达到最佳的沉浸式效果,提高画面的观看效果,提升用户体验。
其中,设备信息可以包括第二设备对应的分区数量,第一像素信息可以包括像素颜色和亮度等,即可以根据第二设备对应的分区数量对显示界面进行划分,以使得第一分区的数量与第二设备对应的分区数量相匹配,从而可以根据各第一分区对应的第一像素信息(即像素颜色和亮度)分别对各第二分区的颜色和/或亮度进行协同控制,提高第二设备对显示画面的延展效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的多设备协同控制方法,图10示出了本申请实施例提供的多设备协同控制装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图10,该装置可以包括:
画面获取模块1001,用于获取第一设备的显示画面和第二设备的设备信息;
区域划分模块1002,用于根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区;
分区确定模块1003,用于确定所述第二设备中分别与各所述第一分区对应的第二分区;
像素获取模块1004,用于获取各所述第一分区对应的第一像素信息;
协同控制模块1005,用于根据各所述第一分区对应的第一像素信息对所述第二设备中的各所述第二分区分别进行协同控制。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种终端设备,所述终端设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时,使所述终端设备实现上述任意各个方法实施例中的步骤。示例性的,所述终端设备的结构可以如图1所示。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算机执行时,使所述计算机实现上述任意各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备实现上述任意各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory,ROM)、随机存取存储器(random accessmemory,RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (11)
1.一种多设备协同控制方法,其特征在于,包括:
获取第一设备的显示画面和第二设备的设备信息;
根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区;
确定所述第二设备中分别与各所述第一分区对应的第二分区;
获取各所述第一分区对应的第一像素信息;
根据各所述第一分区对应的第一像素信息分别对所述第二设备中的各所述第二分区进行协同控制。
2.根据权利要求1所述的方法,其特征在于,所述设备信息包括所述第二设备对应的分区数量,所述根据所述第二设备的设备信息对所述第一设备的显示界面进行区域划分,得到所述显示画面对应的各第一分区,包括:
获取所述第二设备与所述第一设备之间的位置关系;
根据所述第二设备与所述第一设备之间的位置关系确定所述显示界面对应的目标区域;
根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区。
3.根据权利要求2所述的方法,其特征在于,所述获取所述第二设备与所述第一设备之间的位置关系,包括:
获取所述第一设备中各预设位置处的NFC标签的配对信息;
根据所述NFC标签的配对信息确定所述第二设备与所述第一设备之间的位置关系。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区,包括:
根据所述第二设备对应的分区数量确定所述第一分区的第一数量;
根据所述第一分区的第一数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区。
5.根据权利要求2或3所述的方法,其特征在于,所述根据所述第二设备对应的分区数量对所述目标区域进行划分,得到所述目标区域对应的各所述第一分区,包括:
获取所述目标区域对应的第二像素信息;
根据所述目标区域对应的第二像素信息对所述目标区域进行区域划分,得到所述目标区域对应的第三分区;
根据所述第三分区的第二数量和所述第二设备对应的分区数量确定所述第一分区的第一数量;
根据所述第一分区的第一数量和所述第三分区确定所述目标区域对应的各所述第一分区。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述第一像素信息包括像素颜色,所述根据各所述第一分区对应的第一像素信息分别对所述第二设备中的各所述第二分区进行协同控制,包括:
根据各所述第一分区对应的像素颜色确定所述第二设备中各所述第二分区的颜色;
分别根据各所述第二分区的颜色对各所述第二分区进行协同控制。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
获取所述显示画面的采样频率和所述第二设备的刷新频率;
根据所述显示界面的采样频率和所述第二设备的刷新频率对各所述第一分区对应的第一像素信息进行插值处理。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述第一像素信息包括像素亮度,所述方法还包括:
根据各所述第一分区对应的像素亮度对各所述第二分区的亮度进行协同控制。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
通过所述第一设备的环境光传感器获取所述第一设备所在环境的环境亮度;
根据各所述第一分区对应的像素亮度和所述环境亮度对各所述第二分区的亮度进行协同控制。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,使所述终端设备实现如权利要求1至9中任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被计算机执行时,使所述计算机实现如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110606982.9A CN115480680A (zh) | 2021-05-31 | 2021-05-31 | 多设备协同控制方法、终端设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110606982.9A CN115480680A (zh) | 2021-05-31 | 2021-05-31 | 多设备协同控制方法、终端设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115480680A true CN115480680A (zh) | 2022-12-16 |
Family
ID=84419241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110606982.9A Pending CN115480680A (zh) | 2021-05-31 | 2021-05-31 | 多设备协同控制方法、终端设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115480680A (zh) |
-
2021
- 2021-05-31 CN CN202110606982.9A patent/CN115480680A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362783B (zh) | 刷新率切换方法和电子设备 | |
US20220247857A1 (en) | Full-screen display method for mobile terminal and device | |
CN109814766B (zh) | 一种应用显示方法及电子设备 | |
CN109559270B (zh) | 一种图像处理方法及电子设备 | |
WO2021036585A1 (zh) | 一种柔性屏显示方法和电子设备 | |
CN113722030B (zh) | 一种显示方法、电子设备及计算机存储介质 | |
CN112532892B (zh) | 图像处理方法及电子装置 | |
CN113625860B (zh) | 模式切换方法、装置、电子设备及芯片系统 | |
CN113963659A (zh) | 显示设备的调整方法及显示设备 | |
CN113935898A (zh) | 图像处理方法、系统、电子设备及计算机可读存储介质 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
CN113438366B (zh) | 信息通知的交互方法、电子设备和存储介质 | |
CN110286975B (zh) | 一种前景元素的显示方法和电子设备 | |
CN114756184A (zh) | 协同显示方法、终端设备及计算机可读存储介质 | |
CN114661258A (zh) | 自适应显示方法、电子设备及存储介质 | |
CN115729346A (zh) | 界面显示方法和电子设备 | |
CN115686403A (zh) | 显示参数的调整方法、电子设备、芯片及可读存储介质 | |
CN114827098A (zh) | 合拍的方法、装置、电子设备和可读存储介质 | |
CN115480680A (zh) | 多设备协同控制方法、终端设备及计算机可读存储介质 | |
CN116095512B (zh) | 终端设备的拍照方法及相关装置 | |
WO2023273729A1 (zh) | 字幕显示方法及相关设备 | |
CN116974658A (zh) | 界面布局方法和装置 | |
CN117850989A (zh) | 一种服务调用方法、系统和电子设备 | |
CN117692693A (zh) | 多屏显示方法以及相关设备 | |
CN116414493A (zh) | 图像处理方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |