CN112399233A - 显示设备和视频聊天窗口的位置自适应调整方法 - Google Patents
显示设备和视频聊天窗口的位置自适应调整方法 Download PDFInfo
- Publication number
- CN112399233A CN112399233A CN202010331532.9A CN202010331532A CN112399233A CN 112399233 A CN112399233 A CN 112399233A CN 202010331532 A CN202010331532 A CN 202010331532A CN 112399233 A CN112399233 A CN 112399233A
- Authority
- CN
- China
- Prior art keywords
- video chat
- chat window
- video
- focus
- key information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 description 53
- 238000004891 communication Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/635—Overlay text, e.g. embedded captions in a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4438—Window management, e.g. event handling following interaction with the user interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Business, Economics & Management (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了显示设备及视频聊天窗口的位置自适应调整方法,在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令;当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置;根据所述视频聊天窗口位置和所述焦点位置判断所述视频聊天窗口是否遮挡所述焦点;如果判定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置。通过本申请方法,由于视频聊天窗口位置根据焦点位置自适应移动,因而可以避免遮挡焦点的UI图标,即使焦点位置不断变化,视频聊天窗口位置也将适应性变化,因此始终不会遮挡焦点的UI图标。
Description
本申请要求在2019年8月18日提交中国专利局、申请号为201910761474.0、发明名称为″显示设备视频聊天窗口位置的自适应方法及显示设备″的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备和视频聊天窗口的位置自适应调整方法。
背景技术
当前,由于如智能电视的显示设备可以为用户提供诸如音频、视频、图片等的播放画面,因此受到用户的广泛关注。
随着大数据与人工智能的发展,用户对显示设备的功能需求与日俱增。例如,用户想要边观看视频节目,边与社交平台上的至少一位好友进行视频聊天,这要求显示设备在显示视频节目画面的同时,显示视频聊天画面;再如,用户想要边使用教育应用观看教育内容,边与社交平台上的至少一位好友进行视频聊天,这要求显示设备在显示教育应用界面的同时,显示视频聊天画面。
为此,如何控制或调整视频聊天窗口的显示位置,成为亟待解决的技术问题。
发明内容
有鉴于此,本申请提供一种显示设备和视频聊天窗口的位置自适应调整方法。
第一方面,本申请提供一种显示设备,包括:
显示器,用于显示播放画面和/或视频聊天窗口;
控制器,被配置为:
呈现播放画面;
在与对端设备进行视频聊天时,在所述播放画面的上方呈现视频聊天窗口,所述视频聊天窗口小于所述播放画面;
当接收到输入的用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置,根据所述视频聊天窗口位置和所述焦点位置确定所述视频聊天窗口是否遮挡所述焦点;
响应于确定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置,所述第一目标位置为使所述视频聊天窗口不遮挡所述焦点的位置。
第二方面,本申请提供一种显示设备,包括:
显示器,用于显示播放画面和/或视频聊天窗口;
控制器,被配置为:
呈现播放画面;
在与对端设备进行视频聊天时,在所述播放画面的上方呈现视频聊天窗口,所述视频聊天窗口小于所述播放画面;
在所述播放画面包括视频节目画面且所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置,根据所述视频聊天窗口位置和所述关键信息位置确定所述视频聊天窗口是否遮挡所述关键信息;
响应于确定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口移动到第二目标位置,所述第二目标位置为使所述视频聊天窗口不遮挡所述关键信息的位置。
第三方面,本申请提供一种视频聊天窗口的位置自适应调整方法,所述方法包括:
在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令;
当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置;
根据所述视频聊天窗口位置和所述焦点位置判断所述视频聊天窗口是否遮挡所述焦点;
如果判定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置,所述第一目标位置为使所述视频聊天窗口不遮挡所述焦点的位置。
第四方面,本申请提供一种视频聊天窗口的位置自适应调整方法,所述方法包括:
在视频聊天窗口浮于播放画面显示的情况下,如果所述播放画面为视频节目画面,检测所述视频节目画面中是否存在关键信息;
当检测到所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置;
根据所述视频聊天窗口位置和所述关键信息位置判断所述视频聊天窗口是否遮挡所述关键信息;
如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口移动到第二目标位置,所述第二目标位置为使视频聊天窗口不遮挡所述关键信息的位置。
由以上技术方案可知,本申请实施例提供一种显示设备及视频聊天窗口的位置自适应调整方法,在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令;当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置;根据所述视频聊天窗口位置和所述焦点位置确定所述视频聊天窗口是否遮挡所述焦点;响应于确定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置。由于视频聊天窗口位置根据焦点位置自适应移动,因而可以避免遮挡焦点的UI图标,即使焦点位置不断变化,视频聊天窗口位置也将适应性变化,因此始终不会遮挡焦点的UI图标。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了控制装置100的硬件配置框图;
图3中示例性示出了显示设备200的硬件配置框图;
图4中示例性示出了根据图3显示设备200的硬件架构框图;
图5中示例性示出了显示设备200的功能配置示意图;
图6a中示例性示出了显示设备200中软件配置示意图;
图6b中示例性示出了显示设备200中应用程序的配置示意图;
图7a中示例性示出了显示设备200用户界面的示意图;
图7b为本申请根据一示例性实施例示出的一种显示设备显示画面示意图;
图7c为本申请根据一示例性实施例示出的一种显示设备显示画面示意图;
图7d为本申请根据一示例性实施例示出的一种显示设备显示画面示意图;
图7e为本申请根据一示例性实施例示出的一种显示设备显示画面示意图;
图7f为本申请根据一示例性实施例示出的一种显示设备显示画面示意图;
图8为本申请根据一示例性实施例示出的视频聊天窗口的位置自适应调整方法流程图;
图9a为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图9b为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图9c为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图9d为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图10a为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图10b为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图10c为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图10d为本申请根据一示例性实施例示出的视频聊天窗口位置示意图;
图11为本申请图8所示实施例中步骤804的一种细化流程图;
图12为本申请根据一示例性实施例示出的包含提示信息的显示设备界面示意图;
图13为本申请图8所示实施例中步骤804的另一种细化流程图;
图14为本申请根据一示例性实施例示出的一种显示设备显示画面示意图;
图15为本申请根据一示例性实施例示出的显示设备视频聊天窗口的位置自适应调整方法流程图;
图16a为本申请根据一示例性实施例示出的关键信息及其位置示意图;
图16b为本申请根据一示例性实施例示出的视频聊天窗口的一种位置示意图;
图17为本申请根据一示例性实施例示出的视频聊天窗口的位置自适应调整方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请提供的显示设备,可以是具有多个芯片架构的显示设备,如本申请图3至图5示出的具有双芯片(双硬件系统)架构的显示设备,也可以是具有非双芯片架构的显示设备,本申请不予限定。
为便于用户使用,显示设备上通常会设置各种外部装置接口,以便于连接不同的外设设备或线缆以实现相应的功能。而在显示设备的接口上连接有高清晰度的摄像头时,如果显示设备的硬件系统没有接收源码的高像素摄像头的硬件接口,那么就会导致无法将摄像头接收到的数据呈现到显示设备的显示屏上。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是,以下对各个概念的说明,仅为了使本申请的内容更加容易理解,并不表示对本申请保护范围的限定。
应当理解,本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语″遥控器″,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语″手势″,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过控制装置100来操作显示设备200。
其中,控制装置100可以是遥控器100A,其可与显示设备200之间通过红外协议通信、蓝牙协议通信、紫蜂(ZigBee)协议通信或其他短距离通信方式进行通信,用于通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置100也可以是智能设备,如移动终端100B、平板电脑、计算机、笔记本电脑等,其可以通过本地网(LAN,Local Area Network)、广域网(WAN,Wide Area Network)、无线局域网((WLAN,Wireless Local Area Network)或其他网络与显示设备200之间通信,并通过与显示设备200相应的应用程序实现对显示设备200的控制。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(UI,User Interface)为用户提供各种控制。
″用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
示例的,移动终端100B与显示设备200均可安装软件应用,从而可通过网络通信协议实现二者之间的连接通信,进而实现一对一控制操作的和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端100B上,通过控制移动终端100B上用户界面,实现控制显示设备200的功能;也可以将移动终端100B上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图1所示,显示设备200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中,可允许显示设备200通过局域网、无线局域网或其他网络与服务器300进行通信连接。服务器300可以向显示设备200提供各种内容和互动。
示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG,ElectronicProgram Guide)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器300可以是一组,也可以是多组,可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以是液晶显示器、OLED(Organic Light Emitting Diode)显示器、投影显示设备、智能电视。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上的一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。示例的包括,网络电视、智能电视、互联网协议电视(IPTV)等。
如图1所述,显示设备上可以连接或设置有摄像头,用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上,以实现用户之间的交互聊天。具体的,摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。
作为一种可选的连接方式,摄像头通过连接板与显示器后壳连接,固定安装在显示器后壳的上侧中部,作为可安装的方式,可以固定安装在显示器后壳的任意位置,能保证其图像采集区域不被后壳遮挡即可,例如,图像采集区域与显示设备的显示朝向相同。
作为另一种可选的连接方式,摄像头通过连接板或者其他可想到的连接器可升降的与显示后壳连接,连接器上安装有升降马达,当用户要使用摄像头或者有应用程序要使用摄像头时,再升出显示器之上,当不需要使用摄像头时,其可内嵌到后壳之后,以达到保护摄像头免受损坏。
作为一种实施例,本申请所采用的摄像头可以为1600万像素,以达到超高清显示目的。在实际使用中,也可采用比1600万像素更高或更低的摄像头。
当显示设备上安装有摄像头以后,显示设备不同应用场景所显示的内容可得到多种不同方式的融合,从而达到传统显示设备无法实现的功能。
示例性的,用户可以在边观看视频节目的同时,与至少一位其他用户进行视频聊天。视频节目的呈现可作为背景画面,视频聊天的窗口显示在背景画面之上。形象的,可以称该功能为″边看边聊″。
可选的,在″边看边聊″的场景中,在观看直播视频或网络视频的同时,跨终端的进行至少一路的视频聊天。
另一些实施例中,用户可以在边进入教育应用学习的同时,与至少一位其他用户进行视频聊天。例如,学生在学习教育应用程序中内容的同时,可实现与老师的远程互动。形象的,可以称该功能为″边学边聊″。
另一些实施例中,用户在玩纸牌游戏时,与进入游戏的玩家进行视频聊天。例如,玩家在进入游戏应用参与游戏时,可实现与其他玩家的远程互动。形象的,可以称该功能为″边看边玩″。
可选的,游戏场景与视频画面进行融合,将视频画面中人像进行抠图,显示在游戏画面中,提升用户体验。
可选的,在体感类游戏中(如打球类、拳击类、跑步类、跳舞类等),通过摄像头获取人体姿势和动作,肢体检测和追踪、人体骨骼关键点数据的检测,再与游戏中动画进行融合,实现如体育、舞蹈等场景的游戏。
另一些实施例中,用户可以在K歌应用中,与至少一位其他用户进行视频和语音的交互。形象的,可以称该功能为″边看边唱″。优选的,当至少一位用户在聊天场景进入该应用时,可多个用户共同完成一首歌的录制。
另一些实施例中,用户可在本地打开摄像头获取图片和视频,形象的,可以称该功能为″照镜子″。
在另一些示例中,还可以再增加更多功能或减少上述功能。本申请对该显示设备的功能不作具体限定。
图2中示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
控制装置100被配置为可控制所述显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起到用户与显示设备200之间交互中介作用。如:用户通过操作控制装置100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制装置100可是一种智能设备。如:控制装置100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端100B或其他智能电子设备,可在安装操控显示设备200的应用之后,起到控制装置100类似功能。如:用户可以通过安装应用,在移动终端100B或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制装置100实体按键的功能。
控制器110包括处理器112、RAM113和ROM114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信器130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信器130可包括WIFI模块131、蓝牙模块132、NFC模块133等通信模块中至少一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以是红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130,如:WIFI、蓝牙、NFC等模块,可将用户输入指令通过WIFI协议、或蓝牙协议、或NFC协议编码,发送至显示设备200。
存储器190,用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器110的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中,如图3-图5中所示,给出了采用双芯片的显示设备200中硬件系统的硬件配置框图。
在采用双硬件系统架构时,硬件系统的机构关系可以图3所示。为便于表述以下将双硬件系统架构中的一个硬件系统称为第一硬件系统或A系统、A芯片,并将另一个硬件系统称为第二硬件系统或N系统、N芯片。A芯片包含A芯片的控制器及各类接口,N芯片则包含N芯片的控制器及各类接口。A芯片及N芯片中可以各自安装有独立的操作系统,从而使显示设备200中存在两个在独立但又存在相互关联的子系统。
在一些实施例中,A芯片也可被称为第一芯片,第一控制器,N芯片也可以被称为第二芯片,第二控制器。
如图3所示,A芯片与N芯片之间可以通过多个不同类型的接口实现连接、通信及供电。A芯片与N芯片之间接口的接口类型可以包括通用输入输出接口(General-purposeinput/output,GPIO)、USB接口、HDMI接口、UART接口等。A芯片与N芯片之间可以使用这些接口中的一个或多个进行通信或电力传输。例如图3所示,在双硬件系统架构下,可以由外接的电源(power)为N芯片供电,而A芯片则可以不由外接电源,而由N芯片供电。
除用于与N芯片进行连接的接口之外,A芯片还可以包含用于连接其他设备或组件的接口,例如图3中所示的用于连接摄像头(Camera)的MIPI接口,蓝牙接口等。
类似的,除用于与N芯片进行连接的接口之外,N芯片还可以包含用于连接显示屏TCON(Timer Control Register)的VBY接口,用于连接功率放大器(Amplifier,AMP)及扬声器(Speaker)的i2S接口;以及IR/Key接口,USB接口,Wifi接口,蓝牙接口,HDMI接口,Tuner接口等。
下面结合图4对双芯片架构进行进一步的说明。需要说明的是图4仅仅是对本申请双硬件系统架构的一些示例性性说明,并不表示对本申请的限定。在实际应用中,两个硬件系统均可根据需要包含更多或更少的硬件或接口。
图4中示例性示出了根据图3显示设备200的硬件架构框图。如图4所示,显示设备200的硬件系统可以包括A芯片和N芯片,以及通过各类接口与A芯片或N芯片相连接的模块。
N芯片可以包括调谐解调器220、通信器230、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口270、供电电源。在其他实施例中N芯片也可以包括更多或更少的模块。
其中,调谐解调器220,用于对通过有线或无线方式接收广播电视信号,进行放大、混频和谐振等调制解调处理,从而从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号,以及附加信息(例如EPG数据信号)。根据电视信号广播制式不同,调谐解调器220的信号途径可以有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播等;以及根据调制类型不同,所述信号的调整方式可以数字调制方式,也可以模拟调制方式;以及根据接收电视信号种类不同,调谐解调器220可以解调模拟信号和/或数字信号。
调谐解调器220,还用于根据用户选择,以及由控制器210控制,响应用户选择的电视频道频率以及该频率所携带的电视信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过外部装置接口250输入至显示设备200中。
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器230可以包括WIFI模块231,蓝牙通信协议模块232,有线以太网通信协议模块233,及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如,通信器可根据控制器的控制接收遥控器100A的控制信号。
外部装置接口250,是提供N芯片控制器210和A芯片及外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接,可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。
其中,外部装置接口250可以包括:高清多媒体接口(HDMI)端子251、复合视频消隐同步(CVBS)端子252、模拟或数字分量端子253、通用串行总线(USB)端子254、红绿蓝(RGB)端子(图中未示出)等任一个或多个。本申请不对外部装置接口的数量和类型进行限制。
控制器210,通过运行存储在存储器290上的各种软件控制程序(如操作系统和/或各种应用程序),来控制显示设备200的工作和响应用户的操作。
如图4所示,控制器210包括只读存储器RAM214、随机存取存储器ROM213、图形处理器216、CPU处理器212、通信接口218、以及通信总线。其中,RAM214和ROM213以及图形处理器216、CPU处理器212、通信接口218通过总线相连接。
ROM213,用于存储各种系统启动的指令。如在收到开机信号时,显示设备200电源开始启动,CPU处理器212运行ROM中系统启动指令,将存储在存储器290的操作系统拷贝至RAM214中,以开始运行启动操作系统。当操作系统启动完成后,CPU处理器212再将存储器290中各种应用程序拷贝至RAM214中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
CPU处理器212,用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。所述多个处理器中可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于执行在待机模式等状态下的一种操作。
通信接口,可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
控制器210可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器280上显示UI对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动和控制显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
其中,基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如:语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,是用于与外部设备之间进行控制和数据通信的模块。浏览器模块,是用于执行浏览服务器之间数据通信的模块。服务模块,是用于提供各种服务以及各类应用程序在内的模块。
同时,存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
用户输入接口,用于将用户的输入信号发送给控制器210,或者,将从控制器输出的信号传送给用户。示例性的,控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口,再由用户输入接口转送至控制器;或者,控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号,并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
在一些实施例中,用户可在显示器280上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
视频处理器260-1,用于接收视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理,可得到直接在显示器280上显示或播放的视频信号。
示例的,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对输入视频的帧率进行转换,如将输入的24Hz、25Hz、30Hz、60Hz视频的帧率转换为60Hz、120Hz或240Hz的帧率,其中,输入帧率可以与源视频流有关,输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。
显示格式化模块,用于将帧率转换模块输出的信号,改变为符合诸如显示器显示格式的信号,如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。
显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容,可以来自调谐解调器220接收的广播信号中的视频,也可以来自通信器或外部设备接口输入的视频内容。显示器220,同时显示显示设备200中产生且用于控制显示设备200的用户操控界面UI。
以及,根据显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
音频处理器260-2,用于接收音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等音频数据处理,得到可以在扬声器272中播放的音频信号。
音频输出接口270,用于在控制器210的控制下接收音频处理器260-2输出的音频信号,音频输出接口可包括扬声器272,或输出至外接设备的发生装置的外接音响输出端子274,如:外接音响端子或耳机输出端子等。
在其他一些示例性实施例中,视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2,也可以包括一个或多个芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以为单独的芯片,也可以与控制器210一起集成在一个或多个芯片中。
供电电源,用于在控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部的电源,如在显示设备200中提供外接电源的电源接口。
与N芯片相类似,如图4所示,A芯片可以包括控制器310、通信器330、检测器340、存储器390。在某些实施例中还可以包括用户输入接口、视频处理器、音频处理器、显示器、音频输出接口。在某些实施例中,也可以存在独立为A芯片供电的供电电源。
通信器330是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器330可以包括WIFI模块331,蓝牙通信协议模块332,有线以太网通信协议模块333,及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。
A芯片的通信器330和N芯片的通信器230也有相互交互。例如,N芯片的WiFi模块231用于连接外部网络,与外部服务器等产生网络通信。A芯片的WiFi模块331用于连接至N芯片的WiFi模块231,而不与外界网络等产生直接连接。因此,对于用户而言,一个如上述实施例中的显示设备至对外显示一个WiFi账号。
检测器340,是显示设备A芯片用于采集外部环境或与外部交互的信号的组件。检测器340可以包括光接收器342,用于采集环境光线强度的传感器,可以通过采集环境光来自适应显示参数变化等;还可以包括图像采集器341,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
外部装置接口350,提供控制器310与N芯片或外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接。
控制器310,通过运行存储在存储器390上的各种软件控制程序(如用安装的第三方应用等),以及与N芯片的交互,来控制显示设备200的工作和响应用户的操作。
如图4所示,控制器310包括只读存储器ROM313、随机存取存储器RAM314、图形处理器316、CPU处理器312、通信接口318、以及通信总线。其中,ROM313和RAM314以及图形处理器316、CPU处理器312、通信接口318通过总线相连接。
ROM313,用于存储各种系统启动的指令。CPU处理器312运行ROM中系统启动指令,将存储在存储器390的操作系统拷贝至RAM314中,以开始运行启动操作系统。当操作系统启动完成后,CPU处理器312再将存储器390中各种应用程序拷贝至RAM314中,然后,开始运行启动各种应用程序。
CPU处理器312,用于执行存储在存储器390中操作系统和应用程序指令,和与N芯片进行通信、信号、数据、指令等传输与交互,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
通信接口,可包括第一接口318-1到第n接口318-n。这些接口可以是经由网络被连接到外部设备的网络接口,也可以是经由网络被连接到N芯片的网络接口。
控制器310可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器280上显示UI对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
图形处理器316,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
A芯片的图形处理器316与N芯片的图形处理器216均能产生各种图形对象。区别性的,若应用1安装于A芯片,应用2安装在N芯片,当用户在应用1的界面,且在应用1内进行用户输入的指令时,由A芯片图形处理器316产生图形对象。当用户在应用2的界面,且在应用2内进行用户输入的指令时,由N芯片的图形处理器216产生图形对象。
图5为本申请根据一些实施例示例性示出的显示设备的功能配置示意图。
如图5所示,A芯片的存储器390和N芯片的存储器290分别用于存储操作系统、应用程序、内容和用户数据等,在A芯片的控制器310和N芯片的控制器210的控制下,驱动显示设备200的系统运行以及响应用户的各种操作。A芯片的存储器390和N芯片的存储器290可以包括易失性和/或非易失性存储器。
对于N芯片,存储器290,具体用于存储驱动显示设备200中控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程序的内部数据。存储器290用于存储操作系统(OS)内核、中间件和应用等系统软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、输入/输出接口等驱动程序和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作系统(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理系统资源,或其它程序所实施的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以允许中间件和API,或应用访问控制器,以实现控制或管理系统资源。
示例的,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、电力控制模块2910、操作系统2911、以及其他应用程序2912、界面布局管理模块2913、事件传输系统2914以及浏览器模块等等。控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。存储器390,包括存储用于驱动和控制显示设备200的各种软件模块。如:存储器390中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。由于存储器390与存储器290的功能比较相似,相关之处参见存储器290即可,在此就不再赘述。
示例的,存储器390,包括图像控制模块3904、音频控制模块2906、外部指令识别模块3907、通信控制模块3908、光接收模块3909、操作系统3911、以及其他应用程序3912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序,来执行诸如:图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。区别性的,N芯片的外部指令识别模块2907和A芯片的外部指令识别模块3907可识别不同的指令。
示例性的,由于摄像头等图像接收设备与A芯片连接,因此,A芯片的外部指令识别模块3907可包括图形识别模块3907-1,图形识别模块3907-1内存储有图形数据库,摄像头接收到外界的图形指令时,与图形数据库中的指令进行对应关系,以对显示设备作出指令控制。而由于语音接收设备以及遥控器与N芯片连接,因此,N芯片的外部指令识别模块2907可包括语音识别模块2907-2,语音识别模块2907-2内存储有语音数据库,语音接收设备等接收到外界的语音指令或时,与语音数据库中的指令进行对应关系,以对显示设备作出指令控制。同样的,遥控器等控制装置100与N芯片连接,由按键指令识别模块与控制装置100进行指令交互。
在一些实施例中,可以没有第一芯片第二芯片之分,显示设备具有的控制器在软件层面为一个操作系统,内置的应用可与上述双芯片架构显示设备中的应用相同。同样设置上述所有接口。
图6a中示例性示出了一些实施例中显示设备200中软件系统的配置框图。
对N芯片,如图6a中所示,操作系统2911,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成数据处理的媒介。
一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的,包括显示器、摄像头、Flash、WiFi和音频驱动器。
如图6a所示,在一些实施例中,操作系统2911具体可以包括:可访问性模块2911-1、通信模块2911-2、用户界面模块2911-3和控制应用程序2911-4。
在一些实施例中,操作系统2911还可以包括:摄像头调度模块2911-5、摄像头驱动模块2911-6和摄像头开关模块2911-7。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序访问,可实现用户可操作性。
控制应用程序2911-4,用于控制进程管理、切换前台应用,包括运行时间应用程序等。
摄像头调度模块2911-5,用于控制摄像头开启或者关闭,以及升起或者降落。
和摄像头驱动模块2911-6,用于在摄像头调度模块2911-5的控制下,驱动与摄像头机械连接的马达以使摄像头升起或者降落;
摄像头开关模块2911-7,用于在摄像头调度模块2911-5的控制下,开启摄像头,即使其进入开启状态,或者关闭摄像头,即使其进入关闭状态。
如图6a所示,在一些实施例中,事件传输系统2914,可在操作系统2911内或应用程序2912中实现。一些实施例中,一方面在在操作系统2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
具体的,事件传输系统2914可以包括事件监听模块2914-1和事件识别模块2914-2。其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
事件识别模块2914-2,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
需要说明的是,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制装置100等)的输入。如:语音输入各种子事件,手势识别的手势输入子事件,以及控制装置的遥控按键指令输入的子事件等。示例的,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作,如移动、按住、释放等操作。
界面布局管理模块2913,直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
由于A芯片的操作系统3911与N芯片的操作系统2911的功能比较相似,相关之处参见操作系统2911即可,在此就不再赘述。
如图6b中所示,显示设备的应用程序层包含可在显示设备200执行的各种应用程序。
N芯片的应用程序层2912可包含但不限于一个或多个应用程序,如:视频点播应用程序、应用程序中心、游戏应用等。A芯片的应用程序层3912可包含但不限于一个或多个应用程序,如:直播电视应用程序、媒体中心应用程序等。需要说明的是,A芯片和N芯片上分别包含什么应用程序是根据操作系统和其他设计确定的,本发明无需对A芯片和N芯片上所包含的应用程序做具体的限定和划分。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
在一些实施例中,由于A芯片及N芯片中可能分别安装有独立的操作系统,从而使显示设备200中存在两个在独立但又存在相互关联的子系统。例如,A芯片和N均可以独立安装有安卓(Android)及各类APP,使得每个芯片均可以实现一定的功能,并且使A芯片和N芯片协同实现某项功能。
图7a中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图7所示,用户界面包括多个视图显示区,示例的,第一视图显示区201和播放画面202,其中,播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器,可通过用户输入而移动选择器的位置,以改变选择不同的项目。
需要说明的是,多个视图显示区可以呈现不同层级的显示画面。如,第一视图显示区可呈现视频聊天项目内容,第二视图显示区可呈现应用层项目内容(如,网页视频、VOD展示、应用程序画面等)。
可选的,不同视图显示区的呈现存在优先级区别,优先级不同的视图显示区之间,视图显示区的显示优先级不同。如,系统层的优先级高于应用层的优先级,当用户在应用层使用获取选择器和画面切换时,不遮挡系统层的视图显示区的画面展示;以及,根据用户的选择使应用层的视图显示区的大小和位置发生变化时,系统层的视图显示区的大小和位置不受影响。
也可以呈现相同层级的显示画面,此时,选择器可以在第一视图显示区和第二视图显示区之间做切换,以及当第一视图显示区的大小和位置发生变化时,第二视图显示区的大小和位置可随及发生改变。
在一些实施例中,图7中的任意一个区域可以显示摄像头获取的画面。
″项目″是指在显示设备200中用户界面的各视图显示区中显示以表示,诸如图标、缩略图、视频剪辑等对应内容的视觉对象。例如:项目可以表示电影、电视剧的图像内容或视频剪辑、音乐的音频内容、应用程序,或其他用户访问内容历史信息。
一些实施例中,″项目″可显示图像缩略图。如:当项目为电影或电视剧时,项目可显示为电影或电视剧的海报。如项目为音乐时,可显示音乐专辑的海报。如项目为应用程序时,可显示为应用程序的图标,或当应用程序被执行最近执行时捕捉到应用程序的内容截图。如项目为用户访问历史时,可显示为最近执行过程中内容截图。″项目″可显示为视频剪辑。如:项目为电视或电视剧的预告片的视频剪辑动态画面。
此外,项目可以表示显示设备200与外接设备连接的接口或接口集合显示,或可表示连接至显示设备的外部设备名称等。如:信号源输入接口集合、或HDMI接口、USB接口、PC端子接口等。
在详细介绍本申请方法的具体实现方式之前,先对本申请方法的应用场景予以介绍。
当显示设备上安装有摄像头以后,显示设备在不同应用场景所显示的内容,可以得到多种不同方式的融合,从而达到传统显示设备无法实现的功能。
例如,″照镜子″功能,即,用户打开摄像头后,摄像头将开始采集其视场范围内的图像数据,图像数据被回调给显示设备,并被渲染到屏幕上。从而,用户可以在屏幕上光看摄像头拍摄到的图像,相当于照镜子。图7b为用户使用″照镜子″功能时,显示设备所呈现画面的示意图,该画面为摄像头能够采集到的显示设备周围环境的镜面图像。
除此之外,当显示设备上安装有摄像头以后,还能为用户提供″边看边聊″功能,其中,″看″是指观看播放画面,例如,动态的视频节目的播放画面,或者,静态的图片、文字、应用的UI界面等的播放画面,而″聊″则是指与和至少一个其他用户进行视频聊天。
图7c为一种″边看边聊″场景中,显示设备所呈现画面的示意图。如图7c所示,用户在观看视频节目的同时,与两个其他用户进行视频聊天。此时的画面中,视频节目的播放画面作为背景画面,视频聊天窗口则在该播放画面之上显示。
图7d为另一种″边看边聊″场景中,显示设备所呈现的画面示意图。如图7d所示,用户在观看某一应用程序的UI界面的同时,与三个其他用户进行视频聊天。此时的画面中,应用程序的UI界面(播放画面)作为背景画面,视频聊天窗口则在该UI界面之上显示。形象的,当该应用程序为教育类应用、显示设备呈现的画面为教育应用内的学习内容时,该场景还可称为″边学边聊″,当该应用程序为游戏类应用、显示设备呈现的画面为游戏画面时,该场景还可称为″边玩边聊″。
需要说明的是,在″边看边聊″场景中,视频聊天窗口的位置包括但不限于图7c及图7d示出的位置,可选的,当视频聊天连接成功并切换至小窗口时,视频聊天窗口在播放画面显示的初始位置是一默认位置。
在上述场景中,由于视频聊天窗口位于播放画面的上层,因此,当用户需要操作显示设备时,播放画面上的焦点很可能会被视频聊天窗口遮挡,从而使用户无法获知焦点的所在位置,或者,当播放画面上存在关键信息时,该关键信息很可能被视频聊天窗口遮挡,从而影响用户观看到关键信息的内容。其中,关键信息如体育赛事直播的播放画面中呈现的赛事比分信息,或如其它直播节目的播放画面中呈现的字幕信息等。
示例性地,图7e示出了播放画面上的焦点被视频聊天窗口所遮挡的场景,其中的虚线框即为视频聊天窗口遮挡的焦点。
另一示例性地,图7f示出了播放画面上的赛事比分信息被视频聊天窗口所遮挡的场景。
为解决这一问题,在一些实施例中,显示设备的控制器(如上述第一控制器或者第二控制器)控制在显示器上呈现播放画面;在与一个或多个对端设备进行视频聊天时,在播放画面的上方呈现一个或多个视频聊天窗口,每个视频聊天窗口在尺寸上小于播放画面,即小窗口;当控制器接收到用户输入的用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置,并根据视频聊天窗口位置和焦点位置确定视频聊天窗口是否遮挡焦点;响应于确定视频聊天窗口遮挡焦点,则控制将视频聊天窗口由当前位置移动到第一目标位置,该第一目标位置为使视频聊天窗口不遮挡焦点的位置。
这样一来,由于视频聊天窗口位置根据焦点位置自适应移动,因而可以避免遮挡焦点的UI图标,即使焦点位置不断变化,视频聊天窗口位置也将适应性变化,因此始终不会遮挡焦点的UI图标。
在另一些实施例中,显示设备的控制器(如上述第一控制器或者第二控制器)控制在显示器上呈现播放画面;在与至少一个对端设备进行视频聊天时,在播放画面的上方呈现一个或者多个视频聊天窗口,每个视频聊天窗口在尺寸上小于播放画面,即小窗口的形式;在播放画面包括视频节目画面且视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置,根据视频聊天窗口位置和关键信息位置确定视频聊天窗口是否遮挡关键信息;响应于确定视频聊天窗口遮挡关键信息,则将视频聊天窗口移动到第二目标位置,该第二目标位置为使视频聊天窗口不遮挡关键信息的位置。
这样一来,由于视频聊天窗口位置根据关键信息位置自适应移动,因而可以避免遮挡节目画面中的关键信息。
根据上述实施例,本申请还提供一种视频聊天窗口的位置自适应调整方法,在下述方法实施例中,具体介绍了上述实施例的更为具体的实现方式。该方法的执行主体包括但不限于显示设备的控制器及与控制器连接的各模块。通过该方法,″边看边聊″场景中,视频聊天窗口的位置适应于焦点位置或播放画面中关键信息的位置自动调整,进而解决视频聊天窗口遮挡焦点或关键信息的问题。
图8为本申请根据一示例性实施例示出的视频聊天窗口的位置自适应调整方法流程图,如图8所示,该方法可以包括:
步骤801,在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令。
一种可能的场景中,在显示设备正在呈现播放画面的情况下,具有视频聊天功能的社交应用,接收至少一个社交好友的视频聊天邀请,接收用于接受所述邀请的用户输入,与社交好友的设备建立视频聊天连接,连接成功后,接收社交好友的设备发送的视频流,将视频流解码后,在视频聊天窗口中呈现。视频聊天窗口将以小窗口的形式浮于当前的播放画面上。
另一种可能的场景中,在显示设备正在通过至少一个视频聊天窗口呈现视频聊天画面,且视频聊天窗口为全屏窗口的情况下,接收用于退出全屏窗口的用户输入,呈现作为背景画面的播放画面,同时将视频聊天窗口由全屏窗口切换至小窗口,使小窗口形式的视频聊天窗口浮于当前的播放画面上显示。
需要说明的是,当显示设备呈现的播放画面上浮有视频聊天窗口时,作为背景画面的播放画面,可以是video层呈现的动态视频画面,也可以是OSD层呈现的静态的UI界面,还可以是video层和OSD层叠加后的画面。
具体实现时,显示设备至少对以上两种场景是否出现进行监测,当监测到任意一种场景发生时,确定显示设备呈现的播放画面上浮有视频聊天窗口。具体而言,在显示设备正在呈现播放画面的情况下,监测是否开启视频聊天窗口,如果监测到开启视频聊天窗口,则此时显示设备呈现的播放画面上浮有视频聊天窗口;以及,在显示设备呈现视频聊天窗口且呈现的视频聊天窗口处于全屏的情况下,监测是否接收到用于指示退出全屏的指令,如果接收到用于指示退出全屏的指令,在显示设备响应该指令而将视频聊天窗口切换至小窗口后,确定此时显示设备呈现的播放画面上浮有视频聊天窗口。
本实施例中,视频聊天窗口的初始位置可以是播放画面上的任意位置。优选的,视频聊天窗口的初始位置为一预设的默认位置。例如,图7d示出的显示器屏幕右侧紧贴屏幕边缘的位置,当视频聊天窗口至少为2个时,该至少2个视频窗口在竖直方向上依次排列。
在本实施例场景中,用户可以通过遥控器100A或者控制装置100B,向显示设备发送用于移动焦点的指令。例如,当用户按下遥控器100A上的″>″(向左)按键时,遥控器100A则会向显示设备发送对应″向左移动焦点″的键值数据,以指示显示设备向左移动焦点。
通过将焦点的UI图标(诸如焦点框或者光标)在用户界面上显示,从而达到焦点可视化的目的。通常,焦点框或者光标在OSD层显示。需要说明的是,显示设备开机后,始终可以接收用户通过控制装置100输入的用于移动焦点的指令。
步骤802,当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置。
步骤802具体实现时,可以获取所述视频聊天窗口的非边缘角坐标,根据获取的所述非边缘角坐标确定所述视频聊天窗口的当前位置。其中,视频聊天窗口包括四个角,该四个角中至少包括一个非边缘角。
如图9a所示,视频聊天窗口为一矩形ABCD,其中∠A、∠B和∠C为边缘角,边缘角的顶点与显示器屏幕的边缘重合,∠D为非边缘角,非边缘角的顶点不与显示屏幕的边缘重合。图9a、9b、9c和9d分别示出了视频聊天窗口仅包括一个非边缘角的情形。
如图10a所示,视频聊天窗口为一矩形EFGH,其中∠E和∠F为边缘角,∠G和∠H为非边缘角。图10a、10b、10c和10d分别示出了视频聊天窗口包括两个非边缘角的情形。
由于在本申请场景中,视频聊天窗口浮于播放画面且紧贴屏幕边缘显示,因此,至少具有一个非边缘角,至多具有两个非边缘角,通过获取视频聊天窗口的非边缘角坐标,即可确定视频聊天窗口的位置。
示例性地,当获取到视频聊天窗口的唯一一个非边缘角坐标(X1,Y1)时,由于该视频聊天窗口仅具有一个非边缘角,因此可确定剩余三个边缘角坐标分别为(0,0)、(0,Y1)、(X1,0),进而,视频聊天窗口位于点(0,0)、(0,Y1)、(X1,0)、(X1,Y1)形成的矩形区域内,如图9a、图9b、图9c及图9d所示。
另一示例性地,当获取到视频聊天窗口的两个非边缘角坐标(X1,Y1)和(X2,Y1)时:如果Y1小于Y0,可确定剩余两个边缘角的坐标分别为(X1,0)和(X2,0),进而,视频聊天窗口位于点(X1,Y1)、(X2,Y1)、(X1,0)和(X2,0)形成的矩形区域内,如图10a所示;如果Y1大于Y0,可确定剩余两个边缘角的坐标分别为(X1,Ymax)和(X2,Ymax),进而,视频聊天窗口位于点(X1,Y1)、(X2,Y1)、(X1,Ymax)和(X2,Ymax)形成的矩形区域内,如图10b所示。
另一示例性地,当获取到视频聊天窗口的两个非边缘角坐标(X1,Y1)和(X1,Y2)时:如果X1小于X0,可确定剩余两个边缘角的坐标分别为(0,Y1)和(0,Y2),进而,视频聊天窗口位于点(X1,Y1)、(X1,Y2)、(0,Y1)和(0,Y2)形成的矩形区域内,如图10c所示;如果X1大于X0,,可确定剩余两个边缘角的坐标分别为(Xmax,Y1)和(Xmax,Y2),进而,视频聊天窗口位于点(X1,Y1)、(X1,Y2)、(Xmax,Y1)和(Xmax,Y2)形成的矩形区域内,如图10d所示。
在步骤802中,当显示设备接收到用于移动焦点的指令时,获取焦点的位置坐标。于本领域技术人员而言,获取焦点位置的现有技术有很多,本申请不予赘述。
步骤803,根据视频聊天窗口位置和焦点位置判断所述视频聊天窗口是否遮挡所述焦点。
具体实现时,判断焦点的位置坐标是否落在视频聊天窗口对应的矩形区域内,如果是,则判定视频聊天窗口遮挡焦点,如果否,则判定视频聊天窗口未遮挡焦点。
步骤804,如果判定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口移动到第一目标位置,第一目标位置为使所述视频聊天窗口不遮挡所述焦点的位置。
作为一种可能的实现方式,步骤804具体可以包括图11所示步骤:
步骤111,生成包含至少一个可选位置的提示信息。
可选的,在步骤111之前,为视频聊天窗口预设至少两个位置,当视频聊天窗口浮于播放画面呈现时,优先在其中一个预设位置处显示。进一步可选的,预先从至少两个预设位置中选择一个作为默认位置,当视频聊天窗口浮于播放画面呈现时,优先在默认位置处显示。
具体实现时,首先确定至少一个可选位置,可选位置可以为视频聊天窗口的预设位置中的任意一个或多个,可选位置对应的显示区需要不遮挡焦点在当前时刻所处的位置。然后根据可选位置信息生成提示信息。
需要说明的是,提示信息可以是界面提示,也可以是语音提示,语音提示播报的内容为所述可选位置的文字描述。
步骤112,在所述显示器上呈现所述提示信息。
步骤113,接收用于根据所述提示信息选择第一目标位置的输入,所述第一目标位置为所述可选位置中的任意一个。
示例性地,图12为上述提示信息为界面提示的简单示意图。如图12所示,该界面提示在显示器上弹出呈现,界面提示中包括3个可选位置,每个可选位置对应一个界面控件,用户可以通过控制装置100控制焦点在该3个可选位置之间移动,最终,选定其中一个可选位置作为第一目标位置。
步骤114,将视频聊天窗口移动到所述第一目标位置。
作为另一种可能的实现方式,步骤804具体可以包括图13所示步骤:
步骤131,根据视频聊天窗口的当前位置和所述焦点的位置,计算所述视频聊天窗口与所述焦点的相对位置。
假设,步骤801中获取到视频聊天窗口的唯一一个非边缘角坐标为(Xc,Yc),焦点的位置坐标为(Xf,Yf),可以通过如下算法计算二者的相对位置:
分别比较Xf与Xc,和,Yf与Yc,在视频聊天窗口遮挡焦点的情况下,
如果Xf>Xc且Yf>Yc,说明视频聊天窗口位于图9a所示位置,焦点则位于非边缘角的右上方;
如果Xf<Xc且Yf<Yc,说明视频聊天窗口位于图9b所示位置,焦点则位于非边缘角的左下方;
如果Xf<Xc且Yf>Yc,说明视频聊天窗口位于图9c所示位置,焦点则位于非边缘角的左上方;
如果Xf<Xc且Yf<Yc,说明视频聊天窗口位于图9d所示位置,焦点则位于非边缘角的右下方。
步骤132,根据预设调整规则,确定所述相对位置对应的第一目标位置。
根据步骤131的计算结果,示例性地,一种可选的预设调整规则如下:
如果Xf>Xc且Yf>Yc,确定图9b所示位置为第一目标位置;
如果Xf<Xc且Yf<Yc,确定图9a所示位置为第一目标位置;
如果Xf<Xc且Yf>Yc,确定图9d所示位置为第一目标位置;
如果Xf<Xc且Yf<Yc,确定图9c所示位置为第一目标位置。
步骤133,将视频聊天窗口移动到所述第一目标位置。
图14为视频聊天窗口移动后的界面示意图,如图14所示,移动后的视频聊天窗口不再遮挡焦点。
由以上实施例可知,本申请实施例提供一种视频聊天窗口的位置自适应调整方法,在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令;当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置;根据所述视频聊天窗口位置和所述焦点位置判断所述视频聊天窗口是否遮挡所述焦点;如果判定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置。通过本申请方法,由于视频聊天窗口位置根据焦点位置自适应移动,因而可以避免遮挡焦点的UI图标,即使焦点位置不断变化,视频聊天窗口位置也将适应性变化,因此始终不会遮挡焦点的UI图标。
实际上,当视频聊天窗口浮于播放画面显示时,视频聊天窗口不但可能会遮挡焦点,而且,在播放画面上存在关键信息时,还可能会遮挡关键信息,从而影响用户观看到关键信息的内容。其中,关键信息如体育赛事直播的播放画面中呈现的赛事比分信息,或如其它直播节目的播放画面中呈现的字幕信息等。
因此,为了解决视频聊天窗口遮挡播放画面关键信息的问题,本申请视频聊天窗口的位置自适应调整方法还提供以下实施例。
参阅图15,一种显示设备视频聊天窗口的位置自适应调整方法,可以包括:
步骤151,在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令,以及,在所述播放画面为视频节目画面的情况下,检测所述视频节目画面中是否存在关键信息。
需要说明的是,在步骤151中,关于如何检测所述视频节目画面中是否存在关键信息,至少具有以下两种实现方式。
作为一种可选的实现方式,获取至少一帧视频节目画面,然后使用基于神经网络模型的图像识别技术,识别节目类型,如果识别到为赛事直播节目,则进一步检测视频节目画面中的关键字来判断是否存在关键信息。
作为另一种可选的实现方式,获取预设时间段内连续的N帧视频节目画面,然后针对每一帧视频节目画面,直接识别画面中的文字信息,根据每一帧画面对应的识别结果,确定视频节目画面中是否存在关键信息,例如,如果通过对比每一帧画面对应的识别结果,确定视频节目画面中存在持续变化的文字信息,则确定该持续变化的文字信息为关键信息,可能为赛事直播中的比分信息,也可能是其他节目中的字幕信息。
步骤152,当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置;以及,当检测到所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置。
本实施例中,关键信息的位置一般为显示器屏幕上的一个区域。在不同的场景中,关键信息的位置可能会发生变化,位置区域的尺寸也可能发生变化。需要说明的是,当明确播放画面中存在关键信息时,如何确定关键信息的位置区域,属于已有技术,此处不予赘述。
示例性地,图16a中,关键信息位于矩形区域M1N1O1P1中。
另一示例性地,图16b中,关键信息位于矩形区域M2N2O2P2中。
步骤153,根据所述视频聊天窗口位置和所述焦点位置判断所述视频聊天窗口是否遮挡所述焦点;或者,根据所述视频聊天窗口位置和所述关键信息位置判断所述视频聊天窗口是否遮挡所述关键信息。
具体实现时,对于焦点,可以判断焦点的位置坐标是否落在视频聊天窗口对应的矩形区域内,如果是,则判定视频聊天窗口遮挡焦点,如果否,则判定视频聊天窗口未遮挡焦点。对于关键信息,可以判断关键信息的位置区域与视频聊天窗口对应的矩形区域是否存在重合,如果是,则判定视频聊天窗口遮挡关键信息,如果否,则判定视频聊天窗口未遮挡关键信息。
步骤154,如果判定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口移动到第一目标位置;如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口由当前位置移动到第二目标位置,第二目标位置为使视频聊天窗口不遮挡所述关键信息的位置。
需要说明的是,第一目标位置与第二目标位置可以是同一位置,也可以是不同的位置。实际上,第一目标位置和第二目标可以为不同于视频聊天窗口当前位置的任意位置。
类似于上述实施例中步骤804的具体实现方式,步骤154中,如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口由当前位置移动到第二目标位置,可以包括:
首先,生成包含至少一个可选位置的提示信息。具体的,首先确定至少一个可选位置,所述可选位置为所述视频聊天窗口的预设位置,所述可选位置对应的显示区不遮挡所述焦点和/或所述关键信息;然后,根据所述可选位置生成所述提示信息。
其次,在所述显示器上呈现所述提示信息。
然后,接收用于根据所述提示信息选择第二目标位置的输入,所述第二目标位置为所述可选位置中的任意一个。
最后,将视频聊天窗口移动到所述第二目标位置。
在另外的实施例中,步骤154中,如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口由当前位置移动到第二目标位置,可以包括:
首先,根据视频聊天窗口的当前位置和所述关键信息的位置,计算所述视频聊天窗口与所述关键信息的相对位置。
然后,根据预设调整规则,确定所述相对位置对应的第二目标位置。
最后,将视频聊天窗口移动到所述第二目标位置。
由以上实施例可知,本申请提供的视频聊天窗口的位置自适应调整方法,除了可以解决视频聊天窗口遮挡焦点的UI图标的问题,还可以解决遮挡播放画面上关键信息的问题。具体而言,在所述播放画面为视频节目画面的情况下,检测所述视频节目画面中是否存在关键信息;如果所述视频节目画面中存在关键信息,获取视频聊天窗口位置和关键信息位置;根据所述视频聊天窗口位置和所述关键信息位置判断所述视频聊天窗口是否遮挡所述关键信息;如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口由当前位置移动到第二目标位置。
此外,为了使显示设备能够满足用户的个性化需求,在本申请另外的实施例中,用户可以自主移动视频聊天窗口的位置。具体的,本申请方法中,显示设备控制器还执行:检测是否接收到用于移动所述视频聊天窗口的指令;当接收到用于移动所述视频聊天窗口的指令时,根据所述用于移动所述视频聊天窗口的指令,将所述视频聊天窗口由当前位置移动到第三目标位置。
其中,第三目标位置与第一目标位置和第二目标位置可以是同一位置,也可以是不同的位置,实际上,第三目标位置为不同于视频聊天窗口当前位置的任意位置。
基于以上实施例所提供的视频聊天窗口的位置自适应调整方法,本申请还提供另一种视频聊天窗口的位置自适应调整方法,图17为该方法的一个实施例流程图,如图17所示,该方法可以包括:
步骤171,在视频聊天窗口浮于播放画面显示的情况下,如果所述播放画面为视频节目画面,检测所述视频节目画面中是否存在关键信息;
步骤172,当检测到所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置;
步骤173,根据所述视频聊天窗口位置和所述关键信息位置判断所述视频聊天窗口是否遮挡所述关键信息;
步骤174,如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口移动到第二目标位置,所述第二目标位置为使视频聊天窗口不遮挡所述关键信息的位置。
关于图17所示实施例的具体实现,可以参见本申请的其他实施例,此处不予赘述。
由以上实施例可知,本实施例提供的视频聊天窗口的位置自适应调整方法,在视频聊天窗口浮于播放画面显示的情况下,如果所述播放画面为视频节目画面,检测所述视频节目画面中是否存在关键信息;当检测到所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置;根据所述视频聊天窗口位置和所述关键信息位置判断所述视频聊天窗口是否遮挡所述关键信息;如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口移动到第二目标位置。通过本申请方法,由于视频聊天窗口位置根据关键信息位置自适应移动,因而可以避免遮挡关键信息,即使关键信息位置不断变化,视频聊天窗口位置也将适应性变化,因此始终不会遮挡关键信息。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于显示设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (11)
1.一种显示设备,其特征在于,包括:
显示器,用于显示播放画面和/或视频聊天窗口;
控制器,被配置为:
呈现播放画面;
在与对端设备进行视频聊天时,在所述播放画面的上方呈现视频聊天窗口,所述视频聊天窗口小于所述播放画面;
当接收到输入的用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置,根据所述视频聊天窗口位置和所述焦点位置确定所述视频聊天窗口是否遮挡所述焦点;
响应于确定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置,所述第一目标位置为使所述视频聊天窗口不遮挡所述焦点的位置。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
获取视频聊天窗口位置和焦点位置之前,在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到输入的用于移动焦点的指令。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为通过下述步骤将视频聊天窗口移动到第一目标位置:
生成包含至少一个可选位置的提示信息;
在所述显示器上呈现所述提示信息;
接收用于根据所述提示信息选择第一目标位置的输入,所述第一目标位置为所述可选位置中的任意一个;
将视频聊天窗口移动到所述第一目标位置。
4.根据权利要求3所述的显示设备,其特征在于,所述控制器被配置为通过下述步骤生成包含至少一个可选位置的提示信息:
确定至少一个可选位置,所述可选位置为所述视频聊天窗口的预设位置,所述可选位置对应的显示区不遮挡所述焦点;
根据所述可选位置生成所述提示信息。
5.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为通过下述步骤将视频聊天窗口移动到第一目标位置:
根据所述视频聊天窗口位置和所述焦点位置,计算所述视频聊天窗口与所述焦点的相对位置;
根据预设调整规则,确定所述相对位置对应的第一目标位置;
将视频聊天窗口移动到所述第一目标位置。
6.根据权利要求1所述的显示设备,其特征在于,所述控制器被配置为通过下述步骤获取视频聊天窗口位置:
获取所述视频聊天窗口的非边缘角坐标,所述视频聊天窗口包括四个角,所述四个角中至少包括一个非边缘角;
根据获取的所述非边缘角坐标确定所述视频聊天窗口位置。
7.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
在所述播放画面为视频节目画面的情况下,检测所述视频节目画面中是否存在关键信息;
当检测到所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置;
根据所述视频聊天窗口位置和所述关键信息位置确定所述视频聊天窗口是否遮挡所述关键信息;
响应于确定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口由当前位置移动到第二目标位置,所述第二目标位置为使所述视频聊天窗口不遮挡所述关键信息的位置。
8.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
检测是否接收到用于移动所述视频聊天窗口的指令;
响应于接收到用于移动所述视频聊天窗口的指令,根据所述用于移动所述视频聊天窗口的指令,将所述视频聊天窗口由当前位置移动到第三目标位置。
9.一种显示设备,其特征在于,包括:
显示器,用于显示播放画面和/或视频聊天窗口;
控制器,被配置为:
呈现播放画面;
在与对端设备进行视频聊天时,在所述播放画面的上方呈现视频聊天窗口,所述视频聊天窗口小于所述播放画面;
在所述播放画面包括视频节目画面且所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置,根据所述视频聊天窗口位置和所述关键信息位置确定所述视频聊天窗口是否遮挡所述关键信息;
响应于确定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口移动到第二目标位置,所述第二目标位置为使所述视频聊天窗口不遮挡所述关键信息的位置。
10.一种视频聊天窗口的位置自适应调整方法,其特征在于,所述方法包括:
在视频聊天窗口浮于播放画面显示的情况下,监测是否接收到用于移动焦点的指令;
当接收到用于移动焦点的指令时,获取视频聊天窗口位置和焦点位置;
根据所述视频聊天窗口位置和所述焦点位置判断所述视频聊天窗口是否遮挡所述焦点;
如果判定所述视频聊天窗口遮挡所述焦点,则将所述视频聊天窗口由当前位置移动到第一目标位置,所述第一目标位置为使所述视频聊天窗口不遮挡所述焦点的位置。
11.一种视频聊天窗口的位置自适应调整方法,其特征在于,所述方法包括:
在视频聊天窗口浮于播放画面显示的情况下,如果所述播放画面为视频节目画面,检测所述视频节目画面中是否存在关键信息;
当检测到所述视频节目画面中存在关键信息时,获取视频聊天窗口位置和关键信息位置;
根据所述视频聊天窗口位置和所述关键信息位置判断所述视频聊天窗口是否遮挡所述关键信息;
如果判定所述视频聊天窗口遮挡所述关键信息,则将所述视频聊天窗口移动到第二目标位置,所述第二目标位置为使视频聊天窗口不遮挡所述关键信息的位置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019107614740 | 2019-08-18 | ||
CN201910761474 | 2019-08-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112399233A true CN112399233A (zh) | 2021-02-23 |
Family
ID=74602793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010331532.9A Pending CN112399233A (zh) | 2019-08-18 | 2020-04-24 | 显示设备和视频聊天窗口的位置自适应调整方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11877091B2 (zh) |
CN (1) | CN112399233A (zh) |
WO (1) | WO2021031598A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360058A (zh) * | 2021-04-21 | 2021-09-07 | Vidaa美国公司 | 一种显示设备及信息提示方法 |
CN115695889A (zh) * | 2022-09-30 | 2023-02-03 | 聚好看科技股份有限公司 | 显示设备及悬浮窗显示方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11862126B2 (en) * | 2022-02-10 | 2024-01-02 | Hewlett-Packard Development Company, L.P. | Inset window alterations |
US20240004536A1 (en) * | 2022-06-30 | 2024-01-04 | Apple Inc. | Systems and methods of reducing obstruction by three-dimensional content |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073650A (zh) * | 2009-11-25 | 2011-05-25 | 阿里巴巴集团控股有限公司 | 一种网页自适应调节的方法和设备 |
CN102194443A (zh) * | 2010-03-04 | 2011-09-21 | 腾讯科技(深圳)有限公司 | 视频画中画窗口的显示方法、系统及视频处理设备 |
CN103596053A (zh) * | 2013-11-18 | 2014-02-19 | 深圳创维数字技术股份有限公司 | 一种pip播放的方法及终端 |
CN105005430A (zh) * | 2015-07-17 | 2015-10-28 | 深圳市金立通信设备有限公司 | 一种窗口显示方法及终端 |
CN109814768A (zh) * | 2018-12-14 | 2019-05-28 | 中国平安财产保险股份有限公司 | 悬浮框的位置优化的方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243129B1 (en) * | 1998-01-09 | 2001-06-05 | 8×8, Inc. | System and method for videoconferencing and simultaneously viewing a supplemental video source |
US8683519B2 (en) * | 2007-09-26 | 2014-03-25 | At&T Intellectual Property I, L.P. | Favorites mosaic |
US8223185B2 (en) * | 2008-03-12 | 2012-07-17 | Dish Network L.L.C. | Methods and apparatus for providing chat data and video content between multiple viewers |
CN102132575B (zh) * | 2008-08-29 | 2013-10-02 | 索尼电脑娱乐公司 | 信息处理系统及信息处理装置 |
CN102361494A (zh) * | 2011-09-28 | 2012-02-22 | 深圳市华曦达科技股份有限公司 | Epg显示的方法、装置及电视机 |
CN103686419A (zh) * | 2012-09-14 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 设置视频窗口的方法和装置 |
US10972521B2 (en) * | 2012-10-18 | 2021-04-06 | NetTalk.com, Inc. | Method and apparatus for coviewing video |
CN106462413A (zh) * | 2014-06-12 | 2017-02-22 | 苹果公司 | 用于在带有触敏显示器的电子设备上进行多任务处理的系统和方法 |
-
2020
- 2020-04-24 WO PCT/CN2020/086624 patent/WO2021031598A1/zh active Application Filing
- 2020-04-24 CN CN202010331532.9A patent/CN112399233A/zh active Pending
-
2021
- 2021-09-17 US US17/477,852 patent/US11877091B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073650A (zh) * | 2009-11-25 | 2011-05-25 | 阿里巴巴集团控股有限公司 | 一种网页自适应调节的方法和设备 |
CN102194443A (zh) * | 2010-03-04 | 2011-09-21 | 腾讯科技(深圳)有限公司 | 视频画中画窗口的显示方法、系统及视频处理设备 |
CN103596053A (zh) * | 2013-11-18 | 2014-02-19 | 深圳创维数字技术股份有限公司 | 一种pip播放的方法及终端 |
CN105005430A (zh) * | 2015-07-17 | 2015-10-28 | 深圳市金立通信设备有限公司 | 一种窗口显示方法及终端 |
CN109814768A (zh) * | 2018-12-14 | 2019-05-28 | 中国平安财产保险股份有限公司 | 悬浮框的位置优化的方法、装置、计算机设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360058A (zh) * | 2021-04-21 | 2021-09-07 | Vidaa美国公司 | 一种显示设备及信息提示方法 |
CN115695889A (zh) * | 2022-09-30 | 2023-02-03 | 聚好看科技股份有限公司 | 显示设备及悬浮窗显示方法 |
Also Published As
Publication number | Publication date |
---|---|
US11877091B2 (en) | 2024-01-16 |
WO2021031598A1 (zh) | 2021-02-25 |
US20220006972A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113330736B (zh) | 一种显示器及图像处理方法 | |
CN112399213B (zh) | 显示设备和遥控器按键复用方法 | |
CN112073788B (zh) | 视频数据处理方法、装置及显示设备 | |
CN110708581B (zh) | 显示设备及呈现多媒体屏保信息的方法 | |
CN112399212A (zh) | 显示设备、分享文件的方法和服务器 | |
CN112068741B (zh) | 显示设备及显示设备蓝牙开关状态的显示方法 | |
CN112399233A (zh) | 显示设备和视频聊天窗口的位置自适应调整方法 | |
CN112073662A (zh) | 一种显示设备 | |
CN112463267B (zh) | 在显示设备屏幕上呈现屏保信息的方法及显示设备 | |
CN112073795B (zh) | 视频数据处理方法、装置及显示设备 | |
CN112783380A (zh) | 显示设备和方法 | |
CN113141528B (zh) | 显示设备、开机动画播放方法及存储介质 | |
CN112073769A (zh) | 显示设备及应用共同显示的方法 | |
CN111385631A (zh) | 一种显示设备、通信方法及存储介质 | |
CN112073666B (zh) | 一种显示设备的电源控制方法及显示设备 | |
CN112073777B (zh) | 一种语音交互方法及显示设备 | |
CN113301404A (zh) | 显示设备和控制方法 | |
CN112399245A (zh) | 一种播放方法及显示设备 | |
CN112073776A (zh) | 语音控制方法及显示设备 | |
CN112073808A (zh) | 一种色彩空间切换方法及显示装置 | |
CN112399223B (zh) | 一种改善莫尔条纹现象的方法及显示设备 | |
CN112073763B (zh) | 一种显示设备 | |
CN112073811B (zh) | 一种文件传输调度方法及显示设备 | |
CN112073772B (zh) | 基于双系统的按键无缝传递方法及显示设备 | |
WO2020248886A1 (zh) | 图像处理方法及显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210223 |