CN112511880B - 一种多屏间内容传送和控制系统 - Google Patents

一种多屏间内容传送和控制系统 Download PDF

Info

Publication number
CN112511880B
CN112511880B CN202110150124.8A CN202110150124A CN112511880B CN 112511880 B CN112511880 B CN 112511880B CN 202110150124 A CN202110150124 A CN 202110150124A CN 112511880 B CN112511880 B CN 112511880B
Authority
CN
China
Prior art keywords
window
screen
subsystem
layout
windows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110150124.8A
Other languages
English (en)
Other versions
CN112511880A (zh
Inventor
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Mythware Information Technology Co ltd
Original Assignee
Nanjing Mythware Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Mythware Information Technology Co ltd filed Critical Nanjing Mythware Information Technology Co ltd
Priority to CN202110150124.8A priority Critical patent/CN112511880B/zh
Publication of CN112511880A publication Critical patent/CN112511880A/zh
Application granted granted Critical
Publication of CN112511880B publication Critical patent/CN112511880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种多屏间内容传送和控制系统，所述传送和控制系统包括视窗内容合成子系统、布局合成子系统、视窗调度子系统和视窗交互控制子系统；布局合成子系统接收视窗内容合成子系统发送的一定量待显示视窗，根据可显示屏幕数量、每个屏幕尺寸参数、每个待显示视窗尺寸参数和视窗图像对应的最低允许分辨率，限定视窗缩放比例范围；再以视窗不重叠效果值、视窗在屏幕内完整显示和屏幕利用率最大为约束条件，调整得到最终的视窗布局；所述视窗交互控制子系统用于通过操作主屏对显示在不同屏幕上的视窗进行交互控制。本发明能够基于视窗的内容对视窗布局进行调度管理，可以基于视窗内容的原始尺寸进行合成，从而得到较好的画面质量。

Description

一种多屏间内容传送和控制系统
技术领域
本发明涉及多屏幕应用技术领域，具体而言涉及一种多屏间内容传送和控制系统。
背景技术
随着硬件技术的发展，越来越多的设备支持多个屏幕显示。但是，在软件方面，很多应用仅是在操作系统对多屏幕支持的基础之上，简单的在不同屏幕上分别显示独立的内容，或是简单将应用的窗口在多个屏幕上进行复制。目前尚未出现能够结合视窗内容进行布局自动编排的方法。
另外，专利号为CN201210148910.5的发明中提出一种屏幕间显示内容的穿越方法、装置及系统，通过手势在主屏上通过框选区域进行裁剪的方式将主屏的部分区域复制显示在副屏上。然而该方案中副屏显示内容为主屏内容的裁剪放大，当裁剪区域较小时，在副屏上放大显示时会存在画面模糊的问题。
发明内容
本发明针对现有技术中的不足，提供一种多屏间内容传送和控制系统，基于视窗的内容对视窗布局进行调度管理，可以基于视窗内容的原始尺寸进行合成，从而得到较好的画面质量。
为实现上述目的，本发明采用以下技术方案：
一种多屏间内容传送和控制系统，所述传送和控制系统包括视窗内容合成子系统、布局合成子系统、视窗调度子系统和视窗交互控制子系统；
所述视窗内容合成子系统与外部系统对接，用于根据外部系统发送的信息生成一定量包含不同内容的待显示视窗；
所述布局合成子系统接收视窗内容合成子系统发送的一定量待显示视窗，根据可显示屏幕数量、每个屏幕尺寸参数、每个待显示视窗尺寸参数和视窗图像对应的最低允许分辨率，限定视窗缩放比例范围；再以视窗不重叠效果值、视窗在屏幕内完整显示和屏幕利用率最大为约束条件，调整得到最终的视窗布局；
所述视窗调度子系统接收布局合成子系统发送的调整得到的最终的视窗布局，将所有带显示视窗发送至对应的显示设备上；所述显示设备包括一个主屏和至少一个副屏，主屏可触控，副屏均不可触控；
所述视窗交互控制子系统用于接收底层上报的操控指令，根据当前视窗布局确定操控指令对应的视窗，通过操作主屏对显示在不同屏幕上的视窗进行交互控制。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述外部系统发送的信息来源包括：
1）通过hdmi或USB接口采集得到的外部摄像机的视频画面；
2）通过包括miracast和rtmp在内的网络协议获取得到的外部音视频流；
3）通过应用程序打开的文档文件；
4）通过webview 加载得到的网页。
进一步地，所述视窗内容合成子系统对外部系统发送的信息进行解析和渲染以生成一定量包含不同内容的待显示视窗。
进一步地，所述布局合成子系统调整得到最终的视窗布局的过程包括以下步骤：
设
Figure 383439DEST_PATH_IMAGE001
表示第i个视窗在屏幕上对应的矩形，
Figure 189721DEST_PATH_IMAGE002
表示物理显示器的显示区域对应的矩形；
Figure 567613DEST_PATH_IMAGE003
表示第i个视窗的面积，
Figure 699517DEST_PATH_IMAGE004
表示物理显示器的显示区域的面积；i=1,2,…,n；n为生成的视窗总数；
当
Figure 162859DEST_PATH_IMAGE005
同时满足以下几个条件时，则
Figure 38411DEST_PATH_IMAGE005
为最优显示布局：
（1）
Figure 270810DEST_PATH_IMAGE006
；
（2）
Figure 340659DEST_PATH_IMAGE007
；
（3）每个视窗的缩放比例
Figure 822456DEST_PATH_IMAGE008
在对应的视窗缩放比例范围内；
（4）
Figure 439382DEST_PATH_IMAGE009
；
（5）
Figure 588604DEST_PATH_IMAGE010
，式中，
Figure 265573DEST_PATH_IMAGE011
是第j个屏幕未得到利用的屏幕面积，j=1,2,…,m，m为用于显示生成视窗的屏幕总数。
进一步地，当屏幕数量达到上限时，仍然无法同时满足前述条件，则提示用户无可用的显示区域，同时根据视窗类型和视窗层级筛选出优先级最低的至少两个视窗，对其进行叠加显示处理；或者下屏优先级最低的视窗，显示当前视窗。
进一步地，所述视窗调度子系统将所有带显示视窗发送至对应的显示设备的同时，调用布局合成子系统在主屏合成画面之上叠加一个侧边栏以列表方式显示所有视窗的缩略图，供用户借助操控主屏对显示在不同屏幕上的视窗进行显示控制。
进一步地，所述底层上报的操控指令包括外部输入的视窗选择指令。
进一步地，所述视窗交互控制子系统根据底层上报的操控指令，根据当前视窗布局确定操控指令对应的视窗，并调整主屏的屏幕控制模式，所述屏幕控制模式包括主屏控制模式和副屏控制模式；
当主屏工作在主屏控制模式时，视窗交互控制子系统将主屏显示区域内的所有触控操作直接发送至主屏中的相应视窗进行处理；
当主屏工作在副屏调度模式时，布局合成子系统将待控制的副屏对应的视窗画面缩小后叠加在主屏合成画面之上，视窗交互控制子系统对叠加区域内的所有触控操作进行坐标转换处理后发送给副屏中的相应视窗进行处理。
进一步地，所述视窗交互控制子系统对叠加区域内的所有触控操作进行坐标转换处理后发送给副屏中的相应视窗进行处理的过程包括：
设主屏分辨率为w1 * h1 ，四个顶点坐标分别为 (0,0) 、(w1,0)、(0,h1)、(w1,h1) ；副屏分辨率为w2 * h2 ，四个顶点坐标分别为 (0,0) 、(w2,0)、(0,h2)、(w2,h2)；待控制的副屏的合成画面在主屏中的显示窗口顶点分别为A(x1,y1) 、B(x2,y1) 、C(x2,y2)、D(x1,y2)；
当主屏上触控点O'(x',y') 被选中时，根据下述公式按对O'进行坐标转换得到其在副屏上对应点O的坐标，并将该点的触控消息发送给副屏对应窗口进行处理：
Figure 234666DEST_PATH_IMAGE012
Figure 452020DEST_PATH_IMAGE013
式中，x1<x'<x2 且y1<y'<y2。
本发明的有益效果是：
（1）基于视窗的内容对视窗布局进行调度管理，可以基于视窗内容的原始尺寸进行合成，从而得到较好的画面质量。
（2）能够充分利用多个屏幕的特性，向用户提供更丰富的交互体验。
附图说明
图1是本发明的多屏间内容传送和控制系统的结构示意图。
图2是本发明的其中一种显示器的视窗显示方式示意图。
图3是本发明的坐标转换过程示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
结合图1，本发明提及一种多屏间内容传送和控制系统，所述传送和控制系统包括视窗内容合成子系统、布局合成子系统、视窗调度子系统和视窗交互控制子系统。
所述视窗内容合成子系统与外部系统对接，用于根据外部系统发送的信息生成一定量包含不同内容的待显示视窗。
此处的外部系统发送的信息来源可以包括以下几种：1）通过hdmi或USB接口采集得到的外部摄像机的视频画面；2）通过包括miracast和rtmp在内的网络协议获取得到的外部音视频流；3）通过应用程序打开的文档文件；4）通过webview 加载得到的网页。应当理解，这只是其中几种，现有技术中所有能够用视频显示的视窗内容均可以应用在本发明中，所述视窗内容合成子系统通过对外部系统发送的信息进行解析和渲染以生成一定量包含不同内容的待显示视窗。
所述布局合成子系统接收视窗内容合成子系统发送的一定量待显示视窗，根据可显示屏幕数量、每个屏幕尺寸参数、每个待显示视窗尺寸参数和视窗图像对应的最低允许分辨率，限定视窗缩放比例范围；再以视窗不重叠效果值、视窗在屏幕内完整显示和屏幕利用率最大为约束条件，调整得到最终的视窗布局。
布局合成子系统负责将视窗内容生成子系统生成的视窗，根据当前屏幕尺寸以及待显示视窗的大小和原始尺寸动态调整视窗布局，确定每个显示视窗的缩放比例及显示位置。为了保证视窗内容显示清晰不失真，需要对每个视窗限定缩放比例范围，例如将缩放比例Q定义范围为大于等于1/2且小于等于2，避免过分放大导致清晰度降低和过分缩小导致分辨率较低带来的诸多显示效果问题。在实际应用中，需要针对不同格式、大小和内容重要级的视窗进行独立计算，得到每个视窗独有的限定缩放比例范围，确保所有视窗的显示效果。
最优视窗布局算法可以用如下数学模型表示：
设
Figure 659011DEST_PATH_IMAGE001
表示第i个视窗在屏幕上对应的矩形，
Figure 569198DEST_PATH_IMAGE002
表示物理显示器的显示区域对应的矩形；
Figure 228849DEST_PATH_IMAGE003
表示第i个视窗的面积，
Figure 249895DEST_PATH_IMAGE004
表示物理显示器的显示区域的面积；i=1,2,…,n；n为生成的视窗总数。
当
Figure 45813DEST_PATH_IMAGE005
同时满足以下几个条件时，则
Figure 126901DEST_PATH_IMAGE005
为最优显示布局：
（1）
Figure 273849DEST_PATH_IMAGE006
。
（2）
Figure 600050DEST_PATH_IMAGE007
。
（3）每个视窗的缩放比例
Figure 312791DEST_PATH_IMAGE008
在对应的视窗缩放比例范围内。
（4）
Figure 236885DEST_PATH_IMAGE009
。
（5）
Figure 933446DEST_PATH_IMAGE010
，式中，
Figure 233977DEST_PATH_IMAGE011
是第j个屏幕未得到利用的屏幕面积，j=1,2,…,m，m为用于显示生成视窗的屏幕总数。
当前述模型无解，则表示当前屏幕无法绘制全部n个视窗，布局合成系统将自动创建一个新的虚拟屏幕，
将当前屏幕未能显示的视窗转移至新的屏幕进行布局，求解模型同上。虚拟屏幕的数量同物理显示器的个数。当虚拟屏幕数量达到上限时，如果模型仍然无解，则提示用户无可用的显示区域，需选择将当前显示的某些视窗下屏后方可以显示。此时可以根据视窗类型和视窗层级筛选出优先级最低的至少两个视窗，对其进行叠加显示处理；或者下屏优先级最低的视窗，显示当前视窗。
所述视窗调度子系统接收布局合成子系统发送的调整得到的最终的视窗布局，将所有带显示视窗发送至对应的显示设备上；所述显示设备包括一个主屏和至少一个副屏，主屏可触控，副屏均不可触控。这种显示设备控制模式也是目前最常采用的一种显示设备布局模式，例如将一台可操控的电脑显示屏或触控平板等作为主屏，悬置在墙壁上的多个无法操控的显示屏作为副屏。
优选的，本系统中主屏可以工作在视窗调度模式，当主屏工作在此模式下布局合成子系统会在主屏合成画面之上叠加一个侧边栏以列表方式显示所有视窗的缩略图。用户可以通过选中某个视窗缩略图，弹出子菜单，将该视窗指定显示到选定的屏幕。用户也可以预定以滑动手势将某个视窗显示到特定的屏幕。图2是本发明的其中一种显示器的视窗显示方式示意图。
所述视窗交互控制子系统用于接收底层上报的操控指令，根据当前视窗布局确定操控指令对应的视窗，通过操作主屏对显示在不同屏幕上的视窗进行交互控制。
具体过程如下：当操作系统接收到底层上报的鼠标或键盘事件，根据当前布局确定焦点位于的视窗，将事件分发至该视窗进行处理。
在本系统中，主屏可以工作在副屏控制模式，当主屏工作在此模式下时，布局合成子系统会将待控制的屏幕对应的合成画面缩小后叠加在主屏合成画面之上，在此区域内的触控操作将通过视窗交互控制子系统经过坐标转换发送给副屏中的相应视窗进行处理。
结合图3，设主屏分辨率为w1 * h1 ，四个顶点坐标分别为 (0,0) 、(w1,0)、(0,h1)、(w1,h1) ；副屏分辨率为w2 * h2 ，四个顶点坐标分别为 (0,0) 、(w2,0)、(0,h2)、(w2,h2) ；虚拟显示器2的合成画面在主屏中的显示窗口顶点分别为A(x1,y1) 、B(x2,y1)、C(x2,y2)、D(x1,y2)。
当在主屏上触控点O'(x',y')，其中x1<x'<x2 且y1<y'<y2 ，则该点在虚拟显示器2矩形框范围之内。
视窗交互控制子系统将根据下述公式对O'进行坐标转换得到其在副屏上对应点O的坐标，并将该点的触控消息发送给副屏对应窗口进行处理：
Figure 332383DEST_PATH_IMAGE012
Figure 427378DEST_PATH_IMAGE014
。
而对主屏的操控方式采用现有技术中对屏幕的控制方案即可，在此不做赘述。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种多屏间内容传送和控制系统，其特征在于，所述传送和控制系统包括视窗内容合成子系统、布局合成子系统、视窗调度子系统和视窗交互控制子系统；
所述视窗内容合成子系统与外部系统对接，用于根据外部系统发送的信息生成一定量包含不同内容的待显示视窗；
所述布局合成子系统接收视窗内容合成子系统发送的一定量待显示视窗，根据可显示屏幕数量、每个屏幕尺寸参数、每个待显示视窗尺寸参数和视窗图像对应的最低允许分辨率，限定视窗缩放比例范围；再以视窗不重叠效果值、视窗在屏幕内完整显示和屏幕利用率最大为约束条件，调整得到最终的视窗布局；
所述视窗调度子系统接收布局合成子系统发送的调整得到的最终的视窗布局，将所有待显示视窗发送至对应的显示设备上；所述显示设备包括一个主屏和至少一个副屏，主屏可触控，副屏均不可触控；
所述视窗交互控制子系统用于接收底层上报的操控指令，根据当前视窗布局确定操控指令对应的视窗，通过操作主屏对显示在不同屏幕上的视窗进行交互控制；
所述布局合成子系统调整得到最终的视窗布局的过程包括以下步骤：
设Ri表示第i个视窗在屏幕上对应的矩形，RScreen表示物理显示器的显示区域对应的矩形；Si表示第i个视窗的面积，SScreen表示物理显示器的显示区域的面积；i＝1，2，…，n；n为生成的视窗总数；
当R1，R2，...，Rn同时满足以下几个条件时，则R1，R2，...，Rn为最优显示布局：
(1)
Figure FDA0002989133890000011
(2)(R1∪R2∪...∪Rn)∩RScreen＝R1∪R2∪...∪Rn；
(3)每个视窗的缩放比例Qi在对应的视窗缩放比例范围内；
(4)
Figure FDA0002989133890000012
(5)
Figure FDA0002989133890000013
式中，
Figure FDA0002989133890000014
是第j个屏幕未得到利用的屏幕面积，j＝1,2,…,m，m为用于显示生成视窗的屏幕总数。
2.根据权利要求1所述的多屏间内容传送和控制系统，其特征在于，所述外部系统发送的信息来源包括：
1)通过hdmi或USB接口采集得到的外部摄像机的视频画面；
2)通过包括miracast和rtmp在内的网络协议获取得到的外部音视频流；
3)通过应用程序打开的文档文件；
4)通过webview加载得到的网页。
3.根据权利要求1或者2所述的多屏间内容传送和控制系统，其特征在于，所述视窗内容合成子系统对外部系统发送的信息进行解析和渲染以生成一定量包含不同内容的待显示视窗。
4.根据权利要求1所述的多屏间内容传送和控制系统，其特征在于，当屏幕数量达到上限时，仍然无法同时满足前述条件，则提示用户无可用的显示区域，同时根据视窗类型和视窗层级筛选出优先级最低的至少两个视窗，对其进行叠加显示处理；或者下屏优先级最低的视窗，显示当前视窗。
5.根据权利要求1所述的多屏间内容传送和控制系统，其特征在于，所述视窗调度子系统将所有待显示视窗发送至对应的显示设备的同时，调用布局合成子系统在主屏合成画面之上叠加一个侧边栏以列表方式显示所有视窗的缩略图，供用户借助操控主屏对显示在不同屏幕上的视窗进行显示控制。
6.根据权利要求1所述的多屏间内容传送和控制系统，其特征在于，所述底层上报的操控指令包括外部输入的视窗选择指令。
7.根据权利要求1或者6所述的多屏间内容传送和控制系统，其特征在于，所述视窗交互控制子系统根据底层上报的操控指令，根据当前视窗布局确定操控指令对应的视窗，并调整主屏的屏幕控制模式，所述屏幕控制模式包括主屏控制模式和副屏控制模式；
当主屏工作在主屏控制模式时，视窗交互控制子系统将主屏显示区域内的所有触控操作直接发送至主屏中的相应视窗进行处理；
当主屏工作在副屏调度模式时，布局合成子系统将待控制的副屏对应的视窗画面缩小后叠加在主屏合成画面之上，视窗交互控制子系统对叠加区域内的所有触控操作进行坐标转换处理后发送给副屏中的相应视窗进行处理。
8.根据权利要求7所述的多屏间内容传送和控制系统，其特征在于，所述视窗交互控制子系统对叠加区域内的所有触控操作进行坐标转换处理后发送给副屏中的相应视窗进行处理的过程包括：
设主屏分辨率为w1*h1，四个顶点坐标分别为(0,0)、(w1,0)、(0,h1)、(w1,h1)；副屏分辨率为w2*h2，四个顶点坐标分别为(0,0)、(w2,0)、(0,h2)、(w2,h2)；待控制的副屏的合成画面在主屏中的显示窗口顶点分别为A(x1,y1)、B(x2,y1)、C(x2,y2)、D(x1,y2)；
当主屏上触控点O'(x',y')被选中时，根据下述公式按对O'进行坐标转换得到其在副屏上对应点O的坐标，并将该点的触控消息发送给副屏对应窗口进行处理：
Figure FDA0002989133890000031
Figure FDA0002989133890000032
式中，x1<x'<x2且y1<y'<y2。
CN202110150124.8A 2021-02-04 2021-02-04 一种多屏间内容传送和控制系统 Active CN112511880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110150124.8A CN112511880B (zh) 2021-02-04 2021-02-04 一种多屏间内容传送和控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110150124.8A CN112511880B (zh) 2021-02-04 2021-02-04 一种多屏间内容传送和控制系统

Publications (2)

Publication Number Publication Date
CN112511880A CN112511880A (zh) 2021-03-16
CN112511880B true CN112511880B (zh) 2021-04-27

Family

ID=74952540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110150124.8A Active CN112511880B (zh) 2021-02-04 2021-02-04 一种多屏间内容传送和控制系统

Country Status (1)

Country Link
CN (1) CN112511880B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451061A (zh) * 2014-09-23 2016-03-30 中兴通讯股份有限公司 屏幕共享方法和装置
KR102266901B1 (ko) * 2014-11-10 2021-06-21 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN109087606A (zh) * 2018-08-15 2018-12-25 苏州佳世达光电有限公司 大尺寸显示屏幕的均匀度调整方法及系统
CN109343925B (zh) * 2018-09-25 2020-02-14 珠海格力电器股份有限公司 用户界面自适应调整方法和装置、工控显示终端

Also Published As

Publication number Publication date
CN112511880A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
JP4966451B2 (ja) ビデオズーミングシステム及び方法
CN103139517B (zh) 投影系统及信息处理装置
EP3276954A1 (en) Multi-image adjusting method and device, and multipoint controller unit
JP2007086354A (ja) 合成映像制御装置、合成映像制御方法およびプログラム
US20100333004A1 (en) Method, apparatus and system for modifying a composite video signal
JP4876610B2 (ja) 画像表示システム，画像表示方法，画像表示プログラム，記録媒体，データ処理装置
US20120294589A1 (en) Digital video editing system including multiple viewing windows of a same image
US20110072349A1 (en) User manipulation of video feed to computer screen regions
JP2010278824A (ja) 画像表示システム、画像表示装置、および画像表示方法
TW200303474A (en) Distributed resource architecture and system
JP2010146504A (ja) 情報処理システム及び表示制御方法
CN116627579B (zh) 一种在Linux上缩放安卓应用窗口的方法及装置
TWM516205U (zh) 視訊矩陣控制設備
CN113938730B (zh) 显示设备的投影组件校正方法和显示设备
TW201004373A (en) Image resolution adjusting devices, display devices and image resolution adjusting methods
CN101409062A (zh) 显示设备及其控制方法
JP2011209345A (ja) 画像表示装置、画像情報処理装置、画像表示システム、画像表示方法及び画像情報処理方法
US8736765B2 (en) Method and apparatus for displaying an image with a production switcher
WO2008026074A2 (en) Distributed interactive augmentation of display output
US6344860B1 (en) Methods and apparatus for a stereoscopic graphic user interface
JP2006119629A (ja) プレゼンテーションの視覚的忠実性を最適化する方法、システム、及びプログラム
TW202215845A (zh) 顯示系統、顯示方法及顯示器
Hutchison Introducing DLP 3-D TV
CN112511880B (zh) 一种多屏间内容传送和控制系统
JP2014021989A (ja) 映像表示装置、映像表示方法及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant