CN105892976A - 实现多屏互动的方法及装置 - Google Patents

实现多屏互动的方法及装置 Download PDF

Info

Publication number
CN105892976A
CN105892976A CN201610287193.2A CN201610287193A CN105892976A CN 105892976 A CN105892976 A CN 105892976A CN 201610287193 A CN201610287193 A CN 201610287193A CN 105892976 A CN105892976 A CN 105892976A
Authority
CN
China
Prior art keywords
window
screen
video
initiating terminal
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610287193.2A
Other languages
English (en)
Other versions
CN105892976B (zh
Inventor
张奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shirui Electronics Co Ltd
Priority to CN201610287193.2A priority Critical patent/CN105892976B/zh
Publication of CN105892976A publication Critical patent/CN105892976A/zh
Priority to PCT/CN2016/113212 priority patent/WO2017185799A1/zh
Application granted granted Critical
Publication of CN105892976B publication Critical patent/CN105892976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本发明涉及实现多屏互动的方法及装置。所述方法包括：接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。本发明能够在一台显示设备上同时显示多台多屏发起终端的窗口画面，不存在由多屏发起终端的不同系统平台导致的割裂问题。

Description

实现多屏互动的方法及装置
技术领域
本发明涉及多屏互动技术领域，特别是涉及实现多屏互动的方法及装置。
背景技术
多屏互动指的是在不同系统平台设备上同时共享展示内容的技术。即几种设备通过专门的连接设备连接之后，可在设备之间同时进行内容(音频、视频、图片等文件)的展示、控制等操作。比如手机上的电影可以在电视上播放，平板、电脑上的图片可以在电视上展示。
现有的多屏互动系统结构如图1所示，手机、PC等多屏发起设备通过VGA(Video Graphics Array)方式与一个带TV功能的Android系统设备(作为连接设备)连接，所述带TV功能的Android系统设备还通过VGA方式与显示器连接。通过该带TV功能的Android系统设备，可实现将手机、PC等多屏发起设备端显示的内容在同一台显示器上显示。
基于现有多屏互动系统，其实质是在显示器上显示其他系统设备的整个屏幕画面，并且还存在以下问题：
硬件成本高，需要拥有完整功能的Android主板的连接设备；以及，显示器上显示的是其他多屏发起设备的整个屏幕画面，显示器端存在由不同系统导致的割裂问题。
发明内容
基于此，本发明实施例提供一种实现多屏互动的方法及装置，能够在一台显示设备上同时显示多台多屏发起终端的窗口画面，不存在由多屏发起终端的不同系统平台导致的割裂问题。
本发明一方面提供一种实现多屏互动的方法，包括：
接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
优选的，所述根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，包括：
提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳，根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前；
根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
优选的，所述根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，包括：
解码每路窗口图像，得到对应的图像数据；根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
优选的，所述向对应的显示设备发送所述合成显示画面，包括：
将所述合成显示画面存储到预设的显示队列中，依次发送所述显示队列中的合成显示画面到对应的显示设备。
优选的，所述窗口位置信息包括：对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
本发明还提供一种实现多屏互动的方法，包括：
监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；并记录截图的时间信息，作为所述窗口图像对应的时间戳，获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
优选的，所述向对应的混合设备发送所述多屏发起终端的窗口截图信息，之前包括：
对得到的窗口图像进行图像编码，所述窗口截图信息中包含编码后的窗口图像信息。
优选的，还包括：建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序；
所述监控多屏发起终端的活动窗口，根据活动窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换，包括：
通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
优选的，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括：
获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
本发明还提供一种实现多屏互动的装置，包括：
图像接收模块，用于接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
图像混合模块，用于根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
发送模块，用于向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
优选的，所述图像混合模块包括：
信息提取子模块，用于提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳；
排序子模块，用于根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前；
混合子模块，用于根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
优选的，所述混合子模块包括：
解码单元，用于解码每路窗口图像，得到对应的图像数据；
混合单元，用于根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
优选的，所述发送模块包括：
存储子模块，用于将所述合成显示画面存储到预设的显示队列中；
发送子模块，用于依次发送所述显示队列中的合成显示画面到对应的显示设备。
优选的，所述窗口位置信息包括：对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
本发明还提供一种实现多屏互动的装置，包括：
窗口监控模块，用于监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
窗口截图模块，用于确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；以及用于记录截图的时间信息，作为所述窗口图像对应的时间戳；以及用于获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
截图发送模块，用于向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
优选的，所述截图发送模块，还用于在向对应的混合设备发送所述多屏发起终端的窗口截图信息之前，对得到的窗口图像进行图像编码。
优选的，所述的实现多屏互动的装置还包括：连接模块，用于建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序；
所述窗口监控模块，用于通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
优选的，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括：
获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
上述技术方案，通过接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。本发明上述实施例的方案，能够在一台显示设备上同时显示多台多屏发起终端的窗口画面，不存在由多屏发起终端的不同系统平台导致的割裂问题，提高了显示器的利用率；并且实现的硬件成本低，以及解决了将多屏发起终端的整个屏幕画面全部显示到显示设备上、导致显示设备端存在画面割裂的问题。
附图说明
图1为传统多屏互动系统的示意图。
图2为一实施例的本发明方案的工作环境示意图；
图3为一实施例的实现多屏互动的方法的示意性流程图；
图4为一实施例的合成显示画面的示意图；
图5为另一实施例的实现多屏互动的方法的示意性流程图；
图6为一实施例的实现多屏互动的装置的示意性结构图；
图7为另一实施例的实现多屏互动的装置的示意性结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图2示出了本发明一实施例的工作环境示意图，包括：至少两个多屏发起终端100，多屏发起终端指的是，在多屏互动中可控制将本端屏幕显示信息显示到其他终端屏幕上的设备，以PC为例。每个多屏发起终端100可通过USB方式与预设的混合设备200连接，混合设备指的是，可由多路窗口图像得到合成显示画面的中间设备，所述混合设备200可以有2个或更多个USB输入口供多屏发起终端连接；所述混合设备200还通过VGA或者HDMI(High Definition MultimediaInterface，高清晰度多媒体接口)等方式连接一显示设备300。各个多屏发起终端100均可通过所述混合设备200将其活动窗口画面扩屏显示到所述显示设备300。
结合图2所示的示意图，以下对实现多屏互动的方法及装置的各实施例进行说明。
图3为一实施例的实现多屏互动的方法的示意性流程图；在该实施例中，是以该方法应用于所述混合设备为例进行说明。
如图3所示，本实施例中的实现多屏互动的方法包括步骤：
S11，接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
本实施例中的窗口位置信息包括：对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。通过屏幕分辨率和屏幕中的位置坐标，可确定被截图的窗口在多屏发起终端屏幕中的位置。
S12，根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
该步骤的实现方式可包括：提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳，根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前。本实施例中，时间戳的近远是以当前时间为参照，目的是使接收到的多路图像中时间戳与当前时间距离越近的窗口图像排序越前。然后，根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
优选的，对接收到的两路窗口图像进行合成，得到的合成显示画面效果可参考图4所示；其中，画面1为多屏发起终端1的活动窗口画面，画面2为多屏发起终端2的活动窗口画面，且多屏发起终端2的活动窗口画面对应的窗口图像的时间戳更近。
作为一优选实施方式，为了提高传输效率，步骤S11中接收到的窗口图像为经过编码的图像。对应的，在步骤S12中，首先需解码每路窗口图像，得到对应的图像数据。例如，可采用h264(标准写法应该是H.264，一种高度压缩数字视频编解码器标准)解码技术对每路窗口图像进行解码，得到每路窗口图像对应的YUV流数据(把彩色图像信号经分色，分别放大校正后得到RGB，再经过矩阵变换电路得到的、包含亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)的数据)。然后根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
S13，向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
优选的，可将得到的合成显示画面存储到混合设备预设的显示队列中，按照队列的先进先出原则依次发送所述显示队列中的合成显示画面到对应的显示设备；并且，各路窗口图像在显示设备屏幕上的位置与对应多屏发起终端屏幕中的窗口位置相对应。
基于上述实施例的实现多屏互动的方法，下面给出了两个实现多屏互动的应用场景：
场景1，用户各自都带着笔记本电脑去开会，会上需要把个人笔记本电脑上的内容显示到一个大屏显示器上。这时，可以将多台的笔记本电脑连接到混合设备上，然后将混合设备连接到上述大屏显示器上，基于此系统结构，在大屏显示器便可同时对多台的笔记本电脑的活动窗口进行显示。进一步的，当某一笔记本电脑的活动窗口发现切换时，在大屏显示器上则会将该次切换后的画面显示在最顶层，就像是在切换两个程序窗口而已，实现了在多个窗口画面之间任意切换的效果。
场景2，用户各自带着笔记本电脑去开会，会上有两份文件需要向大家对比展示，但这两份文件分别在不同用户的电脑。这时，只要将两台电脑连接到混合设备，便可在大屏显示器便同时对两台的笔记本电脑的文件进行展示；并且大屏显示器上展示的各个文件窗口的位置与其在笔记本电脑屏幕上的位置对应。
通过上述实施例的实现多屏互动的方法，使用一个外置的混合设备将多个多屏发起终端的窗口画面显示在同一显示设备上，实现成本低；同时，还可根据用户操作实现显示设备端的窗口切换。由此提高了显示器的利用率，以及解决了将多屏发起终端的整个屏幕画面全部显示到显示设备上、导致显示设备端存在画面割裂的问题。
图5为另一实施例的实现多屏互动的方法的示意性流程图；在该实施例中，是以应用于多屏发起终端为例进行说明。
如图5所示，本实施例中的实现多屏互动的方法包括步骤：
S21，监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
作为一优选实施方式，本步骤之前还包括建立多屏发起终端与混合设备之间的连接的步骤；参考图2，所述连接可为USB连接。
此外，本实施例中在所述连接建立之后，在所述多屏发起终端的系统中自动安装与所述混合设备对应的驱动程序；然后通过所述驱动程序监控多屏发起终端的活动窗口，根据活动窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换。优选的，本实施例中若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
S22，确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；并记录截图的时间信息，作为所述窗口图像对应的时间戳，获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
确定发生窗口切换，所述驱动程序可控制对当前活动窗口进行截图并缓存起来，记录截图的时间信息。如果活动窗口切换为其它窗口或者其尺寸、位置发送改变，所述驱动程序将再次控制进行窗口截图。
优选的，本步骤中获取当前活动窗口在多屏发起终端屏幕中的位置信息具体包括：获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。对应的，窗口图像对应的窗口位置信息包括对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
S23，向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
优选的，向对应的混合设备发送所述多屏发起终端的窗口截图信息之前，还包括对得到的窗口图像进行图像编码的步骤。对应的，所述窗口截图信息中包含编码后的窗口图像信息。例如：采用h264编码技术对活动窗口图像进行图像编码，然后再和窗口位置信息以及时间戳一起传输，以减少通讯的数据量，提高通讯速度。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的实现多屏互动的方法相同的思想，本发明还提供实现多屏互动的装置，该装置可用于执行上述实现多屏互动的方法。为了便于说明，实现多屏互动的装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
图6为本发明一实施例的实现多屏互动的装置的示意性结构图；如图6所示，本实施例的实现多屏互动的装置包括：图像接收模块310、图像混合模块320以及发送模块330，各模块详述如下：
上述图像接收模块310，用于接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
优选的，所述窗口位置信息包括：对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
图像混合模块320，用于根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
发送模块330，用于向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
作为一优选实施方式，所述图像混合模块320包括：
信息提取子模块，用于提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳；
排序子模块，用于根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前；
以及，混合子模块，用于根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。例如：对两路窗口图像进行合成，得到的合成显示画面效果可参考图4所示；其中，画面1为多屏发起终端1的活动窗口画面，画面2为多屏发起终端2的活动窗口画面，且多屏发起终端2的活动窗口画面对应的窗口图像的时间戳更近。
进一步的，所述混合子模块可包括：
解码单元，用于解码每路窗口图像，得到对应的图像数据；例如，可采用h264(标准写法应该是H.264，一种高度压缩数字视频编解码器标准)解码技术对每路窗口图像进行解码，得到每路窗口图像对应的YUV流数据(把彩色图像信号经分色，分别放大校正后得到RGB，再经过矩阵变换电路得到的、包含亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)的数据)。
以及，混合单元，用于根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
作为一优选实施方式，所述发送模块310包括：
存储子模块，用于将所述合成显示画面存储到预设的显示队列中；
以及，发送子模块，用于依次发送所述显示队列中的合成显示画面到对应的显示设备，以在所述显示设备端显示所述合成显示画面。
图7为另一实施例的实现多屏互动的装置的示意性结构图；如图7所示，本实施例的实现多屏互动的装置可为电脑，该装置包括：窗口监控模块410、窗口截图模块420以及截图发送模块430，各模块详述如下：
上述窗口监控模块410，用于监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
上述窗口截图模块420，用于确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；以及用于记录截图的时间信息，作为所述窗口图像对应的时间戳；以及用于获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
本实施例中，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括：获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
上述截图发送模块430，用于向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
作为一优选实施方式，所述截图发送模块430，还用于在向对应的混合设备发送所述多屏发起终端的窗口截图信息之前，对得到的窗口图像进行图像编码。例如：采用h264编码技术对活动窗口图像进行图像编码，然后再和窗口位置信息以及时间戳一起传输，以减少通讯的数据量，提高通讯速度。
作为一优选实施方式，所述实现多屏互动的装置还可包括连接模块，用于建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序。对应的，所述窗口监控模块310可通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
需要说明的是，上述示例的各实现多屏互动的装置的实施方式中，各模块/单元之间的信息交互、执行过程等内容，由于与本发明前述方法实施例基于同一构思，其带来的技术效果与本发明前述方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
此外，上述示例的各实现多屏互动的装置的实施方式中，各功能模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的功能模块完成，即将所述实现多屏互动的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。其中各功能模既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。所述程序在执行时，可执行如上述各方法的实施例的全部或部分步骤。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种实现多屏互动的方法，其特征在于，包括：
接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
2.如权利要求1所述的实现多屏互动的方法，其特征在于，所述根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，包括：
提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳，根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前；
根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
3.如权利要求2所述的实现多屏互动的方法，其特征在于，所述根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，包括：
解码每路窗口图像，得到对应的图像数据；根据排序前后、窗口位置信息以及所述图像数据依次绘制各路窗口图像到缓存，得到对应的合成显示画面。
4.如权利要求1所述的实现多屏互动的方法，其特征在于，所述向对应的显示设备发送所述合成显示画面，包括：
将所述合成显示画面存储到预设的显示队列中，依次发送所述显示队列中的合成显示画面到对应的显示设备。
5.如权利要求1所述的实现多屏互动的方法，其特征在于，所述窗口位置信息包括：对应的多屏发起终端的屏幕分辨率，以及被截图的窗口在多屏发起终端屏幕中的位置坐标。
6.一种实现多屏互动的方法，其特征在于，包括：
监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；并记录截图的时间信息，作为所述窗口图像对应的时间戳，获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
7.如权利要求6所述的实现多屏互动的方法，其特征在于，所述向对应的混合设备发送所述多屏发起终端的窗口截图信息，之前包括：
对得到的窗口图像进行图像编码，所述窗口截图信息中包含编码后的窗口图像信息。
8.如权利要求6所述的实现多屏互动的方法，其特征在于，还包括：建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序；
所述监控多屏发起终端的活动窗口，根据活动窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换，包括：
通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
9.如权利要求6所述的实现多屏互动的方法，其特征在于，所述获取当前活动窗口在多屏发起终端屏幕中的位置信息，包括：
获取多屏发起终端的屏幕分辨率，以及当前活动窗口在多屏发起终端屏幕中的位置坐标。
10.一种实现多屏互动的装置，其特征在于，包括：
图像接收模块，用于接收多屏发起终端发送的窗口截图信息，所述窗口截图信息包括窗口图像、以及所述窗口图像对应的窗口位置信息和时间戳；
图像混合模块，用于根据窗口位置信息和时间戳将接收到的多路窗口图像绘制到缓存，得到对应的合成显示画面，所述合成显示画面中多路窗口图像以分层形式呈现；
发送模块，用于向对应的显示设备发送所述合成显示画面，以在所述显示设备端显示所述合成显示画面。
11.如权利要求10所述的实现多屏互动的装置，其特征在于，所述图像混合模块包括：
信息提取子模块，用于提取接收到的每路窗口截图信息包含的窗口图像、窗口位置信息和时间戳；
排序子模块，用于根据时间戳由近到远的顺序对多路窗口图像进行排序，使其中时间戳越近的窗口图像排序越前；
混合子模块，用于根据窗口位置信息以及排序前后依次绘制各路窗口图像到缓存，得到对应的合成显示画面，其中，排序最前的窗口图像呈现在所述合成显示画面的最顶层。
12.一种实现多屏互动的装置，其特征在于，包括：
窗口监控模块，用于监控多屏发起终端的活动窗口，根据窗口画面、窗口尺寸及窗口位置判断是否发生窗口切换；
窗口截图模块，用于确定发生窗口切换，对当前活动窗口进行截图，得到对应的窗口图像；以及用于记录截图的时间信息，作为所述窗口图像对应的时间戳；以及用于获取当前活动窗口在多屏发起终端屏幕中的位置信息，作为所述窗口图像对应的窗口位置信息；
截图发送模块，用于向对应的混合设备发送所述多屏发起终端的窗口截图信息，所述窗口截图信息包括窗口图像、对应的窗口位置信息以及时间戳。
13.如权利要求12所述的实现多屏互动的装置，其特征在于，还包括：连接模块，用于建立多屏发起终端与混合设备之间的连接，以及在连接建立之后，在所述多屏发起终端的系统中安装与所述混合设备对应的驱动程序；
所述窗口监控模块，用于通过所述驱动程序监控多屏发起终端的活动窗口，若检测到窗口画面、窗口尺寸、窗口位置中至少一项发生变化，则判断为发生窗口切换。
CN201610287193.2A 2016-04-29 2016-04-29 实现多屏互动的方法及装置 Active CN105892976B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610287193.2A CN105892976B (zh) 2016-04-29 2016-04-29 实现多屏互动的方法及装置
PCT/CN2016/113212 WO2017185799A1 (zh) 2016-04-29 2016-12-29 实现多屏互动的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610287193.2A CN105892976B (zh) 2016-04-29 2016-04-29 实现多屏互动的方法及装置

Publications (2)

Publication Number Publication Date
CN105892976A true CN105892976A (zh) 2016-08-24
CN105892976B CN105892976B (zh) 2019-02-01

Family

ID=56702283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610287193.2A Active CN105892976B (zh) 2016-04-29 2016-04-29 实现多屏互动的方法及装置

Country Status (2)

Country Link
CN (1) CN105892976B (zh)
WO (1) WO2017185799A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291412A (zh) * 2017-05-19 2017-10-24 广州视源电子科技股份有限公司 无线传屏方法及系统
CN107302711A (zh) * 2017-08-08 2017-10-27 西安万像电子科技有限公司 媒体资源的处理系统
WO2017185799A1 (zh) * 2016-04-29 2017-11-02 广州视睿电子科技有限公司 实现多屏互动的方法及装置
CN107465845A (zh) * 2017-08-02 2017-12-12 郑州云海信息技术有限公司 共享屏幕图像的方法、装置和系统
CN109308818A (zh) * 2017-07-28 2019-02-05 宁波睿易教育科技股份有限公司 一种课上多屏互动教学操作方法和系统
CN109358768A (zh) * 2018-09-30 2019-02-19 北京云迹科技有限公司 多屏交互方法和机器人
CN109542546A (zh) * 2018-10-08 2019-03-29 广州市保伦电子有限公司 一种应用进程窗口及界面的投屏方法及装置
CN110099224A (zh) * 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 预监显示方法、装置及系统、计算机设备及存储介质
CN111516619A (zh) * 2019-02-01 2020-08-11 本田技研工业株式会社 显示装置
CN113038004A (zh) * 2021-02-26 2021-06-25 展讯通信(天津)有限公司 一种多窗口预览图像方法、装置、计算机设备和存储介质
CN113946304A (zh) * 2021-09-29 2022-01-18 湖北亿咖通科技有限公司 可见窗口的合成方法、合成装置和多屏系统
CN114816154A (zh) * 2022-03-31 2022-07-29 海信视像科技股份有限公司 绘画显示方法及显示设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343769B (zh) * 2021-05-11 2024-07-02 广州市申迪计算机系统有限公司 一种自动收取文字消息的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151020A (en) * 1997-10-24 2000-11-21 Compaq Computer Corporation Real time bit map capture and sharing for collaborative tools
US20070050729A1 (en) * 2005-08-31 2007-03-01 Kabushiki Kaisha Toshiba Display apparatus, method, and program
US20100164839A1 (en) * 2008-12-31 2010-07-01 Lyons Kenton M Peer-to-peer dynamically appendable logical displays
CN102196034A (zh) * 2010-03-09 2011-09-21 微软公司 移除遮挡的应用共享
CN102375718A (zh) * 2010-08-10 2012-03-14 微软公司 在无线显示表面上显示特定窗口
CN102804161A (zh) * 2009-04-03 2012-11-28 社会传播公司 应用共享
CN104852984A (zh) * 2015-05-28 2015-08-19 惠州Tcl移动通信有限公司 基于多屏互动的智能终端间数据传输方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248846A (zh) * 2012-02-10 2013-08-14 中强光电股份有限公司 投影系统
CN104902075B (zh) * 2015-04-29 2017-02-22 努比亚技术有限公司 多屏互动方法及系统
CN105094737B (zh) * 2015-08-07 2018-07-31 北京橙鑫数据科技有限公司 多媒体信息显示方法及装置
CN105892976B (zh) * 2016-04-29 2019-02-01 广州视睿电子科技有限公司 实现多屏互动的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151020A (en) * 1997-10-24 2000-11-21 Compaq Computer Corporation Real time bit map capture and sharing for collaborative tools
US20070050729A1 (en) * 2005-08-31 2007-03-01 Kabushiki Kaisha Toshiba Display apparatus, method, and program
US20100164839A1 (en) * 2008-12-31 2010-07-01 Lyons Kenton M Peer-to-peer dynamically appendable logical displays
CN102804161A (zh) * 2009-04-03 2012-11-28 社会传播公司 应用共享
CN102196034A (zh) * 2010-03-09 2011-09-21 微软公司 移除遮挡的应用共享
CN102375718A (zh) * 2010-08-10 2012-03-14 微软公司 在无线显示表面上显示特定窗口
CN104852984A (zh) * 2015-05-28 2015-08-19 惠州Tcl移动通信有限公司 基于多屏互动的智能终端间数据传输方法及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185799A1 (zh) * 2016-04-29 2017-11-02 广州视睿电子科技有限公司 实现多屏互动的方法及装置
US11262968B2 (en) 2017-05-19 2022-03-01 Guangzhou Shiyuan Electronics Co., Ltd. Method and system for wireless screen transmission
CN107291412A (zh) * 2017-05-19 2017-10-24 广州视源电子科技股份有限公司 无线传屏方法及系统
CN107291412B (zh) * 2017-05-19 2020-09-22 广州视源电子科技股份有限公司 无线传屏方法及系统
CN109308818A (zh) * 2017-07-28 2019-02-05 宁波睿易教育科技股份有限公司 一种课上多屏互动教学操作方法和系统
CN107465845A (zh) * 2017-08-02 2017-12-12 郑州云海信息技术有限公司 共享屏幕图像的方法、装置和系统
CN107302711A (zh) * 2017-08-08 2017-10-27 西安万像电子科技有限公司 媒体资源的处理系统
CN112866765A (zh) * 2017-08-08 2021-05-28 西安万像电子科技有限公司 媒体资源的处理系统
CN110099224A (zh) * 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 预监显示方法、装置及系统、计算机设备及存储介质
CN109358768A (zh) * 2018-09-30 2019-02-19 北京云迹科技有限公司 多屏交互方法和机器人
CN109542546A (zh) * 2018-10-08 2019-03-29 广州市保伦电子有限公司 一种应用进程窗口及界面的投屏方法及装置
CN111516619A (zh) * 2019-02-01 2020-08-11 本田技研工业株式会社 显示装置
CN113038004A (zh) * 2021-02-26 2021-06-25 展讯通信(天津)有限公司 一种多窗口预览图像方法、装置、计算机设备和存储介质
CN113038004B (zh) * 2021-02-26 2022-09-23 展讯通信(天津)有限公司 一种多窗口预览图像方法、装置、计算机设备和存储介质
CN113946304A (zh) * 2021-09-29 2022-01-18 湖北亿咖通科技有限公司 可见窗口的合成方法、合成装置和多屏系统
CN114816154A (zh) * 2022-03-31 2022-07-29 海信视像科技股份有限公司 绘画显示方法及显示设备

Also Published As

Publication number Publication date
CN105892976B (zh) 2019-02-01
WO2017185799A1 (zh) 2017-11-02

Similar Documents

Publication Publication Date Title
CN105892976A (zh) 实现多屏互动的方法及装置
CN103841389B (zh) 一种视频播放方法及播放器
US10511803B2 (en) Video signal transmission method and device
CN101669361B (zh) 用于改善低分辨率和低帧速率视频的方法和系统
CN1304969C (zh) 图像显示系统、方法，投影机及其控制方法
US20050110803A1 (en) Image mixing method, and mixed image data generation device
US8184127B2 (en) Apparatus for and method of generating graphic data, and information recording medium
CN100435570C (zh) 视频显示控制设备和视频显示控制方法
CN103283250A (zh) 一种视频重定向的方法、装置、系统及计算机可读介质
CN108235055B (zh) Ar场景中透明视频实现方法及设备
JP2011517223A (ja) テレビジョン受像機および方法
CN104954812A (zh) 一种视频同步播放的方法、装置及系统
CN101938626A (zh) 一种视频会议终端、系统和方法
CN104301657B (zh) 一种会议电视终端及其辅流数据接入方法
KR20080018396A (ko) 이동통신 단말기의 디스플레이 정보를 외부 디스플레이장치에서 디스플레이하기 위한 모바일 애플리케이션 및ｐｃ 애플리케이션을 기록한 컴퓨터 판독 가능 기록매체
CN103702054A (zh) 一种多路信号源输出的可视化方法、装置、及电视机
CN104834498A (zh) 信号处理方法及装置
CN107040825B (zh) 终端、电视机、多屏互动系统和抓屏参数的设置方法
CN108345559B (zh) 虚拟现实数据输入装置和虚拟现实设备
CN103399722B (zh) 一种数字集群传输及控制系统
EP2063642A1 (en) Video display system, video display device, its control method, and information storage medium
CN115278332A (zh) 一种显示设备、播放设备和数据传输方法
CN110727485A (zh) 一种屏幕界面可选择性共享方法及系统
CN103037169A (zh) 嵌入式硬盘录像机的画面拼接合成的方法
CN102411488A (zh) 移动终端图象显示的方法和移动终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant