CN104540027B - 一种多屏幕环境下的多媒体展示交互控制系统 - Google Patents
一种多屏幕环境下的多媒体展示交互控制系统 Download PDFInfo
- Publication number
- CN104540027B CN104540027B CN201410804395.0A CN201410804395A CN104540027B CN 104540027 B CN104540027 B CN 104540027B CN 201410804395 A CN201410804395 A CN 201410804395A CN 104540027 B CN104540027 B CN 104540027B
- Authority
- CN
- China
- Prior art keywords
- display screen
- multimedia
- file
- display
- control routine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
Abstract
本发明提供了一种多屏幕环境下的多媒体展示交互控制系统。该系统在一套应用环境中的不同屏幕上播放一组多媒体文件，并可进行统一联动或分别播放控制，包括资源管理模块、文件加载模块、播放控制模块和控制引擎，其中，资源管理模块维护已打开的多媒体文件列表和显示屏资源列表，在每次打开一个新的多媒体文件并进行播放时，在代码中会生成一个多媒体文件播放对象和播放窗口句柄值，该多媒体播放对象和播放窗口句柄值在多媒体文件列表中维护，系统的屏幕资源信息在显示屏资源列表中维护，通过控制引擎可以实现对多媒体文件在某一屏幕播放、或在多个屏幕间切换显示，通过播放控制模块可实现多个显示屏分别控制和联动控制的任意组合和切换。
Description
技术领域
本发明属于多媒体显示技术领域，特别涉及一种多屏幕环境下的多媒体展示交互控制系统。
背景技术
随着计算机技术的不断发展，产品的展示、技术交流越来越依赖多媒体演示，为了提高演示效果以及提供更灵活的演示方式，一般多媒体会议室都会配置多台显示器，由一台电脑同时控制多台显示器，目前，由一台电脑控制多台显示器的方法一般有两种：
一种方法为：在一台主机上通过设置多块显卡而连接多台显示器，每台显示器可以被电脑分别控制；
另一种方法为：采用显示器复制技术，不需要多余的显卡，只要在计算机的系统设置中进行简单配置，即可实现所有的显示器显示同样的内容；
如果使用第一种方法，不能实现多台显示器显示的内容联动播放；如果使用第二种方法，虽然多台显示器联动播放，但是多台显示器不能显示不同的内容；而上述两种方法又不能结合使用。
另外，在播放一些特殊的多媒体文件，例如PPT时，如果不同的显示器同时联动播放或控制不同的PPT时存在以下问题：
1、无法直接实现多个PPT在一套硬件展示环境中进行幻灯片播放
多个PPT指的是多个PPT文件，播放指的是使用PowerPoint的“幻灯片播放”模型进行播放，因为微软提供的PowerPoint与Word不同，Word支持同时打开多个doc文件，并且这多个doc格式文件是在不同的word主窗口被打开，而在使用PowerPoint时，即使打开多个PPT，这些被打开的PPT文件都是集中在一个PowerPoint主窗口中，因而无法实现将这些被打开的多个PPT以幻灯片模型在不同屏幕上播放；
2、也无法直接实现联动控制多个不同的PPT幻灯片的播放。
而为了追求更完美的演示，通常需要从不同的角度，制作多个演示文件来共同描述一件事情，因此讲演者需要同时播放若干个多媒体文件，每一个多媒体文件展示不同的内容以达到最好的讲演效果。但是，在现有技术中，多台显示器只能显示同样的内容，或者多台显示器作为一个整体显示一个内容，因此显示内容非常单一，达不到完美演示 的效果。
发明内容
为了克服：
1)多台显示器显示内容单一的缺点；
2)多个多媒体文件在一套硬件展示环境中进行幻灯片播放的实现；
3)在多个显示器上联动控制相同或不同的多媒体文件的播放；
本发明设计了一种多屏幕环境下的多媒体展示交互控制系统，包括一台安装有所述控制系统的主机和多个显示屏幕，所述控制系统实现对所述多个显示屏幕进行联动和/或分别控制播放相同和/或不同多媒体文件，
其特征在于，对所述多个显示屏联动控制和分别控制任意组合及相互切换；
所述控制系统包括资源管理模块、文件加载模块、播放控制模块和控制引擎，
所述文件加载模块，用于打开多媒体文件，并建立显示屏与多媒体文件的连接关系；
所述播放控制模块，用于对选定的至少一个显示屏上的多媒体文件资源进行联动或分别播放控制；
所述资源管理模块，包括显示屏资源管理模块和播放资源管理模块；
所述显示屏资源管理模块用于维护显示屏资源信息
所述播放资源管理模块，用于存储所述已打开的多媒体文件对象和与多个显示屏分别对应的多个窗口对象标识号；
所述控制引擎用于接收用户发出的指令，通过资源管理模块获取显示屏资源和多媒体文件资源，并驱动所述文件加载模块和所述播放控制模块执行相应的指令，在指令执行完成后，将操作结果反馈给所述资源管理模块。
所述播放资源管理模块包括播放对象维护器，用于、多媒体文件对应的窗口对象标识号和多媒体文件对象；
所述控制引擎包括：加载文件指令，用于调用系统API函数，在选择的至少一个显示屏中加载所述要播放的多媒体文件，打开所述要播放的多媒体文件，并得到窗口对象标识号；同时调用所述播放对象维护器，将得到所述多媒体文件对象、多媒体文件对应的窗口对象标识号、所述显示屏信息存储在所述播放资源表中；
优选的，所述播放资源管理模块以列表方式维护了播放资源；所述多媒体文件对应的窗口对象标识号为所述多媒体文件的播放序号，由系统生成；
优选的，所述列表方式包括哈希表(HashTable)、字典表(Dictionary)、索引器(Indexer)；
优选的，所述窗口对象标识号在Visual Studio开发环境中是窗口句柄HWND值；
优选的，在QT开发环境中是窗口句柄WId值，其中Qt是1991年奇趣科技开发的一个跨平台的C++图形用户界面应用程序框架。
所述显示屏资源管理包括，显示屏列表和初始化显示屏功能；所述显示屏列表包括：各显示屏物理地址、分辨率、位置、状态、资源占用情况；所述初始化显示屏功能用于从系统资源中获得当前可用的所有显示屏信息，并生成所述显示屏列表；
优选的，所述初始化显示屏功能通过调用API接口，从系统资源中获得当前可用的显示屏信息，生成所述显示屏列表；
优选的，还包括基本信息设置模块，所述基本信息设置模块包括显示屏设置，所述显示屏设置包括显示屏在系统中的序号和分辨率；所述初始化显示屏包括将所述显示屏设置信息生成所述显示屏列表，并调用API接口，从系统资源中获得当前可用的显示屏信息，将从系统资源中得到的当前可用的显示屏信息与所述基本信息设置模块包括显示屏信息进行对比，如果两者信息一致，则将信息存储到显示屏列表中，如果不一致，则更新基本信息设置信息，并记录显示屏设置变化日志。
所述控制引擎还包括播放操作指令；所述播放操作指令用于：调用所述播放对象维护器，在所述播放资源列表中找到当前显示屏对应的多媒体文件对象和窗口对象标识号，调用系统函数对以所述多媒体文件对应的窗口对象标识号为关键字，执行播放操作，所述播放操作包括：跳转到开始、前、后、跳转到末尾、跳转到指定位置。
所述电子文件为Office提供的PPT格式文件，所述播放操作指令还包括，通过调用Office接口函数实现对所述电子文件的执行播放操作；
所述多媒体文件为视频文件，所述播放操作指令还包括调用支持所述视频文件的视频播放工具的接口函数，实现对所述视频文件的执行播放操作；
优选的，所述播放操作还包括：播放、快进、快退、暂停和通过时间条选择播放时间的操作。
优选的，所述视频文件为多个摄像头拍摄到的相同地点的视频；所述文件加载中的打开文件功能还包括，用于打开开始时间和结束实现相同的至少一个视频文件。
所述播放控制还包括临时点管理，用于在播放过程中，为所述显示屏播放的多媒体文件设置至少一个临时点；
优选的，多媒体文件的起点为临时点；
所述资源管理模块还包括临时点列表，所述临时点列表中的每一个列表项包括：显示屏、已打开的多媒体文件对象和相对于多媒体文件对象播放起点的时间偏移。
所述操作指令还包括：设临时点、复原到临时点；
所述设临时点，用于将当前显示屏播放的电子文件的当前播放位置设置为临时点位置，并将所述临时点位置、所述显示屏、所述已打开多媒体文件对象和临时点时间偏移存储到所述临时点列表中；
所述复原到临时点，用于将所述指定显示屏中播放的多媒体文件恢复到所述临时点列表中的临时点位置，如果没有特别设定临时点，则恢复到开始位置；如果所述显示屏设有多个临时点，则提供所述显示屏的临时点列表供选择。
所述控制引擎还包括屏幕操作指令，所述屏幕操作指令包括切换显示屏；
所述切换显示屏指令，用于交换指定的两个显示屏上正在播放的多媒体文件；
所述切换显示屏指令包括：从所述播放资源表中取得所述指定的两个显示屏对应的窗口对象标识号，通过调用API函数，将所述两个显示屏显示的文件交换后，再次取得交换后的窗口对象标识号，同时更新所述播放资源表中的所述窗口对象标识号信息；
所述加载文件指令还包括：在选择的至少一个显示屏中加载所述要播放的多媒体文件前，先判断所述显示屏的资源占用情况，如果所述显示屏资源占用情况为“空闲”，则设为“占用”；如果所述显示屏资源占用情况为“占用”，则首先调用系统API将所述显示屏正播放的多媒体文件挂起，再将所述要播放的多媒体文件加载到所述显示屏，并打开所述要播放的多媒体文件。
所述屏幕操作还包括显示屏布局，所述显示屏布局包括：非直观型布局，从所述显示屏列表中选择显示屏幕进行操作；所述显示屏列表还包括显示屏编号；
优选的，所述显示屏布局还包括直观型布局，所述显示屏列表中还包括所述显示屏编号和所述显示屏的物理位置，所述直观性布局，选择所述显示屏的物理位置对应的显示屏幕进行操作；
优选的，所述控制指令还包括隐藏，用于在指定显示屏幕上显示图案或者显示黑屏。
优选的，所述显示屏为多个普通显示器；
优选的，所述显示器被分割成的多个虚拟显示屏；
优选的，所述显示屏包括：主显示屏、辅显示屏、控制显示屏；所述辅显示屏为多个，所述控制显示屏为1个或多个；所述主显示屏为一个；所述主显示屏、所述辅显示 屏、所述控制显示屏为同一个显示屏或不同显示屏；
优选的，所述控制显示屏为主显示屏、辅显示屏或者外接的不参与播放互动联动的电脑设备；
优选的，所述多屏幕显示系统安装于电脑设备上，所述电脑设备包括：服务器、台式机、便携式电脑；所述的显示器通过显卡连接到所述电脑设备上；
优选的，所述PPT文件的幻灯片数量相同和/或不相同；
优选的，在所述临时点列表中，所述多媒体文件的位置为所述PPT文件的页码号；
优选的，所述视频文件的播放时间相同和/或不相同；
优选的，在所述临时点列表中，所述多媒体文件的位置为所述视频文件的播放时间；
优选的，所述指定两个显示屏包括：使用鼠标方式或触摸屏触控方式选择一个显示屏，并将所述显示屏拖拽到另一个指定的显示屏；
优选的，所述显示屏资源信息包括：当前显示环境的显示屏资源信息、在用显示屏资源信息及空闲显示屏资源信息；
优选的，所述显示屏为虚拟显示屏。
本发明的有益效果是：
1)通过同时/分别播放一个/若干个多媒体文件，而达到最好、最有效的讲演效果；
2)对于同一地点的多个视频的同时播放，或者其中一个视频静止，其他视频播放可以用于公安刑侦工作中，可更方便、快捷的发现问题；
3)采用列表方式维护已打开的播放资源，列表方式可以为哈希表(HashTable)、字典表(Dictionary)或索引器(Indexer)等，以哈希列表为例，将多媒体文件的播放id(该ID累加生成)作为key，对象作为value值插入到该哈希列表中。从而实现对多媒体文件播放在某一屏幕显示，并同时控制幻灯片在屏幕间切换显示的控制。多个多媒体文件在一套硬件展示环境中进行幻灯片播放的实现。
以列表方式维护资源的好处可快速定位多媒体文件对象，不但有利于该多媒体对象的统一联动和分别播放控制，还有利于完成该多媒体对象窗口的展示位置控制和显示/挂起控制。
附图说明
下面结合附图对本发明所述的一种多屏幕显示系统进行具体说明。
图1是本发明多屏幕显示系统的功能模块图；
图2是本发明主显示屏的结构示意图；
图3是本发明控制显示屏的结构示意图；
图4是本发明资源管理模块与控制引擎的关系图；
图5是本发明用于显示视频文件的控制显示屏的结构示意图；
图6是本发明硬件结构图。
具体实施方式
本专利提供的多屏幕显示系统是指，在一套应用环境中，在不同屏幕上播放多媒体文件，并进行联动或分别播放控制，这里说的多媒体文件可以是相同的也可以是不同的。
为实现上述技术问题，本发明设计了一个播放对象维护器，该维护器用于维护播放资源，这里的播放资源以列表方式维护，在每次打开一个新的多媒体文件并进行播放时，在代码中会生成一个多媒体文件对象，每个对象都保存了自己的播放窗口句柄的HWND值，以哈希列表为例，该多媒体文件的播放id(该ID累加生成)作为key，对象作为value值插入到该哈希列表中。从而实现对多媒体文件在某一屏幕播放，并实现多媒体文件在多个屏幕间切换显示。
本发明涉及的多屏幕显示系统包括两部分，一部分是后台的文件加载模块、播放控制模块、控制引擎和资源管理模块组成，其中资源管理又包括：显示屏资源和播放资源(播放资源也就是多媒体文件资源)；另一部分是与后台连接的多个显示屏。
本发明涉及的多个显示屏包括：一个主显示屏(如图2所示)、若干个辅显示屏、一个或者多个控制显示屏(如图3或4所示)。其中，控制显示屏可以是主显示屏、任意一个辅显示屏、或者单独的显示屏、甚至是移动显示屏(Pad，智能手机)或虚拟现实屏等。
本专利涉及的多媒体文件可以是：电子文档(例如：微软的PowerPoint、Word等)或者视频文件等一些可以在终端上显示的内容。
一、多媒体文件加载(多媒体文件简称文件)
文件加载界面首先对显示屏进行布局。布局的方式可以是直观型和非直观型。直观型布局模拟显示屏的物理位置，即按照这些显示屏安装的相对位置，直观地反映每一个显示屏。非直观型可以简单对显示屏进行编号。直观型加载界面如图2所示。
加载文件的步骤为：
1.选择加载显示屏，可直接点击相应的(一个或者多个)屏幕，重复点击为反选。
2.点击“打开文件”，通过文件系统，调用API函数将需要的文件打开，并得到被 打开文件的窗口对象标识号；同时调用所述播放对象维护器，将得到所述多媒体文件对象、多媒体文件对应的窗口对象标识号、所述显示屏信息存储在所述播放资源表中；
3.所加载的文件直接在相应的显示屏上播放。
4.重复以上动作，直到所有需要加载的文件都加载完毕
5.点击播放，进入控制界面
同一个文件可以同时加载到多个显示屏上，也可以多次分别加载到不同的显示屏上。
本专利不要求所有的文件具有相同大小(对于PPT或者Word文档等电子文件来说，相同大小是指电子文件具有相同的页数；对于视频等可连续播放的多媒体文件来说，相同大小是指具有相同的播放时间)。在同步播放过程中如果某一个或者若干个文件达到末尾，可以对其进行隐藏、可以使其停留在末尾也可以在显示器上显示任何用户指定的图像。
另外，在多屏视频播时，还可以用于多摄像头的视频在不同屏幕上在时间同步的情况下进行播放，如图5所示，这里对文件的组织有一定要求，各摄像头视频组织在不同文件夹中，每个文件夹中的视频文件命名采用“开始日期时间-结束日期时间”的方式。用户在选择时只需要选择其要展示的摄像头和播放时段，控制器可以对文件名解析，选择相应摄像头合适时间段的文件进行播放。
二、播放控制
在实现显示器统一联动控制时，有两种控制方法，一种是每个显示器播放单一控制；另一种是多个显示器播放统一控制。在实现上，本发明以列表方式维护了待播放的媒体资源，以下以哈希表为例进行描述。
1、对于格式为类似PPT的多媒体文件(按页播放)，其控制方式的实现如下：
上述哈希表中key值为PPT文件对象ID(编号)，value为该PPT对象，
A.播放单一控制
用户在操作时选择单一控制模式，并触发一个动作后(比如下一页)，系统会从上面所提到的哈希列表中取出相应屏幕的PPT幻灯片播放对象。通过调用Office相应接口完成相应动作(比如下一页)。
B.播放统一控制
用户在操作时选择统一控制模型，并触发一个动作后(比如下一页)，系统会轮询哈希列表中所有的PPT幻灯片播放对象，通过调用Office相应接口完成相应动作(比如下一页)。
2、对于格式类似为视频的多媒体文件(连续播放)，其控制方式的实现如下：
在实现上，也维护一个对象哈希表，该哈希表中key值为视频对象ID(编号)，value为该视频类对象，对于：
A.播放单一控制
用户在操作时选择统一控制模型，并触发一个动作后(比如播放)，系统会轮询哈希列表中所有的视频类对象，通过调用相应接口完成相应动作(比如播放)。
B.播放统一控制
用户在操作时选择统一控制模型，并触发一个动作后(比如播放)，系统会轮询哈希列表中所有的视频类对象，通过调用相应接口完成相应动作(比如播放)。
播放控制的具体功能如下：控制界面与加载界面基本相同，但是用来控制文件的播放过程。如图3所示，控制界面可以跟加载界面合而为一，但是为了区别起见分开。文件播放控制操作步骤如下：
1.选择需要控制屏幕，选择方式有多种：
1)选择(反选)单个播放显示屏(一个或者多个)，直接点击相应的屏幕。
2)选择(反选)全部播放显示屏，点击“全部选择”按钮。
2.播放选中显示屏的文件，
1)跳转到开始，首页或起点；
2)表示“前”，对于电子文件来说是前一页；对于视频文件来说是播放前一帧；
3)表示“后”，对于电子文件来说是后一页；对于视频文件来说是播放后一帧；如果某一个或者若干个文件达到末尾，则“后一页”指令等价为末页；
4)跳转到末尾；
5)跳转到对于电子文件来说是跳转到指定页；对于视频文件来说是跳转到指定时间；
另外，如果多媒体文件是视频文件，则控制显示屏还可以是图5所示样式，用时间条，播放、暂停的功能取代前面1)-5)所述的功能。
3.隐藏指定显示屏，表示在指定显示屏上不显示文件内容(黑屏或者其他图案)，具体操作为选中显示屏，点击“隐藏”按钮。
4.全部回到起点，所有播放的文件都回到每个文件的起点，点击“复原起点”按钮。(等价于全部选择、跳转到开始)
5.设定临时点，记录当前文件的播放状态，即每一个显示屏播放的文件以及当前播放的位置(对于电子文件来说是当前页码，对于视频文件来说是当前播放的时间)。点击“设临时点”按钮。如果需要，临时点可以有多个。但是通常情况下是一个。
6.复原到临时点，点击“复原临点”按钮。文件播放状态恢复到之前设定的临时点的状态。如果没有设定临时点，则复原到起点；如果有多个临时点，则给出临时点列表供选择。
7.交换显示屏。按住一个显示屏标识之后拖动到另外一个显示屏位置放开，相应的两个显示屏交换播放内容。
播放控制有两种形式：固定显示屏式、活动显示屏式。对于固定显示屏式控制，PPT文件在加载时放在指定显示屏，在播放过程中显示屏所播放的PPT文件保持不变。使用者只能控制每一个显示屏上PPT文件(或同时控制多个显示屏上PPT文件)的播放操作。对于活动显示屏式控制，用者还可以进行显示屏内容切换操作。
三、控制引擎
在控制引擎中，针对文件加载界面和播放控制界面生成三种控制指令：
1.加载文件，将指定文件加载到指定显示屏上。
2.屏幕操作，加入显示屏、移除显示屏、切换显示屏
3.播放操作，播放指定屏幕的文件(首页、上一页、下一页、末页、指定页)。
在具体实施时，文件加载界面和播放控制界面可以全部隐藏(收缩到显示屏的边上)或者部分隐藏(收起)，譬如显示屏选择界面、文件和过程操作界面等。
控制引擎包括：指令解析器、控制器，如图4所示。
1.指令解析器接收来自文件加载界面和播放控制界面的控制指令，并根据当前的资源和状态情况生成具体控制操作指令：屏幕操作、播放操作。
2.资源管理模块管理两类资源：显示屏资源和播放资源。资源管理模块还将记录当前资源使用状态也历史状态，包括临时点的设置和复原等。
3.资源管理模块在根据指令管理显示屏资源、播放窗口资源后，则也可以通过控制器对这些资源进行操作。
4.控制器则具体执行对显示屏的操作和播放窗口的操作，并告知资源管理模块操作结果。
另外，视频播放较PPT播放需要多考虑的一点在于：视频播放统一控制模式下，一个动作的触发在代码中需要采用多线程并发完成，虽然时间很短，但该方式可以进一步保证各视频播放的同步性。
四、显示屏资源生成：
显示屏资源是一个显示屏列表，记录了每一个可用显示屏的信息，包括显示屏的ID、编号(位置)、物理地址、状态、分辨率、资源占用情况等。显示屏资源列表在系统启动时要进行初始化过程如下：
1.资源管理模块从操作系统显示资源表中获取当前系统可用的显示屏信息(ID)，然后生成一个显示屏列表。
2.资源管理模块从用户设定参数表中获得每一个显示屏的编号和分辨率信息，然后将此信息插入到显示屏列表相应的节点。
3.比较系统显示资源表和用户设定参数表的信息，如果有冲突(如：用户设定使用的显示屏数量多于系统提供的显示屏数量；用户设定使用的显示屏编号大于系统显示屏最大编号等)，则给予提示。
4.将显示屏列表中每一个显示屏节点的状态设为空闲。
另外一种显示屏列表初始化过程为：
1.资源管理模块从用户设定参数表中获得每一个显示屏的编号和分辨率信息，然后生成一个显示屏列表。
2.资源管理模块从操作系统显示资源表中获取当前系统可用的显示屏信息(ID)，然后将此信息插入到显示屏列表相应的节点。
3.比较系统显示资源表和用户设定参数表的信息，如果有冲突(如：用户设定使用的显示屏数量多于系统提供的显示屏数量；用户设定使用的显示屏编号大于系统显示屏最大编号等)，则给予提示。
4.将显示屏列表中每一个显示屏节点的状态设为空闲。
五、播放资源
这里的播放资源指多媒体文件资源，包括播放资源列表，播放资源列表可以是对象哈希表，该哈希表中key值为多媒体文件对象ID(编号)，value为该多媒体文件对象。
播放资源生成：
播放资源由资源管理模块进行维护，播放资源的数量与显示屏的数量没有关系。
资源管理模块首先对播放资源列表进行初始化。初始的播放资源数为零，即播放资源列表长度为零。
播放资源管理：
用户通过指令解析器向资源管理模块发出播放资源生成请求和删除请求。对于播放资源生成请求，由多媒体文件加载功能实现，当要生成播放资源请求时，对多媒体文件进行加载，同时由控制引擎发出加载文件指令，此时资源管理模块将按照如下流程进行操作：
1.确认该播放资源是否存在且可正常打开，并确定该播放资源的指定显示屏编号没有超出显示屏资源编号的上限，否则告知指令解析器，并结束。
2.调用系统API函数打开指定的播放资源，并将该播放资源的序号、窗口句柄、播放资源对象、指定打开显示屏等信息在资源管理模块中进行注册。
3.在显示屏资源列表中获取新播放资源的指定打开显示屏所对应的显示屏资源信息。如果该显示屏资源处于空闲状态，则直接设为占用状态；如果该显示屏资源处于占用状态，则首先挂起该显示屏显示的播放资源。
4.向资源控制器发出指令，在指定显示屏上播放指定新播放资源。
对于播放资源删除请求，资源管理模块将按照如下流程进行操作：
1.确认该播放资源是否存在且可正常打开。如果不存在或者无法正常打开，则告知指令解析器，并结束。
2.确认该播放资源是否则某个显示屏上正常使用。如果没有被使用，则直接从播放资源列表中删除。如果正在使用，则将该显示屏资源设为空闲状态，然后从播放资源列表中删除该播放资源。
3.向资源控制器发出指令，清空指定显示屏上的播放内容。
六、本发明的硬件环境设置如图6所示：
(1)硬件环境使用一台主机控制多台显示设备(包括显示屏、投影仪等)，硬件环境的核心在于采用了Matrox的M9188显卡，该显卡为8端口显卡，即使用一块显卡就可以连接并控制最多8台显示设备。每台服务器可安装2块M9188显卡，即一台服务器可最多支持16台显示设备。如果仍需进一步扩展显示设备，可通过Matrox的扩展器进一步扩展。
(2)如果主控显示屏为触屏，则可以直接在主控屏上进行各类操作；如果主控屏不是触屏，可以在服务器端外接鼠标进行操作；系统还可以通过应用终端向服务器发送指令的方式控制各类操作。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。
Claims (32)
1.一种多屏幕环境下的多媒体展示交互控制系统，控制系统实现对多个显示屏幕进行联动和/或分别控制播放相同和/或不同多媒体文件，
其特征在于，对所述多个显示屏联动控制和分别控制任意组合及相互切换；
所述控制系统包括资源管理模块、文件加载模块、播放控制模块和控制引擎，
所述文件加载模块，用于打开多媒体文件，并建立显示屏与多媒体文件的连接关系；
所述播放控制模块，用于对选定的至少一个显示屏上的多媒体文件资源进行联动或分别播放控制；
所述资源管理模块，包括显示屏资源管理模块和播放资源管理模块；
所述显示屏资源管理模块用于维护显示屏资源信息；
所述播放资源管理模块，用于存储所述已打开的多媒体文件对象和与多个显示屏分别对应的多个窗口对象标识号；所述播放资源管理模块包括播放对象维护器，多媒体文件对应的窗口对象标识号和多媒体文件对象；
所述控制引擎用于接收用户发出的指令，通过资源管理模块获取显示屏资源和多媒体文件资源，并驱动所述文件加载模块和所述播放控制模块执行相应的指令，在指令执行完成后，将操作结果反馈给所述资源管理模块；
所述控制引擎包括：加载文件指令，用于调用系统API函数，在选择的至少一个显示屏中加载要播放的多媒体文件，打开所述要播放的多媒体文件，并得到窗口对象标识号；同时调用所述播放对象维护器，将得到所述多媒体文件对象、多媒体文件对应的窗口对象标识号、显示屏信息存储在所述播放资源表中；
所述控制引擎还包括播放操作指令；所述播放操作指令用于：调用所述播放对象维护器，在所述播放资源列表中找到当前显示屏对应的多媒体文件对象和窗口对象标识号，调用系统函数对以所述多媒体文件对应的窗口对象标识号为关键字，执行播放操作。
2.根据权利要求1所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，
所述播放资源管理模块以列表方式维护了播放资源；所述多媒体文件对应的窗口对象标识号为所述多媒体文件的播放序号，由系统生成。
3.根据权利要求2所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，
所述列表方式包括哈希表(HashTable)、字典表(Dictionary)、索引器(Indexer)。
4.根据权利要求2所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述窗口对象标识号在Visual Studio开发环境中是窗口句柄HWND值。
5.根据权利要求2所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述窗口对象标识号在Qt开发环境中是窗口句柄WId值。
6.根据权利要求1所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示屏资源管理模块包括，显示屏列表和初始化显示屏功能；所述显示屏列表包括：各显示屏物理地址、分辨率、位置、状态、资源占用情况；所述初始化显示屏功能用于从系统资源中获得当前可用的所有显示屏信息，并生成所述显示屏列表。
7.根据权利要求6所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，
所述初始化显示屏功能通过调用API接口，从系统资源中获得当前可用的显示屏信息，生成所述显示屏列表。
8.根据权利要求6所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，
所述显示屏资源管理模块还包括基本信息设置模块，所述基本信息设置模块包括显示屏设置，所述显示屏设置包括显示屏在系统中的序号和分辨率；所述初始化显示屏包括将所述显示屏设置信息生成所述显示屏列表，并调用API接口，从系统资源中获得当前可用的显示屏信息，将从系统资源中得到的当前可用的显示屏信息与所述基本信息设置模块包括显示屏信息进行对比，如果两者信息一致，则将信息存储到显示屏列表中，如果不一致，则更新基本信息设置信息，并记录显示屏设置变化日志。
9.根据权利要求1所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，
所述播放操作包括：跳转到开始、前、后、跳转到末尾、跳转到指定位置。
10.根据权利要求9所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，电子文件为Office提供的PPT格式文件，所述播放操作指令还包括，通过调用Office接口函数实现对所述电子文件的执行播放操作。
11.根据权利要求9所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述多媒体文件为视频文件，所述播放操作指令还包括调用支持所述视频文件的视频播放工具的接口函数，实现对所述视频文件的执行播放操作。
12.根据权利要求11所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述播放操作还包括：播放、快进、快退、暂停和通过时间条选择播放时间的操作。
13.根据权利要求11所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述视频文件为多个摄像头拍摄到的相同地点的视频；所述文件加载中的打开文件功能还包括，用于打开开始时间和结束时间相同的至少一个视频文件。
14.根据权利要求1所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述播放控制还包括临时点管理，用于在播放过程中，为所述显示屏播放的多媒体文件设置至少一个临时点。
15.根据权利要求14所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，多媒体文件的起点为临时点；
所述资源管理模块还包括临时点列表，所述临时点列表中的每一个列表项包括：显示屏、已打开的多媒体文件对象和相对于多媒体文件对象播放起点的时间偏移；
所述操作指令还包括：设临时点、复原到临时点；
所述设临时点，用于将当前显示屏播放的电子文件的当前播放位置设置为临时点位置，并将所述临时点位置、所述显示屏、所述已打开多媒体文件对象和临时点时间偏移存储到所述临时点列表中；
所述复原到临时点，用于将指定显示屏中播放的多媒体文件恢复到所述临时点列表中的临时点位置，如果没有特别设定临时点，则恢复到开始位置；如果所述显示屏设有多个临时点，则提供所述显示屏的临时点列表供选择。
16.根据权利要求1所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述控制引擎还包括屏幕操作指令，所述屏幕操作指令包括切换显示屏；
所述切换显示屏指令，用于交换指定的两个显示屏上正在播放的多媒体文件；
所述切换显示屏指令包括：从所述播放资源表中取得所述指定的两个显示屏对应的窗口对象标识号，通过调用API函数，将所述两个显示屏显示的文件交换后，再次取得交换后的窗口对象标识号，同时更新所述播放资源表中的所述窗口对象标识号信息。
17.根据权利要求1所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，加载文件指令还包括：在选择的至少一个显示屏中加载所述要播放的多媒体文件前，先判断所述显示屏的资源占用情况，如果所述显示屏资源占用情况为“空闲”，则设为“占用”；如果所述显示屏资源占用情况为“占用”，则首先调用系统API将所述显示屏正播放的多媒体文件挂起，再将所述要播放的多媒体文件加载到所述显示屏，并打开所述要播放的多媒体文件。
18.根据权利要求1-7任一项所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述屏幕操作还包括显示屏布局，所述显示屏布局包括：非直观型布局，从所述显示屏列表中选择显示屏幕进行操作；所述显示屏列表还包括显示屏编号。
19.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示屏布局还包括直观型布局，所述显示屏列表中还包括所述显示屏编号和所述显示屏的物理位置，所述直观性布局，选择所述显示屏的物理位置对应的显示屏幕进行操作。
20.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述控制指令还包括隐藏，用于在指定显示屏幕上显示图案或者显示黑屏。
21.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示屏为多个普通显示器。
22.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示器被分割成的多个虚拟显示屏。
23.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示屏包括：主显示屏、辅显示屏、控制显示屏；所述辅显示屏为多个，所述控制显示屏为1个或多个；所述主显示屏为一个；所述主显示屏、所述辅显示屏、所述控制显示屏为同一个显示屏或不同显示屏。
24.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述控制显示屏为主显示屏、辅显示屏或者外接的不参与播放互动联动的电脑设备。
25.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述多屏幕显示系统安装于电脑设备上，所述电脑设备包括：服务器、台式机、便携式电脑；所述的显示器通过显卡连接到所述电脑设备上。
26.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，PPT文件的幻灯片数量相同和/或不相同。
27.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，在临时点列表中，所述多媒体文件的位置为PPT文件的页码号。
28.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，视频文件的播放时间相同和/或不相同。
29.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，在临时点列表中，多媒体文件的位置为视频文件的播放时间。
30.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，指定两个显示屏包括：使用鼠标方式或触摸屏触控方式选择一个显示屏，并将所述显示屏拖拽到另一个指定的显示屏。
31.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示屏资源信息包括：当前显示环境的显示屏资源信息、在用显示屏资源信息及空闲显示屏资源信息。
32.根据权利要求18所述的多屏幕环境下的多媒体展示交互控制系统，其特征在于，所述显示屏为虚拟显示屏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410804395.0A CN104540027B (zh) | 2014-12-19 | 2014-12-19 | 一种多屏幕环境下的多媒体展示交互控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410804395.0A CN104540027B (zh) | 2014-12-19 | 2014-12-19 | 一种多屏幕环境下的多媒体展示交互控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104540027A CN104540027A (zh) | 2015-04-22 |
| CN104540027B true CN104540027B (zh) | 2018-03-02 |
Family
ID=52855466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410804395.0A Expired - Fee Related CN104540027B (zh) | 2014-12-19 | 2014-12-19 | 一种多屏幕环境下的多媒体展示交互控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104540027B (zh) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105159537A (zh) * | 2015-09-09 | 2015-12-16 | 西南大学 | 基于多屏的实时独立交互系统 |
| CN105489144B (zh) * | 2015-12-23 | 2018-08-31 | 南京欣威视通信息科技股份有限公司 | 一种多媒体广告机多屏播放方法及播放装置 |
| CN105657439B (zh) * | 2016-01-19 | 2018-12-07 | 四川长虹电器股份有限公司 | 单机版双屏广告机的节目管理方法 |
| CN107015775B (zh) * | 2016-01-27 | 2021-03-02 | 阿里巴巴集团控股有限公司 | 多屏控制方法及系统 |
| CN106652861B (zh) * | 2016-11-30 | 2020-12-04 | 广州视源电子科技股份有限公司 | 一种用于显示屏的检测方法及装置 |
| CN106448779B (zh) * | 2016-12-08 | 2018-01-23 | 深圳中广核工程设计有限公司 | 核电厂主控室屏幕联动控制方法及装置 |
| CN106875477A (zh) * | 2017-03-20 | 2017-06-20 | 北京幻鲸数字科技有限公司 | 基于虚拟现实的显示方法及装置 |
| CN108965217B (zh) * | 2017-05-17 | 2020-10-27 | 中国科学院软件研究所 | 一种基于c/s架构的多屏幕多媒体交互系统 |
| CN107358659B (zh) * | 2017-07-21 | 2021-06-22 | 福建星网视易信息系统有限公司 | 基于3d技术的多画面融合显示方法及存储设备 |
| CN107645669A (zh) * | 2017-10-18 | 2018-01-30 | 青岛桐轩佳航科技有限公司 | 多屏显示控制方法、装置及系统 |
| CN108012169B (zh) * | 2017-11-30 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 一种语音交互投屏方法、装置和服务器 |
| CN108429792B (zh) * | 2018-02-07 | 2021-01-26 | 广州市统云网络科技有限公司 | 一种信息推送平台管理代码编码方法和网络管理平台 |
| CN108334297A (zh) * | 2018-02-28 | 2018-07-27 | 北京智教通教育科技有限公司 | 一机多屏控制系统及其控制方法 |
| CN110769307A (zh) * | 2018-07-27 | 2020-02-07 | 比亚迪股份有限公司 | 播放控制方法、装置及播放控制器 |
| CN109120517B (zh) * | 2018-10-31 | 2021-05-28 | 珠海市小源科技有限公司 | 一种富媒体消息的展现方法及装置 |
| CN109814822B (zh) * | 2018-12-24 | 2021-08-24 | 维沃移动通信有限公司 | 一种多媒体的播放控制方法、装置及终端设备 |
| CN109922380B (zh) | 2019-01-31 | 2021-01-26 | 维沃移动通信有限公司 | 一种视频播放方法及终端设备 |
| CN111722817B (zh) * | 2019-03-20 | 2023-04-07 | 比亚迪股份有限公司 | 车辆的多屏显示调节方法、显示系统及车辆 |
| CN112307226A (zh) * | 2019-07-31 | 2021-02-02 | 西安诺瓦星云科技股份有限公司 | 一种幻灯片播控方法、装置及系统和计算机可读存储介质 |
| CN111045622B (zh) * | 2019-11-21 | 2023-06-30 | 中国航空工业集团公司西安航空计算技术研究所 | 一种面向对象的显示控制接口模型 |
| CN113129806A (zh) * | 2019-12-31 | 2021-07-16 | 西安诺瓦星云科技股份有限公司 | 显示屏替换方法和装置 |
| CN113784080A (zh) * | 2020-06-10 | 2021-12-10 | 中兴通讯股份有限公司 | 视频会议的实现方法、装置和存储介质 |
| CN111831261A (zh) * | 2020-07-14 | 2020-10-27 | 上海光点信息科技有限公司 | 多媒体交互开发系统 |
| CN111984215A (zh) * | 2020-08-19 | 2020-11-24 | Oppo广东移动通信有限公司 | 多媒体数据播放方法、终端及存储介质 |
| CN112462999B (zh) * | 2020-10-30 | 2022-05-24 | 北京数秦科技有限公司 | 显示方法、装置以及存储介质 |
| CN113674616B (zh) * | 2021-08-27 | 2023-02-28 | 深圳市分米互联科技有限公司 | 基于etc的车辆识别管理系统多屏监控设备 |
| CN114338789A (zh) * | 2021-12-20 | 2022-04-12 | 深圳助你科技有限公司 | 多媒体文件远程推送方法及系统 |
| CN117348965B (zh) * | 2023-12-06 | 2024-02-23 | 北京热源汇盈网络科技有限公司 | 基于桌面窗体应用程序的多窗体管理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1795489A (zh) * | 2003-05-27 | 2006-06-28 | 学习树国际有限公司 | 用于电子展示的系统和方法 |
| CN101251993A (zh) * | 2008-01-25 | 2008-08-27 | 北大方正集团有限公司 | 一种监控多屏幕的方法及装置 |
| CN102122461A (zh) * | 2010-01-08 | 2011-07-13 | 北京中海锦安高科技有限公司 | 一种用于消防宣传教育培训及公益广告的led电子屏系统 |
| CN102902501A (zh) * | 2012-09-26 | 2013-01-30 | 成都飞视美视频技术有限公司 | 文件多屏扩展显示的方法 |
| CN103118293A (zh) * | 2011-11-17 | 2013-05-22 | 深圳市快播科技有限公司 | 播放进度展示方法、装置以及点播终端和点播系统 |
| CN203405719U (zh) * | 2013-08-27 | 2014-01-22 | 国家电网公司 | 一种电力运营监控中心用大屏展示系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0129669D0 (en) * | 2001-12-12 | 2002-01-30 | Slaughter Paul | Apparatus and method |
-
2014
- 2014-12-19 CN CN201410804395.0A patent/CN104540027B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1795489A (zh) * | 2003-05-27 | 2006-06-28 | 学习树国际有限公司 | 用于电子展示的系统和方法 |
| CN101251993A (zh) * | 2008-01-25 | 2008-08-27 | 北大方正集团有限公司 | 一种监控多屏幕的方法及装置 |
| CN102122461A (zh) * | 2010-01-08 | 2011-07-13 | 北京中海锦安高科技有限公司 | 一种用于消防宣传教育培训及公益广告的led电子屏系统 |
| CN103118293A (zh) * | 2011-11-17 | 2013-05-22 | 深圳市快播科技有限公司 | 播放进度展示方法、装置以及点播终端和点播系统 |
| CN102902501A (zh) * | 2012-09-26 | 2013-01-30 | 成都飞视美视频技术有限公司 | 文件多屏扩展显示的方法 |
| CN203405719U (zh) * | 2013-08-27 | 2014-01-22 | 国家电网公司 | 一种电力运营监控中心用大屏展示系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104540027A (zh) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104540027B (zh) | 一种多屏幕环境下的多媒体展示交互控制系统 | |
| US5717869A (en) | Computer controlled display system using a timeline to control playback of temporal data representing collaborative activities | |
| US5717879A (en) | System for the capture and replay of temporal data representing collaborative activities | |
| US5786814A (en) | Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities | |
| CN104221047B (zh) | 用于共享演示数据和注释的方法和设备 | |
| US9071615B2 (en) | Shared space for communicating information | |
| US6332147B1 (en) | Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities | |
| US7486254B2 (en) | Information creating method information creating apparatus and network information processing system | |
| US20150121232A1 (en) | Systems and Methods for Creating and Displaying Multi-Slide Presentations | |
| US9305027B2 (en) | User configurable quick groups | |
| US20150121189A1 (en) | Systems and Methods for Creating and Displaying Multi-Slide Presentations | |
| US20130132876A1 (en) | Mobile information device and content display method | |
| JPWO2006028154A1 (ja) | 情報管理システム、情報管理方法、情報管理プログラムおよびその記録媒体 | |
| JP6265659B2 (ja) | 情報処理装置およびその制御方法およびプログラム | |
| CN106062741A (zh) | 在社交网络系统中进行信息处理的方法和系统 | |
| JP4010094B2 (ja) | 遠隔地用講座情報提示装置 | |
| CN107294835A (zh) | 一种即时通讯中的文件发送方法及装置 | |
| JP4450591B2 (ja) | 情報編集装置、表示制御方法およびプログラム | |
| JP2014120805A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Liao et al. | Shared interactive video for teleconferencing | |
| JP4686990B2 (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2007179083A (ja) | 会議システム、その制御方法及びプログラム | |
| CN113867574B (zh) | 基于触控显示屏的智能交互显示方法及装置 | |
| JP2004164646A (ja) | オブジェクト属性を表示および処理するためのグラフィカルユーザインターフェース | |
| CN105988981A (zh) | 一种在文本中插入多媒体对象的方法、装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180302 Termination date: 20181219 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |