CN110851011A - 一种对大屏多信号源复杂显示内容进行交互的系统和方法 - Google Patents
一种对大屏多信号源复杂显示内容进行交互的系统和方法 Download PDFInfo
- Publication number
- CN110851011A CN110851011A CN201910877125.5A CN201910877125A CN110851011A CN 110851011 A CN110851011 A CN 110851011A CN 201910877125 A CN201910877125 A CN 201910877125A CN 110851011 A CN110851011 A CN 110851011A
- Authority
- CN
- China
- Prior art keywords
- screen
- interaction
- video
- display
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
Abstract
本发明提供了一种对大屏多信号源复杂显示内容进行交互的系统和方法。所述系统主要包括：带触摸屏的手持移动终端、视频信号源、视频交互矩阵、视频交互服务器、显示大屏、交换机等。视频信号源设备输出应用系统界面对应的视频信号给视频交互矩阵，由视频交互服务器进行统一调度管理。其主要特征是，用户通过触控手持移动终端的触摸屏，或向移动终端发出语音指令，将用户与大屏显示内容进行交互的位置信息和交互指令，通过无线方式发给视频交互服务器，并通过视频交互矩阵和交换机，实现对大屏和信号源设备上的显示窗口和显示内容的交互。该交互系统和交互方式不受场地和环境限制，能有效完成对大屏上多种视频信号源的显示内容的复杂交互功能。
Description
技术领域
本发明涉及人机交互中的人与大屏上的多个视频信号源的内容进行交互的技术领域，提供了一种对大屏多信号源复杂显示内容进行交互的系统和方法，可有效实现人与大屏中的多个视频信号源中的显示内容进行复杂交互的功能。
背景技术
目前市场上有几种针对大屏上内容进行直接交互的方法，如面对大屏的手触、笔触、教鞭触控、遥控、体感交互等，但这些交互手段往往功能简单，各有局限，不能有效解决面对大屏上的多种信号源、多种显示内容格式的自然复杂交互需求。例如所述的手触、笔触、教鞭触控方法，其原理是通过红外光或激光发射器在大屏的表面形成一面平行的不可见光的光幕；当手指、笔尖、教鞭前端接近光幕时，会由于不可见光的折射形成一个能被红外光或激光传感器感知的光点，从而获取手指、笔尖、教鞭前端与大屏交互的位置信息。遥控的方式主要是利用红外光或激光发射器将红外光或激光光点直接投射到大屏上，通过红外光或激光传感器感知光点在大屏上的位置。这些方式存在明显的缺点，当有较强的阳光、灯光、烛光的时候，往往会干扰红外光或激光信号，造成大屏触控无法使用或者出现光标抖动现象，因此其使用环境受到许多限制。另外，对于大屏而言，手指、笔尖、教鞭有许多触控不到的地方，而对这些触控盲区不能进行交互，使用起来很不方便；对于遥控器方式而言，由于手持式遥控器本身的体积限制，单靠设置多个按键来完成复杂的交互功能十分困难，且手的操作不便。关于采用体感交互的交互方式，由于目前的体感交互技术还不够完善，只能实现少数简单的手势动作交互，且无法对大屏上的交互内容进行定位，因此也无法满足对大屏幕多信号源多种内容格式的复杂交互需求。
发明内容
本发明提供了一种对大屏多信号源复杂显示内容进行交互的系统和方法，可以很好地解决上述手指、笔尖、教鞭、遥控、体感交互的各种问题，适合在任意光线环境下使用，可有效实现对大屏幕多信号源多种内容格式的复杂交互功能。
具体工作原理描述如下：
一种对大屏多信号源复杂显示内容进行交互的系统，主要包括：带触摸屏的手持移动终端、视频信号源、视频交互矩阵、视频交互服务器、显示大屏、交换机。多路视频信号源输出应用系统显示界面的视频信号给视频交互矩阵，由视频交互服务器进行同一管理调度并在大屏上进行显示；使用者触摸移动终端的触摸屏或输入语音交互指令，使移动终端将人与大屏交互的光标位置信息、显示交互指令、语音交互指令等通过无线方式发给视频交互服务器；后者通过视频交互矩阵和交换机实现对大屏和信号源设备的显示内容交互。
其中，带触摸屏的手持移动终端可以是运行任意操作系统（如iOS,Android,Windows等）的带触摸屏的手机、平板电脑或其它手持移动终端设备。
显示大屏可以是任意尺寸、形状、材质的显示大屏，如LCD屏、LED屏、DLP屏、投影屏，或者是拼接大屏；其上可以同时显示多个视频信号源的内容；
带触摸屏的手持移动终端与视频交互服务器之间通过无线方式进行通信；
视频交互矩阵与视频信号源之间可以通过有线或无线的方式进行数据通信；特别是对于远程异地的视频信号源，可以通过互联网或4G、5G方式接入视频交互矩阵，并与视频交互服务器进行通信；当信息安全性要求较高时，传送内容可以走VPN通道或自行加密传送；
优选地，带触摸屏的手持移动终端与视频交互服务器之间通过WiFi方式进行无线通信；
优选地，在安全性要求较高的无线局域网方式下，带触摸屏的手持移动终端与视频交互服务器通过WAPI方式接入无线局域网系统；
优选地，视频交互服务器与视频交互矩阵之间通过有线的方式进行数据通信；
优选地，视频交互矩阵与视频信号源之间通过有线的方式进行数据通信；
优选地，带触摸屏的手持移动终端为PAD；
优选地，视频交互服务器为计算机；
优选地，视频交互矩阵为拼接控制器；
优选地，PAD与视频交互服务器连接到同一个WiFi热点上；
优选地，视频交互矩阵视频输出端通过视频线与显示大屏视频输入端连接。
在上述系统连接的基础上，通过视频交互矩阵配套的信号源管理软件，手持移动终端上的语音助理软件，以及视频交互服务器上的视频交互软件的设置和运行，所述系统可以在三种工作模式下进行工作，包括：
模式一、同屏显示模式：即手持终端的屏幕内容与大屏上的整体显示内容（含多信号源显示内容）或大屏上的任意一个或多个信号源的显示内容同屏显示（即显示内容完全一致且同步）；在此模式下，用户通过用手触控手持移动终端上的触摸屏，即可改变手持移动终端上的显示内容，同时也可同步改变与之同屏的大屏上的显示内容；
模式二、信号源管理模式：即手持终端的屏幕可以显示视频交互矩阵的管理软件界面，从而实现对接入视频交互矩阵的所有视频信号源在大屏上的显示情况的调度管理，包括但不限于对每个信号源窗口在大屏上的开与关、缩与放、漫游等，以及对任意信号源在大屏上进行显示前或显示后的内容进行操控等功能；
模式三、语音交互模式：使用者通过手持移动终端上的语音助理软件，实现对大屏显示内容的快速语音指令交互功能。
通过上述方式，可以实现基于带触摸屏的手持移动终端的人与大屏上的多信号源显示内容的复杂交互功能。
附图说明
图1为本发明提供的一种对大屏多信号源复杂显示内容进行交互的系统的组成示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
一种对大屏多信号源复杂显示内容进行交互的系统的交互方法如下：
步骤一、所述交互系统的连接和准备过程：
一种基于带触摸屏的移动终端的人与大屏的交互系统，该系统按照附图1的方式进行连接；
优选地，带触摸屏的手持移动终端为PAD；
优选地，PAD上安装有科大讯飞的语音助理软件；
优选地，视频交互服务器为计算机；
优选地，视频交互矩阵为拼接控制器；
优选地，视频交互服务器和视频交互矩阵之间通过有线方式进行数据通信；
优选地，视频交互矩阵和视频信号源之间通过视频线进行视频信号连接；
优选地，视频信号源设备为计算机；
优选地，PAD与视频交互服务器连接到同一个WiFi热点；
显示大屏可以是任意尺寸、形状、材质的显示屏，材质如LCD屏、LED屏、DLP屏、投影屏；或者是拼接大屏；
优选地，显示大屏采用拼接屏；
视频信号源输出的可以是任意格式的视频信号；
优选地，视频信号源视频输出端通过视频线与视频交互矩阵对应格式的视频输入端连接；
优选地，视频交互矩阵视频输出端通过视频线与大屏视频输入端连接。
步骤二、所述系统各设备的驱动程序的设置和运行：
系统按步骤一的方式连接好后，将各设备开机，并运行有关的驱动程序，如PAD、视频交互服务器和信号源设备上各自的视频交互驱动程序等；
通过视频交互服务器上视频交互驱动程序的功能设置，可以使视频交互模式工作于三种模式中的一种：同屏显示模式、信号源管理模式、语音交互模式；
在同屏显示模式时，当使用者通过手触改变PAD上的显示内容时，安装在PAD上的视频交互驱动程序将对应的操控内容的信号源信息、显示内容的位置信息、以及交互指令通过WiFi热点发给视频交互服务器，视频交互服务器对其进行处理后，变成内容交互指令，通过交换机转发给视频信号源设备，改变视频信号源设备的显示内容，并通过视频交互矩阵，在大屏上显示改变的结果；
在信号源管理模式时，通过PAD上的视频交互驱动程序的设定，可以方便地调取和切换接入视频交互矩阵的任意信号源上显示的视频信息在PAD和大屏上同步显示；
在语音交互模式时，使用者通过安装在PAD上的语音助理软件，实现对PAD上内容以及对应同步的大屏显示内容的语音命令交互。
步骤三、人与大屏交互功能的实现：
通过步骤一和步骤二的准备，使用者通过触控PAD上的触摸屏，可以实现对PAD上和对应的大屏上的显示内容的触控交互：
同屏显示模式：即手持终端的屏幕内容与大屏上的整体显示内容（含多信号源显示内容）或大屏上的任意一个或多个信号源的显示内容同屏显示（即显示内容完全一致且同步）；在此模式下，用户通过用手触控手持移动终端上的触摸屏，即可改变手持移动终端上的显示内容，同时也可同步改变与之同屏的大屏上的显示内容；
信号源管理模式：即手持终端的屏幕可以显示视频交互矩阵的管理软件界面，使用者通过触控这个管理软件界面，实现对接入视频交互矩阵的所有视频信号源在大屏上的显示情况的调度管理，包括但不限于对每个信号源窗口在大屏上的开与关、缩与放、漫游等，以及对任意信号源在大屏上进行显示前或显示后的内容进行操控等功能；
语音交互模式：使用者通过手持移动终端上的语音助理软件，实现对大屏显示内容的快速语音指令交互功能。
通过上述方式，实现基于带触摸屏的手持移动终端的人与大屏上的多信号源显示内容的复杂交互功能。本发明的有益效果是本发明提供了一种对大屏多信号源复杂显示内容进行交互的系统和方法，可以很好地解决手指、笔尖、教鞭、遥控、体感交互的各种问题，有效实现对大屏幕多信号源多种内容格式的复杂交互功能，并且系统结构简单，成本低，操作方便，适合在任意光线环境下使用。
以上的实施方式均为本发明的优选实施方式，并非因此限定本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。
Claims (10)
1.一种对大屏多信号源复杂显示内容进行交互的系统和方法，其特征在于，所述交互系统主要包括：带触摸屏的手持移动终端，使用者通过触摸移动终端的触摸屏或输入语音，将人与大屏交互的光标位置信息、显示交互指令、语音交互指令等，通过无线方式发给视频交互服务器；视频交互服务器，接收所述手持移动终端传来的人与大屏交互的光标位置信息、显示交互指令、语音交互指令等，经过处理后发给视频交互矩阵或交换机；视频交互矩阵，接收来自多个视频信号源设备输出的视频信号，并根据视频交互服务器传来的指令对接入的多路视频信号进行管理和调度，输出给显示大屏；显示大屏，显示由视频交互矩阵输出的多路视频信号；视频信号源设备，将设备所对应的应用系统显示界面或摄像机拍摄的视频图像以视频信号格式输出给视频交互矩阵；交换机，将视频交互服务器传来的光标位置信息、显示交互指令、语音交互指令等传给对应的视频信号源设备。
2.根据权利1所述的一种对大屏多信号源复杂显示内容进行交互的系统，其特征在于，手持移动终端可以是运行任意操作系统（如iOS,Android,Windows等）的带触摸屏的手机、PAD或其它手持移动终端设备，如果需要的话，该设备上可以加装语音助理软件。
3.根据权利1所述的一种对大屏多信号源复杂显示内容进行交互的系统，其特征在于，视频信号源设备可以是计算机或视频摄像头等各种能输出视频信号的设备，视频信号可以是视频摄像头输出的视频信号，也可以是计算机等设备输出的某应用软件的显示界面所对应的视频信号。
4.根据权利1所述的一种对大屏多信号源复杂显示内容进行交互的系统，其特征在于，手持移动终端设备与视频交互服务器通过无线方式进行数据通信；视频交互服务器与视频交互矩阵、视频交互矩阵和显示大屏、显示大屏和视频信号源设备分别通过有线方式连接。
5.根据权利1所述的一种对大屏多信号源复杂显示内容进行交互的系统，其特征在于，视频交互矩阵可以是拼接控制器、视频矩阵或其它具备类似功能的设备。
6.根据权利1所述的一种对大屏多信号源复杂显示内容进行交互的系统，其特征在于，大屏可以是任意尺寸、形状、材质的显示大屏，材质如LCD屏、LED屏、DLP屏、投影屏，或者是拼接大屏，其上可以同时显示多个视频信号源的内容。
7.根据权利1所述的一种对大屏多信号源复杂显示内容进行交互的系统，其特征在于，使用者通过对手持移动终端上的显示内容的交互，实现与大屏上的显示内容的交互，其工作模式可以包括以下三种中的任意一种或多种：
模式一、同屏显示模式，即手持终端的屏幕内容与大屏上的整体显示内容（含多信号源显示内容）或大屏上的任意一个或多个信号源的显示内容同屏显示（即显示内容完全一致且同步）；在此模式下，用户通过用手触控手持移动终端上的触摸屏，即可改变手持移动终端上的显示内容，同时也可同步改变与之同屏的大屏上的显示内容；
模式二、信号源管理模式，即手持终端的屏幕可以显示视频交互矩阵的管理软件界面，从而实现对接入视频交互矩阵的所有视频信号源在大屏上的显示情况的调度管理，包括但不限于对每个信号源窗口在大屏上的开与关、缩与放、漫游等，以及对任意信号源在大屏上进行显示前或显示后的内容进行操控等功能；
模式三、语音交互模式，使用者通过手持移动终端上的语音助理软件，实现对大屏显示内容的快速语音指令交互功能。
8.根据权利7所述的一种对大屏多信号源复杂显示内容进行交互的系统的交互方法，其特征在于，人与大屏交互时的大屏光标位置信息和交互指令是通过使用者在手持终端上的触摸屏上的位置信息和交互指令（触摸动作）来确定，具体的说是由手持移动终端将其分析出的位置信息和交互指令通过无线方式发给视频交互服务器，由视频交互服务器将对应的带有光标位置信息的交互控制指令发给视频交互矩阵或视频信号源。
9.根据权利7所述的一种对大屏多信号源复杂显示内容进行交互的系统的交互方法，其特征在于，使用者与大屏上的显示内容的交互也可通过使用者对手持移动终端上的语音助理软件输入语音交互指令来实现，语音交互指令使手持移动终端上的显示内容发生改变，从而影响大屏上的显示。
10.根据权利7所述的一种对大屏多信号源复杂显示内容进行交互的系统的交互方法，其特征在于，使用者与大屏上的显示内容的交互还可以通过使用者对手持移动终端上的内容进行直接交互，并将其交互结果在大屏上进行同步显示来实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910877125.5A CN110851011A (zh) | 2019-09-17 | 2019-09-17 | 一种对大屏多信号源复杂显示内容进行交互的系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910877125.5A CN110851011A (zh) | 2019-09-17 | 2019-09-17 | 一种对大屏多信号源复杂显示内容进行交互的系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110851011A true CN110851011A (zh) | 2020-02-28 |
Family
ID=69595330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910877125.5A Pending CN110851011A (zh) | 2019-09-17 | 2019-09-17 | 一种对大屏多信号源复杂显示内容进行交互的系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110851011A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113010075A (zh) * | 2021-04-27 | 2021-06-22 | 北京仁光科技有限公司 | 多信号源窗口交互方法、系统、可读存储介质和电子设备 |
| CN113132783A (zh) * | 2021-04-21 | 2021-07-16 | 湛辉来 | 一种多机共享的多屏显示控制系统及方法 |
| CN112947815B (zh) * | 2021-04-27 | 2022-11-25 | 北京仁光科技有限公司 | 多窗口交互方法、系统、可读存储介质和电子设备 |
| CN117406896A (zh) * | 2023-09-14 | 2024-01-16 | 北京仁光科技有限公司 | 通过安卓端控制一个或多个信号源的方法和系统 |
-
2019
- 2019-09-17 CN CN201910877125.5A patent/CN110851011A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113132783A (zh) * | 2021-04-21 | 2021-07-16 | 湛辉来 | 一种多机共享的多屏显示控制系统及方法 |
| CN113132783B (zh) * | 2021-04-21 | 2023-08-25 | 四川佳石信息技术有限公司 | 一种多机共享的多屏显示控制系统及方法 |
| CN113010075A (zh) * | 2021-04-27 | 2021-06-22 | 北京仁光科技有限公司 | 多信号源窗口交互方法、系统、可读存储介质和电子设备 |
| CN112947815B (zh) * | 2021-04-27 | 2022-11-25 | 北京仁光科技有限公司 | 多窗口交互方法、系统、可读存储介质和电子设备 |
| CN117406896A (zh) * | 2023-09-14 | 2024-01-16 | 北京仁光科技有限公司 | 通过安卓端控制一个或多个信号源的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110851011A (zh) | 一种对大屏多信号源复杂显示内容进行交互的系统和方法 | |
| CN102662498B (zh) | 一种投影演示的无线控制方法及系统 | |
| US9582903B2 (en) | Display terminal device connectable to external display device and method therefor | |
| WO2021004415A1 (zh) | 一种手持输入设备的鼠标光标控制方法和装置 | |
| EP3087456B1 (en) | Remote multi-touch control | |
| CN104166531A (zh) | 电子装置及屏幕内容分享方法 | |
| WO2022161432A1 (zh) | 显示控制方法、装置、电子设备及介质 | |
| CN102081500A (zh) | 一种显示控制方法及装置和系统 | |
| WO2017012378A1 (zh) | 用于操作电脑的系统、穿戴设备及其操作电脑的方法 | |
| WO2014079289A1 (zh) | 一种触摸定位方法、装置及终端 | |
| WO2015192763A1 (zh) | 一种触摸屏控制方法及装置 | |
| TW200951780A (en) | Wireless control device and multi-cursor control method | |
| CN111770368A (zh) | 大屏幕显示设备的控制方法、装置、存储介质和电子设备 | |
| US9584718B2 (en) | Display device and method of controlling therefor | |
| KR20160019762A (ko) | 터치 스크린 한손 제어 방법 | |
| WO2022111397A1 (zh) | 控制方法、装置和电子设备 | |
| TW201325101A (zh) | 遠端多點遙控裝置及系統 | |
| JP2015018300A (ja) | 表示装置、端末機器、表示システム、及び表示方法 | |
| TW201407431A (zh) | 可攜式裝置 | |
| TW201413517A (zh) | 顯示系統及顯示控制方法 | |
| KR20220045220A (ko) | 아이콘 표시 방법 및 단말 | |
| WO2016006070A1 (ja) | 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ | |
| CN102200849A (zh) | 无线定位式触摸屏的双模式控制方法 | |
| TWM472879U (zh) | 同步顯示及操控手持裝置之顯示系統 | |
| CN104898976A (zh) | 在移动设备上使用小屏窗口的方法及移动设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200228 |