CN109788265A - 一种投影机的无线交互方法及装置 - Google Patents

一种投影机的无线交互方法及装置 Download PDF

Info

Publication number
CN109788265A
CN109788265A CN201910083885.9A CN201910083885A CN109788265A CN 109788265 A CN109788265 A CN 109788265A CN 201910083885 A CN201910083885 A CN 201910083885A CN 109788265 A CN109788265 A CN 109788265A
Authority
CN
China
Prior art keywords
terminal
countercharge
projector
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910083885.9A
Other languages
English (en)
Inventor
李超
陈云明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fei Tu Video Signal Co Ltd Of Shenzhen
Original Assignee
Fei Tu Video Signal Co Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fei Tu Video Signal Co Ltd Of Shenzhen filed Critical Fei Tu Video Signal Co Ltd Of Shenzhen
Priority to CN201910083885.9A priority Critical patent/CN109788265A/zh
Publication of CN109788265A publication Critical patent/CN109788265A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种投影机的无线交互方法及装置,所述方法通过接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,接收所述反控终端发送的控制信令,执行反控动作。根据上述描述,等同于把反控终端的触摸屏配置为投影机的触摸屏,能够对投影机的显示内容进行触摸操作,从而实现投影机与多个设备终端进行交互。

Description

一种投影机的无线交互方法及装置
技术领域
本发明涉及镜像数据处理技术领域,尤其涉及一种投影机的无线交互方法及装置。
背景技术
现阶段,投影机与触摸一体机处于激烈竞争态势。投影机与触摸一体机相比,最大的区别在于,触摸一体机可以触摸控制,也即具有输入设备,现场可人机交互,而投影机只能显示,无法对显示内容进行控制和书写。
传统的投影机没有配置输入设备,虽然可以通过外接PC端来控制投影机的显示变化,但本质上只是把投影机当做屏幕进行PC端的投屏而已,实际上并不能实现投影机与多端设备终端的交互功能,不能满足互动性较强的教学、演讲、会议等场所。
发明内容
本发明所要解决的技术问题在于,提供一种投影机的无线交互方法及装置,能够实现投影机与多个设备终端进行交互。
为解决上述问题,本发明的一个实施例提供一种投影机的无线交互方法,包括:
接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;
接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,
接收所述反控终端发送的控制信令,执行反控动作。
进一步地,所述接收所述反控终端发送的控制信令,执行反控动作,包括:
若所述反控终端发送的是投屏终端的控制信令,则将所述控制信令转发给所述投屏终端;
若所述反控终端发送的是本机的控制信令,则执行本机的控制动作。
进一步地,所述将所述显示数据二次镜像给反控终端,包括:
在书写层标识有效时,将当前显示的内容进行图像分层,获取书写层数据,然后将所述书写层数据和本机的图像层数据发送给反控终端;
在书写层标识无效时,将本机的图像层数据发送给反控终端。
进一步地,所述书写层标识有效,指当触摸屏上有书写事件,或通过鼠标产生书写事件,或接收所述反控终端发送的书写层数据时,书写层标识被激活;所述书写层标识无效,指书写轨迹被擦除后,书写层标识被清零。
进一步地,所述接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示,包括:
在本机书写层数据不存在时,将所述书写成数据与本机的图像层数据进行图像合成,并传输至所述投影机进行显示;
在本机书写层数据存在时,将所述书写成数据与本机的书写层数据进行一次图像合成后,再与本机的图像层数据进行二次图像合成,并传输至所述投影机进行显示。
进一步地,所述图像合成,具体的,根据预先建立的屏幕映射偏离表,将书写层数据和图像层数据按照坐标系的对应位置进行逐一像素叠加,形成新的图像。
进一步地,在接收投屏终端发送的显示数据之前,还包括:
获取与本机连接的投影机的显示区域作为基准显示区域,并建立一类坐标系;
以相同的方式,获取与本机连接的投屏终端或反控终端的显示区域,并建立二类坐标系;
根据所述一类坐标系和所述二类坐标系,建立屏幕映射偏离表。
进一步地,所述接收投屏终端发送的显示数据,传输至投影机进行显示,具体的:
接收投屏终端发送的显示数据,并将所述显示数据分流成两路镜像数据,对其中一路镜像数据附加本地时钟信息后存储于循环存储器,对另一路镜像数据进行解压缩并显示。
本发明还提供了一种投影机的无线交互装置,包括:
镜像模块,用于接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;
图像合成模块,用于接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,
反控模块,用于接收所述反控终端发送的控制信令,执行反控动作。
进一步地,所述反控模块,具体用于:
若所述反控终端发送的是投屏终端的控制信令,则将所述控制信令转发给所述投屏终端;
若所述反控终端发送的是本机的控制信令,则执行本机的控制动作。
本发明提供的一种投影机的无线交互方法及装置,所述方法通过接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;
接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,接收所述反控终端发送的控制信令,执行反控动作。根据上述描述,等同于把反控终端的触摸屏配置为投影机的触摸屏,能够对投影机的显示内容进行触摸操作,从而实现投影机与多个设备终端进行交互。
附图说明
图1是本发明的一个实施例提供的飞图盒的热点型网络连接示意图;
图2是本发明的一个实施例提供的飞图盒的有线连接外部路由器网络连接示意图;
图3是本发明的一个实施例提供的飞图盒的无线连接外部路由器网络连接示意图;
图4是本发明的一个实施例提供的飞图盒的有线混和型网络连接示意图;
图5是本发明的一个实施例提供的飞图盒的无线混和型网络连接示意图;
图6是本发明的实施例提供的飞图盒的硬件连接原理图;
图7是本发明的实施例提供的投影机的无线交互方法的流程示意图;
图8是本发明的实施例提供的投影机的无线交互方法的另一流程示意图;
图9是本发明的一个实施例提供的接收视频和二次镜像流程图;
图10是本发明的另一实施例提供的接收反控终端书写层数据处理流程图;
图11是本发明的一个实施例提供的反控终端信令解析流程图;
图12是本发明的一个实施例提供的投屏终端流程示意图;
图13是本发明的一个实施例提供的反控终端流程示意图;
图14是本发明的一个实施例提供的设备终端显示区域坐标系示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
文中的投屏终端和反控终端均为智能终端,可以是个人电脑(personal computer,PC)、平板电脑、智能手机、个人数字助理(personaldigital assistant,PDA)等。
文中的投影机的无线交互装置以飞图盒为例,其网络连接方式如图1-5所示。其中,飞图盒可以是一台智能终端,用于接收投屏终端1至投屏终端n的无线镜像内容,具有Wi-Fi热点、Wi-Fi网卡,编解码功能,显示播放功能等,通过视频接口输出投屏内容给投影机显示。
飞图盒的硬件连接原理如图6所示。给整个主板供电的电源模块为5V/2.5A直流电源。通过稳压电路,再分为三路电源。一路给主CPU供电,一路给Wi-Fi模块供电,一路给启动/时钟电路供电。
启动/时钟电路主要有两个作用:启动/时钟电路主要有两个作用:一是可以接收遥控器发送来的控制信号,对飞图盒进行操作;二是与电脑进行时钟同步,并启动更新命令,以定时更新飞图盒软件版本和内置视频内容。
飞图盒的对外输出接口主要有HDMI接口,音频接口,LAN接口,两个USB接口。对于两个USB接口,其实是通过主CPU的一个USB接口扩展而来,用作对外接口,可以连接触摸屏、鼠标、摄像头等外设。飞图盒另一个特别之处是有一个VGA输入接口,该接口可以外接VGA输入,从而实现VGA转HDMI接口的转换。另外,飞图盒的两个Wi-Fi模块,一个工作在AP模式,用于连接电脑、手机等终端设备;一个Wi-Fi模块工作在AD模式,用于连接外部无线网络;连接外部网络当然也可以通过LAN口进行有线连接。
需要说明的是,文中的步骤编号,仅为了方便具体实施例的解释,不作为限定步骤执行先后顺序的作用。
为了实现:飞图盒通过HDMI接口连接到投影机,投影机的显示内容由飞图盒的HDMI输出决定;手机、平板电脑安装有APP,并通过Wi-Fi连接到飞图盒;手机、平板电脑的APP,把其触摸屏以无线方式映射到投影机的显示区域,从而给投影机配上了一块移动的“触摸屏”。这样就不但让投影机也具有交互功能,而且是一块可以移动的触摸屏,而且可以多人无接触控制和交互。
请参阅图7和图8,,本发明的一个实施例提出了一种投影机的无线交互方法,包括:
S1、接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端。
在具体实施例当中,飞图盒启动后,首先把所有通过Wi-Fi连接飞图盒的设备终端与投影机显示区域建立屏幕映射偏离表,便于镜像反控时使用。然后接收投屏终端的视频流,解压后送给投影机显示。接着把正在显示的图像截屏,压缩编码后送给反控终端,供其显示。
请参阅图9,所述接收投屏终端发送的显示数据,传输至投影机进行显示,具体的:
接收投屏终端发送的显示数据,并将所述显示数据分流成两路镜像数据,对其中一路镜像数据附加本地时钟信息后存储于循环存储器,对另一路镜像数据进行解压缩并显示。
所述对其中一路镜像数据附加本地时钟信息后存储于循环存储器,具体的:
根据附加的本地的时钟信息,将第一帧镜像数据和第二帧镜像数据分别放入循环存储器的第一单元和第二单元;将第三帧镜像数据和第四帧镜像数据分别放入循环存储器的第一单元和第二单元,覆盖第一帧镜像数据和第二帧镜像数据;
依此类推,奇数帧镜像数据放入第一单元,偶数帧镜像数据放入第二单元;其中,所述循环存储器为一个用于存储两个I帧镜像数据加上时间戳的存储器单元,长度固定。
其中,所述将所述显示数据二次镜像给反控终端,包括:
在书写层标识有效时,将当前显示的内容进行图像分层,获取书写层数据,然后将所述书写层数据和本机的图像层数据发送给反控终端;
在书写层标识无效时,将本机的图像层数据发送给反控终端。
需要说明的是,所述书写层标识有效,指当触摸屏上有书写事件,或通过鼠标产生书写事件,或接收所述反控终端发送的书写层数据时,书写层标识被激活;所述书写层标识无效,指书写轨迹被擦除后,书写层标识被清零。
在具体实施例当中,二次镜像就是把投屏终端传输过来的信息,二次传输给镜像反控终端,从而使反控终端具有和投屏终端相同的图像,实现触摸操作。
在图9中,如果从Wi-Fi接收模块传输过来的是镜像反控请求指令,而且“反控开关”为打开状态,则直接读取循环存储器内“最新”的视频帧,送给协议封装模块,进行TCP协议封装,封装后的数据再传输给Wi-Fi发射模块,发射给反控终端,实现二次镜像;在封装发射镜像数据的同时,系统会去获取书写模块的书写标识信息;如果书写标识信息有效,则系统启动显示分层模块;显示分层模块获取当前屏幕的全部显示数据,再把书写层与图像层分离;被分离后的书写层数据被送给协议封装模块,进行TCP协议封装,封装后的数据再传输给Wi-Fi发射模块,发射出去。
S2a、接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示。
飞图盒接收反控终端的书写层信息,并“覆盖”在本机图像层上,从而实现远程批注功能。
在图10中,所述接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示,包括:
在本机书写层数据不存在时,将所述书写成数据与本机的图像层数据进行图像合成,并传输至所述投影机进行显示;
在本机书写层数据存在时,将所述书写成数据与本机的书写层数据进行一次图像合成后,再与本机的图像层数据进行二次图像合成,并传输至所述投影机进行显示。
在具体的实施例当中,飞图盒接收反控终端发送来的书写层数据后:一是把反控终端的书写层数据与本机的书写层数据合并,但在合并前,需要把两个书写层数据的坐标系进行映射,确保不出现坐标偏离;二是把书写层数据与图像层数据进行图像合成,并把合成后的图像显示出来。
所述图像合成,具体的,根据预先建立的屏幕映射偏离表,将书写层数据和图像层数据按照坐标系的对应位置进行逐一像素叠加,形成新的图像。
S2b、接收所述反控终端发送的控制信令,执行反控动作。
飞图盒接收反控终端的控制信息,并传输给自身系统或投屏终端,从而实现反控。
具体的,若所述反控终端发送的是投屏终端的控制信令,则将所述控制信令转发给所述投屏终端;若所述反控终端发送的是本机的控制信令,则执行本机的控制动作。
由于本系统连接设备终端数量多,类型多,设备终端的控制信令比较复杂,需要单独的一个模块加以解析。
请参阅图11,当Wi-Fi模块接收到数据后,首先需要判断数据是由投屏终端还是反控终端发送而来。如果是由投屏终端发送而来,则会再次对数据进行判断。如果是控制命令,则进入命令处理流程;如果是视频流数据,则进入视频播放流程。
当判断Wi-Fi模块发送过来的数据来自于反控终端,则对数据进行二次判断;如果是书写层数据,则进入图像合成流程;如果是控制命令,则进行三次判断;如果是操作飞图盒本身的命令,则直接操作飞图盒;如果是反控投屏终端的命令,则直接进行IP封装,再次发送出去给投屏终端。
投屏终端流程图和反控终端流程图请分别参阅图12和图13。
需要说明的是,飞图盒设置有镜像反控开关,其是一个是否允许镜像反控的控制开关。由于演讲者有可能不习惯于反控操作,或者不希望非演讲人员的误操作,所以必须有一个镜像反控开关。开关打开,并可设定镜像反控人数;开关关闭,则不可镜像反控。
在本实施例中,投屏终端通过Wi-Fi连接飞图盒,反控终端通过Wi-Fi连接飞图盒,飞图盒通过HDMI线连接投影机。首先投屏终端把自己的屏幕内容投屏给飞图盒,飞图盒把接收到的镜像内容通过HDMI线送给投影机显示;同时,飞图盒也把显示内容二次镜像给反控终端。在反控终端上,操作者根据需要,直接进行操作,操作内容就会被反向传输给飞图盒。如果控制信息是对飞图盒自身的操作,则飞图盒会按指令操作;如果控制信息是对投屏终端的操作,则控制信息会通过Wi-Fi传递给飞图盒,飞图盒再通过Wi-Fi传递给投屏终端,进而对投屏终端进行操作,从而实现反控的目的。
在一优选实施例当中,在接收投屏终端发送的显示数据之前,还包括:
获取与本机连接的投影机的显示区域作为基准显示区域,并建立一类坐标系;
以相同的方式,获取与本机连接的投屏终端或反控终端的显示区域,并建立二类坐标系;
根据所述一类坐标系和所述二类坐标系,建立屏幕映射偏离表。
请参阅图14,首先飞图盒会把投影机的显示区域作为一个“基准”显示区域,并建立坐标系。其显示区域左下角为坐标原点,坐标值为A(0,0),右上角C点为最大坐标值C(x0,y0)。对应的左上角为B(0,y0),右下角为D(x0,0)。根据相同的方式,把连接上飞图盒的所有投屏设备或镜像反控设备的显示区域都建立起坐标系,如图8所示。
建立坐标系后,计算所有设备显示区域的长宽比,并记录在一张表格中;另外,也计算出投屏设备或镜像反控设备映射到投影机显示区域的偏移量修正系数;如果计算投影机映射到投屏设备或镜像反控设备的偏移量,则颠倒分子分母就可以了。
例如,在镜像反控设备1上进行反控操作,要对投屏设备1进行反控。假设在镜像反控设备上触摸屏被点击的坐标点为M(xm,ym),对应到投影机上为P点(xp,yp),对应到投屏设备1上的坐标为点N(xn,yn)。则各点的坐标转换如下:
首先计算镜像反控设备1映射到投影机对应点P的坐标值:
xp=xm×(X0/X1),yp=ym×(Y0/Y1)所以P点坐标为P(xm×(X0/X1),ym×(Y0/Y1))
同理,计算镜像反控设备1映射到投屏设备1上的N点坐标值:
xn=xm×(Xn/X1),yn=ym×(Yn/Y1)所以N点坐标为N(xm×(Xn/X1),ym×(Yn/Y1))
所以,当镜像反控设备要对飞图盒反控时,在镜像反控设备操作点的横坐标乘以修正系数(X0/X1),纵坐标乘以(Y0/Y1),就可以得到飞图盒的反控坐标点;如果镜像反控设备要对投屏设备反控,则横坐标乘以修正系数(X3/X1),纵坐标乘以(Y3/Y1),就可以对投屏设备进行反控了。
在具体的实施例当中,当投屏终端启动投屏指令后,马上截取屏幕内容,然后对截屏内容进行H.264压缩编码,并对编码后的数据流进行TCP协议封装,然后传输给Wi-Fi模块发射出去。
当Wi-Fi模块接收到数据后,马上进行协议解析;协议解析后的数据为反控数据,所以马上对获得的数据进行命令解析,这些数据通常包含有坐标信息、发送终端ID信息、操作指令等。从解析后的数据中提取坐标信息和发送终端ID信息,进行两个终端之间的坐标映射,从而获得投屏终端的坐标信息。坐标映射完毕,就执行操作,完成反控指令。
反控终端通常为平板电脑或手机,具有可随身携带的便利性,所以也就适合用来做移动反控终端。反控终端有三个功能:一是接收飞图盒二次镜像的内容,并显示;二是接收触摸屏发出的坐标信息,执行反控操作;三是启动批注功能,对二次进行内容进行批注。
接收二次镜像视频流的流程也非常简单,Wi-Fi模块接收到飞图盒传输来的数据后,马上进行TCP协议解析,把数据还原为视频流,紧接着对视频流进行解压缩,然后再对接收到的图像进行坐标映射,确保显示的完整性以及屏幕的最大化利用,最后送给显示单元显示。需要重点说明的是,把飞图盒的传输给投影机的图像显示在反控终端的目的,就在于可以直接在图像上进行触摸操作,从而让触摸反控所见即所得,从而更加方便精准。
当镜像反控终端启动镜像反控功能后,首先获取本机的屏幕长高尺寸,作为坐标修正系数的依据,发给飞图盒。当实际操作反控时,直接获取本机触摸点的坐标,连同本机的ID信息,一起被TCP协议封装后,发给飞图盒,再由飞图盒操作本机或发给投屏终端,实现反控。
移动批注是指主讲人可以手持镜像反控终端,实现对投影机显示内容的批注。当主讲人在镜像反控终端启动批注后,镜像反控终端首先建立一个环形存储器,用于存储批注点的坐标轨迹;存储满后,最新的坐标轨迹数据会自动覆盖前面的坐标数据。环形存储器的长度以存储0.5s产生的最大坐标数量为限。被存储的坐标数据再送入TCP协议封装模块,封装后发送给飞图盒,进行图像合成显示。
本发明还提供了一种投影机的无线交互装置,包括:
镜像模块,用于接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端。
在具体实施例当中,飞图盒启动后,首先把所有通过Wi-Fi连接飞图盒的设备终端与投影机显示区域建立屏幕映射偏离表,便于镜像反控时使用。然后接收投屏终端的视频流,解压后送给投影机显示。接着把正在显示的图像截屏,压缩编码后送给反控终端,供其显示。
请参阅图9,所述接收投屏终端发送的显示数据,传输至投影机进行显示,具体的:
接收投屏终端发送的显示数据,并将所述显示数据分流成两路镜像数据,对其中一路镜像数据附加本地时钟信息后存储于循环存储器,对另一路镜像数据进行解压缩并显示。
所述对其中一路镜像数据附加本地时钟信息后存储于循环存储器,具体的:
根据附加的本地的时钟信息,将第一帧镜像数据和第二帧镜像数据分别放入循环存储器的第一单元和第二单元;将第三帧镜像数据和第四帧镜像数据分别放入循环存储器的第一单元和第二单元,覆盖第一帧镜像数据和第二帧镜像数据;
依此类推,奇数帧镜像数据放入第一单元,偶数帧镜像数据放入第二单元;其中,所述循环存储器为一个用于存储两个I帧镜像数据加上时间戳的存储器单元,长度固定。
其中,所述将所述显示数据二次镜像给反控终端,包括:
在书写层标识有效时,将当前显示的内容进行图像分层,获取书写层数据,然后将所述书写层数据和本机的图像层数据发送给反控终端;
在书写层标识无效时,将本机的图像层数据发送给反控终端。
需要说明的是,所述书写层标识有效,指当触摸屏上有书写事件,或通过鼠标产生书写事件,或接收所述反控终端发送的书写层数据时,书写层标识被激活;所述书写层标识无效,指书写轨迹被擦除后,书写层标识被清零。
在具体实施例当中,二次镜像就是把投屏终端传输过来的信息,二次传输给镜像反控终端,从而使反控终端具有和投屏终端相同的图像,实现触摸操作。
在图9中,如果从Wi-Fi接收模块传输过来的是镜像反控请求指令,而且“反控开关”为打开状态,则直接读取循环存储器内“最新”的视频帧,送给协议封装模块,进行TCP协议封装,封装后的数据再传输给Wi-Fi发射模块,发射给反控终端,实现二次镜像;在封装发射镜像数据的同时,系统会去获取书写模块的书写标识信息;如果书写标识信息有效,则系统启动显示分层模块;显示分层模块获取当前屏幕的全部显示数据,再把书写层与图像层分离;被分离后的书写层数据被送给协议封装模块,进行TCP协议封装,封装后的数据再传输给Wi-Fi发射模块,发射出去。
图像合成模块,用于接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示。
飞图盒接收反控终端的书写层信息,并“覆盖”在本机图像层上,从而实现远程批注功能。
在图10中,所述接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示,包括:
在本机书写层数据不存在时,将所述书写成数据与本机的图像层数据进行图像合成,并传输至所述投影机进行显示;
在本机书写层数据存在时,将所述书写成数据与本机的书写层数据进行一次图像合成后,再与本机的图像层数据进行二次图像合成,并传输至所述投影机进行显示。
在具体的实施例当中,飞图盒接收反控终端发送来的书写层数据后:一是把反控终端的书写层数据与本机的书写层数据合并,但在合并前,需要把两个书写层数据的坐标系进行映射,确保不出现坐标偏离;二是把书写层数据与图像层数据进行图像合成,并把合成后的图像显示出来。
所述图像合成,具体的,根据预先建立的屏幕映射偏离表,将书写层数据和图像层数据按照坐标系的对应位置进行逐一像素叠加,形成新的图像。
反控模块,用于接收所述反控终端发送的控制信令,执行反控动作。
飞图盒接收反控终端的控制信息,并传输给自身系统或投屏终端,从而实现反控。
具体的,若所述反控终端发送的是投屏终端的控制信令,则将所述控制信令转发给所述投屏终端;若所述反控终端发送的是本机的控制信令,则执行本机的控制动作。
由于本系统连接设备终端数量多,类型多,设备终端的控制信令比较复杂,需要单独的一个模块加以解析。
请参阅图11,当Wi-Fi模块接收到数据后,首先需要判断数据是由投屏终端还是反控终端发送而来。如果是由投屏终端发送而来,则会再次对数据进行判断。如果是控制命令,则进入命令处理流程;如果是视频流数据,则进入视频播放流程。
当判断Wi-Fi模块发送过来的数据来自于反控终端,则对数据进行二次判断;如果是书写层数据,则进入图像合成流程;如果是控制命令,则进行三次判断;如果是操作飞图盒本身的命令,则直接操作飞图盒;如果是反控投屏终端的命令,则直接进行IP封装,再次发送出去给投屏终端。
投屏终端流程图和反控终端流程图请分别参阅图12和图13。
需要说明的是,飞图盒设置有镜像反控开关,其是一个是否允许镜像反控的控制开关。由于演讲者有可能不习惯于反控操作,或者不希望非演讲人员的误操作,所以必须有一个镜像反控开关。开关打开,并可设定镜像反控人数;开关关闭,则不可镜像反控。
在本实施例中,投屏终端通过Wi-Fi连接飞图盒,反控终端通过Wi-Fi连接飞图盒,飞图盒通过HDMI线连接投影机。首先投屏终端把自己的屏幕内容投屏给飞图盒,飞图盒把接收到的镜像内容通过HDMI线送给投影机显示;同时,飞图盒也把显示内容二次镜像给反控终端。在反控终端上,操作者根据需要,直接进行操作,操作内容就会被反向传输给飞图盒。如果控制信息是对飞图盒自身的操作,则飞图盒会按指令操作;如果控制信息是对投屏终端的操作,则控制信息会通过Wi-Fi传递给飞图盒,飞图盒再通过Wi-Fi传递给投屏终端,进而对投屏终端进行操作,从而实现反控的目的。
在一优选实施例当中,还包括,屏幕映射偏离表建立模块,用于获取与本机连接的投影机的显示区域作为基准显示区域,并建立一类坐标系;以相同的方式,获取与本机连接的投屏终端或反控终端的显示区域,并建立二类坐标系;根据所述一类坐标系和所述二类坐标系,建立屏幕映射偏离表。
请参阅图14,首先飞图盒会把投影机的显示区域作为一个“基准”显示区域,并建立坐标系。其显示区域左下角为坐标原点,坐标值为A(0,0),右上角C点为最大坐标值C(x0,y0)。对应的左上角为B(0,y0),右下角为D(x0,0)。根据相同的方式,把连接上飞图盒的所有投屏设备或镜像反控设备的显示区域都建立起坐标系,如图8所示。
建立坐标系后,计算所有设备显示区域的长宽比,并记录在一张表格中;另外,也计算出投屏设备或镜像反控设备映射到投影机显示区域的偏移量修正系数;如果计算投影机映射到投屏设备或镜像反控设备的偏移量,则颠倒分子分母就可以了。
例如,在镜像反控设备1上进行反控操作,要对投屏设备1进行反控。假设在镜像反控设备上触摸屏被点击的坐标点为M(xm,ym),对应到投影机上为P点(xp,yp),对应到投屏设备1上的坐标为点N(xn,yn)。则各点的坐标转换如下:
首先计算镜像反控设备1映射到投影机对应点P的坐标值:
xp=xm×(X0/X1),yp=ym×(Y0/Y1)所以P点坐标为P(xm×(X0/X1),ym×(Y0/Y1))
同理,计算镜像反控设备1映射到投屏设备1上的N点坐标值:
xn=xm×(Xn/X1),yn=ym×(Yn/Y1)所以N点坐标为N(xm×(Xn/X1),ym×(Yn/Y1))
所以,当镜像反控设备要对飞图盒反控时,在镜像反控设备操作点的横坐标乘以修正系数(X0/X1),纵坐标乘以(Y0/Y1),就可以得到飞图盒的反控坐标点;如果镜像反控设备要对投屏设备反控,则横坐标乘以修正系数(X3/X1),纵坐标乘以(Y3/Y1),就可以对投屏设备进行反控了。
本实施例提供的一种投影机的无线交互装置,所述方法通过接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;
接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,接收所述反控终端发送的控制信令,执行反控动作。根据上述描述,等同于把反控终端的触摸屏配置为投影机的触摸屏,能够对投影机的显示内容进行触摸操作,从而实现投影机与多个设备终端进行交互。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和变形,这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。

Claims (10)

1.一种投影机的无线交互方法,其特征在于,包括:
接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;
接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,
接收所述反控终端发送的控制信令,执行反控动作。
2.根据权利要求1所述的投影机的无线交互方法,其特征在于,所述接收所述反控终端发送的控制信令,执行反控动作,包括:
若所述反控终端发送的是投屏终端的控制信令,则将所述控制信令转发给所述投屏终端;
若所述反控终端发送的是本机的控制信令,则执行本机的控制动作。
3.根据权利要求1所述的投影机的无线交互方法,其特征在于,所述将所述显示数据二次镜像给反控终端,包括:
在书写层标识有效时,将当前显示的内容进行图像分层,获取书写层数据,然后将所述书写层数据和本机的图像层数据发送给反控终端;
在书写层标识无效时,将本机的图像层数据发送给反控终端。
4.根据权利要求3所述的投影机的无线交互方法,其特征在于,所述书写层标识有效,指当触摸屏上有书写事件,或通过鼠标产生书写事件,或接收所述反控终端发送的书写层数据时,书写层标识被激活;所述书写层标识无效,指书写轨迹被擦除后,书写层标识被清零。
5.根据权利要求1所述的投影机的无线交互方法,其特征在于,所述接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示,包括:
在本机书写层数据不存在时,将所述书写层数据与本机的图像层数据进行图像合成,并传输至所述投影机进行显示;
在本机书写层数据存在时,将所述书写层数据与本机的书写层数据进行一次图像合成后,再与本机的图像层数据进行二次图像合成,并传输至所述投影机进行显示。
6.根据权利要求5所述的投影机的无线交互方法,其特征在于,所述图像合成,具体的,根据预先建立的屏幕映射偏离表,将书写层数据和图像层数据按照坐标系的对应位置进行逐一像素叠加,形成新的图像。
7.根据权利要求1所述的投影机的无线交互方法,其特征在于,在接收投屏终端发送的显示数据之前,还包括:
获取与本机连接的投影机的显示区域作为基准显示区域,并建立一类坐标系;
以相同的方式,获取与本机连接的投屏终端或反控终端的显示区域,并建立二类坐标系;
根据所述一类坐标系和所述二类坐标系,建立屏幕映射偏离表。
8.根据权利要求1所述的投影机的无线交互方法,其特征在于,所述接收投屏终端发送的显示数据,传输至投影机进行显示,具体的:
接收投屏终端发送的显示数据,并将所述显示数据分流成两路镜像数据,对其中一路镜像数据附加本地时钟信息后存储于循环存储器,对另一路镜像数据进行解压缩并显示。
9.一种投影机的无线交互装置,其特征在于,包括:
镜像模块,用于接收投屏终端发送的显示数据,传输至投影机进行显示;同时,将所述显示数据二次镜像给反控终端;
图像合成模块,用于接收所述反控终端发送的书写层数据,将所述书写层数据与当前显示内容进行图像合成,并传输至所述投影机进行显示;或,
反控模块,用于接收所述反控终端发送的控制信令,执行反控动作。
10.根据权利要求9所述的投影机的无线交互装置,其特征在于,所述反控模块,具体用于:
若所述反控终端发送的是投屏终端的控制信令,则将所述控制信令转发给所述投屏终端;
若所述反控终端发送的是本机的控制信令,则执行本机的控制动作。
CN201910083885.9A 2019-01-28 2019-01-28 一种投影机的无线交互方法及装置 Pending CN109788265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910083885.9A CN109788265A (zh) 2019-01-28 2019-01-28 一种投影机的无线交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910083885.9A CN109788265A (zh) 2019-01-28 2019-01-28 一种投影机的无线交互方法及装置

Publications (1)

Publication Number Publication Date
CN109788265A true CN109788265A (zh) 2019-05-21

Family

ID=66502839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910083885.9A Pending CN109788265A (zh) 2019-01-28 2019-01-28 一种投影机的无线交互方法及装置

Country Status (1)

Country Link
CN (1) CN109788265A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244927A (zh) * 2019-07-03 2019-09-17 明基智能科技(上海)有限公司 一种智能显示系统及装置
CN110677831A (zh) * 2019-09-18 2020-01-10 武汉卡比特信息有限公司 一种基于互联技术的视频投射方法
CN112162718A (zh) * 2020-10-16 2021-01-01 深圳乐播科技有限公司 反向交互方法、装置、设备及存储介质
CN112000306B (zh) * 2020-10-28 2021-02-19 深圳乐播科技有限公司 多端投屏的反向控制方法、装置、设备及存储介质
CN115515001A (zh) * 2021-06-22 2022-12-23 荣耀终端有限公司 屏幕镜像方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090038860A1 (en) * 2007-08-09 2009-02-12 Chung-Jen Huang Interactive projection apparatus
CN103927909A (zh) * 2014-04-29 2014-07-16 南京数模微电子有限公司 触摸式移动终端的交互式教学系统与方法
CN204706020U (zh) * 2015-01-14 2015-10-14 四川九洲电器集团有限责任公司 一种电子白板投影交互装置
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
CN105389109A (zh) * 2015-10-15 2016-03-09 深圳市祈锦通信技术有限公司 一种触控屏式共享投影系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090038860A1 (en) * 2007-08-09 2009-02-12 Chung-Jen Huang Interactive projection apparatus
CN103927909A (zh) * 2014-04-29 2014-07-16 南京数模微电子有限公司 触摸式移动终端的交互式教学系统与方法
CN204706020U (zh) * 2015-01-14 2015-10-14 四川九洲电器集团有限责任公司 一种电子白板投影交互装置
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
CN105389109A (zh) * 2015-10-15 2016-03-09 深圳市祈锦通信技术有限公司 一种触控屏式共享投影系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244927A (zh) * 2019-07-03 2019-09-17 明基智能科技(上海)有限公司 一种智能显示系统及装置
CN110677831A (zh) * 2019-09-18 2020-01-10 武汉卡比特信息有限公司 一种基于互联技术的视频投射方法
CN110677831B (zh) * 2019-09-18 2023-01-17 武汉卡比特信息有限公司 一种基于互联技术的视频投射方法
CN112162718A (zh) * 2020-10-16 2021-01-01 深圳乐播科技有限公司 反向交互方法、装置、设备及存储介质
CN112000306B (zh) * 2020-10-28 2021-02-19 深圳乐播科技有限公司 多端投屏的反向控制方法、装置、设备及存储介质
CN115515001A (zh) * 2021-06-22 2022-12-23 荣耀终端有限公司 屏幕镜像方法、装置、设备及存储介质
CN115515001B (zh) * 2021-06-22 2023-10-24 荣耀终端有限公司 屏幕镜像方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109788265A (zh) 一种投影机的无线交互方法及装置
CN103631221B (zh) 一种遥操作服务机器人系统
CN103440116B (zh) 一种交互式电子演示系统
CN108170273A (zh) 一种基于hololens眼镜的专家远程指导系统及实现方法
CN107147769A (zh) 基于移动终端的设备控制方法、装置和移动终端
CN105320119A (zh) 基于移动智能终端的大屏、个人计算机远程控制方法及系统
US20230018905A1 (en) Image processing method and electronic device
CN109379549A (zh) 一种无线传屏方法、设备及系统
CN107741785B (zh) 一种保护前端安全的远程指导方法和系统
CN103813122B (zh) 影像装置控制系统、影像装置串接设备及影像装置控制方法
CN109167884A (zh) 一种基于用户语音的服务方法和装置
CN110543239A (zh) 数字化互动展览综合应用系统
CN109857129A (zh) 一种控制电子设备的方法、装置、移动终端及存储介质
CN1299192C (zh) 一种计算机的远距离无线控制装置
CN102647511B (zh) 基于智能手机的三维博物馆交互系统及其交互方法
CN105810130A (zh) 景区导览系统及其导览方法
WO2023151518A1 (zh) 终端的可分离模组管理方法、装置及终端
CN205827689U (zh) 一种云教育智能系统
CN107102575A (zh) 编程控制的方法及系统
CN116723353A (zh) 一种视频监控区域配置方法、系统、装置及可读存储介质
CN109542218A (zh) 一种移动终端、人机交互系统及方法
CN106534352A (zh) 远程调试模拟器及其控制方法
CN106791538B (zh) 用于巡回法庭的数字系统
CN110162284A (zh) 一种操控接口装置及其操控系统
CN110502120A (zh) 动捕数据和预设动作数据结合的虚拟主播系统及实现方

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521

RJ01 Rejection of invention patent application after publication